导语:
人类视觉系统(HVS)的钻研发现,人们在观察视频图像时,习惯把大部门把稳力集中在视觉聚焦点周围的幼领域区域内,并赋予这个区域很高的分辨率,而聚焦点表的领域则以较低分辨率出现,这种预测视觉关注区域的过程就叫显著性检测。leyu.com国际交叉科学钻研院、电子信息工程学院徐迈副教授的钻研团队发展了视频和图像显著性检测模型的钻研,成就现已颁发至《IEEE Transactions on Image Processing》、《International Conference on Computer Vision (ICCV)》、《Computer Vision and Pattern Recognition (CVPR)》等国际沉要期刊与会议上,并在多媒体通讯领域内引起宽泛好评。

钻研布景:通讯路路的“拥挤”
科研是为创造更好的未来,其灵感也源于现实生涯的不及。通过智能终端鉴赏视频资源,已经成为人们日常生涯中必不成少的环节。用户对获取更高清视频需要在日益增长,使得通讯行业的热点,聚焦在了若何实现海量高清音像视频数据更高效地传输。
视频通讯领域的瓶颈在于随着超高清视频与全景视频的发展,网络必要传输的数据量在不休膨胀,但是传输数据的带宽却是有限的。正如空间有限的公路上行驶的车越来越多,容易引发路路拥挤。当下,有限带宽下的视频高效传输,已成为通讯行业亟待解决的问题。
灵感起源:前沿热点的融合
徐迈教员及其课题组的钻研兴致为视频通讯与图像处置,他们在钻研压缩编码的过程中受人为智能和机械进建的启发,通过钻研人类旁观视频的用户履历,为视频压缩提供了新的解决思路。人类视网膜相当于以亿为单元像素级此外高清相机,人在观察视频图像时有一种聚焦“Attention(关注点)” 的机能,可能阐扬“删繁就简”的职能能力,对于出现给视觉的场景,只有我们关注的处所会很明显,而周围则会出现相对吞吐的情况。
受到启发的徐迈教员及其课题组斗胆提出如果:若是为推算机赋予人的视觉机能,压缩视频数据时在人们视觉关注度高的区域分配更多的编码资源,使得视频压缩后仍可能达成人们视觉履历上高质量的成效,同时在周围节俭编码资源。借鉴“Perceptual Video Coding(感知视频编码)”的“感知”技术,徐教员推动这一新的钻研方向:成立人在视频图像中的关注区域预测模型,以预测视频图片场景中的视觉关注集中域。
钻研拓展:年轻团队的合作
为了索求出人类视觉关注区域的模型,徐迈教员携带团队发展钻研。团队中最幼的成员为一名大三年级的本科生,徐教员说:“学生的兴致与幼我能力,才是发展科学钻研的关键成分”。因而在徐迈教员的团队中,学生春秋出现年轻化的特点。
钻研团队共同努力,从数据启程,利用机械进建步骤挖掘人体视觉认知法规。团队约请多位被试者走进尝试室,纪录被试者旁观视频时关注区域的了局数据,以现实采集到的数据为驱动,使用支持向量机和深度进建步骤成立机械进建模型,实现视频关注区域的预测。
徐迈教员团队视频显著性检测的钻研成就,不只能利用于视频图像压缩,还可能利用于多种领域,如对网页和展示排版设计领域提供领导,通过合理安放图标、文字,调整配图、配色,能够达到最大水平吸引视觉把稳力的指标。而徐迈教员团队的下一步钻研沉点,将尝试拓展至具佑装交互性、沉浸式”特点的全景视频新鲜领域。团队也将切磋与其他科研团队的合作规划,实现多学科之间互订交叉钻研。
策动/案牍:秦煜瑶、张金星
表文编纂:刘昕睿
设计:秦煜瑶 技术:曹嘉辉
鸣谢:国际交叉科学钻研院、电子信息工程学院徐迈副教授
编审:门户网站总编总监工作室
投稿:geoos@buaa.edu.cn