近日,信息工程学院刘昊副教授指导研究生朱聪聪在精准人脸对齐领域取得重要进展,其论文Towards Omni-supervised Face Alignment for Large Scale Unlabeled Videos(面向大规模未标注视频的全方位监督人脸对齐)被人工智能领域顶级会议Association for Advance of Artificial Intelligence(简称AAAI)录用。
AAAI是由美国人工智能协会每年举办一次的人工智能方面的顶级会议。据悉AAAI 2020共收到有效论文投稿超过 8800 篇,最终收录数量为 1591 篇,收录率为 20.6%。该会议被EI检索,中国计算机学会CCF A类,也是我校在该信息领域影响力发表最高的论文之一。
文章提出了一种基于时空关系推断网络以解决视频中全方位监督人脸对齐问题。由于手工标注大规模人脸视频关键点工作量巨大,如何从数据内部推测以产生辅助训练标注(自监督信息)变得至关重要。本文提出的方法充分挖掘连续视频中邻近人脸关键点间的几何相关性,以此推断出关键点间具有较强判别力的时空关系以进行稳健的人脸跟踪。同时,文章设计了一种可解释的高效网络模块,该模块旨在从静态视频帧中解析人脸的几何关系并且利用时序帧间一致性,实现对原始人脸序列潜在的时空关系建模。实验结果表明,所提方法在标准评测数据库上均超过主流监督方法,证明无标注数据的潜在结构信息可用于提升视频人脸关键点性能。
该成果受到“计算机科学与技术”宁夏西部一流学科支持并获得国家自然科学基金以及宁夏青年科技托举人才工程的资助,主要合作老师包括信息工程学院孙学宏教授以及余振华博士。