围绕跨时空开放环境的移动目标重识别感知建模与分析，实验室获得了跨时空度量学习理论与模型，突破了跨时空移动目标重识别数个理论和技术难点，深入广泛推动了行人重识别的发展。主要包括：

1) 发现排序模式的度量学习理论与机制：从理论上分析基于排序模式的度量学习能更好地纠正传统度量学习在类内差异过度最小化时的严重偏差，显著克服移动目标信号特征在无交叠摄像机视域下的剧烈非连续突变差异。

2) 发现多视角协同非对称重识别理论：围绕不同摄像头角度及环境对移动目标信号特征影响显著的难题，创新地提出多视角协同非对称重识别理论，协同学习每个摄像机视域下独有的特征变换，破除了以往不同视域下特征变换一致的假设，去除跨时空匹配中与摄像机相关的特有因素。

3) 构建无监督深度跨域协同学习：将特征非对称度量学习与无监督聚类算法相融合，提出非对称聚类算法，从而获取与视域有关的聚类，形成了视域特有的特征变换与聚类学习的联合最优，在一系列标准数据集上提高了当时无监督模型35%～50%性能。与当时深度无监督算法相比，该工作有效实现了把聚类算法与深度学习算法结合来解决跨域度量学习的问题。实验证明传统的直接把聚类与深度学习结合的方法不能解决跨摄像机数据的视频图像个体特征偏移问题。

深度非对称度量学习

 

该项研究较大推动了行人重识别领域的发展，获得了英国皇家学会牛顿高级学者基金奖励额外支持，与腾讯、阿里巴巴等国内重要AI企业合作研发。共发表论文8篇，含5篇国际人工智能顶级期刊IEEE T-PAMI论文，曾入选4篇ESI高被引论文，获国家授权专利3项。上述成果获得中国图象图形学学会自然科学一等奖。

实验室围绕 “认知启发的视觉理解及应用”为研究主线，长期开展脉络清晰、特色鲜明的研究工作，在融合注意力机制的物体识别、结构化知识嵌入的场景解析、人机协同的启发式自主学习等方面取得了一系列创新成果，归纳如下：

1) 融合注意力机制的物体识别:在国际上较早将注意力机制引入深度神经网络，建模为感知序列决策优化过程，应用于各个层次的视觉识别任务。所提出的通用物体检测算法在著名评测榜PASCAL VOC 2012 Object Class中位列榜首（从2018年10月至今均排名第一）；所提出的人物检测识别的算法成为近年来的基准方法，单篇论文被引次数超过400次。

2) 结构化知识嵌入的场景解析：实验室长期探索融入知识表达的结构化语法模型，通过“与”、“或”层次分解组合来表达丰富多样的视觉模式(曾经被MIT Technology Review所报道)。该语法模型融入神经网络，解决场景/人物图像的层次化解析，透彻理解图像中的物体、部件及它们之间的从属关系和丰富属性。

3) 人机协同的启发式自主学习：通过模拟人类受教育学习的长效机制，提出“引导-自步-协同”的学习范式，在保证性能没有大幅度下降的情况下，显著减少需要的标注样本数量，增强所训练分类器在噪声数据上的鲁棒性，相关2篇论文成为ESI高被引。

上述成果获得中国图象图形学学会科学技术一等奖，通过与商汤科技、深睿医疗等头部人工智能企业合作，增加企业营收。

人机协同的启发式自主学习范式