南大团队开发高清视频全彩成像系统为暗光增强成像带来新突破

　　“我们是夜鹰，我们打破黑暗，还原世界原本的色彩，让人们在黑夜中像白天一样地生产生活。”这是一个成员皆由“00后”学子组成的团队，想借助“夜鹰”系统达到的目标。
　　“夜鹰”，是一套支持极低照度环境下高清视频全彩成像的夜视系统，通过小型暗室摄影棚构建低照度环境，来实现全彩夜视成像能力的展示。其开发团队，是在南京大学电子科学与工程学院彭成磊老师指导下，由该学院三名2019级本科生组成的。
　　他们基于深度学习算法，实现了在星光级1mLux极弱光环境照度下的无补光嵌入式高清视频全彩成像系统。该系统能以较低的成本部署到各种应用场景，并支持80个类别以上的目标识别功能，可广泛应用于城市安防监控、交通违规监测、保护动物追寻、石窟壁画保护等领域。
　　暗光增强成像领域已有几十年的研究历史，也拥有激光夜视、热成像等技术。不过，这些技术都存在着诸多缺点，包括噪点多、颜色细节缺失、需要辅助光源以及目标识别难等。最重要的是，其最低极限照度始终保持在较高水平且难以下降。
　　在全彩夜视成为刚需的当下，先对硬件进行优化、再结合传统算法的方案已经走到极限，需要开发更好的技术，来满足不同应用场景对暗光成像的需求。
　　基于此，多年来专攻嵌入式智能系统和多光谱成像领域的彭成磊，带领蔡立本华、陈威宇和赵雨飞三位成员，组建嵌入式暗光增强全彩成像小组，完成了“夜鹰”系统的开发。
　　其中，队长蔡立本华主要负责模型算法的设计训练，赵雨飞主要负责模型部署和交互页面设计，陈威宇主要负责硬件系统设计选型以及软件框架搭建。该成果于近日在第五届中国国际进口博览会上英特尔展台上展示。
　　“夜鹰”系统可以把普通CMOS（Complementary 　 Metal 　 Oxide 　 Semiconductor，互补金属氧化物半导体）相机采集的极低信噪比的原始图像，通过自主设计的神经网络模型进行颜色恢复、噪声去除、亮度提升，并将增强后的成像结果显示到人机交互界面上。
　　其所达到的这种高清视频全彩成像效果，与此前相关工作实现的效果并不相同。“夜鹰”支持540p分辨率下每秒24帧的清晰稳定视频全彩成像显示。赵雨飞解释说：“该系统主要强调分辨率和全彩效果，并在此基础上保证帧率的流畅性。”
　　此外，为了提升用户易用性，该团队还扩展开发了更多交互功能。通过“夜鹰”系统的界面，使用者不仅可以查看采集到的原始图像、经处理恢复后的高清图像、视频实时帧率以及图像颜色直方图等信息，还能执行图像存储、参数调节、画面缩放等操作。另据悉，目前彭成磊实验室正在进一步推进全新支持1080p高清格式的“夜鹰”升级版本。
　　2022年9月，研究人员凭借“夜鹰-暗光增强全彩成像”这一成果，在全球25个国家和地区的参赛队伍中胜出，获得了2022年度英特尔人工智能全球影响力嘉年华18岁以上组全球总冠军。
　　赵雨飞表示：“在开发‘夜鹰’的过程中，我们使用了英特尔OpenVINO工具套件，搭载了至强处理器的训练服务器，以及搭载了i5处理器的边缘计算主机。”
　　据悉，该赛事是为建设全球数字化能力而搭建的一个在线全球展会，旨在与全球政府、学术界及社区开展合作，和下一代技术人员和未来开发者共同普及人工智能，并表彰相关的创新成果。 （麻省）