黑芝麻智能NeuralIQ ISP技术让汽车明察秋毫

　　近日，黑芝麻智能发布了武当系列智能汽车跨域计算平台及其首款芯片C1200。C1200的特色之一在于搭载了黑芝麻智能新一代自研NeuralIQ ISP模块，为图形计算提供更精准的数据。在由黑芝麻智能主办的"2023智能汽车芯片高峰论坛"上，公司图像科学总监王超发表主题为"黑芝麻智能NerualIQ ISP技术让汽车洞察秋毫"的演讲，全面解析这一技术。

　　通常情况下，ISP有很多常见的处理模块，比如白平衡、自动曝光控制、自动对焦等。黑芝麻智能的NeuralIQ ISP在安防、手机、汽车三大场景具有全平台的处理能力。三种场景对ISP的要求不尽相同。王超介绍，针对车载应用，黑芝麻智能对ISP进行了三大方面的优化。

　　算法优化

　　算法层面的优化涉及到无帧延时的多帧降噪、夜晚去运动模糊、高亮高饱和区域色彩和细节保持、不同光谱sensor的色彩一致性四个方面。

　　黑芝麻智能设计了无帧延时的多帧降噪，去噪的同时保持多帧图像的特征。在ISP里尽量保留多帧图像共有的信息，使得对外界环境的可读性得到提升。

　　运动模糊的宽度取决于在曝光时间内运动物体投影在像素平面上的宽度，针对夜晚环境下的运动模糊情况，黑芝麻智能采用了减曝光+增增益+多帧降噪的方案，使得夜晚运动模糊时的图像质量得到更进一步提高。

　　交通环节有很多重要信息都是比较高亮、高饱和的信息，黑芝麻智能通过算法改进实现了颜色矫正、细节保持，从而为后端的感知算法提供更加准确的数据。

　　有效的色彩管理手段(AWB/CCM/3DLut等)不只使得常见光谱种类的sensor的输出图像的色彩一致，针对不同光谱种类sensor的数据也可以做到色彩一致化。黑芝麻智能通过RGBIr的色彩处理和恢复，在即使有红外影响的情况下，也可以得到和人类感知比较一致的颜色，为后端感知算法提供更加一致的输入。

　　IP设计优化

　　算法上优化之外，黑芝麻智能在ISP的IP设计上也进行了优化。比如，车载环境下需要应用的相机越来越多，黑芝麻智能通过IP设计手段，使用可以共享的逻辑来处理多个数据，让一系列的计算逻辑可以被复用，以此方式减少芯片面积。

　　同时，黑芝麻智能的NeuralIQ ISP支持在线处理模式，可以用来减少车载图像的处理数据延时。简单而言，从第一个数据输入到ISP输出第一个数据，在线处理模式的延时一般小于2毫秒。

　　全面的ISP IQ调试流程

　　对于ISP的调试工作，黑芝麻智能为NeuralIQ ISP模块设置了模组性能检查，模组参数标定和调优，并配备调试工具。

　　模组性能检查涉及模组缺陷、MTF、DOF、炫光、红外、漏光等。模组参数标定和调优包括镜头暗角标定（LSC）、色彩校正矩阵标定（CCM）、白平衡标定（AWB）、噪声标定和调试。

　　在此基础上，黑芝麻智能会对NeuralIQ ISP进行客观和主观的测试工作。客观从镜头亮度阴影、镜头色度阴影、色彩准确性、白平衡准确性和灰阶测试几方面展开。主观测试则是在车载的主观场景下进行，例如白天、黑夜、日落等光照环境，隧道、车库出入口、交通信号灯、车道线、十字路口等特殊环境，以及颠簸路面、反光路面、极暗光照等极端环境。

　　NeuralIQ ISP是黑芝麻智能两大核心自研IP之一，适用于智能驾驶环视感知、前视感知、驾驶监控等应用场景。王超表示："希望我们的ISP能够使接入的车载相机得到更合理的图像效果，提供给后端感知算法使用，帮助自动驾驶能够更顺利地向前一步。"