深度解析爱芯元智AI ISP技术

塞巴斯蒂安

AI ISP作为爱芯元智的核心技术优势，在产品和商用落地过程中得到了充分应用，也收到了业界的积极反馈。今天，特邀爱芯AI ISP负责人Eric Zhang，来为大家讲解爱芯AI ISP背后不为人知的“秘密”，掌声有请老张

一、什么是AI ISP？

AI ISP是这两年才出来的一个新的技术概念。传统的ISP有三种组织形式，整个pipeline中有不同的模块负责不同的功能。AI ISP已经有很多公司进行研究，比如英特尔实验室的《Learning to see in the dark》论文中提出，可以通过整个神经网络来实现ISP的全部功能。在这篇论文中，通过一个raw图进入，然后输出RGB或者YUV图像。但是在之前的研究中，没有一家公司能够真正把它进行产品化。

在爱芯元智的AI ISP中，并不是仿照这种大家认为的AI ISP来进行的，我们更接近于真正的产品化。

在我们的pipeline中，只将其中重要的模块进行AI化，将有限的算力集中于整个AI ISP中，最关键、人眼最可知的这些功能中，比如像HDR、去噪的3DNR、tone mapping，还有demosaic这样的功能中进行AI化，以实现整个AI ISP的最佳效果。可以通过以下视频看到效果对比。
爱芯元智AI ISP技术.mp4 (10.6 MB, 下载次数: 2)

2022-2-9 18:36 上传

点击文件名下载附件

二、为什么选择暗光场景？

上边的视频选择了暗光场景，其实AI ISP不只是暗光的，但是暗光场景是AI ISP与传统ISP区别最显著的场景。虽然传统ISP在过去几十年中一直在暗光场景中进行迭代，但依旧未能取得重大突破。

从下面三张图中我们可以明显看出传统ISP跟AI ISP在暗光场景中的区别。

前两张图是传统ISP能够达到的一般效果和最佳效果，第三张图是AI ISP达到的处理效果，可以看到，AI ISP已经远超传统ISP的性能。AI ISP在暗光场景中最主要的功能就是降噪，这就要讲到噪声的来源。

三、噪声是怎么来的？

在整个数字成像系统中，噪声在从光信号转换成数字信号的过程中一直存在。主要的噪声来自于sensor。在光子转化为电子，电子转化为电压的过程中，以及变成数字信号进入到pipeline，sensor中都会有噪声产生。转换成数字信号之后，噪声基本上就进入了一个稳定状态。

噪声可以分为很多种类，有些噪声是很容易被测量出来，但有些噪声很难测量。如何进行噪声测量，以及进行噪声的数字建模，对于整个的夜景去噪过程来说都是很困难的事情。传统方法难以区别噪声和细微的信号，但AI能够通过学习足够多的样本，将噪声和信号区别出来。

在我们的整个ISP中，有一个专门为了ISP设计的NPU，这个NPU和传统其他芯片中的NPU并不完全一样，除了强调计算单元之外，还有Pre-Process、Post-Process和一个更大的Shared Memory，以及一些针对AI ISP的流式处理和CV的处理操作，可以使我们的算力在AI的图像处理中能够有更好的提升。

四、AI去噪算法的关键

“01、AI的网络结构和算力

网络结构和算力是直接相关的。在比较常见的一些网络中，会采用比如像全链接这样的涂层，以及像时域降噪和空域降噪的区分设计。我们的AI ISP也采用了不同的网络结构和设计，来提升AI ISP的灵活性。在过去的一年中，我们设计了几十种网络结构，针对NPU筛选出最适合我们的网络，最大化提升NPU的利用率。

“02 图像质量评判

有过专业研究的朋友都知道，PSNR和SSIM是业界中使用最频繁的评价函数，但类似这些评价函数本身也存在着问题，其中最主要的就是，所有的评价函数都无法和人眼达到完全一致的表达。

在真正的AI ISP中，我们往往需要发明新的评价函数，或者是将几种不同的评价函数混合起来使用，以便能够在整个系统中，让最后训练出的网络生成更好的图像质量。

“03 数据集获取

数据集的获取一直是人工智能领域中让人们头疼的一件事情。在图像去噪领域中，最经典的数据集获取方法，第一种是由拍摄来得到成对的数据记忆，但是它无法处理运动物体的问题；第二种是利用传统算法例如BM3D、VBM4D来处理，但是这种方法自身也具备无法突破的局限性；第三种方法是通过噪声模型生成噪声，但确定有哪些噪声、如何对噪声模型进行建模，成为了这一方式的研究瓶颈；第四种方法是近两年提出的（见下图），通过采集少量的成对数据，然后让神经网络能够自己生成有噪的成对噪声数据集，自己来训练自己的ISP网络。这样的方法可以大幅度优化数据采集的过程，目前看可能是整个业界的发展方向之一。

五、夜景AI处理，不只降噪

在夜景拍摄中，为了得到更清晰自然的图像，我们不只要调整亮度，也要调整对比度。在对比度的调整中，传统的方法，学术界称其为直方图均衡，但均衡并不代表能得到更佳的成像效果。因此有一些算法会进行global tone mapping，根据全图的亮度进行调整，最终生成一个与我们的期望较为接近的图像。但提升算法识别的准确度，需要AI的助力，才能得到更好的亮度和对比度的调节，这对夜景图像调整，或者说对于整个AI ISP，都是一个很大的挑战。

当然，暗光处理只是AI ISP 的开始，AI世界中不只有暗光处理，还有比如高光抑制、解析力提升、夜景紫边的处理以及一些伪纹伪色的处理等，AI ISP都能比我们所见到的传统ISP更具优势。

完