数字成像系统认识

成像系统的应用多点绽放，全面开花

• 智能手机
• ADAS – 车载至少7个摄像头
• 安防及物联网
• 智能家居 – 门锁、猫眼、老人看护
• 机器视觉
• 影视
• 特种消费 – 运动相机
• 无人机
• 军工
• 医疗影像

ISP技术方兴未艾，重要性越发明显

• 产业已非常庞大且高速发展，对各类ISP工程师需求很大，仍有很大缺口
• 位于成像系统的核心
• 算法正处于快速迭代阶段
• 随着通信及AI的发展有新的理念及需求
• 各种应用对ISP的需求不尽相同，需针对不同应用开发不同算法，从而避免一家独大
• 从事成像系统相关技术开发也需要学习ISP

成像系统简介

光源发出光，经过折射到镜头中，镜头进行聚焦，然后再经过滤光片将不需要的光滤掉，然后到达图像传感器(Image Sensor)，在图像传感器进行光电转换、模数转换，然后将数字信号送给ISP完成图像处理，最后送给显示端或编码或进一步后处理。

光的认识

频率、强度、相位、速度是光的四个基本衡量因子。

• 不同频率的光通过不同的材质时，衰减程度及光速变化都不相同。

• 不同材料的物质对不同频率的光响应不同

比如，太阳光的波长范围是250~2500nm，经过臭氧层、空气到达地面的频谱范围如下图红色部分所示，有一些频谱会被过滤掉了。

成像环境的认识

照度

• 照度是对环境光强度的度量
• 衡量单位为lux，白天晴天近10万lux，阴雨天几千lux，夜晚有灯光几十lux，夜晚最小可达0.01lux
• 照度越小，成像时需要越大的快门（shutter）、增益（gain）、光圈（IRIS）或者补光

色温

色温原本指物体（特别是金属）加热到不同温度发出的不同颜色的光。

• 衡量单位为K，色温越高反而越冷，色温越低就越暖，范围一般为1800~7500K，蜡烛为1800K，晴天中午为7500K
• 常见的色温值有D65（日光灯发出的光），TL83，TL84，UV、CWF、A光等

动态范围

动态范围是对一个场景最亮部分与最暗部分照度比例的衡量。

• 衡量单位为db，若室内暗处照度为1lux，室外为10万lux，那么动态范围约为100db
• 常见的宽动态环境是室内外的窗口或门口，以及道路夜晚

下图上半部分是宽动态相机拍摄的画面，可以看清楚亮的地方，也可以看清楚暗的地方。下半部分是普通相机拍摄出来的，暗的地方没有什么信息，亮的地方过曝了也没有什么信息。

人眼的认识

成像原理

数字成像系统是对人眼的仿生。

人眼也有镜头、滤光片、传感器以及图像处理系统，对应的器官为：瞳孔、晶状体、角膜、虹膜、视网膜等

人眼的特性

• 只感知可见光、波长为380~780nm
• 分辨率可达5亿像素，但对颜色的分辨率低很多
• 帧率为24fps
• 低照度约为0.01lux，但很暗时只能感知亮度
• 人眼也会随着环境光强弱调整瞳孔大小，比如从室外进入到很黑的室内，需要一段时间适应就可以看到一些室内的物体
• 人眼景深很好，能快速聚焦
• 人眼有白平衡功能，即光源色温发生变化时，人眼会“减弱”颜色的变化，也就是感知的颜色变化没有实际色温变化那么强烈
• 人眼对亮度的感知是非线性的，也就是说光的照度增大一倍，并不意味着人眼感知的亮度大一倍
• 人眼的动态范围很好，有130db，能同时看清很亮和很暗的区域

光学器件简介

镜头

镜头是由几组镜片及辅助的电机等组成，形成聚焦。

镜头相关属性：

• 核心参数是焦距，焦距越大拍摄越远但视角越小；反之距离近视角大。所以有长焦镜头、广角镜头。
• 材质均匀度决定镜头成像精度，即分辨力
• 光圈大小和材质好坏决定光通量
• 光通量的一致性也是衡量镜头好坏的核心指标，一致性好图像亮度越均匀，一般中间亮一些，四周暗一些，ISP有算法去弥补
• 镜头畸变程度也是重要指标之一，一般焦距越小，畸变越严重，ISP有算法对畸变进行 矫正
• 镜头需与图像传感器的靶面大小、分辨力、CRA等参数契合

滤光片

滤光片用于滤掉不接收的光，普通可见光相机需滤掉红外及紫外光。

一般在镜头上的镀膜，也有单独的滤光片。

分光镜

有的相机需要把不同波段的光通过分光镜分到不同的传感器上，这些传感器分别感光后再在ISP里进行融合。常见的有RGB三色相机，以及可见光、红外光宽光谱相机等。

光源

光源也是成像系统的重要光学器件，一般为弥补成像环境的缺陷，如环境照度不足或环境照度不均匀，另外可以用不同色温的灯制造特殊的艺术效果。

光源按补光模式分常亮补光与闪光灯，按频谱范围分可见灯和红外灯。

图像传感器简介

结构

图像传感器由光电转换、信号放大、模数转换、时序驱动、输出接口、控制接口等六部分组成。

核心指标是分辨率、帧率与感光度。

• 分辨率即有多少个感光像素
• 帧率一般取决于AD转换及输出接口速度
• 感光度一般取决于单像素面积大小

单个像素放大后的结构如下：

分类

• 按工艺分为CCD与CMOS
• 按外形分为面阵和线阵
• 按颜色分为彩色和黑白
• 按曝光模式分为全局曝光与卷帘曝光，卷帘曝光是一行一行地依次曝光
• 按感光层位置分正照式与背照式
• 按接收波长分为可见光、红外、紫外等
• 按维度分为2D图像与3D成像，3D成像又分为结构光、TOF与双目视差
• 按宽动态分为单次曝光、多帧多次曝光、单帧多次曝光三类
• 按输出接口分为MIPI（手机）、LVDS（工业或行业应用，串口）及DVP（低端Sensor，并口）

图像噪声的认识

产生原因

图像噪声分为固定噪声和随机噪声。

• 固定噪声在图像固定位置，产生原因是不均匀的暗电流与不均匀的放大器，固定噪声是在图像中固定的位置不动，如上图所示的绿色小点。
• 随机噪声（暂态噪声、白噪声）随着时间随机变化。随机噪声主要由电子的随机运动产生，在光电转换、模拟信号传输、模数转换等过程中产生，分为散粒噪声、闪烁噪声、读出噪声等

噪声特点

• 随机性、在空间域随机分布、非固定噪声在时间域也随机分布
• 高斯分布，强度、波长、相位都符合高斯分布
• 无明显方向性
• 孤立性
• 与图像传感器温度与增益值正相关

将噪方法

• 改进图像传感器设计，从源头减少
• 物理方法，如降低温度
• 图像处理算法，分为基于空间域的2D算法与基于时间域的3D算法，3D算法只能消除随机噪声
• 背景差分法可消除固定噪声