Camera CMOS工作原理

我们都知道有两种半导体图像传感器器件：CMOS Sensor和CCD Sensor，在目前的消费电子领域普遍使用的都是CMOS图像传感器，因此本节只介绍CMOS图像传感器的基础知识。

CMOS Sensor构造

手机上的CMOS图像传感器构造如下

是一个类似栈一样垂直排列的一组器件

• 最上面是镜头（物镜）
• 镜头下面是IR Filter，用于滤除红外线
• IR Filter下面是很多微小的Lens组成的阵列
• ColorFilter：入射光线通过RGB的ColorFilter分成R、G、B的光线
• R、G、B光线投射在Sensor Array上面，这里的Sensor Array就是Bayer Sensor Array
• 最下面是PCB电路板

Camera Sensor平面构造图

下面中是Camera Sensor的平面构造图，整个灰色部分是PCB：

1. 中间蓝色是最核心的部分：Active Pixels
2. 上面灰色部分：光遮断黑电平（Optical Black）
   • 用一个金属完全挡住Sensor上方，遮断光线，使得它完全不感光，这部分体现出来的颜色就是所谓的Optical Black
3. 下面灰色部分：Dummy Border
   • 不用的一些像素，但是在裁剪的时候也不能把它裁剪下去，所以就留在这里
4. 左边部分：电源管理模块（Power Management）

5. 右边部分：Control/Processing/Memory

6. 最下面绿色部分：读出电路（Readout）

   • 感光值转换成数字值读出来

每一个有效的像素都是下图这样的结构：

• 左边是一个反向偏置的感光二极管（电压在上面、地在下面）

• 右边是一个CMOS电容

I_ph是由于光子激发产生的光电流，光电流在CMOS电容器上累积成电荷，形成充电的动作，这就将电流变成了电压输出出去。

光子与量子效率

• 光子 – Photon

• 量子效率 – QE（Quantum Efficiency）：在一个Camera Sensor里面，经过Color Filter投射过来的光子转变成为电荷的效率。

自然界中有不同波段、不同频率的光线，我们简单地分成RGB三种不同频率的光线，这三种光线由于频率的不同，每个光子所载有的能量是不同的。

下图是以蓝色光为例，它载有的能量是4.41E-19焦耳能量

• 一个光子的能量计算方式为E=hc/λ（h 是普朗克常数，c 是真空中的光速、λ是波长），上图中Total_Power是一束光的能量。

• 上图中如果透射过来三个光子，产生了一个电子空穴对e，那么QE就是1/3

与量子效率QE有关的概念

1. QE是衡量某个颜色通道上，在某个频率/波长的光子转换成电子的效率。如下图所示，是RGB三个颜色通道在不同波长上QE的变化情况

2. IR Cutter

• 对于Camera Sensor而言，它除了可见光外还可以感受到近红外波段的光，这个不符合人眼的视觉感受的，所以我们需要有一个IR Cutter来去除掉近红外光线，否则红色通道的感光就会过强，最终使得图像偏红。

3. Crosstalk

   –

• 理想情况下，RGB三个颜色通道QE响应就像上面这个图，它们能够完全地分开，这样经过Color Filter后，每一个Pixel只感应对应颜色的光。但现实情况，无法做到完全的分开，比如对于B通道的Pixel除了感受到Blue的光以外，还感受到了G和R的光。

• 一个像素不能够只感受一个颜色通道的光的情况就叫Crosstalk，Crosstalk越小越好，理想情况下是0

• CCM（Color Correction Matrix）图像处理模块的目的就是从数学上将像素间感受到的光分开

• Crosstalk也会带来噪声

4. Sensitivity 感光度 = QE * Pixel_Size

• 感光度是指：像素对光的敏感程度，也就是同样的光子能够激发出来多少电荷与QE成正比
• QE越高激发出来的电荷越多，pixel_size越大激发出来的电荷越多

Camera Sensor感光过程

Camera Sensor感光过程分为三步：充电、感光、放电，整个过程完成光子到电压的转换。

充电

第一步是对光电二极管充电，给二极管加反向电压的时候，就是相当于给二极管充电

感光

第二步感光，当有光子进来的时候，光电二极管就会发生光电效应，外来的电子激发额外的电子空穴对

放电

第三步放电，额外的电子空穴对于原来的电子空穴对融合的过程对于二极管来说是放电过程，对于电容来说是充电过程。

Camera Sensor读取感光结果

Camera Sensor感光实现了E到V的过程，然后经过模拟放大器，再经过AD（模数）转换器，得到数字信号，如下图所示：

从时间轴上来看，先是Reset充满电，然后曝光（感光）一段时间，然后通过读取电路将模拟信号读取出来。总的操作时间Total_time = reset_time + exposure_time + readout_time，如下图所示：

Camera Sensor动态范围

1. Full well Capacity

• 上图中PCB中间的部分是用于感光的部分，是一个势井，随着光线的进入，电荷（e）会不断增加，累加到一定程度就会溢出，溢出到别的Well里面去。

• 到什么程度这个井能满是衡量这个感光器件感光能力的一个指标，当然这个井越深越好，这样就能感受更多的光，但这个与成本、工艺都有关系

2. Dark Current

• 势井中黑色的电荷（e）表示完全没有光，势井里也有一部分电荷，半导体缺陷导致的，无法避免，我们叫Dark Current，是形成Black Level的一个原因

3. Fill Factor

• 中间井的面积（感光的部分） / PCB的面积
• Fill Factor越大越好，工艺越好的厂家感光的部分占的面积就越大，感光的部分越大，这个井就越深，能够装的电荷数就越多

动态范围Dynamic Range = Saturation / Black Level，Saturation是由Full Well Capacity决定，Black Level是由Dark Current决定。

Camera Sensor时序

Sensor控制电路里面的基本时序

• 先有一个Reset信号对二极管充电，当二极管充满电后，Reset信号就结束，然后开始感光二极管开始放电，接着又来一个Reset信号进行充电，然后继续感光放电，然后又Reset充电，再感光放电…，每次放电结束后就有相应的读出电路将信号读出来。

Camera Sensor Noise

Camera sensor中的Noise分为时域噪声和空域噪声，时域噪声是随时间变化的，空域噪声是指在空间上固定分布的一种噪声。

时域噪声

• KTC Noise（readout）
• PhotonShot Noise
• DarkCurrent Noise
• Power Noise

空域噪声

• Defect Pixel
• Row / Column Noise
• PRNU
• DSNU