Camera 数字成像系统

本文介绍数字成像系统概论，主要包括成像系统的应用、成像系统的组成、成像系统的实时控制以及成像系统的评价。

数字成像系统的应用

数字成像系统应用：

1. 最广泛的：以数码相机为代表，比如：PC摄像头、监控相机、运动相机、行车记录仪、手机照相机、无人机照相机等等。
2. 外延部分：医学成像系统（比如X光扫描）、机器视觉、太空照相、微波成像

成像系统组成

从成像过程来看，成像系统由如下部分组成：

成像就是光照到物体上，反射到成像系统里面，经过镜头（Lens）、光圈（IRIS），IR、快门然后到Sensor进行感光，Sensor出来的数字信号进入到ISP，ISP处理之后一般转成YUV，根据不同的场景，输出到不同的组件，比如去显示、去做编解码保存、用AI做图像后处理。

每个部分涉及到的知识点，如下表所示：

所以，数字成像系统是一个软硬件结合、光机电结合的复杂系统。

成像系统的两条基本主线

成像系统从信号的维度看有两条主线：

• 图像重建：自然界原始的图形是比较完美的，但经过光学的变换、半导体的转换后就会产生各种缺陷。图像重建的目的是清晰勾画出正确的景物
  • 光学缺陷与局限：MTF、像差、场曲、Vignetting/Luma Shading、Glare、Geometry Distortion等等
  • 半导体缺陷与局限：Smear/Blooming、Defect Pixel、Sensitivity、Dynamic Range、Green Imbalance Noise、Temperal Noise、Fix Pattern Noise、Color Noise、Spatial Noise等等
• 色彩重建：Sensor感知到的信号是无颜色的，但我们需要还原出图像原有的色彩，有时候不光颜色要正确，还要符合人的主观趋向。色彩重建的目的是还原出准确丰富的色彩
  • 光学缺陷与局限：Color Shading、Chromatic Aberration、Purple Fringe等等
  • 半导体缺陷与局限：Cross Talk、Black Level、Linearity等等

成像系统的实时控制

3A是成像系统中非常重要的一环，因为硬件的部分（如ISP、Sensor、镜头等）各厂商同样的价格拿到的质量也差不多。如果想要得到更好的用户体验，那么需要在软件、系统调教、3A算法、图像后处理算法方面加入更多的心思。

成像系统实时控制包括如下部分

• 系统静态参数
  • 线性化、ISO、Static White/Sensitivity、Demosaic、Noise Profile
• 系统动态参数
  • Shading、CCM、Black Level、Noise Reduction、Sharpening
• AE
  • Sensor Analog Gain、曝光时间、光圈、Digital Gain、Gamma、Tone Mapping、闪光灯、ND Filter
• AF
  • 对焦马达、Zoom马达
• AWB
  • 白平衡增益

成像系统评价

比较流行的三家图像质量评价公司，他们都提供了不同的软件协助分析

• https://www.image-engineering.de
• https://www.dxomark.com
• http://www.imatest.com

通常我们从图像质量和性能两个方面对成像系统进行评价

图像质量方面包括：

• Exposure
• Colour
• Contrast
• Sharpness
• Noise
• Dynamic Range
• …

性能方面包括：

• Shutter lag
• Auto focus latency
• Camera start up
• Shot to shot
• Photo Gallery
• …