Camera 数字成像系统

本文介绍数字成像系统概论,主要包括成像系统的应用、成像系统的组成、成像系统的实时控制以及成像系统的评价。

数字成像系统的应用

数字成像系统应用:

  1. 最广泛的:以数码相机为代表,比如:PC摄像头、监控相机、运动相机、行车记录仪、手机照相机、无人机照相机等等。
  2. 外延部分:医学成像系统(比如X光扫描)、机器视觉、太空照相、微波成像

数字成像系统的应用

成像系统组成

从成像过程来看,成像系统由如下部分组成:

成像系统组成

成像就是光照到物体上,反射到成像系统里面,经过镜头(Lens)、光圈(IRIS),IR、快门然后到Sensor进行感光,Sensor出来的数字信号进入到ISP,ISP处理之后一般转成YUV,根据不同的场景,输出到不同的组件,比如去显示、去做编解码保存、用AI做图像后处理。

每个部分涉及到的知识点,如下表所示:

光源 光学 机械 半导体 处理器
自然光 镜头 对焦马达 Sensor AE+AWB+AF+Tuning
人造光 IR Filter 机械快门 ISP PostProcessing(后处理)
闪光灯 电机光圈 DSP 存储
Zoom马达 VPU/Encoder

所以,数字成像系统是一个软硬件结合、光机电结合的复杂系统。

成像系统的两条基本主线

成像系统从信号的维度看有两条主线:

  • 图像重建:自然界原始的图形是比较完美的,但经过光学的变换、半导体的转换后就会产生各种缺陷。图像重建的目的是清晰勾画出正确的景物
    • 光学缺陷与局限:MTF、像差、场曲、Vignetting/Luma Shading、Glare、Geometry Distortion等等
    • 半导体缺陷与局限:Smear/Blooming、Defect Pixel、Sensitivity、Dynamic Range、Green Imbalance Noise、Temperal Noise、Fix Pattern Noise、Color Noise、Spatial Noise等等
  • 色彩重建:Sensor感知到的信号是无颜色的,但我们需要还原出图像原有的色彩,有时候不光颜色要正确,还要符合人的主观趋向。色彩重建的目的是还原出准确丰富的色彩
    • 光学缺陷与局限:Color Shading、Chromatic Aberration、Purple Fringe等等
    • 半导体缺陷与局限:Cross Talk、Black Level、Linearity等等

成像系统的实时控制

3A是成像系统中非常重要的一环,因为硬件的部分(如ISP、Sensor、镜头等)各厂商同样的价格拿到的质量也差不多。如果想要得到更好的用户体验,那么需要在软件、系统调教、3A算法、图像后处理算法方面加入更多的心思。

成像系统实时控制包括如下部分

  • 系统静态参数
    • 线性化、ISO、Static White/Sensitivity、Demosaic、Noise Profile
  • 系统动态参数
    • Shading、CCM、Black Level、Noise Reduction、Sharpening
  • AE
    • Sensor Analog Gain、曝光时间、光圈、Digital Gain、Gamma、Tone Mapping、闪光灯、ND Filter
  • AF
    • 对焦马达、Zoom马达
  • AWB
    • 白平衡增益

成像系统评价

比较流行的三家图像质量评价公司,他们都提供了不同的软件协助分析

  • https://www.image-engineering.de
  • https://www.dxomark.com
  • http://www.imatest.com

通常我们从图像质量和性能两个方面对成像系统进行评价

图像质量方面包括:

  • Exposure
  • Colour
  • Contrast
  • Sharpness
  • Noise
  • Dynamic Range

性能方面包括:

  • Shutter lag
  • Auto focus latency
  • Camera start up
  • Shot to shot
  • Photo Gallery

Camera课程

Python教程

Java教程

Web教程

数据库教程

图形图像教程

办公软件教程

Linux教程

计算机教程

大数据教程

开发工具教程