数字成像系统认识

成像系统的应用多点绽放,全面开花

  • 智能手机
  • ADAS – 车载至少7个摄像头
  • 安防及物联网
  • 智能家居 – 门锁、猫眼、老人看护
  • 机器视觉
  • 影视
  • 特种消费 – 运动相机
  • 无人机
  • 军工
  • 医疗影像

ISP技术方兴未艾,重要性越发明显

  • 产业已非常庞大且高速发展,对各类ISP工程师需求很大,仍有很大缺口
  • 位于成像系统的核心
  • 算法正处于快速迭代阶段
  • 随着通信及AI的发展有新的理念及需求
  • 各种应用对ISP的需求不尽相同,需针对不同应用开发不同算法,从而避免一家独大
  • 从事成像系统相关技术开发也需要学习ISP

成像系统简介

光源发出光,经过折射到镜头中,镜头进行聚焦,然后再经过滤光片将不需要的光滤掉,然后到达图像传感器(Image Sensor),在图像传感器进行光电转换、模数转换,然后将数字信号送给ISP完成图像处理,最后送给显示端或编码或进一步后处理。

成像系统简介

光的认识

频率、强度、相位、速度是光的四个基本衡量因子。

  • 不同频率的光通过不同的材质时,衰减程度及光速变化都不相同。

  • 不同材料的物质对不同频率的光响应不同

比如,太阳光的波长范围是250~2500nm,经过臭氧层、空气到达地面的频谱范围如下图红色部分所示,有一些频谱会被过滤掉了。

光的认识

成像环境的认识

照度

  • 照度是对环境光强度的度量
  • 衡量单位为lux,白天晴天近10万lux,阴雨天几千lux,夜晚有灯光几十lux,夜晚最小可达0.01lux
  • 照度越小,成像时需要越大的快门(shutter)、增益(gain)、光圈(IRIS)或者补光

照度

色温

色温原本指物体(特别是金属)加热到不同温度发出的不同颜色的光。

  • 衡量单位为K,色温越高反而越冷,色温越低就越暖,范围一般为1800~7500K,蜡烛为1800K,晴天中午为7500K
  • 常见的色温值有D65(日光灯发出的光),TL83,TL84,UV、CWF、A光等

色温

动态范围

动态范围是对一个场景最亮部分与最暗部分照度比例的衡量。

  • 衡量单位为db,若室内暗处照度为1lux,室外为10万lux,那么动态范围约为100db
  • 常见的宽动态环境是室内外的窗口或门口,以及道路夜晚

下图上半部分是宽动态相机拍摄的画面,可以看清楚亮的地方,也可以看清楚暗的地方。下半部分是普通相机拍摄出来的,暗的地方没有什么信息,亮的地方过曝了也没有什么信息。

动态范围

人眼的认识

成像原理

数字成像系统是对人眼的仿生。

人眼也有镜头、滤光片、传感器以及图像处理系统,对应的器官为:瞳孔、晶状体、角膜、虹膜、视网膜等

人眼的认识

人眼的特性

  • 只感知可见光、波长为380~780nm
  • 分辨率可达5亿像素,但对颜色的分辨率低很多
  • 帧率为24fps
  • 低照度约为0.01lux,但很暗时只能感知亮度
  • 人眼也会随着环境光强弱调整瞳孔大小,比如从室外进入到很黑的室内,需要一段时间适应就可以看到一些室内的物体
  • 人眼景深很好,能快速聚焦
  • 人眼有白平衡功能,即光源色温发生变化时,人眼会“减弱”颜色的变化,也就是感知的颜色变化没有实际色温变化那么强烈
  • 人眼对亮度的感知是非线性的,也就是说光的照度增大一倍,并不意味着人眼感知的亮度大一倍
  • 人眼的动态范围很好,有130db,能同时看清很亮和很暗的区域

光学器件简介

镜头

镜头是由几组镜片及辅助的电机等组成,形成聚焦。

镜头

镜头相关属性:

  • 核心参数是焦距,焦距越大拍摄越远但视角越小;反之距离近视角大。所以有长焦镜头、广角镜头。
  • 材质均匀度决定镜头成像精度,即分辨力
  • 光圈大小和材质好坏决定光通量
  • 光通量的一致性也是衡量镜头好坏的核心指标,一致性好图像亮度越均匀,一般中间亮一些,四周暗一些,ISP有算法去弥补
  • 镜头畸变程度也是重要指标之一,一般焦距越小,畸变越严重,ISP有算法对畸变进行 矫正
  • 镜头需与图像传感器的靶面大小、分辨力、CRA等参数契合

滤光片

滤光片用于滤掉不接收的光,普通可见光相机需滤掉红外及紫外光。

一般在镜头上的镀膜,也有单独的滤光片。

滤光片

分光镜

有的相机需要把不同波段的光通过分光镜分到不同的传感器上,这些传感器分别感光后再在ISP里进行融合。常见的有RGB三色相机,以及可见光、红外光宽光谱相机等。

光源

光源也是成像系统的重要光学器件,一般为弥补成像环境的缺陷,如环境照度不足或环境照度不均匀,另外可以用不同色温的灯制造特殊的艺术效果。

光源按补光模式分常亮补光与闪光灯,按频谱范围分可见灯和红外灯。

图像传感器简介

结构

图像传感器由光电转换、信号放大、模数转换、时序驱动、输出接口、控制接口等六部分组成。

图像传感器结构

核心指标是分辨率、帧率与感光度。

  • 分辨率即有多少个感光像素
  • 帧率一般取决于AD转换及输出接口速度
  • 感光度一般取决于单像素面积大小

单个像素放大后的结构如下:

单个像素放大结构

分类

  • 按工艺分为CCD与CMOS
  • 按外形分为面阵和线阵
  • 按颜色分为彩色和黑白
  • 按曝光模式分为全局曝光与卷帘曝光,卷帘曝光是一行一行地依次曝光
  • 按感光层位置分正照式与背照式
  • 按接收波长分为可见光、红外、紫外等
  • 按维度分为2D图像与3D成像,3D成像又分为结构光、TOF与双目视差
  • 按宽动态分为单次曝光、多帧多次曝光、单帧多次曝光三类
  • 按输出接口分为MIPI(手机)、LVDS(工业或行业应用,串口)及DVP(低端Sensor,并口)

图像噪声的认识

图像噪声的认识

产生原因

图像噪声分为固定噪声和随机噪声。

  • 固定噪声在图像固定位置,产生原因是不均匀的暗电流与不均匀的放大器,固定噪声是在图像中固定的位置不动,如上图所示的绿色小点。
  • 随机噪声(暂态噪声、白噪声)随着时间随机变化。随机噪声主要由电子的随机运动产生,在光电转换、模拟信号传输、模数转换等过程中产生,分为散粒噪声、闪烁噪声、读出噪声等

噪声特点

  • 随机性、在空间域随机分布、非固定噪声在时间域也随机分布
  • 高斯分布,强度、波长、相位都符合高斯分布
  • 无明显方向性
  • 孤立性
  • 与图像传感器温度与增益值正相关

将噪方法

  • 改进图像传感器设计,从源头减少
  • 物理方法,如降低温度
  • 图像处理算法,分为基于空间域的2D算法与基于时间域的3D算法,3D算法只能消除随机噪声
  • 背景差分法可消除固定噪声
赞(5)
未经允许不得转载:极客笔记 » 数字成像系统认识
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址