深入浅出Gamma

gamma可以理解成根据人眼的特性,对真实世界的动态范围进行压缩的一种方法。

加入知识星球与更多Camera同学交流
– 星球名称:深入浅出Android Camera
– 星球ID: 17296815

为什么要用Gamma

很多人对gamma的理解是,sensor对光线的感知是线性的,而人眼对gamma的感知是非线性的,因此需要一个映射?

camera拍出来的raw图,如果直接看,大部分区域都特别的暗,和现实世界完全不一样,因此需要通过gamma将暗处提亮
这个其实只是站在ISP调试的角度去理解ISP的。

raw图应该就是现实世界的还原,为什么我看raw图特别的暗呢?那我们平时通过显示屏看图片的时候,图片经过了一系列的非线性转换,为什么还和真实世界相同的效果呢?难道真实世界是指数的?

要理解为什么要用gamma,需要了解显示屏的gamma,打通了摄像头从拍照到显示的这个回路。

  • 首先摄像头是线性感光的,现实世界的光线强度就是线性的,这个动态范围是很大的,通常摄像机拍出来的raw图都是12比特的,也就是说动态范围可以到10^12。即可以测量的最亮亮度是最暗亮度的4096倍,转换成db,就是72dB。当然即使是这样的动态范围,还是不足以完美的描述现实世界,因此搞了一系列的高动态范围的操作,可以让动态范围进一步的扩大。

  • 但是拍出来的照片需要考虑存储,如果线性存储的话,这个存储量是很惊人的。有没有方法把现实世界12比特以上的数据压缩到8比特呢?通过移位肯定是不行的,会造成精度损失。因此聪明的科学家根据人眼对亮度的感受是成指数的原理,对数据进行非线性压缩,这个gamma曲线是经过实验得出的。亮处压缩的多,暗处压缩的少

  • 最后一步就是对照片的还原。显示屏,和现实世界以及camera拍出来的raw图一样,都是一个线性的世界,而存储的图片亮度是个非线性域。图片怎么压缩的,就来一个反变换函数进行解析(解码)。
    微软联合惠普和爱普生提出了sRGB标准,推荐显示器的gamma值为2.2。display P3的标准gamma值为2.6,由于这个gamma值更大一点,所以P3的照片用普通的显示器看应该更亮一点,sRGB的照片用p3显示器看应该更暗一点,还可能会让亮度的差异变得更加明显,不够平滑,导致大面积色块的问题。



gamma的发展

Gamma 曲线的产生最早可以追溯到电子显像管的模拟时代:本来自然光线进入人眼是 一个线性变化结果,但是由于当年 CRT 显示器所使用的电子管的模拟特性,会使得电 子束发生亮度衰减,该衰减基本上符合幂函数:
F(x) = x^2.2, x∈[0,1]

所以为了弥补 CRT 带来的衰减,模拟时代的电子工程师们在视频制作的时候加入一个 反向增益 F(x) = x^(1/2.2), x∈[0,1]。这条幂次约为 0.45 的曲线就是现在我们常用的 Gamma 曲线的原型。

CRT gamma curve & Gamma correction curve

CRT gamma curve & Gamma correction curve

到了数字时代,本来 LCD 显示屏不存在衰减的问题,但是由于为了和模拟时代的视频 内容兼容,工程师人为在 LCD 显示上做了类似 CRT gamma 的信号衰减。并且意外的 发现带来了两个好处:

  1. CRT gamma 的曲线特征是压缩暗区,增大亮区。在早期显示亮度不够高的情况 下,能够有效压缩暗区噪声同时保留亮区细节
    在早期动态范围不够高的情况下(0.5~100 nit),CRT gamma 曲线与 Barten 曲线 契合度较高。这意味着 CRT gamma 曲线对码字的利用率很高。
    因此,CRT gamma 曲线就这么被保留下来并沿用至今。

  2. 由于幂函数在 0 点的斜率为无限大,这意味着靠近信号 0 附近的噪声会被迅速放 大。为了抑制噪声,ITU-R 规定输入小于 0.018 的信号均使用一次线性函数进行“放 大”。为保证曲线平滑性,该线性函数的斜率与原幂函数在 0.018 处的斜率相等。最终 修正后得到了我们目前最常用的 Gamma 曲线(BT.709):

gamma的发展

虽然大部分情况下,使用 0.45 次幂的 Gamma 可以满足需求,但是如果观看环 境(ambient light)发生变化,则需要用不同的 Gamma 曲线来进行拟合。例如制作电 影时使用的 Gamma 曲线约为 0.45 次幂,但是在播放时采用的设备用的是 2.6 次幂,两 者拟合的结果并非线性,但是在电影院这种环境光很微弱的情况下,能够给观众带来 更好的对比度效果和观看体验(System Gamma)。

在 SDR 时代,由于传输曲线需要表达的动态范围并不大(最大只有 300nit 左右),因此 Gamma 曲线性能是满足 JND 需求的。但是进入到 HDR 时代后,由于需要表示的动态范围大了至少两个数量级(103->105), 因此 Gamma 曲线性 能已不能满足 JND 需求。所以研究人员认为,直接使用 Barten 曲线用来作为传输曲线,应该是性价比最高的方 法。通过数学拟合,研究人员得到了线性域下用来描述 Barten 曲线的数学公式。这便 是 PQ 曲线(Perceptual Quantized Curve)

其中:



gamma的发展

m1 = 2610/16384 = 0.1593017578125
m2 = 2523/4096*128 = 78.84375 
c1 = 3424/4096 = 0.8359375 = c3 - c2 + 1 
c2 = 2413/4096*32 = 18.8515625 
c3 = 2392/4095*32 = 18.6875

除了 PQ 曲线,研究人员在研究 Barten 曲线时发现,原 Gamma 曲线在低亮度区域的曲 线性能与 PQ 曲线近似,而在高亮度区域的曲线性能有较大损失,而满足 Log 形式的 曲线的曲线性能在高亮度区域与 PQ 曲线近似。因此研究人员决定将 Gamma 曲线和 Log 曲线结合成一条平滑连续的曲线作为传输曲线。这便是 HLG 曲线(Hybrid LogGamma Curve)

gamma的发展

其中:
a=0.17883277, b=0.28466892, c=0.55991073

不管是 SDR 的 Gamma 曲线,还是 HDR 的 PQ、HLG 曲线,都是为了尽量使用有限的 带宽来表达线性光的强度。如果观察采集、传输、显示这一整套端到端的系统,我们 会发现整个视频信号处理的过程,就是“将拍摄现场的场景光线颜色信息还原到观看 的显示设备的光线颜色信息”的过程。而这个过程,被称为 OOTF(Opto-optical Transfer Function,光-光转换曲线)



OOTF 系统框架示意图

OOTF 系统框架示意图

和渲染之间的联系

游戏界也长期忽略了显示器的gamma问题,导致渲染的画面偏暗,错了几十年。游戏渲染的其实是个线性世界,如果直接输出显示,由于显示器自带一个2.2的gamma,会导致渲染出来的画面总是暗沉沉的。因此游戏渲染在输出前需要先用gamma进行gamma矫正,再送去显示。

疑问
既然显示屏是按照2.2次方的gamma对图片进行还原,理论上isp应该让照片更加符合现实场景,那么为什么不直接在raw图上用1/2.2次方的gamma处理呢?

答复:可能是由于镜头的影响,sensor感知到世界和现实世界有一定的差距,同时很多时候都需要对图片进行一个对比度等效果的增强,如果在这个基础上再去乘以一个增益,会带来更多的精度损失,还不如用一条自定义的gamma一步到位。

赞(3)
未经允许不得转载:极客笔记 » 深入浅出Gamma
分享到: 更多 (0)

评论 抢沙发

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址