凭单摄完虐iPhone XS 揭秘谷歌相机夜视功能

　　Google Pixel 手机一直坚持单摄，虽然硬件不算顶尖，但是凭借着强大的算法，Pixel 手机的照相水平非常突出。上个月，Pixel 3发布会的 Keynote 显示其暗光拍照的成像效果甚至完虐 iPhone XS，让人惊叹不已。近日，Google 又为自己的相机应用增加了“Night Sight”功能(夜视功能)，用户无需三脚架和闪光灯就能在夜间拍出锐利干净的照片，并获得了众多评测博主的好评。

　　本文就将为读者介绍弱光条件下拍照的难点以及机器学习在这一问题中的应用。

　　01.弱光拍摄的难点

　　大家如果在夜晚拍过照片的话，肯定会发现拍出的照片上有很多噪点，使得照片看起来颜色和亮度都很不均匀。噪点或者叫噪声的来源有两个：散粒噪声和读取噪声。散粒噪声指进入感光元件的光子数量太少造成可观测的光子数量不均。散粒噪声的出现与我们所使用感光元件的质量没有关系，不过智能手机的感光元件太小，所以受散粒噪声影响比普通相机更大。读取噪声则是由将电信号转换成读数时的随机错误造成的。感光元件的质量越好那么读取噪声也就越小。

　　把所有噪声的来源都考虑进去我们可以得出一个信噪比，信噪比越高则意味着我们拍出的照片质量越好。感光元件大小不变的情况下信噪比和曝光时间成正比，所以看来只要练成铁手就能完美地解决这个问题。然而还是想简单了，就算拍摄者能长时间稳稳地举着手机被拍的对象也没法保持长时间不动。

　　2014年发布的 HDR+ 功能改善了散粒噪声和读取噪声的问题，不过 HDR+ 的本意如它的名字一样是为了提高照片的动态范围。HDR+ 的原理是连拍很多张照片，然后通过图像识别把多张照片进行叠加成一张照片。每张照片的曝光时间能根据用户手抖的程度和拍摄目标的移动自动调节来保证照片的锐度，这样就在保证锐度的前提下增加了曝光时间，所以照片的信噪比也能提高了。

　　看起来弱光拍照的问题已经完美解决了，就连拍几十张后合并成一张就行了。然而实际的情况是就算用多张照片合并的方法还是对光照有要求，光照低于一定的标准就算再多拍效果也不好。标示光源亮度的物理量是光通量，它的单位是流明。单位面积接收到的光通量叫做照度，单位是勒克斯。他们之间的关系大家可以参照压力与压强的关系来理解。为了让大家能直观地了解不同勒克斯的概念，下面表中用生活中的场景与勒克斯数值做了对比：

　　普通的手机相机从30 勒克斯开始就不太行了，如果使用 HDR+ 或者类似合成多张照片的技术大概能降到3 勒克斯但再低也就不行了。我们夜视功能的目标是让手机在 0.3 到 3 勒克斯之间不补光只按一次快门也能拍出好照片，而要实现这一目标最重要的手段就是尽可能多地捕获光子。

　　02.曝光时间限制和模糊问题

　　延长曝光时间虽然能提高信噪比拍出更干净的照片，但也同时带来了两个问题。Pixel 手机默认的拍摄模式是零快门延迟，意思是说用户一打开相机应用其实相机就开始拍照存储在缓存里了。当用户按下快门的时候手机会提取最新拍摄的 9 至 15 张相片来进行合成，这样就能保证拍到的是用户按快门的那一刻。

　　用户在拍照时手机会显示预览，为了维持最低 15 帧的显示刷新，HDR+ 能实现的最慢快门速度也只有 66 毫秒。所以为了进一步延长曝光时间，夜视功能改变了拍摄模式。用户使用夜视功能拍照时按下快门后相机才会开始拍摄，所以用户必须维持一小段时间尽量不动。

　　延长曝光带来的第二个问题是画面模糊。虽然 Pixel 2 和 Pixel 3 配备了光学防抖镜头但最多只能支持到 1/8 秒快门。Pixel 3 为了解决这一问题应用了所谓的动作测量技术，也就是使用光流法来判断画面的移动，然后再动态调整快门速度来让画面尽量清楚。Pixel 1 ?和 Pixel 2 虽然不会默认使用动作测量，不过用户开启夜视模式时它们也会使用动作测量。这样如果用户画面晃动不大的话每张照片的曝光时间最多能到 333 毫秒。这项技术也针对 Pixel 1 和使用了脚架的情况进行了优化。Pixel 1 没有光学防抖，所以快门的时间就稍微短一些而如果手机完全没有移动的话快门时间最高可达一秒。

　　除了快门时间，应用也会根据情况调整所拍的照片张数来减少用户等待的时间。如果使用三脚架只拍 6 张就可以合成了，若为手持则最多会拍 15 张。所以使用 Pixel 手机拍照，根据相机是前置还是后置、手持稳定性、画面稳定性和亮度的不同，合成前所拍摄的照片在 15 张 1/15 秒快门照片和 6 张 1 秒快门的照片之间。下面的图中我们可以看到一点区别：