拥有90万粉丝的日本第一自媒体《东京新青年》获2000万元投资
06-18
这两年，我们听过计算摄影这个词太多次了。
说到计算摄影，人们自然会想到谷歌的Pxiel系列手机。
这个系列可以说开创了计算摄影的先河。
它向我们揭示了计算摄影的力量和魅力。
正是因为计算摄影的力量如此惊人，这两年逐渐回归的手机厂商终于也投入其中。
而谷歌此时已经在做更多的花样了。
“人像光效”最初是在谷歌今年 10 月发布 Pixel 4a 和 Pixel 5 时作为这一代 Pixel 独有的功能推出的。
但日前，谷歌对相机和相册应用进行了更新，在 Pixel 2 之后将这一功能委托给用户。
受到人像摄影师使用的摄影灯的启发，Portrait Lighting 重新定位和建模光源，然后添加新光源到照片的场景。
它还可以识别初始照明的方向和强度，然后自动补充照明情况。
如此强大的计算摄影功能自然离不开神经网络的机器学习能力。
以手机人像光照模式下拍摄的照片作为数据库进行训练后，“人像光照”的后期制作能力启用了两种新算法： 自动添加合成光源：对于给定的人像照片，算法合成并添加外部光源与现实生活中摄影师的照明一致的光源。
合成后重新照明：以最自然的方式为给定的照明方向和肖像照片添加合成光。
先说第一个问题，就是光源的位置和添加的确定。
现实中，摄影师通常用经验和感性的方法，通过观察光线落在拍摄对象脸上的强度和位置来确定如何用光。
但对于AI来说，确定现有光源的方向和位置并不容易。
为此，谷歌采用了一种新的机器训练模型——全向照明轮廓。
这种新的照明计算模型将面部视为光探测器，从所有照明中推断光源的方向、相对强度和颜色，并使用另一种面部算法来估计照片中头部的姿势。
虽然听起来很高端，但实际训练模型的渲染效果还是相当可爱的。
它将把人的头部视为三个圆形的银色球形物体。
顶球的“纹理”最粗糙，用于模拟光的漫反射。
中间的球体也是磨砂的，用来模拟更集中的光源。
底部的球是镜面“材质”，用于模拟更平滑的镜面反射。
此外，每个球体都可以根据自身的特点反映环境照明的颜色、强度和方向性。
这样Google就可以在后期得到合成光源的方向。
例如，经典的人像光源位于视线上方 30°，与相机轴成 30° 到 60° 之间。
谷歌也遵循这一经典规则。
学会了给人像添加光源的方向之后，接下来要做的就是如何让添加的光源更加自然。
上一个问题有点像《独孤九剑》的剑谱。
一旦你学会了，你就能够做一些固定的问题。
解决后一个问题，需要在尽可能多的实战中修炼《独孤九剑》，融合不同的实际情况，进而学习破译世间各种武功。
为了解决这个问题，谷歌开发了另一种新的训练模型来确定添加到原始照片中的自定向光源。
一般情况下，不可能用现有的数据来训练这个模型，因为它无法面对近乎无限的光照，而且必须完美匹配人脸。
为此，谷歌创造了一种非常特殊的机器学习训练设备——球形“笼子”。
该装置设有 64 个具有不同视角的摄像头和可单独编程的 LED 光源。
如果你去过杜比影院，杜比影院预演中有一个环节，声音在半球形穹顶中移动，模拟现实中近乎无限的方向。
谷歌的设备实际上也遵循类似的原理。
通过不断改变光照的方向和强度，模拟复杂的光源，我们就可以获得人类头发、皮肤、衣服反射光的数据，从而得到复杂光源下光照应该是什么样子。
谷歌一共邀请了70名不同的人来训练这个模型，他们具有不同的脸型、发型、肤色、衣服、配饰等特征。
这确保了合成光源尽可能接近现实。
另外，谷歌并没有直接通过神经网络模型输出最终图像，而是让神经网络模型输出分辨率较低的商图像。
这是对商图像是什么的解释。
我们可以将一张图片分解为两层：底层和细节层。
底层包含图像的低频信息，反映图像大尺度的强度变化；细节层包含图像的高频信息，反映了图像小尺度的细节。
最底层乘以细节层就是源图像，细节层也可以称为商图像。
然后通过原始图像底层采样时在输入商图像的数据上添加额外的光源，就可以得到最终的输出图像。
最后的过程是这样的。
首先给定一张图片，然后计算图片中人的表面法线，然后计算图片中的可见光源，通过神经网络模型模拟附加光源并输出较低分辨率的商图像，然后使用由于细节层与原始照片的底层相乘，从而产生添加了额外光源的肖像照片。
谷歌还对管线做了很多优化，让模拟光效可以在手机上实时交互，而整个模型的大小只有10MB左右。
Pixel 5的人像光效可以说是谷歌计算摄影的典型案例。
通过不断训练神经网络模型，手机可以模拟现实生活中的人像照明。
完成了计算摄影新的应用场景。
有人说摄影是一门艺术，计算摄影从根本上来说是对摄影的侮辱。
然而，自从2000年法国人达盖尔制造出第一台实用相机以来，相机就从小众发展到大众化，直到手机相机的诞生，每个人都有几乎平等的拍照机会。
而人们的内心表达也逐渐丰富了摄影艺术。
是的，计算摄影既是“摄影”，又是“阴影计算”，但算法早已成为手机摄影不可或缺的一部分，追求的仍然是模拟现实中可以达到的效果。
毕竟没有人会把“魔法改变天空”称为计算摄影。
而当苹果和谷歌在计算摄影上越走越远时，我们发现算法其实是比硬件更强的壁垒。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-17
06-18
06-17
06-08
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态