商汤科技也进场：上线“每日新SenseNova”大模型系统
06-18
十年前，Instagram如此火爆的原因之一就是当时的手机镜头太差，所用的滤镜美化来掩盖前者的“无能”。
10年后，情况有所不同。
手机上的镜头越来越多，摄像头模组越来越厚，传感器甚至飙升到1亿像素……然而，近年来，手机厂商并没有继续在“堆料”的道路上奔波。
。
由于手机空间和芯片技术的限制，像素和传感器尺寸的增长速度正在放缓。
但事实上，“相机军备竞赛”并未停止，厂商只是改变了赛道。
自此，“计算摄影”的概念在手机上兴起。
在力求便携的手机上，镜头不能做得太大。
厂商干脆改变了方向：既然根本不可能突破光学的物理限制，那就从“软”入手，通过AI干预来改善摄影。
简单来说，AI告诉它原始硬件看不到的东西。
即使计算摄影在某些方面已经超越了传统相机，但它不仅仅是接近后者。
拍照不仅仅是硬件。
最有代表性的例子就是三年前的谷歌Pixel 3。
仅凭单摄像头，它就在变焦、夜景、虚化等功能上“击败”了竞争对手。
这让用户意识到“堆叠”不一定能满足拍摄需求。
在一款不仅用于拍摄而且存储空间也有限的手机上，用户想拍出一亿像素的照片吗？他们需要的不是“足够大”，而是“足够好”——稳定、平衡、好用、能够激发创造欲望。
手机不是传统镜头；他们的芯片处理能力在不断发展。
这给了手机厂商启发：既然硬件不可能获得与专业相机相媲美的照片，那么AI能否“猜出”缺失的部分，让算法“填补”呢？那么，AI在哪些方面改变了传统手机摄影呢？我们以“超分辨率”为例。
所谓超分辨率，就是将低分辨率的照片变成高分辨率的照片。
人工智能依靠“猜测”来添加低分辨率照片中找不到的细节。
AI如何具备这种能力呢？简单来说，先取出一张高分照片A，然后故意“丢失”一些细节得到一张低分照片，然后放大成一张高分照片，然后进行一系列的特征提取，得到一张足够高分的照片。
拍一张细节高分照片B，然后对比B和A，如果两者接近，说明中间的参数调整正确，AI训练完毕。
手机能够进行大范围的变焦得益于超分辨率。
图片放大后，噪声和抖动会很大。
有了这个功能，就可以通过AI推理来修正噪点和抖动，让画面看起来更清晰。
我们来谈谈夜景模式。
用户在夜间拍照时，往往光线不足，噪点明显。
这时，如果想要有足够的光线进入，就需要长时间曝光，但长时间曝光抖动造成的模糊会很明显。
如果曝光时间不够长，图片会很暗。
如果画面中有高亮度的光线，长时间曝光时光线就会曝光过度。
简而言之，相机将很难同时清楚地看到亮区和暗区。
传统的解决方案是用户先固定设备，长曝光，再短曝光，最后进行后期手动将照片合成一张，费时又费力。
现在手机上的AI可以先进行智能降噪，然后自动拍摄几张长短曝光照片并自动合成。
而且，这一系列动作都是在用户按下快门的短暂瞬间完成的。
就像这样，用户最终会得到一张 HDR（高动态范围）照片。
AI如何帮助照片呈现自然模糊？双摄影相当于人的两只眼睛。
每只眼睛从不同的角度看同一个物体，从而产生视差。
这种差异可以推断出物体之间的前后关系。
如果物体距离较远，则此方法不起作用。
另外，长时间开启多个摄像头会增加功耗，因此业界开始引入AI。
厂商给AI喂了大量的图片素材进行训练。
然后AI可以通过2D照片区分谁在前面、谁在后面。
通过这种方法，还可以实现人像和背景的精确分割。
例如常见的“幻天变”功能对背景的处理。
使用“魔法天空变化”，用户可以随意改变照片中天空的状态。
虽然原始图片是白天的云彩，但当用户选择“星空”效果时，照片将呈现出夜晚的星空。
在强大的AI引擎下，前后背景分离又融为一体，天际线上几乎看不到任何后期处理的痕迹。
还有AI防抖、老照片修复、路人消除等功能，都是由手机上的算法驱动的。
过去几年，厂商们都在争夺镜头的数量；未来，他们将争夺人工智能和算法。
AI在智能手机中的渗透率不断提高，并逐渐与手机摄影融合。
艾瑞咨询发布的《中国人工智能手机白皮书》做到了传统摄像头做不到的事情，数据显示，上半年，短视频应用在消费者常用应用中占据了近32%的单日有效时长。
此外，手机拍摄功能已经成为中国消费者最看重的手机元素，这将持续引导手机厂商提升手机拍摄能力、拍摄功能和用户体验。
《白皮书》指出，手机厂商在拍摄算法上与外部算法公司广泛合作。
近60%的手机拍摄算法是通过与算法公司合作研发获得的。
“AI+光感”手机算法市场高度集中，旷视为龙头。
国内企业的份额接近80%。
除了上面提到的超分辨率、夜景模式和散景呈现之外，手机厂商还通过算法更好地协调和调度更丰富的镜头组，以实现类似于单反相机的照片效果，例如连拍散景。
以及平滑缩放等。
在变焦方面，我们知道12-24mm适合拍摄大场景和风景，24mm适合拍摄日常纪录片，35-50mm适合拍摄人文，85mm适合拍摄人像等。
单颗镜头可以满足这些需求，但添加广角、超广角、长焦等不同焦段的镜头可以应对更广泛的拍摄场景。
然而，手机内部的空间宝贵，而且手机的摄像头模组体积较小，需要封装大量的硬件和系统，因此很难拥有像单反一样的光学结构。
因此，目前手机上的镜头大部分都是定焦镜头。
能够在特定的变焦节点实现真正的光学变焦。
比如我们常见的2倍、3倍、5倍变焦。
在这些光学变焦节点之间的焦距内拍摄图片时，需要通过“裁剪”来实现。
同时，画面也可能跨越不同的镜头。
这时，要实现多颗不同焦距镜头之间更流畅的连续变焦，就需要算法的加入。
一般来说，比如在1.5倍变焦拍摄时，算法会将画面中心区域替换为更清晰的2倍长焦画面，而周边区域则可以使用1倍主摄成像，将两者结合起来，实现双摄摄影的融合。
后置摄像头并不是越多越好，也不是越大越好。
厂商们也开始转变思维，不再只是“如何让一颗镜头变得更强”，而是“如何让多个镜头更好地协同工作”。
AI多摄逐渐走进大众视野，这不仅得益于手机厂商产品的迭代升级，也离不开旷视等AI企业对底层技术的创新与赋能。
以多摄融合为例，旷视的多摄融合算法采用神经网络设计模型，有效解决了传统多摄融合的清晰度不均匀、被摄体边缘出现曲线、部分位置重影、线条等问题。
断裂和错位，以及重复的纹理错位。
算法中的常见问题。
在10月12日旷视举办的AI技术分享会上，旷视研究院研究员范浩强表示，目前基于AI计算摄影的手机摄影是一个光、电、计算的综合过程，涉及到光信号、电信号、AI计算等方面。
如今，AI算法领域越来越大，手机的算力也越来越大。
按照这个趋势，或许未来手机中的所有算法都可以使用AI。
“手机成像是一个系统工程，考验的是各个要素之间的匹配。
旷视科技认为，之前的光感系统是“硬件升级-算法辅助-优化后处理”相对独立的运作。
加上AI，这些流程可以配合软硬件完成升级，这就是旷视首次提出的“AI重新定义光感知系统”的理念。
从整个成像系统出发，配合智能手机的光学系统和传感系统，利用AI算法，通过图像识别、融合、增强、分割等方式升级成像质量，在有限的硬件条件下带来指数级的效果。
推动。
范浩强说，“原来的算法在纹理较弱或者没有纹理的区域计算起来非常困难。
一堵白墙过来后，算法就混乱了，不知道哪个点应该匹配哪个点。
但是神奇的深度学习使得这一切都成为或许，在一片白雪茫茫的场景中，可以计算出精确的光流。
“在AI的帮助下，手机甚至可以做到传统相机做不到的事情。
”以iPhone 13上的“电影模式”为例。
画面中的焦点会根据剧情发生变化，引导观众的视线聚焦在画面中的不同区域。
要达到这样的效果，传统的影视拍摄需要摄影师和跟焦师的默契配合，往往需要三到五次拍摄。
但现在在计算摄影的帮助下，算法可以识别图片中的人物以及人物注视的方向。
这时候手机就知道如何自动调整对焦参数了。
更令人惊奇的是，后期还可以继续调整焦点。
这种自由度是传统相机无法给予的。
“通俗百科上说计算摄影就是在拍摄的时候用计算机进行一定程度的计算修改，这就是美颜模式的意思。
但我认为这个定义并没有真正表达出计算摄影的本质，它会让“人们大大低估了计算摄影的力量……计算摄影可以让你的拍摄设备像摄影师一样理解你正在拍摄的物体，这应该叫智能摄影。
”科普作家王骥说道。
用强大的算法创造新的视觉想象。
2020年4月10日，全球多地天文学家同时宣布黑洞首次真实出现。
这是人类历史上第一张黑洞照片。
这个明亮的火环令人兴奋，有望证实爱因斯坦的广义相对论在极端条件下仍然成立。
但由于黑洞本身不发光，所以很难拍摄到这张照片。
研究人员组装了8架高灵敏度射电望远镜，分布在世界各地，从智利阿塔卡马沙漠到南极冰盖，从西班牙山脉到夏威夷群岛。
这8台射电望远镜利用“甚长基线干涉测量技术”联手模拟口径与地球一样大的望远镜。
收集资料后，经过大约两年的数据处理和理论分析，照片才成功“冲洗”。
换句话说，黑洞照片也属于“计算摄影”。
项目总监谢泼德·杜尔曼（Shepard Duleman）表示：“技术突破、世界上最好的射电望远镜之间的合作以及创新算法的结合，为理解黑洞打开了一扇新的窗口。
”计算摄影就是这样，用AI突破光学的物理限制，用强大的计算能力创造新的视觉想象，用深度学习超越人眼可见的细节。
计算摄影技术的不断发展将会催生一些明星公司。
与手机的物理升级相比，计算摄影是无形的，而为计算摄影提供技术的AI公司更是无形。
AI多摄能力逐渐走进大众视野，不仅得益于手机厂商的迭代升级，也离不开旷视等AI企业对底层技术的创新与赋能。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-17
06-17
06-18
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态