首页 > 科技未来 > 内容

计算摄影极大地提升了iPhone的拍照能力,为什么不使用相机?

发布于:2024-06-21 编辑:匿名 来源:网络

在iPhone 11系列发布会上,苹果高管Philip W. Schiller在介绍iPhone 11 Pro系列的成像系统时首次引入了计算摄影的概念。

这个概念也是第一次为公众所知。

事实上,计算摄影的概念并不新鲜。

它最早出现在1994年的一篇公开论文中,确定机内合成HDR、全景照片、模拟散景都属于计算摄影的范畴。

但当时照片的主流载体还是胶片,数码相机才刚刚起步,手机上还没有摄像头。

▲Philip W. Schiller 在 iPhone 11 Pro 发布会上介绍计算摄影。

图片来自:Apple 几十年后,图像记录的载体从胶片变成了数字,手机有了摄像头,计算摄影也从理论演变为走出贫困逐渐成为大趋势。

然而,这种趋势与相机关系不大。

相机制造商仍在稳步提高像素、连拍速度和视频能力。

他们似乎对计算摄影充耳不闻。

他们(直接拍摄)拍摄的照片仍然平庸,并逐渐被智能手机取代。

“超过”。

相反,智能手机芯片的计算能力越来越强,AI、算法、机器学习介入的范围也越来越广。

解释图像的方法越来越多。

最后,经过一系列“算法”处理后的照片也变得更加漂亮了。

如今,很多人外出时更愿意用手机记录和分享,而相机却越来越少见。

这也体现在两者的市场表现上。

智能手机市场快速增长,而相机市场却连年萎缩。

甚至DC(卡片相机)也逐渐消失。

这时候可能有人会问,既然用智能手机拍摄的照片观感这么好,为什么传统相机厂商不顺应计算摄影的潮流,考虑改善直接拍摄的照片观感呢?是相机不够强大,无法计算吗?我们先从“核心”问题开始。

手机的核心是SoC,集成了CPU、GPU、ISP、NPU和基带。

它可以让你进行打电话、拍照、观看视频、玩游戏、上网等操作,也直接决定了手机的性能。

相机的核心部件是图像传感器(CMOS),除了元件面积外与手机类似,用于成像和感光。

另外,控制整个摄像头系统的中央处理芯片称为图像处理器。

以索尼的BIONZ(α7RIII的BIONZ X配备双ISP)为例。

缺点是集成度没有手机高。

BIONZ X中SoC的功能与手机类似。

它控制控制界面和摄像头功能,性能要求不高。

图像传感器采集到的“数据”经过拜耳变换、去马赛克、降噪、锐化等操作,大多依靠ISP,最终将CMOS采集到的数据转换成相机的实时视图。

在这个过程中,相机的ISP不参与计算过程。

它只是把照片当成流水线上的产品,统一处理。

▲ 索尼 BIONZ 很大。

在不涉及“计算”的情况下,相机图像处理器的处理能力远远超过当前智能手??机ISP的处理能力。

但当谈到计算摄影或人工智能功能时,情况就有点不同了。

智能手机的成像过程有点类似于相机,但在最终图像呈现之前,需要ISP和DSP计算、实时调整和优化。

尤其是多摄像头系统成为主流之后,手机上的计算数据量成倍增长。

iPhone 11 Pro系列推出多摄系统后,多摄系统的流畅无缝切换得益于A13 Bionic中两个全新机器学习加速器的庞大数据处理能力,达到万亿级每秒次数。

高频高效的数据处理能力可以吸收三颗摄像头产生的海量数据。

相机的图像处理器大多对原始数据进行预处理,几乎没有计算过程,而手机SoC则包括数据采集预处理和后续计算过程。

两者侧重点不同。

针对不同人群,由于市场细分,手机计算摄影发展迅速。

根本原因是手机的图像传感器(CMOS)尺寸太小。

以目前的技术,想要在物理上超越或者接近相机,只能通过算法来优化。

打造完美观感,例如自动HDR、超级夜景、模拟大光圈、魔幻天变等功能。

▲ 拍照,iPhone 完成的“计算”过程。

图片来自:Apple 不过,这些算法的解读仍然很难实现“个性化”干预,比如滤镜添加到什么程度、HDR高光和暗部保留到什么程度?但对于面向大众的手机来说,让尽可能多的人拍出好照片才更符合手机的市场定位和人群定位。

自从相机发明以来,相机就是一个绝对的“工具”。

为了高效,外观、操控、功能等都会为了效率而妥协。

针对较小的职业人群,自然会更符合他们的需求。

相机会尽可能多地记录色深、颜色和光线等信息,以便用户可以进行更广泛的后期调整,以确定它们看起来是否好看。

不符合他们的需要。

▲ RAW文件记录的信息更多,可以调整的范围更广。

图片来自:本·桑多夫斯基。

对于大多数没有摄影基础的人来说,得到一张好看的照片远比得到一条资料要好得多。

丰富的照片更重要。

对于瞄准专业领域的相机厂商来说,提高RAW记录的色彩深度比提高JPG直接输出效果更符合市场定位。

不过,事情并没有那么绝对,相机也在努力改变。

富士胶片一直致力于相机的直视效果,推出了“胶片模拟”,通过不同的算法让拍出的照片更有味道、更好看。

不过这个过程并没有经过场景计算,而是需要用户自己做出选择。

这有点类似于手机上的一些电影模拟应用程序,并且不涉及所谓的“计算摄影”。

AI后期是相机的大方向吗?在摄影领域,后期处理是必不可少的一步。

计算摄影极大地提升了iPhone的拍照能力,为什么不使用相机?

一方面,后处理软件可以充分利用RAW格式记录的丰富信息。

另一方面,它还可以利用PC的高性能和计算能力来快速处理照片。

与相机厂商不同,几乎所有主流专业后期软件都开始聚焦AI,强调AI的处理能力。

▲ 后期处理软件Luminar 4支持AI自动更换天空。

图片来自:LuminarAdobe的Photoshop在最近的版本中为抠图、修复、换皮等操作添加了自动识别功能,让操作变得越来越繁琐。

脑子,效果越来越精准了。

Mac平台上的Pixelmator Pro照片修饰软件早在2016年就开始使用苹果的Core ML机器学习来识别图像,从而进行色彩调整、剪切、选择,甚至在压缩输出时使用ML机器学习引擎。

▲ Pixelmator Pro 2.0 的图像编辑支持机器学习引擎的帮助。

图片来自:Pixelmator 前面提到,由于芯片AI算力的限制以及利基市场的问题,目前相机厂商在计算摄影方面几乎没有任何努力。

不过后来软件中AI的爆发也弥补了相机在计算摄影方面的短板。

即使在后期软件中加入了AI,相机仍然没有摆脱传统流程。

摄像机记录并由软件处理。

这个过程对于公众来说仍然很麻烦。

对于专业摄影玩家来说,后期软件AI的介入确实可以减轻工作量,让原本复杂的抠图等操作变得简单很多,但仍然无法扭转传统摄影行业的照片处理(创作)流程,与手机完全不同。

不同的。

▲2020年9月全球数码相机出货量远低于2017年。

图片来自:CIPA 根据CIPA数据,相机市场正在逐渐萎缩。

相反,手机市场持续增长。

“计算摄影”在智能手机上成为趋势,并不会改变相机日益专业化的方向,也不会扭转相机市场逐渐萎缩的趋势。

换句话说,即使现在相机拥有接近智能手机的“计算摄影”能力,是否能够拯救“下滑”的相机市场呢?答案当然是否定的。

举个极端的例子,如果可行的话,富士相机将拥有第一的市场份额。

事实上,无反相机第一的位置现在被索尼占据,看起来不太好看。

▲索尼无反相机已经成为很多工作室的工作机器。

图片来自:SmallRig。

面对手机的猛攻,相机只能向更专业的方向发展,不断向上细分市场。

近年来,全画幅万、万的高像素、中画幅过亿的像素、无反相机的视频能力不断逼近专业摄像机,这些都是相机细分市场的产品。

相机日益专业化意味着需要性能更好的图像传感器 (CMOS)。

然而,“计算摄影”严重依赖于单独的机器学习模块。

众所周知,芯片的研发成本高、风险大,相机厂商很难兼顾。

计算摄影和专业化发展是两条不同的路径。

同时,对于专业用户用处不大的“计算摄影”、“AI干预”等功能,相机厂商很可能会因平衡研发费用而暂时战略性放弃。

现阶段或可预见的未来,相机厂商拥抱“计算摄影”难度极大,风险高、投入大、见效慢。

更不用说现在已经有很多专业的后期制作软件使用AI来修图。

底部。

计算摄影极大地提升了iPhone的拍照能力,为什么不使用相机?

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 庄邦宣布完成5000万元Pre-A轮融资,诚和资本独家投资

    庄邦宣布完成5000万元Pre-A轮融资,诚和资本独家投资

    据投资界9月30日消息,网约车平台庄邦宣布完成万元融资Pre-A轮融资,估值3.5亿元。 ,由诚和资本独家投资。   MobileBang官方透露,本次融资获得的1万元将根据投资协议分为三部分。 一部分将用于加大产品研发投入,提升用户体验;另一部分将用于市场拓展,不断扩大市场份额

    06-17

  • 最后一刻的商品是一门好生意吗?

    最后一刻的商品是一门好生意吗?

    最近我家附近开了一个很好的促销活动。 这里给没听说过这家店的人解释一下:这是一家连锁店,专门卖即将打折的商品,所以货品很便宜,经常能买到一些正品。 产品价格优惠 20-30%。 所以当我无事可做的时候我喜欢去购物。 主要的事情就是寻找宝藏。 结果前几天看到新闻,被爆出

    06-17

  • 创新奇智完成逾4亿元A和A+轮融资,未来持续专注B端市场

    创新奇智完成逾4亿元A和A+轮融资,未来持续专注B端市场

    创新启智已完成超过4亿元A轮和A+轮融资,未来将继续聚焦B端市场。 2020年1月24日,创新启智在北京发布战略及最新融资进展。 宣布完成A轮及A+轮融资,总金额超4亿元人民币。 本轮融资由中金甲子领投,原股东创新工场、成都资本继续跟投。 华星阿尔法担任本轮融资独家保荐人。

    06-18

  • 光建科技获1500万美元A轮融资,双湖资本与软银中国联合领投

    光建科技获1500万美元A轮融资,双湖资本与软银中国联合领投

    据投资界6月4日消息,36氪获悉,光见科技已完成1万美元A轮融资。 本轮融资由双湖资本、软银中国资本(SBCVC)联合领投,新中立跟投,老股东北极光、松鹤资本继续跟投。 光建科技表示,其老股东Sunny V基金将帮助光建科技实现产业化。 据悉,本轮募集资金将主要用于光建3D视觉

    06-18

  • 苏州创新产业发展引导基金第二期设立

    苏州创新产业发展引导基金第二期设立

    投资圈(ID:pedaily)1月26日消息,苏州创新产业发展引导基金第二期已完成私募基金产品注册,中国证券投资基金业协会.注册号为:SAGF09。 苏州创新母基金二期规模43.2亿元。 基金管理人为苏州股权投资基金管理有限公司。 采用“母基金+子基金”的运作模式,实行市场化运作、

    06-18

  • 填补国内工业仿真软件底层技术空白,舜云科技获数千万Pre-A轮融资

    填补国内工业仿真软件底层技术空白,舜云科技获数千万Pre-A轮融资

    据12月23日消息,苏州舜云工程新一代流体多物理场据工程数值模拟软件开发商创邦邦卡普软件股份有限公司(以下简称:舜云科技)宣布完成数千万Pre-A轮融资,由顺融资本和相城金控共同投资。 本轮融资将主要用于技术研发迭代,进一步完善基于有限体积法的计算流体动力学软件sho

    06-18

  • 下一个十年,英特尔将不再“挤牙膏”

    下一个十年,英特尔将不再“挤牙膏”

    了解PC硬件的朋友都说,英特尔这几年有点倒退了。 首先,最近几代酷睿处理器的架构略有改进,计算性能并没有太大提升。 被戏称为“牙膏工厂”,10nm量产还需等待一段时间; AMD在桌面上依赖Ryzen处理器 虽然服务器领域的EPYC处理器尚未对至强造成严重威胁,但如果英特尔不做出

    06-18

  • 当量子化学和人工智能应用于新能源行业,会带来哪些精彩创新? -对话

    当量子化学和人工智能应用于新能源行业,会带来哪些精彩创新? -对话

    当今,人类正在经历第三次能源革命,储能、电池等新能源产业进入快速发展期,孕育着巨大机遇和广阔空间。 同样令人惊讶和兴奋的是,一批前沿技术已经开始在这片肥沃的工业土壤中播下美妙的创新种子,加速创新进程。 近日,香港大学北京中心、高榕资本融汇、亿欧汽车联合举办“

    06-18

  • 拼多多“百亿补贴”加码,200元优惠券礼包让你5179元拿走iPhone 13

    拼多多“百亿补贴”加码,200元优惠券礼包让你5179元拿走iPhone 13

    、小米MIX4、vivo X70……哪个平台有bug价格? ?还是我只是在骗你?当然不是!这是拼多多“百亿补贴”场馆此刻的真实价格。 无论是“嘉年华”还是“年终奖”,各电商平台都明白消费者想要的是价廉物美的产品,所以他们打造了专门以折扣为目的的购物节。 但要满足大小城市数亿

    06-21

  • 绿地集团设立100亿碳中和科技投资基金

    绿地集团设立100亿碳中和科技投资基金

    投资界(ID:pedaily)消息,6月30日,据绿地集团消息,集团旗下贵州绿金低碳交易中心(以下简称“绿交所”) “绿地”隆重亮相,同时发布绿色低碳发展战略,并展示了首款具有国家碳中和理念的公益服务产品——“零碳效益”,并签署了战略合作协议。 据介绍,新加坡碳交易所(

    06-17

  • 盈科资本与淄博市人民政府共同发起设立200亿科技创新母基金

    盈科资本与淄博市人民政府共同发起设立200亿科技创新母基金

    据投资界消息,9月25日,盈科创新资产战略合作框架协议签约仪式管理有限公司与淄博市人民政府在山东齐盛国际酒店隆重举行签约仪式,市委书记江敦涛带领淄博市委、市政府各级领导,盈科资本创始人、董事长钱明飞领衔盈科资本主要高管团队出席签约仪式。 当地政府推动创新产业

    06-18

  • 2023快手光合创作者大会:投资4000亿+流量,助创作者实现超千亿

    2023快手光合创作者大会:投资4000亿+流量,助创作者实现超千亿

    投资界(ID:pedaily)8月10日消息,快手光合创作者大会在上海外滩举行。 此次大会以“爱,让我们收获更多”为主题,全面回顾了过去一年的内容生态趋势和增长机会,并发布了创作者服务战略的重大公告。 会上,快手宣布将在明年为超万优质玩家投入超亿流量支持,预计全年帮助各

    06-17