Apple 给 iPhone 12 系列的影像系统带来了什么创新?

本文来自广告导演、NOMO创始人@flypig,爱范儿经授权发布。JonMcCormack在Apple担任软件副总裁。他的重要工作:进一步提升iPhone的影像系统。在测试了iPhone12和12Pro…

本文来自广告导演、NOMO 创始人 @flypig,爱范儿经授权发布。

Jon McCormack 在 Apple 担任软件副总裁。他的重要工作:进一步提升 iPhone 的影像系统。

在测试了 iPhone 12 和 12 Pro 之后,我对影像系统中的改进大感兴奋,计算摄影的加成功不可没。同时,我也产生了不少疑问。在和 Jon McCormack 的越洋电话中,他进行了尽可能详尽的回答。同时参与访问的还有 iPhone 12 的产品经理 Vitor Silva。

以下为采访内容:

Q:我在这几天试用 iPhone 12 系列的过程中,感受到了照片视频拍摄质量的大幅提升,令人非常高兴。能不能先请 Vitor 简单介绍一下今年 iPhone 12 系列的改进?

首先,我们在 iPhone 12 和 12 Pro 上放入了 f/1.6 光圈的主摄像头。这是 iPhone 上光圈最大的摄像头。所以你的照片和视频都会有更明亮的画面和更少的噪点。而且我们这次采用了 7 片的镜头片租,让画面得到了进一步提升。

然后,我们在 iPhone 12 Pro 上放入了全新的科技 ——LiDAR。它的全称是「light detection and ranging」。通过检测一束光发射再返回的时间,判断物体的距离。因为 LiDAR 可以在黑夜里工作,我们可以用它加快相机在夜景中的对焦时间,最快能够提升 6 倍。

这些新功能的背后,都是 iPhone 最新的 A14 仿生芯片,这是所有只能手机里最快的芯片。以及全新的图像信号处理器,能够更好地进行画面融合,减少早点,并带来了更好的 HDR 视频能力。

在这些硬件的支持下,我们走向了第三步,也就是软件系统。Jon McCormack 将会为你进一步介绍。

Q:我们在今年的 iPhone 发布会上听到了很多次「计算摄影」(computational photography)。Jon 是负责软件的副总裁。请您告诉我,Apple 如何看待「计算」和「摄影」之间的关系?

在过去,我们要创作出画质更好的照片,只能在「拍摄」这个环节去提升硬件。我们买非常非常大的胶片 —— 大画幅相机的底片真的很大一张,安装起来也很麻烦 —— 去买非常非常贵的镜头,去手动控制景深和曝光,慎重地按下快门。

但是我们现在用的 iPhone,镜头只有这么小,感光元件也只有指甲盖大。那么我们如何找回模拟时代的体验?我们要靠「计算」,让手机做很多的数学题,通过各个传感器 —— 比如最新加入的 LiDAR—— 获得的信息,让手机自动完成过去「数码暗房」里手动完成的工作。

Q:那么,「打赢专业的单反和电影机」是你们的目标吗?

这不是我们的思维方式。

我们在 iPhone 12 的样片拍摄过程中,能把摄制团队压缩到非常小,只有几个人就完成了样片拍摄。过去,你要拍摄这样的镜头,要很多人,有的人扛机器,有的人测光,有的人对焦,有的人操作电影机。这种变化,才是我们工作的核心。

我们的目标是让每个人都能讲述自己的故事,而且让每个人都能用到最好的科技 —— 比如「杜比视界」。他们可以从口袋里掏出一台小巧的手机,拍下身边温馨的画面,完成编辑,再分享出去,整个流程里都是「杜比视界 HDR」的视频。这种体验非常美妙。

Q:但现在的手机视频,似乎还不像手机拍照片那样,在「计算摄影」上达到很高的完成度。这里面的瓶颈是什么?

拍摄视频和拍摄照片还不太一样。在拍摄照片的时候,手机有足够的时间,去做后置的计算处理。但是在拍摄视频的时候,一秒有 30 帧甚至 60 帧,需要完成的计算任务就非常多了。

在过去的几年时间里,手机视频的中间影调的成像质量已经被解决得很好,大家的水平都差不多。

那么,挑战主要集中在阴影和高光。你注意观察的话,今年 iPhone 在画面暗部的噪声已经少了很多,画面干净了很多。另外,我们今年将视频的色深从 8 比特提升到了 10 比特。我们利用多记录的这些色彩信息,也对高光做了更好的还原。

还有,我们今年在延时摄影里也加入了「夜景模式」。这其实是视频的范畴,不是拍摄静态照片。这和照片的「夜景模式」其实是两套不同的代码,因为拍视频需要更快的处理。照片和视频的「夜景模式」里,共享了很多计算逻辑和知识,但本质上还是非常不同。

Q:你觉得现在手机感光元件的实际动态范围,能够喂饱 HDR 视频所能承载的动态范围吗?

手机视频的改良是一条非常漫长的道路。A14 这个芯片,里面加入了大量对 HDR 视频拍摄能力的优化。它的神经网络引擎速度提升了 80%,它提供了很强的多帧融合(fusion)能力。你将 iPhone 12 Pro 的视频和上一代相比,已经有了长足的进步。

而在未来,你会看到更多这方面的提升。

Q:我看现在 iPhone 的「杜比视界 HDR」视频,传到电脑上以后是 HLG 曲线。这和我们过去处理的「杜比视界」素材 —— 它们都采用了记录绝对亮度值的 PQ 曲线 —— 好像不太一样。为什么这么做?

在 iPhone 内部,这是一个完整的「杜比视界」拍摄流程。这是一个全新的 8.4 版本的标准。我们和杜比进行了很深入的合作,这个标准将会得到更大范围的应用,将会有更多的设备从中受益。

你看到的 HLG 曲线是为了更好的兼容性。我们希望这个导出的视频文件,能够在各种各样的设备和屏幕上观看,而 HLG 曲线满足了这个需求。

Q:我看现在的 HDR 视频,如果直接从手机传到社交网络上,颜色有点偏差。这个兼容性问题如何解决?

在 iPhone 内部的视频流程里,我们保存了两套 metadata,一套对应于 HDR,一套对应 SDR。

随着 iPhone 12 和 12 Pro 的上市,我们将会推送新的 iOS 版本,到时候会有新增加的 API,让 app 告诉系统,他们是否支持杜比视界 HDR 视频,这样系统就会上传正确动态范围的版本。

Q:今年的 HDR 照片,我看好像和去年的 HDR 照片不太一样。似乎高光更亮了?是这样吗?

相比于 iPhone 11 Pro 拍摄的 HDR 照片,我们今年在存储下来的照片文件里面,还增加了一个「高光导图」(Highlight Map)。

这样可以充分利用我们今年推出的 Super Retina XDR Display 来展现出更高两档的高光,让用户直接在手机屏幕上看到更大的动态范围。这也是为什么,你在手机上看你拍的蓝天白云,会觉得云比过去的手机上更亮了一些。

采访者注:

在测试过程中,我们看到,使用 iPhone 12 系列拍摄的视频,HDR format 是「Dolby Vision, Version 1.0, dvhe.08.04, BL+RPU, HLG compatible」。

在「dvhe.08.04」字符串中,「dvhe」指杜比视界高性能压缩视频(Dolby Vision High Efficiency)。根据白皮书《Dolby Vision Profiles and Levels Version 1.3.2》的信息,「08」指 profile 版本为 8,「04」指 level 为 1920 x 1080 @ 30。

Profile 8 的编码为「10-bit HEVC」,信号兼容性为「1, 2, or 4」,既 HDR10、SDR 及一种「在特定的广播和移动设备」上工作和「为了某些特定设备优化」的标准。(引用自杜比在 2019 年 9 月 16 日发布的公开资料。)

「BL+RPU」指「base layer + reference picture unit」。我们猜测, iPhone 拍摄的 HDR 视频可能在 HLG 曲线之外,为回放设备提供了正确解析 SDR 和 HDR 色彩的参考信息(RPU),将 HLG 曲线记录的色彩进行再次解析 —— 既是 Jon McCormack 所说的「两套元数据」。

实际上在 iPhone 12 录制的视频里,存在三套元数据。我们暂时无法知晓各自对应的用途。

截止发稿时为止,搜索不到更多的关于「Dolby Vision Profile 8.4」和 iOS、macOS、tvOS 上关于「杜比视界新 API」的资料。

声明:该文观点仅代表原作者本人,巴拉号系信息发布平台,仅提供信息存储空间服务。

(0)
上一篇 2022年2月28日 11:15
下一篇 2022年2月28日 11:15

相关推荐

  • 微信群视频,

    微信群视频,非法持有、微信群转发暴恐视频,可能构成犯罪!日前,在全民国家安全教育日前夕,北京高院通报了两起涉恐案件,分别涉及宣扬恐怖主义、极端主义罪和非法持有宣扬恐怖主义、极端主义物品罪,两名被告人均已获刑。法官提醒,作为一名中国…

    推荐 2022年5月21日
    014
  • 腾讯音乐要抱紧视频号的大腿

    失去了独家版权,又面临营收、监管等多方压力,想要坐稳在线音乐霸主地位,腾讯音乐只有抱紧视频号的大腿,才能赢得一线生机。在直播税收整改、音乐版权非独家监管、开屏广告监督的大环境下,腾讯音乐娱乐集团(简称TME)面临的竞争压力前所未有…

    推荐 2022年3月30日
    019
  • 小米电视怎么投屏,

    小米电视怎么投屏,在小米电视上进行投屏,常用有三种方法,一是小米手机扫码直接投屏,二是安装第三方软件进行投屏,三是通过windows操作系统进行投屏。需要注意的是,投屏的时候,小米电视和另外一个设备必须在同一个局域网内。如果你有一…

    推荐 2022年5月19日
    032
  • 苏州一高速连夜加装刀片防护网 到底是怎么回事

    这段时间,全国多地新增本土确诊病例和无症状感染者,其中就包括上海或苏州。据最新消息称,苏州一高速连夜加装刀片防护网,这样做究竟有何用意?具体原因跟小编一起去看看吧。4月18日,苏州一男子发布一条在高速上加班装刀片防护栏的…

    推荐 2022年4月20日
    047
  • 中视频狂奔 短视频不香了?

    短视频风风火火了几年,从最初的求短到渐渐变得越来越长,就连抖音的孪生兄弟TikTok也在今年宣布将视频长度延伸至10分钟。短视频不短,中视频顺势而起,有人还在中视频的赛道赚了个盆满钵满,有人满怀希望入局却黯然退场。中视频究竟能不…

    电商 2022年3月23日
    032
  • 张颐武委员建议:鼓励各领域专家、学者在短视频平台开展科普

    澎湃新闻记者张成杰近年来,短视频、直播这两种新兴网络媒介,分别以体量轻巧、互动性强的特征,风靡各年龄段网民群体。短视频、直播平台的优质知识内容供给也日益充分,形成“知识普惠”效应,但仍有问题亟待解决。对此,全国政协委员、民进北京…

    推荐 2022年3月3日
    022
  • 11点聊电商:跟着刘畊宏练真能瘦?业内人士:能 但强度偏低

    整点电商:截止11点,你错过了哪些电商圈大事儿小情?邦点报①自4月起,京东超市旗下的线下门店——京东母婴生活馆首先在郑州、成都等核心城市的部分门店为会员提供“7天无理由退货”服务,服务范围覆盖大部分品类商品。消费者在线下门店购物…

    电商 2022年4月24日
    076
  • 抖音申请对去水印公司强制执行

    7月8日 消息:天眼查App显示,7月7日,抖音关联公司北京微播视界科技有限公司与厦门易启点科技有限公司不正当竞争纠纷案公布。 原告微播视界称,被告易启点公司在其运营的“一键去水印…

    站长 2022年7月8日
    06
  • 照片一般洗几寸的,照片一般洗几寸的好看

    照片一般洗几寸的,照片一般洗几寸的好看水是生命之源,人体内各种生理活动、生化反应几乎都需要水。不同的饮用水的理化性质有所差异,长期饮用会对机体健康产生不同的影响。此外,饮用水安全也是不容忽视的重要问题。如今市面上我们见到的饮用水花…

    推荐 2022年6月3日
    09
  • ae和pr,ae和pr的区别

    ae和pr,ae和pr的区别PR详解:prAdobePremiere是一款由Adobe公司推出的常用的视频编辑软件。现在常用的版本有CS4、CS5、CS6、CC、CC2014、CC2015、CC2017以及CC2018等。是一款编…

    推荐 2022年5月27日
    014

联系我们

联系邮箱:server#balahao.com
工作时间:周一至周五,10:30-18:30,节假日休息