10月国庆月,中国青年报制作的“青春图志70年”系列和“不一young的中国”火了,作品展现新时代中国的发展伟力和青春气息。其中短视频作品用抠像、快闪等亲切的形式,用贴近年轻人的方式让青年“玩”起来。不少时尚博主还有素人,看过之后,都表示想尝试类似的抠像作品。
其实视频抠像不是新鲜事物,特效大片绿幕电影早已有有之,以前工作人员将视频拆解成帧画面,然后用专业处理软件一帧一帧的抠。如今随着手机AI处理能力日趋提升,我们普通用户不需要专业能力,在手机也能轻松实现这一功能。
我们只需要借助Versa团队的绿幕侠APP,就能够边录制边抠像。值得注意的是,Versa团队把运算放在手机端而非云端,这是因为在云端处理往往有100毫秒的时延,绿幕侠视频频率大约是30帧/秒,意味着APP要在1秒内完成30张图片的AI图像语义分割处理,一张图片约为33毫秒。“绿幕侠”是实时抠图替换背景,有时延便无法做到实时,此外运算放在手机端还有节省费用和个人隐私方面的考量。
所以这就需要手机拥有非常强大的AI算力作支撑,目前许多手机的芯片依然带不动他们的AI模型,芯片算力不够的手机上运行,效果出现帧数减半、卡顿或者精度不足也是无可避免的。为此,我们对比两款知名度不错的手机荣耀9X与小米9,来了解手机端对视频抠像的关键所在,看看谁能满足年轻人的实时视频新玩法。
从对比结果可以看到,荣耀9X与小米9都实现抠像视频作品创作。不过二者作品的成片效果却不尽相同。对比可以看到,小米9在动作幅度较小画面表现尚可,只是对眼镜框、耳朵等细节处理略有不足。反观荣耀9X在动作幅度较小画面中,镜框以及耳朵头发细节均细腻抠像。
在动作幅度较大的画面中,小米9成像里人物的手臂、足部还有头发等位置全都判断失误,画面表现表现则差强人意,基本不具备社交分享的能力。而荣耀9X在动作幅度较大的画面中,人物表现始终完整,轮廓边缘清晰自然,同时在手臂晃动至身后时较远位置时选择隐藏,避免“手块斑”效果。综合来说,荣耀9X的抠像表现远胜于小米9。
造成二者表现截然不同的原因是什么?
照理说,小米9采用7nm芯片骁龙855,荣耀9X也采用的是7nm芯片—麒麟810,那么为什么会造成二者如此大的差距呢?答案的关键点在于二者NPU算力差别。
荣耀9X之所以能在视频实时抠像表现得这么优异,这与它所搭载麒麟810芯片的AI算力有很大的关系。据权威AIBenchmark跑分网站测试结果显示,麒麟810芯片的AI能力跑分超过了32000分大关,比小米9所搭载的处理器骁龙855高出6000多分,高居排行榜第一。
而且荣耀9X的SoC麒麟810采用达芬奇架构,它不同于以往标量、矢量运算模式,达芬奇架构以高性能3D Cube计算引擎为基础,针对矩阵运算进行加速,可以大幅提高单位面积下的AI算力,分激发端侧AI的运算潜能。神经网络运算数据为3D格式,需要处理单元的创新,NPU在处理AI任务时,性能和能效远高于CPU和GPU。所以麒麟810不仅算力和功耗达到了实时视频抠像要求,而且I/O的设计更好,数据搬移效率高。
总结来说,麒麟810得益于达芬奇架构NPU,对绿幕侠所需求的本地处理的特别好,背景分割很细腻而且清晰。而小米9虽然支持本地处理,但受制于内核问题,成像会显示的不清晰,背景分割不明晰,人物模型判断失误等情况,而且经常性出现掉帧、卡顿情况。可以看到,手机AI处理能力已经足够支撑新的抠像玩法,不过在具体机型之间还是有不小的差距。虽然荣耀9X定位并非旗舰机型,但它NPU算力表现却远胜于定位旗舰的小米9,如果要在二者之间来次二选一的话,荣耀9X无疑是更好的选择。