在视频编码领域锐意进取
安妮(Anne Aaron)暂时不用担心自己会失业,她率领的网飞编码团队正设法攻克体育实况直播与云游戏,前者是传统电视行业最后的堡垒,后者则是庞大游戏帝国的未来。
对流媒体行业来说,视频编码是一切业务的基石——如何在带宽受限的条件下获得稳定的视频流,安妮编码团队花了十三年时间来解决这个问题,不仅设法使4K流媒体带宽占用降低了一半,并推动网飞成为该领域的技术先锋。
最基础的编码方法是针对目标用户带宽条件提供自适应码流,从最低级别的240p@235Kbps码流到720p@1.75Mbps再到1080p@5.8Mbps,内容服务器会根据每位用户的设备及带宽条件动态调整画面码率。
但这依然不够完美,儿童动画片与充斥着烟雾与闪光的动作片对码率的需求不尽相同,画面纯净的动画片只需维持最低码率便能提供不错的画面质量:
于是网飞从2015年起针对每一部作品重新编码,1080p格式动画片的码率降至1.5Mbps能为公司节省20%带宽,但《芭比梦幻屋》的出现让公司栽了跟头。
“场景中有布灵布灵的服饰,背景还有闪闪发光的喷泉”,适配动画片的低码率格式在此场景下翻了车,安妮意识到按影片类型设定码率不够完善,公司有必要针对场景重新设定码流。于是网飞在2018年大动干戈,开始按画面复杂程度为视频流设定算法与码率:两人在白墙前谈话的场景适用低码率视频流;两人开车高速追逐必须使用高码率;芭比在家玩耍与布灵布灵户外场景的码流规模迥然相异。
随着4K与HDR逐步普及,码率差异对画面质量的影响更加明显,比如《王冠》中某集烟雾弥漫的场景堪称编码器的噩梦。这些挑战影响到了安妮的日常生活,她散步时会考虑这些问题,拿起镶满水钻的手机壳时会想到《芭比梦幻屋》中的喷泉,甚至自己的孩子也会指着某样东西大喊:“有马赛克!”
网飞通过训练AI来分析视频场景并为其匹配码流,这项与南加州大学合作开发的视频质量评估算法开源后被业界广泛采用,并为网飞赢得2021年度工程与技术类艾美奖(左为李志,右为安妮,俩人均在斯坦福大学获得博士学位)。
安妮率领的团队并未停下脚步,网飞已将六成片库重编码为AV1格式,下一代编码格式正在酝酿之中。安妮宣称新格式相较于AV1,在维持相同视频质量的前提下可将带宽开销进一步节省30%,并为此专门拍摄了一部时长12分钟的4K HDR短片进行测试:风扇下尘埃弥漫的办公室,阴云密布波光涟漪的海滩,高反差黑暗梦境……每一个场景都针对视频编码算法精心设计各种挑战。
网飞的野心不限于此,它最近竞得NFL与WWE比赛转播权,同时还开展游戏业务以强化客户黏着度。“云游戏可被视为一种特殊形式的直播节目”,安妮称,由于游戏画面在云端渲染而非本地生成,在延迟方面的要求比体育直播更严苛,之前分析每个镜头并为其设置编码算法与码流的手段派不上用场,因为直播画面是无法预测的。
如果将目光放远一点,人们最终会迎来8K时代,届时视频编码领域将再次面临重大挑战。“人们二十年前就宣称,视频编码领域已穷尽所有路径,但我认为此领域仍大有可为”,安妮在加州洛斯加托斯办公室接受采访时称,她对视频编码的未来抱有希望。