上个世纪末，家庭宽带还处在“KB”量级，RealNetworks通过其高压缩比的Real格式在国内曾经获得了大量终端用户。光阴荏苒，RealNetworks在国内的研发团队带来了面向高清画质的Codec，并获得了CIBN这样的用户的认可。在NAB大会上，资深多媒体技术咨询师Jan Ozer对RealNetworks CTO Reza Rassool进行了访谈，谈及了与HEVC的竞争以及国内的市场格局。
文 / Jan Ozer
译 / 金歌
审校 / Dumpling, Sean
Jan Ozer:你能为我们介绍一下RealNetworks HD编码器么？它是何时开发出来的，目前有哪些用户在使用，你们为什么要开发这样一款编码器呢？
Reza Rassool: 与MPEG类编解码器相比，RealMedia编码器是非常与众不同的。虽然它仍然是一个二维编编码器，基于DCT（Discrete Cosine Transform，离散余弦变换）技术。我们采用了运动估计和算术编码，力求得到一个低复杂度的解决方案。
我们坚信无论是MPEG类编码器，还是所有由委员会设计的编码器，它们都在追求极高的复杂度。或许编码器的复杂性不需要那么高。我们曾向编码器开发团队发起了一个挑战，让他们设计出一款可以与HEVC竞争的编码器，要求是该编码器可以通过软件在移动处理器上进行解码，并且使用时不会耗尽电量。换句话说，就是开发一款可以匹敌HEVC但更加实用的软件编码器。
该项目于2014年启动，实际上是我们在北京的研发部分倾尽全力完成的。我们刚刚发布的竞争数据中展示了我们开发的结果，结果表明我们的表现优于HEVC。
Jan Ozer: 你们是基于什么指标进行比较的呢？
Reza Rassool: 我们利用Netflix VMAF（Video Multimethod Assessment Fusion）视频质量评价工具，指标作为纵轴，比特率作为横轴进行了绘图，得到了码率-质量曲线。 从这些曲线的排布可以看出RMHD编解码器的性能是优于AVC和HEVC的。
事实证明，我们的编码器在4K视频上的表现要比在1080p视频上好得多。而在标准清晰度480p视频上，可能呈现不出太多优势。这与AV1和HEVC进行比较时的表现非常相似。在视频质量更高的情况下，我们的编码器的表现超越了HEVC，而在视频质量较低时，他们二者的表现区别不大。
Jan Ozer: 那么在编码时间和解码负载方面，它的表现又如何呢？
Reza Rassool: 它的编码速度非常快，远超HEVC或X265，我觉着能快5倍吧。我们还给自己设定过一个目标，任何用户在笔记本电脑上运行RealPlayer都应该能够实时编码1080p视频流。而这一目标刚刚得到了实现。事实上，如果你使用的是超高速处理器，比如AMD锐龙Threadripper处理器，那么我们的编码器几乎可以对4K视频流进行实时编码。与众多其他编码器开发者一样，我们仍然在不断对编码器进行优化，我们相信实现4K实时编码的那一天不远了。
Jan Ozer: 编码器的开发是一回事，有时在实际中对它进行应用反而是更大的挑战。如果我说“很好，我想使用你的编码器”，那么我该如何利用它在浏览器中播放视频呢？又该如何在移动设备、STB（Set-Top-Box，机顶盒）和智能电视上播放视频呢？
Reza Rassool: 这确实是一项挑战。首先我来解决一下在浏览器中播放视频的问题。目前它还没有在任何浏览器中得到启用。 它需要在一些插件或ActiveX组件的帮助下在浏览器中进行使用。RealPlayer中有一个嵌入式浏览器，我们可以将解码后的帧渲染到该浏览器中。虽然这不是一个可广泛应用的解决方案，但在移动设备上，我们能够以多种形式提供编码器。例如基于SDK的形式，它可以被封装在一个播放器中，应用程序开发人员可以将它部署到他们的移动应用程序中。
目前我们的编码器已经在华为这样的手机制造商的OEM SDK中得到了应用。如果你是华为手机用户的话，Mate 9的操作系统就是以RealMedia作为原生编码器的。 所以，实际上可以说RealMedia编解码器在中国正得到广泛的应用。RealMedia编码器历经了许多代革新，目前使用的是第十一代。而出于种种历史原因，RealPlayer和RealMedia编解码器在中国得到了蓬勃的发展，可能你对这段故事并不陌生。第十一代编码器已经在华为的设备中得到了全面地移植，并且过去几年中我们也在广泛地与其他采用RMVB技术的OEM进行合作。
我们的编码器正为这些OEM制造商带来诸多益处，它不仅提供了一种HEVC的替代方案，而且是软解的，他们不必等待将近18个月的芯片开发期。它在电量消耗方面表现如何呢？在诸如Mate 9手机这样的移动处理器上，充一次电你可以观看两个小时的电影，这也是我们（对开发团队提出过）的另一项指标。我们正在不断进一步优化我们的编码器。随着我们与各个OEM制造商的关系更加紧密，我们也在寻找使用扩展指令集的方法，未来可能会在设备上使用未公开的指令集以便提高编码器的性能。
Jan Ozer: 我听说RealNetworks将所有与视频相关的编码器IP都卖给了英特尔。
Reza Rassool: 那笔交易是在2010年进行的，主要针对RMVB相关的编码器。那是一笔不错的交易。出售IP同时保留编码器的销售权，这种交易还挺有趣的。那时我们还将该编码器团队以及西雅图团队转让给了英特尔。所以你听说的是笔2010年的老交易了。为了开发目前这个新的编码器，我们特意在北京创建了一个全新的团队。如今这一编码器也正在展现出它的价值，不仅在我刚刚提到的OEM领域，而且在OTT领域也得到了重视。OTT运营商们也在寻找一种编码器的替代方案，不仅以设备数量为单位收取费用，还要对其流媒体业务收费。RealMedia编码器为OTT运营商们提供了一个绝佳的选择。
与此同时，RealMedia编码器还能为他们提供另一个独特的优势。OTT服务与IPTV或者有线电视服务截然不同。OTT运营商并不提供机顶盒。用户可以自由选择购买Amazon Fire TV或Roku，随后选择（在机顶盒上）使用Netflix、Hulu或者在中国的类似服务。而只有当你将机顶盒与OTT服务进行连接时，OTT运营商才有机会了解你的机顶盒的硬件性能。
国有广播公司CIBN是与我们合作的其中一家大型OTT运营商。就像中国的CBS一样。他们选择采用RealMedia编码器，因为当他们对网络进行分析的时候时，可能会发现有74种硬件性能各异的机顶盒正连接到他们的网络。而其中可能只有32％的机顶盒支持HEVC。最终他们失去了对编码器的控制权。从前在有线电视时代，OTT运营商会将特定的编码器构建在机顶盒中，而如今利用可捆绑到OTT应用中的SDK形式的软件编码器，他们找回了昔日曾拥有的（对编码器的）控制权。这一独特的优势是我们在创建编码器时没有预想到的，而这似乎也是OTT运营商选择使用我们编码器的原因之一。
Jan Ozer: 接下来我们再来谈谈几个其他的话题。 都说开发一款新的编码器很难不涉及到别人已有的专利。虽然目前你拥有以前开发过的技术的专利，但同时你也对新的编码器进行了技术创新。 你认为在不侵犯他人专利的情况下，构建一款新的编码器的可能性有多大呢？
Reza Rassool: 这真的很难，像是在走雷区一样。但AOM联盟就采取了完全不同方案，联盟的成员公司都贡献出各自的专利以供联盟开发AV1编码器。
目前业界对此仍无定论。 对我们来说，我们在前十代编码器的基础上建立了目前最新的编码器，我们清楚当前有竞争力的方案可能涉及到的技术雷区，也非常小心地确保在必要的地方使用替代技术。
我们的RMHD侧重使用空域压缩技术而不是时域压缩技术。这意味着什么呢？ 随着视频分辨率从标清到720p、1080p再到4K，空间分辨率一直在增加。但对于商业应用来说，帧率并没有以相同的速度增加。我们认为，我们的编码器能够利用空域压缩技术加倍压缩，从而提供更好的编码质量/速度。
将复杂度和计算能力运用到空域压缩中，可能会减少对时域压缩。实际上，最终我们只在相邻帧之间寻找运动矢量——这些长的运动矢量都没有以相距16帧以外的帧。 这大大降低了编码器的复杂度。目前我们的编码器对内存的占用量非常小，线程（使用）的复杂度也非常低。通过运用分片并行处理技术和在其他编码器的设计中使用长期参考帧的所有的过渡复杂的技术，似乎取得了成功。但在经过了短期参考帧测试后，结果表明在相邻帧之间寻找运动矢量就已经足够了。
Jan Ozer: 就我所做的测试来看，使用一个以上的B帧实际上不会对画质有那么多的提升。而使用多个参考帧不但不会显著提高画质，还会大大增加编码时间。
Reza Rassool: 没错。
Jan Ozer: 咱们说回到播放器上来，您是如何看待浏览器在编码器应用方面的角色呢？移动设备和OTT确实是很重要的目标市场，但浏览器无疑是最适合应用新编码器的场景/平台。你有和谷歌，Mozilla以及微软进行沟通吗？
Reza Rassool: 当然，虽然他们都对AV1有既得利益，质疑我们：“为什么还要使用另一种编解码器呢？” 我们所能做的就是坚持我的口号：复杂度低，复杂度低，复杂度低。摩尔定律最终胜出。摩尔定律表明，CPU的最高功率每年都会提升一倍，同时存储成本也会随之降低，因此软件解决方案总是比硬件解决方案更加灵活。AOM联盟设计的方案将有意无意地以带来过度的复杂度。
