LP说要签名打赌，我一晚上都睡不着
06-18
雷锋网出版社：这篇文章是作者的冼牛，即技术的市场运作总监，香港大学MBA，十年研发经验，专家音视频云服务技术，专注于连麦研究互动直播技术的应用。
让我从莎翁的名言开始：混合，还是不混合，这就是问题。
在连麦的互动直播方案中，是否混流确实是一个需要慎重考虑的问题。
本文将分享极果科技连麦互动直播解决方案在工程化和高并发运维过程中总结的混流经验。
｜什么是混流？在开始讨论这个问题之前，我们先来了解一下什么是混合流。
混合是将多个音频和视频流混合成一个流。
准确的说，混合流应该叫混合（音频流）和图片（视频流）。
为了简单起见，这里我们将其简称为混合流。
流媒体的过程包括解码、流媒体混合、编码和流媒体。
混合流的过程包括抖动缓冲，其目的是对齐多个流并同步音频和视频。
同时利用缓冲来对抗网络抖动，这样混流成一股后就能达到很好的效果。
混合本身是一个比较消耗计算资源的操作，也是一个耗时的过程。
据说比较消耗计算资源，因为这个过程涉及到多个码流的实时转码，比较消耗CPU。
据说需要时间，因为这个链路涉及到抖动缓冲，会造成一定的延迟。
实时转码本身消耗的时间一般小于一帧，相对来说意义不大；但是，根据网络条件，抖动缓冲将消耗大约 80 毫秒到 1 秒。
在连麦的互动直播中，抖动缓冲带来的延迟对于观众的体验至关重要。
在混合流量的过程中，难点在于如何对抗网络抖动等不确定因素。
各种不确定因素的处理是对技术能力的最大考验。
当网络良好时，应尽可能减少延迟，并尽快完成处理。
当网络不好的时候，必须避免出现滞后、不同步等问题。
这里需要一个比较好的弹性设计来满足对抗网络抖动的要求。
需要保证无论网络好还是网络抖动，音视频流的效果始终处于稳定状态，而不是随着网络抖动而剧烈抖动，延迟也必须处于比较平滑的状态和稳定状态。
状态。
这是一个技术难点，也是连麦互动直播解决方案的核心技术之一。
好了，现在我们基本上了解了混合流的概念和难点了。
那么，你想做混流吗？如果要做，应该在哪里做？这两个问题都需要进行一些权衡。
为了做出正确的选择，我们需要了解每个选项的优点和缺点。
这篇短文仅讨论混合流还是非混合流。
下一篇文章我们将讨论在哪里混流，敬请期待。
｜不混流的优缺点 如果不混流，那么连麦互动直播时，多个主播发起的音视频流会独立拉到观众面前播放。
这种方法称为 lado 流式传输。
非混合的优点： 1）低延迟：不需要混合，节省了混合消耗的时间，显着降低延迟。
2）成本低。
如果在服务器端进行流式传输，会消耗计算资源。
考虑到服务器端计算资源相对昂贵，如果不使用流混合，将节省宝贵的计算资源，成本将显着降低。
虽然拉取多个流比拉取单个流消耗更多的带宽，但是拉取多个流可以节省计算资源成本。
总体而言，成本降低了。
3）灵活性 在观看侧，业务侧可以灵活控制多路码流，满足多样化的业务需求。
例如，利用画中画大小屏切换、半分屏左右切换等效果来提升观众侧的用户体验。
上面提到了不混合流的缺点。
添加多个流将消耗更多带宽。
多个流从服务器推送到CDN，然后观看者从CDN拉取多个流，这会消耗大量的带宽成本。
对于带宽成本占运营成本相当大比例的游戏直播平台来说，确实需要慎重考虑。
｜混流的优缺点 如果是混流的话，那么连麦互动直播时，多个主播发起的音视频流会被混合成一个流，拉到观众面前播放。
这种方法称为拉取单个流。
。
混音的优势我们需要从多个角度来看待混音的优势，包括成本、易于录制、易于传播和兼容性。
1）成本可以分为计算资源成本和带宽成本。
由于预先混合流，计算资源的成本会上升，但由于只拉取单个流，因此带宽的成本会下降。
上面已经简要讨论了这个主题。
如果在服务器端进行混音，总体成本还是会上升。
由于服务器的计算资源成本比较昂贵，因此增加的计算资源成本大于混流后节省的带宽成本。
如果混合是在推送侧进行，相当于平台将计算成本和带宽成本转嫁到推送侧（锚定侧）。
因此，整体成本会降低，但服务质量也会降低，从而损害“用户体验”。
综合来看，混流并不一定能节省成本。
2）可录制 如果业务需要录制音视频流用于监管检查或观众播放，则需要进行混流。
如果是不混合，录制时只能录制其中一种音视频流，也就是说只能看到其中一位主播，如果要录制全屏，就必须混合流 3）方便传播 如果有。
业务中需要通过音视频流地址链接（HLS）进行转发和传播，那么还需要进行流混合，因为地址链接只会指向一个音视频流，如果不进行流混合，使用。
转发的地址链接只会播放一位主播的音视频流。
4）还有另一种兼容情况。
直播平台前期已经开发了播放器的版本。
该播放器只能播放单个流。
为了与这个旧版本的播放器兼容，必须混合流以生成单个流供该播放器播放。
混合流的优点是可以记录全图，轻松转发传播，兼容直播平台老系统。
运营成本能否降低主要取决于推流是在服务器端还是推送端。
混流的缺点 1）高延迟：混流过程中需要进行抖动缓冲、实时转码等计算，这会耗费时间并造成额外的延迟。
混合流的延迟高于非混合流的延迟。
如果推送端混流，延迟时间包括实时转码处理时间、抖动缓冲时间、等待其他主播音视频流的时间。
推流端必须等待其他主机的音视频流到达后才能进行混音。
如果在服务器端进行推流，则延迟时间包括实时转码处理的时间和抖动缓冲的时间。
推送端混流的延迟高于服务端混流的延迟。
2）不灵活：由于观看者拉单码流进行观看，多个音视频流被混合成一个码流，因此观看者无法再灵活控制多个码流，例如画入时切换主副画面-图片。
3）成本高 由于混合流需要额外的计算资源，这会导致额外的运营成本。
如果在服务器端进行混音，则混音的成本由平台承担。
虽然混流再拉单流可以节省带宽，但服务器端的计算资源相对昂贵，节省的带宽成本还没有额外的计算资源成本多。
总体来看，混流的成本仍然高于非混流。
如果混合在推送侧进行，则混合的成本从服务器传递到推送侧。
推流端需要满足以下条件： a) 推流端（主播端）对手机配置要求较高，对手机性能要求较好，必须能够支持混合推流所需的算力。
b) 流媒体端的上行带宽要求较高。
推流端推送两个流，并从其他锚点拉取多个流。
推送的两个流包括：您的原始音视频流和混合音视频流。
拉取的多路流是其他主播的音视频流，必须从媒体服务器拉取。
由于流媒体端需要更好的手机配置和更好的上行网络带宽，因此需要更高的成本。
混合流的缺点是高延迟和不灵活性。
从成本上来说，取决于是在服务端混流还是在推送端混流。
如果在服务器端进行混流，会导致成本较高。
如果在推送端混流，会导致较高的延迟和“用户体验成本”。
综上所述，混流和非混流方案各有优势。
需要根据直播平台的具体业务需求和使用场景来决定使用哪种解决方案。
相对而言，非混流方案具有低时延、低成本、高灵活性等突出优势。
极狗科技提供混流和非混流两种解决方案，可以灵活、全面地满足各类直播平台的业务需求。
在极果科技的实践中，我们发现非混流方案更受主流客户欢迎，效果也得到了市场的验证。
使用非混合流解决方案的客户包括花椒和栗子直播。
经过一番讨论，我们回头发现：混流，还是不混流，这仍然是一个问题。
极狗科技在服务一线直播客户的过程中，总结了混流和非混流解决方案的各种优缺点。
根据这些经验来权衡是使用混流还是非混流解决方案，决策应该更加可靠和踏实。
做出了是否混流的决定后，如果需要混流，应该在哪里混流呢？是在流媒体端还是服务器端？这一点将在下一篇文章中毫无保留地详细讨论，分享极狗科技的技术经验。
您可以继续关注极狗科技带来的技术资料分享系列下一篇：连麦互动直播中的混音及画面混音解决方案：流媒体端VS服务器端。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-08
06-18
06-18
06-06
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态