“博商科技”获数千万天使轮融资，专注移动网络解决方案
06-17
雷锋网出版社：本文作者是贤牛，集狗科技市场运营总监，香港大学MBA，十年研发经验，音视频云服务技术专家，专注于连麦互动直播技术应用研究本文是连麦互动混合流解决方案系列的第二篇文章。
接上一篇文章：《聊一聊直播利器，连麦互动背后的混流方案》我们来谈谈要不要混流以及如何混流？去哪里闲逛？先借用《无间道》曾志伟的一句名言：出来混，早晚要还的。
尽管如此，无论你在哪里，只要遇到合适的老板，你的命运就会大不相同。
在连麦互动直播中，在哪里混（流）也很重要。
如果你做出了正确的选择，用户体验将会非常不同。
上一篇文章《混流 vs 不混流》发表后，很多朋友来找我说：我很喜欢这种技术资料，鼓励你继续写，但是：1）多用图片。
没有图片的文章基本上是无法阅读的，就像没有图片一样。
手机不能吃饭。
2）不宜太长。
你不希望能够在浴室里阅读它，但你希望能够在上下班的路上阅读它。
3）多说人类语言，少说编码员语言，因为老板已经很多年不编码了。
虽然我心里想：我做不到……，但话一出口，就变成了：我能做到！废话不多说，下面开始我的讨论。
｜哪里可以闲逛？在决定去哪里闲逛之前，让我们先弄清楚去哪里闲逛。
上一篇文章我们讨论了是否混流，这篇文章我们将讨论在哪里混流。
图1 连麦互动直播解决方案系统拓扑图 图1是目前业界主流的连麦互动直播解决方案的系统拓扑图。
拓扑图包含以下实体： 1）直播端（主播端）：主播的工作环境，包括手机硬件配置和网络环境。
手机的算力和上行网络往往成为连麦互动直播的瓶颈。
2）服务器（服务器集群）：大型复杂的服务器集群，实现音视频云的调度和计算能力。
具体包括信令服务器、媒体服务器集群、混流调度中心、混流服务器集群等。
3）CDN网络：第三方独立的公共服务网络，提供缓冲、存储和转发能力。
4）直播端（观众端）：观众观看直播的环境，包括手机硬件配置和网络环境。
一般来说，推流端从CDN拉流，不参与连麦交互。
手机的计算能力和下行网络不会成为直播的瓶颈。
拓扑图中实体之间的活动包括： 1）流媒体：流媒体端将原始音视频流推送到媒体服务器集群。
2）流式传输：分为两种情况：推送端从服务器集群拉取其他主机的音视频流；拉取端从CDN网络的边缘节点拉取音视频流进行播放，可以是单流，也可以是多流。
3）转发到CDN：有两种情况：如果在服务器端混合流，服务器集群会将混合后的音视频流推送到CDN网络；如果在推送端混合流，则推送端会一路推送混合后的音频流。
视频流被推送到CDN网络。
在弄清楚世界上有哪些山之后，我们就可以明智地选择去哪里闲逛。
首先排除CDN网络，因为它是第三方服务，不属于连麦互动直播云服务平台的控制范围。
那么，拉端的混流实际上就是上一篇文章中提到的非混流方案。
流媒体端在播放时拉入多路码流，并根据业务方的需求灵活控制多路码流。
流侧混合方案的优点是灵活性高、易于控制。
缺点是网络带宽成本较高。
由于在上一篇文章中已经深入讨论过，这里不再讨论。
最后剩下的选择是流媒体端和服务器端：流媒体端使用音视频云服务的SDK，服务器端是提供音视频云服务的服务器集群。
两者都是可以进行混合流的地方。
决定去哪里闲逛吗？我们现在必须决定在哪里混合。
我们面前有两个选择：流媒体端与服务器端。
我们需要了解推送端和服务器端混合的优缺点，才能做出明智的选择。
｜想要了解推送端混流的优缺点，首先要了解推送端混流的技术逻辑。
图2 推送侧流式混合技术逻辑图。
图2是在图1的基础上，增加了推流端（蓝色部分）流媒体混合的技术逻辑： 1）流媒体端将原始音视频流推送到服务器集群。
2) 流媒体终端从服务器拉取其他流媒体终端推送的音视频流。
混合将在第一个锚点的推动端完成。
在所有其他主播的音视频流到达之前，第一个主播无法开始混流。
3）推送端的混音工作包括解码、图像对齐（音视频同步）、抖动缓冲、重新编码。
4）推流端（第一主播）将混合后的单流推送到CDN网络，以便推流端拉流进行播放。
接下来我们看看推侧混流会带来多少额外的工作量。
推送端混流的步骤如下：1）推送端拉流并等待其他主机的音视频流到来，2）解码，3）混流，4）编码，5 ) 转发推流。
其中，步骤1到2是即使没有混流时推流端也必须做的事情，步骤3到5是需要混流时的额外工作。
将两码流混合为一码流的工作量约为解码一码流的工作量的一半，解码一码流的工作量约为编码一码流的工作量的一半。
但需要考虑的是，随着混合流数量的增加，混合流的工作量也会相应增加。
然后我们看一下混流的要求以及推送端的特点。
混音是一个资源密集型的事情，而流媒体则是一个资源稀缺的地方。
两者自然是水火不相容的。
现在突然想把它们整合到一起，我们首先要研究一下它们的需求和特点。
混流（推流侧）要求： 1）较好的上行网络带宽，因为推流侧（第一主播）需要同时推送原流和混流。
另外，网络必须保持相对稳定，因为混音过程中的抖动缓冲会因为网络不稳定而拉长，从而增加延迟。
2）更好的手机硬件配置，因为需要对多个音视频流进行转码和混合，比较消耗计算资源。
如果需要转码的音视频流总码率较高，部分采用软编码的Android平台可能会导致手机过热，导致相机拍摄时丢帧。
直播终端特点 1）主播的网络环境可以是家庭宽带或者4G。
下行带宽约为M bps，上行带宽约为1M bps。
在繁忙时期，家庭宽带的稳定性和速度可能会有所不同。
生活在我们国家的每个人都知道这一点。
2）主播的直播终端是主播的个人智能手机。
目前主流的手机配置都是四核，可以进行带麦互动直播。
然而，手机的硬件配置很难与PC相比，更不用说服务器了。
3）无法控制。
直播业务平台和直播云服务平台都无法控制直播端的手机配置和网络环境。
传统秀场直播平台或者与传统媒体结合的直播平台，会为主播提供相对较好的硬件配置和网络环境的直播间。
其他娱乐直播平台上的主播一般使用个人手机和家庭宽带进行直播。
这样一比较，一眼就能看出，这两个人真是水火不相容：一个是处女座，一个是弱者。
最后我们总结一下推侧混流的优缺点。
｜推流端混合的优点 1）成本低 总体来说，推流端混合是一种低成本的解决方案。
它降低了两个方面的成本：计算资源和网络带宽。
推端混音本质上就是服务器将混音的成本转移到推端。
服务器端的计算资源和网络带宽相对昂贵，而流媒体端的计算资源和网络带宽都是沉重的成本。
如果在推送端进行混合流，既可以降低服务器的成本，又可以充分利用推送端可以共享的资源。
2）服务器压力小。
在服务器上混是一种相对中心化的模式，会增加服务器的压力。
推送端的混合是完全分布式的模式，可以减轻服务器的压力。
3）本地输出的混合数据会在推送端与音视频流进行混合，方便本地录制或直接将音视频流推送到CDN网络进行分发。
在推送端混音的缺点 1）增加额外的延迟 首先，在推送端混音会增加额外的延迟，主要是因为你必须等待所有其他推送端的音视频流到达之后才能开始混音。
从图2中我们可以看到，在服务器端混音时，只要所有主机的音视频流到达服务器，就可以开始混音；在推送端进行混音时，其他所有推送端的音视频流都必须在前者的基础上进行混音。
只有当水流被拉至推流端时，混流才开始。
这是额外的时间开销。
其次，流媒体端混合后，推流到CDN网络的延迟也比较大，因为流媒体端的硬件配置和上行带宽质量无法与服务器端相比。
最后，考虑到推送端的不稳定性，额外的延迟只会增加而不是减少。
2）手机硬件配置的瓶颈是推送端混流需要更好的手机硬件配置。
一般来说，目前主流的四核手机都可以满足连麦互动直播的要求。
但如果算上混流的工作量，手机的硬件配置就会成为瓶颈。
例如，如果Android手机使用软编辑，需要混合大量音视频流，手机会因计算量大而发热，可能会导致相机（距离CPU较近）采集视频时遇到视频丢失的情况。
框架现象。
3）上行网络带宽瓶颈，需要较好的上行网络带宽才能在推流端混流。
如果下行网络带宽为M bps，则对应的上行网络带宽一般为1 M bps，较好的为4 M bps。
根据极狗科技的经验，音视频流的平均码率是k bps。
推送端会推送两路码流：原始音视频流和混合音视频流，所以总推送码率约为1.6M bps。
考虑到在线人数较多的时期，网络带宽会减少，且网络不稳定，流媒体端的上行网络带宽往往无法满足流媒体端的混合流媒体需求。
4）流媒体端环境不可控。
基于以上第二点和第三点，流媒体端的环境是不可控的。
直播业务平台和直播云服务平台都无法控制直播终端的硬件配置、使用习惯、网络信号、网络带宽等因素。
因此，混流对推动端的影响也是不可控的。
5）难以扩展 在音视频云服务解决方案设计阶段，我们期望解决方案易于扩展。
随着直播业务平台的发展，对直播端的算力和网络带宽都会有升级的要求。
但流媒体侧的环境不可控且难以扩展。
相对而言，在服务器端推送的时候，如果你想增加服务器端的CPU或者增加网络带宽，这些都是音视频云服务平台可以控制的事情。
综上所述，推流端并不是混流的理想场所，但它提供了一种低成本的混流解决方案。
推送侧混流可以满足相当一部分直播业务平台发展到一定阶段的业务需求。
这一市场需求应该得到充分挖掘和满足。
|服务器端混流想要了解服务器端流式传输的优缺点，首先要了解服务器端流式传输的技术逻辑。
图3 服务器端混流技术逻辑图 图3是在图1的基础上，增加了服务器端混流的技术逻辑（蓝色部分）： 1）推送端将原始流分别推送到服务器集群。
2）服务器等待推流端所有音视频流到来，然后开始混流。
混合流的工作还包括解码、图像对齐（音视频同步）、抖动缓冲和重新编码。
3）服务器将混合后的单流推送到CDN网络，以便流媒体端拉流进行播放。
接下来我们看看服务器端的混音会带来多少额外的工作量。
服务器端混音有以下步骤： 1）推流端推流，服务器等待所有主机的音视频流到达 2）解码 3）混音 4）编码 5）转推流。
所有步骤和推送端的混音几乎一样，只是工作环境不同。
所有步骤都会增加服务器端的工作量。
服务端混流和推送端混流的工作内容区别在于，推送端解码是无论是否混流都需要做的事情，而服务端解码则是额外的工作，因为需要混合。
然后我们看一下混合流的要求以及服务器的特点。
混流是一个比较消耗资源的东西，而服务器是一个资源比较丰富的地方。
两人看起来很般配。
现在突然想要他们在一起，还是得先查一下他们的星座。
上面已经分析了推送侧对流混合的要求。
这里我们只讨论服务器端混流的要求。
（服务器端）混合流的要求： 1）更好的上行网络带宽。
流媒体端发起的所有音视频流都集中在服务器端，混合后转发到CDN网络。
每个连麦直播间都对应一个混流，所以这种集中混流的方式会给服务器上游网络带来一定的压力。
2）更好的服务器硬件配置。
这种集中混合的方式会对服务器的计算资源造成一定的压力。
服务器特点 1）网络带宽资源比较充足，支持扩展。
2）计算资源比较充足，支持扩展。
3）完全可控。
音视频云服务平台可以根据网络和计算压力对服务器进行配置和调整。
4）可扩展。
服务器一般采用服务器集群设计，灵活、可扩展。
随着网络带宽和计算资源需求的增加，它们可以灵活升级，甚至动态分配。
这样对比一下，一看就知道这两个人真是很般配：一个喜欢买买买，一个又有着丰厚的家庭背景。
最后我们总结一下服务器端混合的优缺点。
服务器端混流的优点 1）低延迟 服务器端混流天然具有低延迟的特点。
在服务器端混音时，只需要等待所有其他主播的音视频流到达服务器后，就可以开始混音了。
在此基础上，在推送端进行混音时，需要将流从服务器拉到推送端并等待所有其他锚点。
只有在音频和视频流拉下来后才能开始混合。
服务器端混流的系统设计，相比于推送端的混流，自然减少了这段时间的网络传输时间。
另外，服务器的计算能力和网络带宽比推送端高出几个数量级。
混合流并将流推送到 CDN 网络的过程在服务器上比推送侧花费的时间更少。
总而言之，服务器端混合可以实现比推送端混合更低的延迟。
2）充足的计算资源 服务器的计算资源比较充足，可以扩展和调度，不会成为瓶颈。
3）充足的网络带宽资源 服务器的网络带宽比较充足，可以扩展和调度，不会成为瓶颈。
4）可控、可扩展。
这其实是服务器最大的优势。
在服务器端，云服务平台拥有丰富的资源，可灵活调整和扩展，并拥有专业的服务和专业团队的大力支持。
这就是云服务平台的优势；这就是集团军的战斗方式；这就是依靠组织打硬仗的理念。
更简单地说，根据极果科技的经验，1核可支持5个??流，8核可支持40个流。
随着码流不断增加，我会在没有任何感知的情况下不断添加CPU来增强计算能力。
如果换成终端手机，就没有办法增加CPU了。
你必须要么换手机，要么等它烧掉。
服务器端混流的缺点 1）成本高 服务器端混流会导致服务器承担额外的计算成本和网络带宽成本，从而推高运营成本。
2）由于高压，在服务器端出现混流，也称为集中混流。
音视频流的带??宽压力，以及转码、混音的计算压力都会集中在服务器上，自然加大了服务器的压力。
这种情况也对服务器的架构设计提出了挑战，这就要求服务器具有可扩展性，能够通过分布式和集群的方式应对压力。
综上所述，服务器是混流的理想场所。
它具有低时延、高服务质量的优点，但其成本也比较高。
可以满足相当数量成熟或优质直播业务平台的业务需求。
这种市场需求是主流，是未来的趋势。
经过上面的讨论，我们回过头来比较一下推送端混音和服务端混音的优缺点。
我们会发现这两种方案其实各有千秋。
所有这些都代表了相当大的市场需求。
在行业发展的各个阶段，这两种需求都应该得到尊重和满足，以促进行业的健康发展和成熟。
但从中长期来看，云服务平台的优势已经得到认可并得到充分发挥。
云服务平台的理念是通过云服务平台的资源和能力以及专业团队为行业提供优质的专业服务。
在服务大量客户群体的过程中，极狗科技观察到以下趋势：越来越多的直播业务平台，尤其是一线平台，非常善于利用云服务平台的优势，保证高品质的直播体验。
优质的用户体验。
，进而迅速扩大市场份额。
那么，在弄清楚世界上每座山的优点和缺点之后，我们就可以明智地选择去哪里闲逛。
总而言之，您可以在三个地方混合（流）：推送端、服务器端和拉取端。
极狗科技注重用户体验和服务质量，优先提供服务器端混频和拉端混频两种解决方案，并将根据市场需求适时提供推端混频解决方案。
最后回应读者的抱怨：为什么你的文章看起来那么像编程语言，那么对称、那么结构化？我的回答：你觉得怎么样？这些文章都是我通过谷歌翻译将团队的源代码翻译成中文，然后人肉打磨后做出的。
有技术背景的同学请自行体验。
本文就讲完了推送端和服务器端混合流的故事。
接下来我们将继续一个技术点的分享极狗科技的技术经验。
请持续关注极狗科技的技术资料分享系列。
欢迎交流，请温柔。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-21
06-18
06-18
06-06
最新文章
3月，腾讯《王者荣耀》在全球App Store和Google Play吸引了2.57亿美元，同比增长63%
生鲜传奇宣布完成数亿元B+轮融资
裁员20%？红杉中国回应：胡说，员工总数不降反升
第二次影视创新“闯”短剧世界：看、留、跳都是钱
ASML：从飞利浦弃儿到光刻之王
宁康瑞珠获数千万元A轮融资 横琴金投、翰颐资本投资
智能金融服务生态平台科客完成A+轮融资
拼多多九鼎：信息披露无懈可击，竞争对手才是“浇水”的