Android IOS WebRTC 音视频开发总结(七七)-- WebRTC的架构和协议栈
xsobi 2024-12-25 16:14 1 浏览
本文主要介绍WebRTC的架构和协议栈（我们翻译和整理的，译者：litie），最早发表在【编风网】
为了便于理解，我们来看一个最基本的三角形WebRTC架构（见下图）。
在这个架构中，移动电话用“浏览器M”表示，笔记本电脑用“浏览器L”表示，通过Web服务器将它们连接起来。
要建立一个实时媒体通讯，两台设备需要了解彼此的媒体功能，通过交换呼叫信令控制协议实现。
诸如这样的信令协议在WebRTC标准中并非事先规定，而是由开发者自行制定。在浏览器RTC会话的步骤如下：
首先，两个浏览器都从Web服务器下载了WebRTC程序（HTML5/JavaScript）；
其次，两个浏览器通过Web服务器交换控制信令信息（使用嵌入式信令服务器），建立媒体功能功能互通。
最后，两个浏览器直接建立RTC媒体的音频、视频和数据通道。
WebRTC使用P2P媒体流，音频、视频和数据的连接直接通过浏览器实现。但是，浏览器却隐藏在NAT（网络地址翻译）和防火墙的后面，这增加了建立P2P媒体会话的难度。这些流程和协议，如ICE或Trickle ICE，STUN和TURN，在建立P2P媒体流都是必不可少的。
如何使用STUN协议建立一个P2P RTC媒体（如图5所示），简化版的ICE流程如下：
1.两个浏览器通过自己的公网IP地址，使用STUN协议信息和STUN服务器建立联系；
2.两个浏览器通过SDP提供/应答机制，使用呼叫控制信令消息交换它们已发现的公共IP地址（ICE候选）；
3.两个浏览器执行连接检查（ICE冲孔），确保P2P可以连接；
4.建立连接后，RTC媒体会话和媒体交换就可以实现了。
5.但是，假如在一个高度限制的NAT或防火墙，这种直接的路径将无法建立，只能到达TURN服务器。结果是媒体通过TURN服务器分程传递（如图6所示）。
由互联网工程任务组（IETF）基于标准的可互操作的通信模型和协议栈详细地定义了WebRTC技术（参见图7），如下：
?如前所述的信令栈，并非由WebRTC实现规定，而是由开发者自行决定。在这个例子中，我们将使用SIP-over-WebSocket（SIPoWS）作为信令栈。HTTP协议用于浏览器下载HTML5/JavaScript程序内容；
?NAT栈解决P2P连接问题；
?媒体栈用于发送和接收RTC的音频和视频。LETF标准规定G.711和Opus作为音频/视频解码器。视频解码器尚未授权，但是H.248和VP8已经获得授权。媒体栈也用于交换RTC数据。本例中，实时信息采用消息会话中继协议（MSRP），实时会议采用二层控制协议（BFCP），实时文本服务采用T.140。
译者：litie，具体详见:【编风网】
相关推荐
- 斗鱼针针成旻云个人资料 针针年龄身高演艺经历介绍
-
[闽南网]针针成旻云曾是七煌旗下签约艺人，经常在斗鱼进行直播身高超过170cm的她更因为有一双大长腿而被称为“斗鱼第一美腿”、“电竞第一腿”。本文这就来对针针的个人资料进行详细介绍，想知道她的年龄身高...
- 轻量级RTSP服务模块和RTSP推流模块适用场景区别
-
好多开发者一直搞不清轻量级RTSP服务SDK和RTSP推流SDK的区别，以下是相关区别：1.轻量级RTSP服务模块：轻量级RTSP服务解决的核心痛点是避免用户或者开发者单独部署RTSP或者RTMP服...
- 《新·奥特曼》11月18日国内视频平台上线
-
《新·奥特曼》海报。新京报讯11月14日，由上海新创华文化发展有限公司授权引进电影《新·奥特曼》宣布正式定档11月18日（周五）00:00上线视频平台，上线版本为日语配音中文字幕版。影片由庵野秀明（...
- 剑指Apple Watch!Android Wear也将支持视频功能
-
想必智能手表发展到现在，大家最期待的还是视频功能，近日AndroidWear就实现了这一功能，以后就能在手表上看视频了，想想就挺激动的，快来看看吧！其实早在WWDC大会上，老对手AppleWatc...
- QT应用编程:基于VLC开发音视频播放器(句柄方式)
-
一、环境介绍操作系统:win1064位QT版本:QT5.12.6编译器:MinGW32VLC版本:...
- OBS 源码分析 obs开发
-
本文将按照数据源的获取、渲染、推送的直播流程来让大家深入了解一下。1、直播源数据获取obs在启动时会优先加载libobs核心库，这个库初始化obs很多内容，包括crash模块、com、性能监...
- Android和iOS端Moments更新:支持视频分享功能
-
Moments是社交网络巨头Facebook推出的一款私人照片分享应用，今天公司宣布对Android端和iOS端应用同时升级，新增对视频分享功能的支持。事实上早在数周之前，Facebook就曾表示Mo...
- 您很快就可以在Android Galaxy设备之间传输视频通话
-
在阅读此文之前，辛苦点击右上角的“关注”，既方便您进行讨论与分享，又能给您带来不一样的参与感，感谢您的支持！导语：在科技领域，每时每刻都有新的发展，令人兴奋的创新不断涌现。早在八月份，Android系...
- 一篇文章带你FFmpeg到流媒体服务器开发
-
安装ffmpeg:下载FFmpeg和libx264的包ffmpeg-2.4.1.tar.bz2last_x264.tar.bz2libx264需要yasm,所以先安装yasmapt-getinst...
- YouTube 为 Android 平台提供 1440P 视频
-
安锋网8月10日消息，Android从起初的480P的屏幕分辨率发展到2014年的1440P花了将近六年的时间，一般认为1080P的屏幕分辨率已经是人眼可以识别的极限，但是...
- FFmpeg 调用 Android MediaCodec 进行硬解码(附源码)
-
FFmpeg在3.1版本之后支持调用平台硬件进行解码，也就是说可以通过FFmpeg的C代码去调用Android上的MediaCodec了。在官网上有对应说明，地址如下：trac....
- Android FFmpeg + OpenGL ES YUV Player
-
1、FFmpeg解出YUV帧数据1.1方法介绍打开封装格式上下文...
- 基于WebRTC的Android移动端无线视频传输
-
摘要：视频传输技术在现代社会广泛应用，人们对其的要求也越来越高，其发展的趋势是方便、快捷、随时随地。传统的视频传输过于依赖线路，线路的走向限制了传输的很多可能，所以无线传输才是发展的方向。本文提出...
- 使用python爬取抖音app视频 python爬取抖音视频数据
-
记录一下如何用python爬取app数据，本文以爬取抖音视频app为例。编程工具：pycharm...
- Android IOS WebRTC 音视频开发总结(七七)-- WebRTC的架构和协议栈
-
本文主要介绍WebRTC的架构和协议栈（我们翻译和整理的，译者：litie），最早发表在【编风网】为了便于理解，我们来看一个最基本的三角形WebRTC架构（见下图）。在这个架构中，移动电话用“浏览器M...
- 一周热门
- 最近发表
- 标签列表
-
- grid 设置 (58)
- 移位运算 (48)
- not specified (45)
- patch补丁 (31)
- strcat (25)
- 导航栏 (58)
- context xml (46)
- scroll (43)
- element style (30)
- dedecms模版 (53)
- vs打不开 (29)
- nmap (30)
- c 视频教程下载 (33)
- paddleocr (28)
- listview排序 (33)
- firebug 使用 (31)
- transactionmanager (30)
- characterencodingfilter (33)
- getmonth (34)
- commandtimeout (30)
- hibernate教程 (31)
- label换行 (33)
- curlpost (31)
- android studio 3 0 (34)
- android开发视频 (30)