去年十一月份我就打上了 WebRTC 混音模块的主意，并且做了一些尝试，不过最终没有做完，半年多过去了，正好最近工作上对此有了需求，所以这次就趁热打铁，把它彻底吃掉 :)
本文的分析基于 WebRTC 的 #23295 提交。
AudioMixer 的使用
继续阅读 »
前两篇我们分析了 WebRTC 的相机采集和预览，接下来的环节就是编码和传输了。目前我对传输还不熟悉，本篇只关注编码相关的内容，同样也是聚焦于三个问题：
继续阅读 »
前面我们已经知道，相机数据采集之后，会通过 RTCVideoCapturerDelegate 的 capturer:didCaptureVideoFrame 回调抛出。在 WebRTC iOS 工程中，这个 delegate 只有一个实现，它就是 RTCVideoSource。
继续阅读 »
在本系列第一篇中，我们分析了 WebRTC-Android 相机采集的实现，本文中我们将分析预览的实现。
有过一定相机开发经验的朋友可能会疑惑，预览还有什么好分析的，不是直接 camera.setPreviewDisplay 或者 camera.setPreviewTexture 就能在 SurfaceView/TextureView 上预览了吗？实际上预览还有更高级的玩法，尤其是需要加上图像处理功能（美颜、特效）时。WebRTC 使用了 OpenGL 进行渲染（预览），涉及下面三个问题：
继续阅读 »
前面我们分析 WebRTC P2P 连接过程时，在 C++ 代码的世界里徜徉了那么久，其中有各种各样的功能模块，难道大家看着不心动？反正我是很想把它们剥离出来用的，第一个拿来开刀的当然就是 P2P 模块了。
继续阅读 »
前面四篇里，我们分别分析了 WebRTC Android 的视频采集、视频渲染和视频硬编码，最后把相关代码剥离出来形成了一个独立的模块：VideoCRE，并对其进行了极大地内存抖动优化。从本篇起，我们将迈入新的领域：网络传输。首先我们看看 P2P 连接的建立过程，以及 DataChannel 的使用，最终我们会利用 DataChannel 实现一个 P2P 的文字聊天功能。
继续阅读 »
之前我在为 janus-pp-rec 增加视频旋正功能一文中简单介绍了一点 RTP 协议的内容，重点关注的是视频方向的 RTP header extension，这次我们更深入的了解一下 RTP 协议的内容，看看 H.264 视频数据是如何封装和解封装的。
继续阅读 »
从上一篇开始，我们这个系列就进入了 iOS 的世界，接下来我打算先熟悉一下 iOS 相机相关的内容，包括采集、预览、编码等，本篇重点是采集。
WebRTC-iOS 的相机采集主要涉及到以下几个类：AVCaptureSession, RTCCameraVideoCapturer, RTCVideoFrame。
继续阅读 »
去年做了一个多平台的（Android/iOS/Windows）基于 WebRTC 的多人音视频通话的项目，客户端基于 WebRTC 最新的客户端代码封装业务逻辑，自己写信令对接 SFU，SFU 最初是对接的 Janus Gateway（所以我才会去给 Janus 提 PR），但 Janus 在中弱网下（ping 4% 丢包 100ms RTT）的表现非常差，一直处于卡死状态。
继续阅读 »