我在今年年初离开 YOLO 加入了一家在流媒体领域具有极深积累的小公司，负责视频群聊 SDK 的开发工作，YOLO 是一款直播 APP，我常戏称这是从技术下游（SDK 使用方）跑到了技术上游（SDK 提供方）。不过事情当然不是这么简单，经过长期的思考和探讨，我最终确认：实时多媒体领域，更宽泛一点来讲，实时视觉、感知的展现，在未来极长一段时间内都存在很大的需求，也存在很大的挑战，所以这将是我长期技术积累的大方向。
继续阅读 »
去年做了一个多平台的（Android/iOS/Windows）基于 WebRTC 的多人音视频通话的项目，客户端基于 WebRTC 最新的客户端代码封装业务逻辑，自己写信令对接 SFU，SFU 最初是对接的 Janus Gateway（所以我才会去给 Janus 提 PR），但 Janus 在中弱网下（ping 4% 丢包 100ms RTT）的表现非常差，一直处于卡死状态。
继续阅读 »
一年前我初步分析了 WebRTC 的 P2P 连接过程，并总结为了安卓 P2P 连接过程和 DataChannel 使用一文，那会儿我刚接触 WebRTC C++ 的代码，看起来着实头大，而且安卓的代码要调试、测试也很麻烦，所以很多细节就没有展开，今天就让我们在 iOS 的工程里，对 P2P 连接的过程进行一个彻底的剖析。
继续阅读 »
和对 WebRTC Android 的分析一样，继采集和渲染之后，现在让我们分析一下 WebRTC iOS 的视频硬编码实现。
iOS 的视频硬编码用到的是 VideoToolbox 库，除了编码，VideoToolbox 还提供了解码、转码等功能。我们先了解一下 VideoToolbox 编码的基本工作流程，再看看 WebRTC 对它的使用。
继续阅读 »
分析完应用上层的视频采集、渲染、编码之后，原本我是打算把完整的 WebRTC 带到 Flutter 的世界里，形成 FlutterRTC 的，但后来仔细想想，这件事没多大意思，做出来了也不能产生多大价值，所以我决定调头深入底层。
本篇算是真正深入底层的第一篇，让我们深究一下之前没有深究的话题：视频数据 native 层之旅，以及 WebRTC 对视频数据的处理。最近对 iOS 上层的分析也不算白费，毕竟在 iOS 平台深入底层，无论是编译还是调试都更方便。
继续阅读 »
我真正接触 WebRTC 的 ADM 是在做 iOS 混音的时候，iOS 的音频采集、播放之前没有做过，所以想着从 WebRTC 的音频采集播放代码里借鉴一下 AudioUnit 的使用，结果折腾了半天愣是没搞定，后来索性直接使用了 ADM，为混音项目草草地画上了句号。
继续阅读 »
第一次看到 WebRTC 这个词是 15 年在一期 Android Weekly 中，但当时完全看不懂它在讲什么，也就没有深究。两年后，我开始搞起 WebRTC，并整理出了一套开箱即用的 WebRTC 开发环境，距今又过了一年多。
继续阅读 »
从事多媒体开发的朋友，对 YUV 绝对不陌生，但大家真的能把 YUV 彻底讲清楚吗？这次，让我们彻底揭开 YUV 的「不神秘」面纱。
采样比
人类视觉系统对亮度（luma）的敏感度高于对色度（chroma）的敏感度，因此可以对色度数据进行下采样；
采样比通常表示为 J:a:b，以表示一个宽为 J 像素、高为 2 像素的采样区域内 Y Cb Cr 的采样比：
J 表示采样区域的宽度，通常为 4；
a 表示第一行色度采样数；
b 表示第二行色度采样与第一行色度采样的不同样点数；
继续阅读 »
在本系列第一篇中，我们分析了 WebRTC-Android 相机采集的实现，本文中我们将分析预览的实现。
有过一定相机开发经验的朋友可能会疑惑，预览还有什么好分析的，不是直接 camera.setPreviewDisplay 或者 camera.setPreviewTexture 就能在 SurfaceView/TextureView 上预览了吗？实际上预览还有更高级的玩法，尤其是需要加上图像处理功能（美颜、特效）时。WebRTC 使用了 OpenGL 进行渲染（预览），涉及下面三个问题：
继续阅读 »
前面三篇中，我们依次分析了 WebRTC Android 的视频采集、视频渲染和视频硬编码，Live Streaming 视频的前段就已经全了。WebRTC 是个宝，初窥这部分代码时就被它的 Capturer 类的设计惊艳到了，仔细品鉴后越发佩服起来，里面简直填了太多坑了，如此宝贝，如不能为我所用，岂非一大憾事！而前三篇的解读，正是为了今天能将其剥离出来所做的铺垫，现在就有请我们今天的主角——VideoCRE, Video Capture, Render and Encode——闪亮登场。
继续阅读 »