FFmpeg 调用 MediaCodec 硬解码到 Surface 上

一个专注音视频领域问答的小圈子

这是关于 FFmpeg 和 MediaCodec 爱恨情仇系列的第三篇文章了。

之前写了 FFmpeg 调用 MediaCodec 进行硬解码的内容。

FFmpeg 调用 Android MediaCodec 进行硬解码

另外也给出了 FFmpeg 的编译脚本，轻松搞定编译问题。

老生常谈-FFmpeg 的编译问题轻松搞定

众所周知，MediaCodec 的解码能力不仅可以解码出 YUV 数据，还能直接解码到 Surface 上。

在短视频领域中，MediaCodec 解码到 Surface 上的能力反而更加常用，这样就能将画面转到 OES 纹理上，从而进行后续各种渲染操作。

之前介绍的 FFmpeg 调用 MediaCodec 进行硬解码只是解码出了 Buffer 数据，没有把解码到 Surface 上的能力用起来。

再看了更多资料之后，发现 FFmpeg 调用 MediaCodec 已经可以解码到 Surface 上。

具体参考的是这篇邮件内容：

http://mplayerhq.hu/pipermail/ffmpeg-devel/2016-March/191700.html

在这里面详细介绍了这种能力，挑重点截图一下：

图片内容介绍的很详细，按照步骤实践就好了。

代码实践

如果熟悉了 FFmpeg 调用 MediaCodec 解码 Buffer 数据的流程，那么解码到 Surface 只是在流程上稍微改动一点就行。

首先要准备好 Surface 对象，在 Java 上层构建好 Surface 对象通过 NDK 传到 Native 层，传下来的是一个 jobject 对象。

如果不熟悉 NDK 的话，可以看看我在慕课网上的录制的免费课程：

Android NDK 免费视频在线学习！！！

其次是两个新的函数方法：

av_mediacodec_alloc_context 和 av_mediacodec_default_init 方法就是让 Surface 和 AVMediaCodecContext 、AVCodecContext 三者之间产生关联。

具体就是 AVCodecContext 持有 AVMediaCodecContext ，AVMediaCodecContext 持有 Surface 。

至于为什么要关联，因为在 FFmpeg 源码里要根据 Surface 是否为 nullptr 对 MediaCodec 的初始化和解码后的数据做不同处理。

感兴趣的可以阅读这块的源码，内容不多通俗易懂。

等到解码之后，FFmpeg 同样会返回一个 AVFrame 数据，只不过它的 data 字段不再是 Buffer 内容了。

AVFrame 的格式不再是 NV12 （解码 Buffer 数据的话就是 NV12），而是自定义的 AV_PIX_FMT_MEDIACODEC ，代表走的 Surface 模式。

if (s->surface) {
   // surface 不为 null 的情况下：
   // 通过 mediacodec_wrap_hw_buffer 对数据进行处理
  if ((ret = mediacodec_wrap_hw_buffer(avctx, s, index, &info, frame)) < 0) {
    av_log(avctx, AV_LOG_ERROR, "Failed to wrap MediaCodec buffer\n");
       return ret;
  }
}

Surface 模式下对数据的处理是 mediacodec_wrap_hw_buffer 函数，Buffer 模式就是 mediacodec_wrap_sw_buffer 函数了。

同时，真正解码后的数据存储在 AVFrame->data[3] 字段上，这个字段是个老员工了。

一般解码非 Buffer 数据的情况，都会将特殊的内容保存到 data[3] 上，比如 Window 上的硬解，部分源码如下：

static int mediacodec_wrap_hw_buffer(AVCodecContext *avctx,
                                  MediaCodecDecContext *s,
                                  ssize_t index,
                                  FFAMediaCodecBufferInfo *info,
                                  AVFrame *frame)
// 省略部分源码
// 创建   AVMediaCodecBuffer 对象
buffer = av_mallocz(sizeof(AVMediaCodecBuffer));
frame->buf[0] = av_buffer_create(NULL,
                       0,
                       mediacodec_buffer_release,
                       buffer,
                       AV_BUFFER_FLAG_READONLY);
// buffer 相关属性赋值
buffer->ctx = s;
buffer->serial = atomic_load(&s->serial);
if (s->delay_flush)
    ff_mediacodec_dec_ref(s);
// index 索引，代表 mediacodec 中 buffer 的索引
buffer->index = index;
buffer->pts = info->presentationTimeUs;
// 将 buffer 赋值给 data[3] 字段
frame->data[3] = (uint8_t *)buffer;

有了 AVFrame 数据之后，Surface 上还是没有画面。

回想一下，在 MediaCodec 上想要数据渲染到 Surface 还得调用一个 releaseOutputBuffer 方法，其中第二个参数要传 true 才可以。

public void releaseOutputBuffer (int index, boolean render)

同样，在 FFmpeg 中也有这么个方法。

int av_mediacodec_release_buffer(AVMediaCodecBuffer *buffer, int render);

buffer 就是 frame->data[3] 的内容，render 的含义和 releaseOutputBuffer 中的含义一致。

另外 releaseOutputBuffer 方法第一个参数 index 其实就已经在 buffer 中赋值过了。

这样一来，解码后就可以直接上屏渲染展示啦。

 AVMediaCodecBuffer *buffer = (AVMediaCodecBuffer *) frame->data[3];
 av_mediacodec_release_buffer(buffer, 1);

完整代码实践可以在公众号音视频开发进阶回复 1019 获取。

经过测试验证确实可行，不过直接不断解码上屏的速度是很快的，可不止视频播放 30ms 一帧的速度哦，想要来做播放器的话，还得自己管理控制一下了。

另外，完整代码演示中直接解码到了 SurfaceView 的 Surface 上。

除此之外，还可以解码到 SurfaceTexture 构造的 Surface 上，这样就可以用到 SurfaceTexture 的 OnFrameAvailableListener 回调方法，并且还可以用 attachToGLContext 方法关联到 OpenGL 环境上，每次解码时通过 updateTexImage 更新画面，实现解码到 OES 纹理的目标，具体操作起来也是很容易方便。

知识星球

一个专注音视频领域问答的小圈子

公众号音视频开发进阶对应的知识星球，一个编程开发领域的专业圈子，贩卖知识和技巧！

※ 入群须知：了解该星球能提供的价值和帮助，在提问时务必阐述好背景，附带相关的信息。

iOS 用户可以加我微信 ezglumes 邀请你进星球，有疑问也可以加我微信咨询。

※ 星球内容：

基础教程：

在知识星球连载的干货教程，可以在专栏中找到，随着时间的推移，教程也会越来越多：

- 音视频基础概念
- WebRTC 入门教程及源码实践
- 播放器教程及源码实践
- OpenGL 和特效开发教程
- Vulkan 入门教程

部分内容可以在博客 https://glumes.com 中检索到，后面会在星球里持续更新.

干货分享：

涵盖了移动开发和音视频工程领域的绝大部分，从项目实战角度出发，提升能力，包括但不限于以下领域：

- Android/iOS 移动开发
- Camera 开发
- 短视频编辑 SDK 项目实践
- 在线直播和推流
- WebRTC 开发
- 播放器基础和提高
- OpenGL 图像渲染及特效开发
- C++ 基础和提高
- FFmpeg 使用和分析
- 干货资源和书籍分享

不止于技术方面的，各种 IT 新闻、茶余饭后、生活趣事也欢迎大家分享！！！

技术答疑解惑：

针对上述基础教程和干货分享的答疑，另外还有音视频和 IT 开发中的各种交流讨论。

- 基础知识点答疑
- 工业项目实践答疑
- 问题排查思路分析

一个 BUG 排查很久，不如来星球里提个问题，效率提升百倍。

求职和面试辅导：

一站式职场服务，每份工作都值得用心对待！！！

- 面试题和面试经验分享
- 简历修改和模拟面试
- 大厂内推和信息同步
- 职场经验分享
- 职业规划和发展分析

※ 星主和合伙人介绍

星主是公众号音视频开发进阶的作者，也是网站 https://glumes.com 的作者，曾参与过抖音、剪映等头部音视频 APP 底层 SDK 的开发。

合伙人也是在头条、快手从事音视频架构师的职位，具有多年的音视频开发经验，能力圈覆盖了音视频的绝大多数领域，资深音视频从业人员为你保驾护航。