【音视频连载-008】基础学习篇-SDL 播放 PCM 音频文件(下)

音视频学习入门技术文章连载:

接上篇 SDL 播放 PCM 音频文件,已经实现了 的模式去播放,接下来看看 的模式如何实现。

[Read More]

【音视频连载-007】基础学习篇-SDL 播放 PCM 音频文件(上)

音视频学习入门技术文章连载:

在前面的文章中已经能够利用 SDL 去播放 YUV 视频文件了,接下来要通过 SDL 去播放 PCM 音频文件。

SDL 播放音频文件有两种方法,可以理解成 推(push)拉(pull)两种模式。

就是我们主动向设备缓冲区填充 Buffer ,而 就是由设备拉取 Buffer 填充到缓冲区。

在一些开发模型中,如果数据传递能够抽象成的形式,那么肯定就会有两种模式。

本篇文章主要是讲解 SDL 以推的形式播放音频文件。

[Read More]

【音视频连载-006】基础学习篇-SDL 播放 YUV 视频文件

音视频学习入门技术文章连载:

在前面的文章中,我们已经能够加载 YUV 帧并显示了,那是把一张图片转换成 YUV 帧得到的素材。

如果是一个 YUV 视频文件的话,那就是很多 YUV 帧连续在一起,既然能展示一帧,那肯定可以连续展示多帧。

接下来就要这样的操作。

YUV 视频文件素材

还是要准备一下 YUV 视频素材,不用网上到处去下载,用 FFmpeg 命令将 mp4 文件转换成 yuv 文件就好了。

ffmpeg -i file_name.mp4 filename.yuv

命令很简单,其中 file_name 是文件的名称,使用时记得替换。

由于生成的 yuv 文件是未经过压缩的,文件过大不方便传 Github ,所以在程序运行前要自己去生成一下文件。

同样,也可以用 ffplay 验证一下 yuv 文件转换是否正确。

ffplay -f rawvideo -video_size  100x100 yuv_filename.yuv

以上命令会打开一个窗口去播放视频内容,如果播放的和原来 mp4 文件内容一致,说明转换是成功的,YUV 文件可用。

[Read More]

【音视频连载-005】基础学习篇-SDL 加载 YUV 文件并显示

音视频学习入门技术文章连载:

在前面的文章中已经完成了图片的加载和显示,接下来要做的就是加载 YUV 文件并显示。

YUV 文件素材准备

做这个功能点比较麻烦的是素材问题,上哪去找一个 YUV 文件出来,谷歌和百度搜索都不好使,其实直接使用 FFmpeg 生成文件就好了。

使用如下命令将图片文件转成 YUV 文件:

// 把 filename 改为图片对应的文件名
ffmpeg -i image_filename.png -pix_fmt yuv420p yuv_filename.yuv

在这里将 YUV 文件格式固定为 YUV420P 了,如果你对 YUV 格式不懂的话,强烈建议看看我之前写过的文章,图文并茂,清晰易懂,使用谷歌搜索 YUV 关键字,搜索结果排名前五的必有我这篇文章。

一文读懂 YUV 的采样与格式

顺便可以使用 FFplay 验证生成的 YUV 文件是否有效,使用如下命令:

// 100x100 代表图片的宽高,这里只是举例,换成实际的宽高
// 把 filename 改为 YUV 对应的文件名
ffplay -f rawvideo -video_size  100x100 yuv_filename.yuv

以上命令会打开一个窗口去展示图片,如果该图片和未转换成 YUV 的图片内容一致,那说明把图片转换成 YUV 格式文件是成功了,这样就有了实验素材。

[Read More]

【音视频连载-004】基础学习篇-SDL 加载图片并显示

音视频学习入门技术文章连载:

在前面的文章中已经介绍完 SDL 显示窗口、消息循环和事件响应这些基础内容,有了这些基础就可以进行功能性开发了。

本篇的主要内容是利用 SDL 加载并显示一张图片,然后再去进行更多的音视频操作。

[Read More]

【音视频连载-003】基础学习篇-SDL 消息循环和事件响应

音视频学习入门技术文章连载:

在前面的文章中已经创建了一个 SDL 窗口并且显示指定的颜色。

为了让窗口显示出来,在程序中写了一个死循环,这几行代码就是 SDL 消息循环和事件响应的核心缩影了。

    SDL_Event windowEvent;
    while (true){
        if (SDL_PollEvent(&windowEvent)){
            if (SDL_QUIT == windowEvent.type){
                break;
            }
        }
    }
[Read More]

【音视频连载-001】基础学习篇- SDL 介绍以及工程配置

技术开发故事会连载

这是音视频基础学习系列的第一篇文章,主要讲解 SDL 是什么以及为什么要用到它,看似和音视频没啥卵关系,其实必不可少。

SDL 简介

SDL 是 “Simple DirectMedia Layer” 的缩写,它是一个跨平台的多媒体库,可以在 Mac、Windows、Linux 以及更多的系统上运行。

SDL 提供了统一的针对音频、视频、键盘、鼠标、控制杆以及 3D 硬件的低级别访问接口,我们利用这些接口就能在不同系统上播放出音频、视频内容,而无需懂得系统特定的音视频接口。

这种跨平台特性和 OpenGL 是一样的,差别在与 OpenGL 是真·跨平台,它是 Khronos Group 组织开发维护的一个接口规范,具体的实现是由驱动厂商完成。而 SDL 是把要兼容平台的相关接口都给封装好了,然后才对外提供统一的接口。

由此可见,高下立判。一个跨平台是写了接口就行,不管实现;另一个是写好了实现,才能跨平台(貌似跑题了)。

由于 SDL 的跨平台特性,在后续学习 FFmpeg 时就可以利用 SDL 进行音视频的播放操作,而不用像在 Android 平台上搞 FFmpeg 还得编译 so、写 JNI 、写界面那么麻烦,另外 ffplay 源码里面也是用的 SDL 进行播放的,可以从中进行借鉴。

[Read More]