一个专注音视频领域问答的小圈子

目前流媒体开发工程师工作内容主要是在做什么?

这是来自知识星球一位朋友的提问,非常好的一个问题,也是很多想要进入音视频领域的粉丝朋友们想要了解的。

在知识星球内回答了一下,正好也放出来供大家参考一下。

有想要加入知识星球的朋友,可以通过如下链接了解一下:

https://mp.weixin.qq.com/s/LdXwBD1EOLSPVGCMGTEfnw

以下是提问的原文内容:

目前国内流媒体开发做的需求主要包含哪些内容呢?

因为很多大厂数年前就已经构建了各自的音视频底层框架,发展到现在我觉得底层框架层面是不是比较完善了,现在的需求是不是就只有 修bug、适配新协议 这些?

具体到业务上又会有哪些需求呢?

没实际经历过流媒体开发,但又特别想知道在大厂里流媒体/音视频工作到底需要做些什么,所以想咨询一下星主,谢谢。

以下是回复的原文内容:

1. 先说音视频的本质:音视频的本质就是在极端复杂的网络情况下,充分利用终端硬件,给用户最好的音视频体验。

所以说,音视频的开发过程其实是一个追求极致的过程。

换句话说,如果你的业务有很多用户,是公司的主营业务,上面老板也非常重视这一块业务,那你能做的事情就会很多。

如果你的业务可做可不做,你连修bug、适配新协议这些工作都不用做。

其实很多初创公司都是拿webrtc直接编译,然后用接口封装下,就用于直播、视频通话了。

2. 因为你问的是大厂的现状,那接下来会以大厂的音视频开发这个话题展开。

首先,当今的流媒体应用领域已经不仅仅局限于视频通话了,它面向的是音频通话、直播、极速直播(比如远程抓娃娃)、视频会议、在线教育、视频通话、互动白板等诸多业务场景或领域。

每个领域的用户痛点是不同的,所以底层框架并不是“很早就构建”。

要完整解决用户问题,在webrtc形成的音视频底层框架的基础上,轻则换组建,重则要重构。

比如你要应用于连麦直播,为了提升音频质量,至少音频编码要从opus换成aac吧。

至于重构,出于信息安全的考虑,我只能告诉你,这几个大厂的音视频底层框架其实都是经过重构过的。

接下来,我从流媒体涉及到的模块以及分工来展开讲述

在的流媒体开发,已经不是几个人小作坊似的开发模式了,一般会按照模块进行部门或组的分工。

大体可以分为SDK组,主要职能是提供对外接口支持、对接指导以及业务层、逻辑层的维护;

音频组,主要工作分为音频工程开发、音频算法开发、音频传输开发。

其中,音频算法开发主要是实现特定业务场景或通用场景的音频前处理算法开发及优化、以及音频编解码协议、算法、实现的优化,音频传输开发主要是在jitbuffer,plc等技术基础上进行音频传输的优化,而音频工程开发主要是集成其他两部分同事的工作打包给SDK同事进行流媒体SDK的集成开发;

视频组,主要职能就是视频图像处理及视频编解码;

网络组,主要职能就是负责流媒体的传输模块,在保证延时的基础上提升流媒体的弱网抗性,这个模块里耳熟能详的技术有fec,arq,svc等等,其实也远远不限定于这些技术。

经过业务场景多元化和模块划分很细的讲解,你应该知道这里工作量很大了吧。

每个大厂的阶段不一样,业务不一样,这里不太好直接指明他们具体会有哪些工作,也涉及到人家信息安全的风险,只能说这里工作量很大,不然人家也不会招那么多人,而且还在继续招人。

为了让你初步了解这里的工作量,举个例子,比如音频采集。你看起来是不是很容易。

但是实际上,现在大厂里面有一些人就是专门做这一块的,因为现实中设备很复杂,比如你要考虑蓝牙、麦克风、耳机等等不同设备的采集,兼容性问题突出;

其次,不同设备不同场景下的采集方式是不一样的,比如你用耳机采集,回声问题影响较小,如果你应用于直播场景,那你就要关掉硬件降噪,对软件3A进行适配,在不引入回声的基础上提升音质;

最后就是,Android里面,opensl和audiotrack,audiorecord不同设备不同场景下的选择也是一大难点。

3. 看到你对工作“修Bug”的描述,这里想纠正一下你的观念,可能对你有用。

对咱们做工程的来说,工作永远不可能是修Bug,即使产品或者技术再稳定,更不要把自己的工作局限为修Bug。

一旦一个音视频SDK接入的APP多了,用户规模上去了,整个SDK方方面面都是挑战,比如稳定性、性能优化、SDK本身质量、音视频体验上的优化。

即使你修一个Bug,也不会是一个单点问题,而是系统问题,你需要考虑对其他模块的影响,你需要考虑是否有一种通用的方案来系统解决同类型的问题,甚至你需要考虑解决了这个Bug之后怎么验证等等。

上面这些都是我们的日常工作。除了日常工作,其他的需要思考的地方就更多了。

比如你要考虑排障成本、测试效率、服务成本(需要基于用户反馈找到ROI,以最小成本满足用户需求),也要考虑SDK的复用,如何快速赋能更多业务。

每个大厂阶段不一样,水平不一样,你的leader水平可能也不一样,这些你可能之前没有考虑过,但是实际上真正提升技术以及让你的SDK做的更好都是我们需要深刻思考的。

以上就是回答的全部内容,希望对你能够有帮助!!!

知识星球

一个专注音视频领域问答的小圈子

公众号音视频开发进阶对应的知识星球,一个编程开发领域的专业圈子,贩卖知识和技巧!

※ 入群须知:了解该星球能提供的价值和帮助,在提问时务必阐述好背景,附带相关的信息。

iOS 用户可以加我微信 ezglumes 邀请你进星球,有疑问也可以加我微信咨询。

※ 星球内容:

基础教程:

在知识星球连载的干货教程,可以在专栏中找到,随着时间的推移,教程也会越来越多:

- 音视频基础概念
- WebRTC 入门教程及源码实践
- 播放器教程及源码实践
- OpenGL 和特效开发教程
- Vulkan 入门教程

部分内容可以在博客 https://glumes.com 中检索到,后面会在星球里持续更新.

干货分享:

涵盖了移动开发和音视频工程领域的绝大部分,从项目实战角度出发,提升能力,包括但不限于以下领域:

- Android/iOS 移动开发
- Camera 开发
- 短视频编辑 SDK 项目实践
- 在线直播和推流
- WebRTC 开发
- 播放器基础和提高
- OpenGL 图像渲染及特效开发
- C++ 基础和提高
- FFmpeg 使用和分析
- 干货资源和书籍分享

不止于技术方面的,各种 IT 新闻、茶余饭后、生活趣事也欢迎大家分享!!!

技术答疑解惑:

针对上述基础教程和干货分享的答疑,另外还有音视频和 IT 开发中的各种交流讨论。

- 基础知识点答疑
- 工业项目实践答疑
- 问题排查思路分析

一个 BUG 排查很久,不如来星球里提个问题,效率提升百倍。

求职和面试辅导:

一站式职场服务,每份工作都值得用心对待!!!

- 面试题和面试经验分享
- 简历修改和模拟面试
- 大厂内推和信息同步
- 职场经验分享
- 职业规划和发展分析

※ 星主和合伙人介绍

星主是公众号音视频开发进阶的作者,也是网站 https://glumes.com 的作者,曾参与过抖音、剪映等头部音视频 APP 底层 SDK 的开发。

合伙人也是在头条、快手从事音视频架构师的职位,具有多年的音视频开发经验,能力圈覆盖了音视频的绝大多数领域,资深音视频从业人员为你保驾护航。

微信公众号

扫描下面的二维码关注我的微信公众号《音视频开发进阶》,推送更多精彩内容!

添加我的微信 ezglumes 拉你入音视频与图形图像技术群一起交流学习~

wechat-account-qrcode

原创文章,转载请注明来源:    目前流媒体开发工程师工作内容主要是什么?