一、前言:

这是一个学习 FFmpeg 的 tutorial 系列。 这个是一个对初学者比较友好的FFmpeg学习教程，作者一步步引导我们实现了一个音视频同步的播放器。 参考链接：

原文地址： http://dranger.com/ffmpeg/比较新的代码Github地址： https://github.com/mpenkov/ffmpeg-tutorial中文博客参考地址： http://blog.csdn.net/liujiakunit/article/details/46899229

建议可以打开代码+中文学习博客学习，我看了01~04篇的代码，然后就直接跳到了07的代码，结合中文博客+代码可以看懂。

#

二、源码分析

tutorial01.c 代码分析

这个代码很简单，就是解码一个视频文件，然后把前五帧视频保存为五个后缀格式 .ppm 图片视频

tutorial02.c 代码分析

这个代码是把读取视频文件，然后每解码一帧，马上就用SDL显示出来。

tutorial03.c 代码分析

跟02代码相比，这个添加了播放音频的部分。 FFmpeg负责把音频的从AVPacket解码为AVFrame得到原始数据， 然后SDL通过回调函数，有节奏的取出原始音频数据播放（这个是在一个独立的音频播放线程应该）

tutorial04.c 代码分析

tutorial07.c 代码分析

2.1 整体流程分析：

逻辑还是蛮复杂的 可以这样分析: 总共就两条主线音视频：

音频：SDL 通过这个audio_callback(void userdata, Uint8 stream, int len)不断回调获取音频数据，我们就从这里获取音频的AVPacket 并decode到一个audio buffer中，然后SDL中这个audio buffer取出数据播放

decode_thread ： 死循环，不断读取AVPacket ， 并保存到 音频AVPacket队列， 视频AVPacket队列

视频：和音频不同，需要一个独立的video_thread 线程， ->在主线程 有一个死循环不断从VideoPicture 数据里面取出数据，然后通过SDL显示死循环不断的从视频的AVPacket取出数据 decode 获取AVFrame ，然后把AVFrame 保存到 一个 全局的 VideoPicture 数组里面

2.2 音视频同步细节详解

音视频同步方式有三种：

以音频播放为时钟轴，视频播放参考音频当前播放时间，调整下一帧的播放快慢实现视频同步到音频 参考tutorial05.c 关键点三个： a.如何正确获取音频已播放时间 音频以一个恒定的速率不断的播放，获取准确的已播放音频播放时间

音频时间轴：0-》1-》2-》3-》4-》5-》6-》7-》8-》9

int audio_decode_frame(VideoState *is, double *pts_ptr) { //省略代码 //方法1：通过每一次decode获得的音频数据的字节数除以每一秒音频数据的字节数获得这一次decode的音频时长 //累加这个时长，得出decode的音频最新时间 is->audio_clock += (double)data_size / (double)(n * is->audio_st->codec->sample_rate); //方法2：如果AVPacket的pts有值，则可以通过pts计算 is->audio_clock if(pkt->pts != AV_NOPTS_VALUE) { is->audio_clock = av_q2d(is->audio_st->time_base)*pkt->pts;}void audio_callback(void *userdata, Uint8 *stream, int len) { VideoState *is = (VideoState *)userdata; int len1, audio_size; double pts; while(len > 0) { if(is->audio_buf_index >= is->audio_buf_size) { /* We have already sent all our data; get more */ audio_size = audio_decode_frame(is, &pts); if(audio_size < 0) { /* If error, output silence */ is->audio_buf_size = 1024; memset(is->audio_buf, 0, is->audio_buf_size); } else { is->audio_buf_size = audio_size; } is->audio_buf_index = 0; } len1 = is->audio_buf_size - is->audio_buf_index; if(len1 > len) len1 = len; memcpy(stream, (uint8_t *)is->audio_buf + is->audio_buf_index, len1); len -= len1; stream += len1; is->audio_buf_index += len1; }}double get_audio_clock(VideoState *is) { double pts; int hw_buf_size, bytes_per_sec, n; //关键语句 is->audio_clock 代表已经解码的音频的数据最新时间 pts = is->audio_clock; /* maintained in the audio thread */ hw_buf_size = is->audio_buf_size - is->audio_buf_index; bytes_per_sec = 0; n = is->audio_st->codec->channels * 2; if(is->audio_st) { bytes_per_sec = is->audio_st->codec->sample_rate * n; } if(bytes_per_sec) { //关键语句，音频是解码到了一个buffer里面，其中一部分被SDL取走播放，还有一部分在缓冲区 //已经解码的音频的数据最新时间 不能代表音频已经播放的时间，因为还有一部分解码的音频数据没有被播放 //所以需要减去没有播放的音频的时间，得出准确的音频已经播放时间 pts -= (double)hw_buf_size / bytes_per_sec; } return pts;}

b.如何正确设置每一帧视频的解码时间pts

c.如何调整视频播放速度快慢实现和音频的播放速度同步

以视频播放为时钟，音频播放参考视频播放时钟，调整下一帧的播放快慢实现视频同步到音频

以系统时间为时钟，音频视频同步到系统时钟

2.2.1

（未完待续~）

null

转载于:https://www.cnblogs.com/bylijian/p/7151668.html