位置: IT常识 - 正文

ijkplayer解码流程源码解读(ijk解码是什么意思)

编辑:rootadmin
ijkplayer解码流程源码解读

推荐整理分享ijkplayer解码流程源码解读(ijk解码是什么意思),希望有所帮助,仅作参考,欢迎阅读内容。

文章相关热门搜索词:ijkplayer支持的格式,ijk解码是什么意思,ijkplayer详解使用教程,ijkplayer详解使用教程,ijkplayer详解使用教程,ijkplayer详解使用教程,ijkplayer mediacodec,ijkplayer详解使用教程,内容如对您有帮助,希望把文章链接给更多的朋友!

ijkplayer是一款基于ffmpeg的在移动端比较流行的开源播放器。FFmpeg是一款用于多媒体处理、音视频编解码的自由软件工程,采用LGPL或GPL许可证。

要想理解ijkplayer源码,首先得知道视频播放器的基本原理。

视频播放器播放一个互联网上的视频文件,需要经过以下几个步骤:解协议,解封装,音视频解码,音视频同步。如果播放的是本地文件则不需要解协议。

ijkplayer核心源码都在C文件中。解码流程主要涉及到的文件是ijkplayer_jni.c、ijkplayer.c、ff_ffplay.c。第一个文件是java与c之间的jni层文件,第二个文件主要是加了锁,然后调用的ff_ffplay.c文件中的代码。具体核心功能实现还是在ff_ffplay.c文件中。

1 解封装

入口函数为ffp_prepare_async_l,其中调用了stream_open方法。

stream_open()是比较重要的一个方法,里边创建了解封装线程。

static VideoState *stream_open(FFPlayer *ffp, const char *filename, AVInputFormat *iformat){ ... is->video_refresh_tid = SDL_CreateThreadEx(&is->_video_refresh_tid, video_refresh_thread, ffp, "ff_vout"); if (!is->video_refresh_tid) { av_freep(&ffp->is); return NULL; } is->initialized_decoder = 0; is->read_tid = SDL_CreateThreadEx(&is->_read_tid, read_thread, ffp, "ff_read"); if (!is->read_tid) { av_log(NULL, AV_LOG_FATAL, "SDL_CreateThread(): %s\n", SDL_GetError()); goto fail; } ...}

 VideoState和FFPlayer是2个非常重要的结构体,VideoState保存在FFPlayer中,而在FFPlayer在ff_ffplay.c文件中的大部分函数中都会传入其指针,VideoState中保存了播放器的操作状态以及其他一些重要信息。如果需要对ijkplayer源码进行修改,一些信息可以保存到FFPlayer或VideoState中。

read_thread()//ret = av_read_frame(ic, pkt); 读出一个packet数据,放入队列queue中

static int read_thread(void *arg){...//打开输入源err = avformat_open_input(&ic, is->filename, is->iformat, &ffp->format_opts);...//获取视频流信息err = avformat_find_stream_info(ic, opts);...// 根据音频/视频/字幕调用3次 /* open the streams */ if (st_index[AVMEDIA_TYPE_AUDIO] >= 0) { stream_component_open(ffp, st_index[AVMEDIA_TYPE_AUDIO]); } else { ffp->av_sync_type = AV_SYNC_VIDEO_MASTER; is->av_sync_type = ffp->av_sync_type; } ret = -1; if (st_index[AVMEDIA_TYPE_VIDEO] >= 0) { ret = stream_component_open(ffp, st_index[AVMEDIA_TYPE_VIDEO]); } if (is->show_mode == SHOW_MODE_NONE) is->show_mode = ret >= 0 ? SHOW_MODE_VIDEO : SHOW_MODE_RDFT; if (st_index[AVMEDIA_TYPE_SUBTITLE] >= 0) { stream_component_open(ffp, st_index[AVMEDIA_TYPE_SUBTITLE]); }... for (;;) { //开启循环,如果用户进行了停止操作,则返回 if (is->abort_request) break;...//执行解封装 ret = av_read_frame(ic, pkt);...//解封装后将packet保存到VideoState的音频、视频、字幕packet队列中 if (pkt->stream_index == is->audio_stream && pkt_in_play_range) { packet_queue_put(&is->audioq, pkt); } else if (pkt->stream_index == is->video_stream && pkt_in_play_range && !(is->video_st && (is->video_st->disposition & AV_DISPOSITION_ATTACHED_PIC))) { packet_queue_put(&is->videoq, pkt); } else if (pkt->stream_index == is->subtitle_stream && pkt_in_play_range) { packet_queue_put(&is->subtitleq, pkt); } }...}typedef struct VideoState {...PacketQueue audioq;PacketQueue subtitleq;PacketQueue videoq;...}typedef struct PacketQueue { MyAVPacketList *first_pkt, *last_pkt; int nb_packets; int size; int64_t duration; int abort_request; int serial; SDL_mutex *mutex; SDL_cond *cond; MyAVPacketList *recycle_pkt; int recycle_count; int alloc_count; int is_buffer_indicator;} PacketQueue;

C语言中没有像C++那样有容器,链表、队列都需要自己实现。

stream_component_open函数

static int stream_component_open(FFPlayer *ffp, int stream_index){ avctx = avcodec_alloc_context3(NULL); ret = avcodec_parameters_to_context(avctx, ic->streams[stream_index]->codecpar); codec = avcodec_find_decoder(avctx->codec_id); switch (avctx->codec_type) { case AVMEDIA_TYPE_AUDIO: if ((ret = audio_open(ffp, channel_layout, nb_channels, sample_rate, &is->audio_tgt)) < 0)goto fail; decoder_init(&is->auddec, avctx, &is->audioq, is->continue_read_thread); if ((is->ic->iformat->flags & (AVFMT_NOBINSEARCH | AVFMT_NOGENSEARCH | AVFMT_NO_BYTE_SEEK)) && !is->ic->iformat->read_seek) { is->auddec.start_pts = is->audio_st->start_time; is->auddec.start_pts_tb = is->audio_st->time_base; } // audio_thread 是音频解码线程 if ((ret = decoder_start(&is->auddec, audio_thread, ffp, "ff_audio_dec")) < 0) goto out; break; case AVMEDIA_TYPE_VIDEO: decoder_init(&is->viddec, avctx, &is->videoq, is->continue_read_thread);// video_thread 是视频解码线程 if ((ret = decoder_start(&is->viddec, video_thread, ffp, "ff_video_dec")) < 0) goto out; break; case AVMEDIA_TYPE_SUBTITLE: decoder_init(&is->subdec, avctx, &is->subtitleq, is->continue_read_thread); if ((ret = decoder_start(&is->subdec, subtitle_thread, ffp, "ff_subtitle_dec")) < 0) goto out; break; }}ijkplayer解码流程源码解读(ijk解码是什么意思)

省略大部分代码,只保留一些关键代码。主要作用就是创建解码器上下文,获取解码器,打开解码器等。然后就是根据音频、视频、字幕分别调用decoder_init、decoder_start函数。

static void decoder_init(Decoder *d, AVCodecContext *avctx, PacketQueue *queue, SDL_cond *empty_queue_cond) { memset(d, 0, sizeof(Decoder)); d->avctx = avctx; d->queue = queue; ...}

在decoder_init函数中Decoder中的queue指针指向实际的解封装后的队列,后面音视频解码时,会从此队列中拿出packet进行解码。

2 开始视频解码

decoder_start()中没太多代码,主要是调用SDL_CreateThreadEx创建音频/视频/字幕解码线程

我们主要关注视频的处理,看video_thread函数,这个函数调用func_run_sync,然后后面一通没太多逻辑的调用,最终会执行到ffplay_video_thread函数。

static int ffplay_video_thread(void *arg){AVFrame *frame = av_frame_alloc();... for (;;) { ret = get_video_frame(ffp, frame);... duration = (frame_rate.num && frame_rate.den ? av_q2d((AVRational){frame_rate.den, frame_rate.num}) : 0); pts = (frame->pts == AV_NOPTS_VALUE) ? NAN : frame->pts * av_q2d(tb); ret = queue_picture(ffp, frame, pts, duration, frame->pkt_pos, is->viddec.pkt_serial); av_frame_unref(frame); }}

ffplay_video_thread 会调用get_video_frame获得解码后的数据帧。然后通过queue_picture函数将解码后数据帧塞到队列中保存下来,以便渲染时去拿数据渲染。

get_video_frame会调用decoder_decode_frame函数,真正执行音视频的解码。

decoder_decode_frame 函数

static int decoder_decode_frame(FFPlayer *ffp, Decoder *d, AVFrame *frame, AVSubtitle *sub) {... if (d->queue->serial == d->pkt_serial) { do { if (d->queue->abort_request) return -1; switch (d->avctx->codec_type) { case AVMEDIA_TYPE_VIDEO: // 从解码器中获得一阵解码后的视频帧 frame里面有长/宽数据 ret = avcodec_receive_frame(d->avctx, frame); if (ret >= 0) { ffp->stat.vdps = SDL_SpeedSamplerAdd(&ffp->vdps_sampler, FFP_SHOW_VDPS_AVCODEC, "vdps[avcodec]"); if (ffp->decoder_reorder_pts == -1) { frame->pts = frame->best_effort_timestamp; } else if (!ffp->decoder_reorder_pts) { frame->pts = frame->pkt_dts; } } break; case AVMEDIA_TYPE_AUDIO: // 从解码器中获得一阵解码后的音频帧 ret = avcodec_receive_frame(d->avctx, frame); if (ret >= 0) { AVRational tb = (AVRational){1, frame->sample_rate}; if (frame->pts != AV_NOPTS_VALUE) frame->pts = av_rescale_q(frame->pts, av_codec_get_pkt_timebase(d->avctx), tb); else if (d->next_pts != AV_NOPTS_VALUE) frame->pts = av_rescale_q(d->next_pts, d->next_pts_tb, tb); if (frame->pts != AV_NOPTS_VALUE) { d->next_pts = frame->pts + frame->nb_samples; d->next_pts_tb = tb; } } break; default: break; } if (ret == AVERROR_EOF) { d->finished = d->pkt_serial; avcodec_flush_buffers(d->avctx); return 0; } if (ret >= 0) return 1; } while (ret != AVERROR(EAGAIN)); } do { if (d->queue->nb_packets == 0) SDL_CondSignal(d->empty_queue_cond); if (d->packet_pending) { av_packet_move_ref(&pkt, &d->pkt); d->packet_pending = 0; } else { //从Decoder中保存的解封装队列(queue)里拿出一个packet,保存到pkt中 if (packet_queue_get_or_buffering(ffp, d->queue, &pkt, &d->pkt_serial, &d->finished) < 0) return -1; } } while (d->queue->serial != d->pkt_serial);... } else {// 将pkt发送给解码器进行解码 if (avcodec_send_packet(d->avctx, &pkt) == AVERROR(EAGAIN)) { av_log(d->avctx, AV_LOG_ERROR, "Receive_frame and send_packet both returned EAGAIN, which is an API violation.\n"); d->packet_pending = 1; av_packet_move_ref(&d->pkt, &pkt); } }}

decoder_decode_frame函数会调用ffmpeg的avcodec_send_packet函数将解封装后的数据塞给解码器,并调用 avcodec_receive_frame函数从解码器总获得解码后的音视频数据帧。调试时发现刚开始播放时视频解码得到的frame里面的数据可能为空,包括width、height、linesize都为空。所以如果要改用解码后的视频帧数据,要先判断下里面是否有数据。

3 解码后视频帧保存

视频解码完成了,需要保存解码后的数据,以便渲染线程来拿数据渲染。视频帧解码后数据保存主要看queue_picture函数

static int queue_picture(FFPlayer *ffp, AVFrame *src_frame, double pts, double duration, int64_t pos, int serial){... if (!(vp = frame_queue_peek_writable(&is->pictq))) return -1;... alloc_picture(ffp, src_frame->format);... //将解码后视频帧保存到队列中 frame_queue_push(&is->pictq);...}

 queue_picture及alloc_picture中,以及还有几个跟解码后数据帧拷贝相关的函数,这块还没完全理清。除了解码后YUV数据拷贝,还涉及到一些色彩空间转换。

再看frame_queue_push函数

static void frame_queue_push(FrameQueue *f){ if (++f->windex == f->max_size) f->windex = 0; SDL_LockMutex(f->mutex); f->size++; SDL_CondSignal(f->cond); SDL_UnlockMutex(f->mutex);}typedef struct FrameQueue { Frame queue[FRAME_QUEUE_SIZE]; int rindex; int windex; int size; int max_size; int keep_last; int rindex_shown; SDL_mutex *mutex; SDL_cond *cond; PacketQueue *pktq;} FrameQueue;

这个函数很简单,就是更新一些索引及队列大小。队列是循环重用的,队列中的rindex表示数据开头的index,也是读取数据的index,即read index,windex表示空数据开头的index,是写入数据的index,即write index。

4 音频解码及数据保存

从前面可知stream_component_open中会调用decode_start函数创建音频解码线程audio_thread。

static int audio_thread(void *arg){ AVFrame *frame = av_frame_alloc(); Frame *af;... // 音频解码 if ((got_frame = decoder_decode_frame(ffp, &is->auddec, frame, NULL)) < 0) goto the_end;... // 获取队列中可用于写入写入数据的队列索引(windex),根据(windex)返回Frame if (!(af = frame_queue_peek_writable(&is->sampq))) goto the_end; af->pts = (frame->pts == AV_NOPTS_VALUE) ? NAN : frame->pts * av_q2d(tb); af->pos = frame->pkt_pos; af->serial = is->auddec.pkt_serial; af->duration = av_q2d((AVRational){frame->nb_samples, frame->sample_rate}); av_frame_move_ref(af->frame, frame); frame_queue_push(&is->sampq);...}

可以看出audio_thread中音频解码流程比视频流程更少一点,直接调用decoder_decode_frame获得解码后数据帧frame,通过frame_queue_peek_writable函数获取到队列中下一个可用于音频帧数据保存的位置(windex),返回Frame用于解码后音频数据及相关信息保存。通过ffmpeg的av_frame_move_ref函数完成数据的拷贝,然后调用frame_queue_push更新windex。

static Frame *frame_queue_peek_writable(FrameQueue *f){ /* wait until we have space to put a new frame */ SDL_LockMutex(f->mutex); while (f->size >= f->max_size && !f->pktq->abort_request) { SDL_CondWait(f->cond, f->mutex); } SDL_UnlockMutex(f->mutex); if (f->pktq->abort_request) return NULL; return &f->queue[f->windex];}

 

图中“...”的流程代表省略掉的一些函数调用,可以看出,音频、视频、字幕的解码都是调用的同一个函数。 

本文链接地址:https://www.jiuchutong.com/zhishi/299891.html 转载请保留说明!

上一篇:【Maven】maven安装、IDEA创建maven的web项目、添加依赖、集成Tomcat(maven安装成功命令)

下一篇:多模态模型学习1——CLIP对比学习 语言-图像预训练模型(什么是多模态研究)

  • 小米空气净化器怎么连接wifi(小米空气净化器重置滤芯)

    小米空气净化器怎么连接wifi(小米空气净化器重置滤芯)

  • 微信健康码居住地址怎么修改(微信健康码住址怎么修改)

    微信健康码居住地址怎么修改(微信健康码住址怎么修改)

  • 美团接受预定10点后配送什么意思(美团接受预定10天后退款)

    美团接受预定10点后配送什么意思(美团接受预定10天后退款)

  • 酷喵会员怎么在手机上开通(酷喵会员怎么在电脑用)

    酷喵会员怎么在手机上开通(酷喵会员怎么在电脑用)

  • 华为手机相机曝光怎么开(华为手机相机曝光在哪里找)

    华为手机相机曝光怎么开(华为手机相机曝光在哪里找)

  • 华为手表gt2微信不提示(华为手表gt2微信看不到内容)

    华为手表gt2微信不提示(华为手表gt2微信看不到内容)

  • 快手私信怎么恢复聊天记录(快手私信怎么恢复未看)

    快手私信怎么恢复聊天记录(快手私信怎么恢复未看)

  • 电池优化充电要关闭吗(优化电池充电坏处)

    电池优化充电要关闭吗(优化电池充电坏处)

  • 用绿联快充会伤苹果电池吗(绿联快充会损坏电池吗)

    用绿联快充会伤苹果电池吗(绿联快充会损坏电池吗)

  • 斗鱼怎么获得粉丝牌(斗鱼怎么获得粉球)

    斗鱼怎么获得粉丝牌(斗鱼怎么获得粉球)

  • oppo手机隐藏的照片怎么找出来(oppo手机隐藏的照片在哪里)

    oppo手机隐藏的照片怎么找出来(oppo手机隐藏的照片在哪里)

  • 微信好友仅聊天是什么意思(微信好友仅聊天可以转账吗)

    微信好友仅聊天是什么意思(微信好友仅聊天可以转账吗)

  • 华为nova5pro电池耐用吗(华为nova5pro电池多少钱一块)

    华为nova5pro电池耐用吗(华为nova5pro电池多少钱一块)

  • ios11截图编辑怎么关闭(苹果手机截屏后的编辑功能怎么设置)

    ios11截图编辑怎么关闭(苹果手机截屏后的编辑功能怎么设置)

  • 魅族16系列区别(魅族16系列区别对比)

    魅族16系列区别(魅族16系列区别对比)

  • 手机hd通话怎么关闭(手机里hd怎么设置)

    手机hd通话怎么关闭(手机里hd怎么设置)

  • 人工投票会被检测到吗(人工投票会不会被发现)

    人工投票会被检测到吗(人工投票会不会被发现)

  • 小米wifi怎么添加路由器(小米wifi手动添加网络)

    小米wifi怎么添加路由器(小米wifi手动添加网络)

  • iPhone XR有没有NFC(苹果xr 有没有nfc)

    iPhone XR有没有NFC(苹果xr 有没有nfc)

  • deepin20怎么新增字体? deepin20安装字体的教程(deepin如何)

    deepin20怎么新增字体? deepin20安装字体的教程(deepin如何)

  • 奥伊米亚康的冬天,俄罗斯 (© Alexandr Berdicevschi/Getty Images)(奥伊米亚康冬季气温低原因)

    奥伊米亚康的冬天,俄罗斯 (© Alexandr Berdicevschi/Getty Images)(奥伊米亚康冬季气温低原因)

  • GPT-4 免费体验方法

    GPT-4 免费体验方法

  • C++ 手撸简易服务器(完善版本)(c++简易游戏)

    C++ 手撸简易服务器(完善版本)(c++简易游戏)

  • 汇算清缴计提所得税在哪个月
  • 城镇土地使用税的征税范围
  • 电子税务局怎么删除办税员
  • 税法免抵退计算例题
  • 餐饮店充值
  • 境外支付佣金如何开发票
  • 企业亏损情况下股东借款怎么办
  • 管理费用进项抵扣比例是多少?怎么算
  • 物业管理费什么时候交?
  • 医院食堂承包方案的实施细则
  • 所得税预警税负率
  • 汽车配件的税收编码是多少
  • 纳税人提供植物养护服务属于什么服务
  • 纳税人转让2016年以后的土地使用权
  • 差旅费未及时报销说明怎么写
  • 专用发票和普通发票的区别在哪里
  • 未结转是什么意思
  • 劳务公司差额征收税率是多少
  • 平销返利可以作为下期的折扣开票吗?
  • 财务费用在汇算清缴时填哪里科目
  • 投资利税率计算器在线计算
  • 购买方取得专票会计分录
  • 新版edge浏览器如何恢复设置
  • 电脑桌面点击鼠标右键就闪退
  • win7 右键 没反应怎么办
  • 公司给员工的餐补有没有个税
  • 试生产时间规定
  • macqq怎么查看删除好友
  • 股东帮公司垫付货款
  • 营改增后增值税税率
  • 期房怎么交易流程
  • 很有意思的一段话
  • 电脑上fci是什么文件
  • 国家纪念品
  • nginx反向代理详解
  • 个体户怎么开发票免税
  • 投资收益属于营业成本吗
  • php实现验证码
  • 一般业务计算的基本步骤
  • php返回数组
  • 旅行社差额纳税的规定
  • html常用标签有哪些
  • 只有进项税没有销项税如何报税
  • 固定资产一次性扣除政策
  • 工会经费税前扣除是什么意思
  • 计提和支付可以录在一张凭证吗
  • 错开发票所需要提供的资料和时效要求是?
  • access数据保存
  • sql server 2005 sp4
  • 初识PostgreSQL存储过程
  • 发票清单如何开具呢?
  • 普通发票为什么只能领一张
  • 支票存根联丢失可以用回单代替么
  • 收到科技局补贴金费怎么入账
  • 即征即退的收入是不征税收入
  • 冲减多计提的工资摘要怎么写
  • 咨询服务费如何合理避税
  • 会计准则应收账款计提坏账
  • 商业企业费用的计算方法
  • sql查询从入门到实践
  • windows7开机黑屏安全模式也进不去
  • FreeBSD中使用QUOTA(磁盘配额)来限制用户空间
  • windows xp注册表清理
  • xp administrator隐藏如何找回解决方案
  • win10系统怎么回滚
  • ssh permission denied password
  • excel怎么添加动态图
  • nodejs word
  • 链接符怎么删除
  • python数据结构教程
  • python 压缩gz
  • 如何控制孩子的手机使用时间
  • js处理时间格式
  • JQuery给select添加/删除节点的实现代码
  • #androidsdk文件夹可以删除吗
  • thinkphp withjoin
  • javascript怎么做
  • 税务系统 网络发票
  • 医保电子缴费凭证怎么查询
  • 更改国名
  • 免责声明:网站部分图片文字素材来源于网络,如有侵权,请及时告知,我们会第一时间删除,谢谢! 邮箱:opceo@qq.com

    鄂ICP备2023003026号

    网站地图: 企业信息 工商信息 财税知识 网络常识 编程技术

    友情链接: 武汉网站建设