音頻編碼格式都有哪些
經(jīng)過研究發(fā)現(xiàn),F(xiàn)FMPEG SDK寫入視頻的時(shí)候有兩個(gè)地方用來控制寫入的時(shí)間戳,一個(gè)是AvPacket, 一個(gè)是AvFrame。 在調(diào)用avcodec_encode_video的時(shí)候需要傳入AvFrame的對(duì)象指針,也就是傳入一幀未壓縮的視頻進(jìn)行壓縮處理,AvFrame包含一個(gè)pts的參數(shù),這個(gè)參數(shù)就是當(dāng)前幀將來在還原播放的時(shí)候的時(shí)間戳。而AvPacket里面也有pts,還有dts。說起這個(gè)就必須要說明一下I,P,B三種視頻壓縮幀。I幀就是關(guān)鍵幀,不依賴于其他視頻幀,P幀是向前預(yù)測(cè)的幀,只依賴于前面的視頻幀,而B幀是雙向預(yù)測(cè)視頻幀,依賴于前后視頻幀。由于B幀的存在,因?yàn)樗请p向的,必須知道前面的視頻幀和后面的視頻幀的詳細(xì)內(nèi)容后,才能知道本B幀最終該呈現(xiàn)什么圖像。而pts和dts兩個(gè)參數(shù)就是用來控制視頻幀的顯示和解碼的順序。
pts就是幀顯示的順序。
dts就是幀被讀取進(jìn)行解碼的順序。
如果沒有B幀存在,dts和pts是相同的。反之,則是不相同的。關(guān)于這個(gè)的詳細(xì)介紹可以參考一下mpeg的原理。
再說說AvPacket中包含的pts和dts兩個(gè)到底該設(shè)置什么值?
pts和dts需要設(shè)置的就是視頻幀解碼和顯示的順序。每增加一幀就加一,并不是播放視頻的時(shí)間戳。
但是實(shí)踐證明經(jīng)過rmvb解碼的視頻有時(shí)候并不是固定幀率的,而是變幀率的,這樣,如果每壓縮一幀,pts和dts加一的方案為導(dǎo)致音視頻不同步。
解決音視頻不同步方法:lTImeStamp 是通過directshow 獲取的當(dāng)前的視頻幀的時(shí)間戳。
m_llframe_index為當(dāng)前已經(jīng)經(jīng)過壓縮處理的幀的數(shù)量。
首先av_rescale計(jì)算得到當(dāng)前壓縮處理已經(jīng)需要處理什么時(shí)間戳的視頻幀,如果該時(shí)間戳尚未到達(dá)directshow當(dāng)前提供的視頻幀的時(shí)間戳,則將該幀丟棄掉。
否則進(jìn)行壓縮操作。并設(shè)置AVPacket的pts和dts。這里假設(shè)B幀不存在。
因?yàn)樵趯聿シ诺臅r(shí)候視頻以我們?cè)O(shè)定的固定播放幀率進(jìn)行播放,所以需要根據(jù)設(shè)定的播放幀率計(jì)算得到的視頻幀時(shí)間戳和directshow提供的當(dāng)前視頻幀的時(shí)間戳進(jìn)行比較,設(shè)定是否需要進(jìn)行實(shí)施延緩播放的策略。如果需要延緩播放,則將pts增加步長2,否則以普通速度播放,則設(shè)置為1.dts與之相同。
__int64 x =av_rescale(m_llframe_index,AV_TIME_BASE*(int64_t)c-《TIme_base.num,c-《TIme_base.den);
if( x 《 lTimeStamp )
{
return TRUE;
}
m_pVideoFrame2-《pts = lTimeStamp;
m_pVideoFrame2-《pict_type = 0;
int out_size = avcodec_encode_video( c, m_pvideo_outbuf, video_outbuf_size,m_pVideoFrame2 );
/* if zero size, it means the image was buffered */
if (out_size 《 0)
{
AVPacket pkt;
av_init_packet(&pkt);
if( x 《 lTimeStamp )
{
pkt.pts = pkt.dts = m_llframe_index;
pkt.duration = 0;
}
else
{
pkt.duration = (lTimeStamp - x)*c-《time_base.den/1000000 + 1;
pkt.pts = m_llframe_index;
pkt.dts = pkt.pts;
m_llframe_index += pkt.duration;
}
//pkt.pts = lTimeStamp * (__int64)frame_rate.den / 1000;
if( c-《coded_frame && c-《coded_frame-《key_frame )
{
pkt.flags |= PKT_FLAG_KEY;
}
pkt.stream_index= m_pVideoStream-《index;
pkt.data= m_pvideo_outbuf;
pkt.size= out_size;
/* write the compressed frame in the media file */
ret = av_interleaved_write_frame( m_pAvFormatContext, &pkt );
}
else
{
ret = 0;
}