YUV主要的采樣格式
主要的采樣格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。其中YCbCr 4:1:1 比較常用,其含義為:每個點保存壹個 8bit 的亮度值(也就是Y值), 每 2×2 個點保存壹個 Cr 和Cb 值, 圖像在肉眼中的感覺不會起太大的變化。所以, 原來用 RGB(R,G,B 都是 8bit unsigned) 模型, 4 個點需要 8×3=24 bites(如下圖第壹個圖)。 而現在僅需要 8+(8/4)+(8/4)=12bites, 平均每個點占12bites(如下圖第二個圖)。這樣就把圖像的數據壓縮了壹半。
上邊僅給出了理論上的示例,在實際數據存儲中是有可能是不同的,下面給出幾種具體的存儲形式:
(1) YUV 4:4:4
YUV三個信道的抽樣率相同,因此在生成的圖像裏,每個象素的三個分量信息完整(每個分量通常8比特),經過8比特量化之後,未經壓縮的每個像素占用3個字節。
下面的四個像素為: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的碼流為: Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3
(2) YUV 4:2:2
每個色差信道的抽樣率是亮度信道的壹半,所以水平方向的色度抽樣率只是4:4:4的壹半。對非壓縮的8比特量化的圖像來說,每個由兩個水平方向相鄰的像素組成的宏像素需要占用4字節內存。
下面的四個像素為: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的碼流為: Y0 U0 Y1 V1 Y2 U2 Y3 V3
映射出像素點為:[Y0 U0 V1] [Y1 U0 V1] [Y2 U2 V3] [Y3 U2 V3]
(3) YUV 4:1:1
4:1:1的色度抽樣,是在水平方向上對色度進行4:1抽樣。對於低端用戶和消費類產品這仍然是可以接受的。對非壓縮的8比特量化的視頻來說,每個由4個水平方向相鄰的像素組成的宏像素需要占用6字節內存
下面的四個像素為: [Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
存放的碼流為: Y0 U0 Y1 Y2 V2 Y3
映射出像素點為:[Y0 U0 V2] [Y1 U0 V2] [Y2 U0 V2] [Y3 U0 V2]
(4)YUV4:2:0
4:2:0並不意味著只有Y,Cb而沒有Cr分量。它指得是對每行掃描線來說,只有壹種色度分量以2:1的抽樣率存儲。進行隔行掃描,相鄰的掃描行存儲不同的色度分量,也就是說,如果壹行是4:2:0的話,下壹行就是4:0:2,再下壹行是4:2:0…以此類推。對每個色度分量來說,水平方向和豎直方向的抽樣率都是2:1,所以可以說色度的抽樣率是4:1。對非壓縮的8比特量化的視頻來說,每個由2×2個2行2列相鄰的像素組成的宏像素需要占用6字節內存。
下面八個像素為:[Y0 U0 V0] [Y1 U1 V1] [Y2 U2 V2] [Y3 U3 V3]
[Y5 U5 V5] [Y6 U6 V6] [Y7U7 V7] [Y8 U8 V8]
存放的碼流為:Y0 U0 Y1 Y2 U2 Y3
Y5 V5 Y6 Y7 V7 Y8
映射出的像素點為:[Y0 U0 V5] [Y1 U0 V5] [Y2 U2 V7] [Y3 U2 V7]
[Y5 U0 V5] [Y6 U0 V5] [Y7U2 V7] [Y8 U2 V7]
對應AVPicture裏面有data[4]和linesize[4]其中data是壹個指向指針的指針(二級、二維指針),也就是指向視頻數據緩沖區的首地址,而data[0]~data[3]是壹級指針,可以用如下的圖來表示:
data –>xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
^ ^ ^
| | |
data[0] data[1] data[2]
比如說,當pix_fmt=PIX_FMT_YUV420P時,data中的數據是按照YUV的格式存儲的,也就是:
data –>YYYYYYYYYYYYYYUUUUUUUUUUUUUVVVVVVVVVVVV
^ ^ ^
| | |
data[0] data[1] data[2]
linesize是指對應於每壹行的大小,為什麽需要這個變量,是因為在YUV格式和RGB格式時,每行的大小不壹定等於圖像的寬度,對於RGB格式輸出時,只有壹個通道(bgrbgrbgr……)可用,即linesize[0],和data[0],so RGB24 : data[0] = packet rgb//bgrbgrbgr……
linesize[0] = width*3
其他的如data[1][2][3]與linesize[1][2][3]無任何意義。
而對於YUV格式輸出時,有三個通道可用,即data[0][1][2],與linesize[0][1][2],而yuv格式對於運動估計時,需要填充padding(right, bottom),故:
linesize=width+padding size(16+16)。
///////////////////////////////////////////////////////////////////////////////////////
case PIX_FMT_YUV420P: case PIX_FMT_YUVJ420P: case PIX_FMT_RGB555: if (PIC_DIRECTION_0 == m_dwFilpPicDirection) { m_pYuvFrame->data [0] += m_pYuvFrame->linesize[0] * m_pVCodecContext->height; //因為是隔行掃描U與V只有高度的壹半 m_pYuvFrame->data [1] += m_pYuvFrame->linesize[1] * m_pVCodecContext->height/2; m_pYuvFrame->data [2] += m_pYuvFrame->linesize[2] * m_pVCodecContext->height/2; m_pYuvFrame->linesize[0] = -m_pYuvFrame->linesize[0]; m_pYuvFrame->linesize[1] = -m_pYuvFrame->linesize[1]; m_pYuvFrame->linesize[2] = -m_pYuvFrame->linesize[2]; } break; case PIX_FMT_YUVJ422P: case PIX_FMT_YUV422P: case PIX_FMT_YUYVJ422: case PIX_FMT_YUV411P: case PIX_FMT_YUYV422: if (PIC_DIRECTION_0 == m_dwFilpPicDirection) { m_pYuvFrame->data [0] += m_pYuvFrame->linesize[0] * m_pVCodecContext->height; m_pYuvFrame->data [1] += m_pYuvFrame->linesize[1] * m_pVCodecContext->height; m_pYuvFrame->data [2] += m_pYuvFrame->linesize[2] * m_pVCodecContext->height; m_pYuvFrame->linesize[0] = -m_pYuvFrame->linesize[0]; m_pYuvFrame->linesize[1] = -m_pYuvFrame->linesize[1]; m_pYuvFrame->linesize[2] = -m_pYuvFrame->linesize[2]; } break; }在FFMPEG中轉換RGB時順便顛倒圖像的方向算法