Grafické a multimediální procesory

Číslicové zpracování signálu IVA vyžaduje vzorkovat analogový signál a kvantovat jej do konečného počtu úrovní. Predpokládáme přitom, že vzorkovací frekvence je vyšší než Nyqistova frekvence, takže ve frekvenční doméně pak nedochází k aliasingu. Návrh kvantizéru (vzorkovače) znamená stanovit vstupní rozhodovací úrovně, výstupní reprezentační úrovně a jejich počet. Hodnotí se úroven zkreslení. Návrh kvantizéru může být ovlivněn vlastnostmi psychovizuálního a psychoakustického vnímání. Kvantizéry klasifikujeme na typy bez paměti (každý vzorek se kvantuje nezávisle) a kvantizéry s pamětí, kdy je hodnota výstupu závislá na předchozích vzorcích. Dále můžeme kvantizéry rozdělit na uniformní (s konstantním kvantovacím krokem) a neuniformní, symetrické a nesymetrické a na „uprostřed ploché“ nebo „uprostřed rostoucí“. Vstupem kvantizéru je hodnota f, výstupem kvantizéru je hodnota g. Kvantovací chyba je rovna g − f.

Při predikčním kódování se na základě hodnot předchozích vzorků vytvoří predikovaná hodnota vzorku pro další vzorkovací okamžik a tato predikovaná hodnota se porovná se skutečnou hodnotou vzorku. Diferenční signál mezi predikovanou a skutečnou hodnotou vzorku (predikční chyba) se kóduje a přenáší. Často je používána diferenční PCM (DPCM).

Diferenciální pulsní kódová modulace (DPCM, Differential Pulse-Code Modulation) nejrozšířenější metoda predikčního kódování. Proces predikce může být zdokonalen adaptivní predikcí a/nebo kvantováním.

Adaptivní predikce umožňuje dosáhnout celkového zlepšení predikce na základě lokální aktivity obrazu, pohybu, změn scény nebo jiného smysluplného kritéria. Např. může být k dispozici několik různých prediktorů, z nichž se vždy vybere ten, který dává minimální absolutní chybu predikce.

Diskrétní kosinová transformace (DCT) je založena na převodo z oblasti signálových hodnot (jas a chrominance) do kmitočtové oblasti (spektrální koeficienty), analogicky jako u analogové Fourierovy transformace a DFT. Existuje více typů DCT (DCT I–VIII). Výsledkem DCT je nalezení sady koeficientů kosinových funkcí, jejichž složením lze rekonstruovat původní funkci.

Vlastní kódování DCT neprovádí kompresi dat (je tedy bezstrátové). Dalšího zvýšení kompresního poměru se dosáhne klasifikací, kódováním sledů (run-length coding – RLC), kódováním s proměnnou délkou (variable-lenght coding – VLC), atd.

Klikatý scan (zigzag scan) zajistí, že koeficienty budou ve výsledném vektoru seřazeny podle důležitosti. Na prvním, místě je stejnosměrná(DC) složka celého bloku.

Mezi vlastnosti DCT patří:

• Energie 1D, 2D či nD signálu je po provedení diskrétní kosinové transformace většinou soustředěna v několika málo koeficientech. Toho se využívá při následném kvantování vypočtených koeficientů.
• Výsledek DCT transformace je blízký optimální KLT transformaci, především z důvodu minimalizace zbytkové korelace. DCT je však implementačně mnohem jednodušší než KLT.
• Při implementaci je možné použít jak aritmetiku v plovoucí řádové čárce (FP), tak i aritmetiku prováděnou v pevné řádové čárce (FX).
• Rekurzivní struktura – vhodné při implementaci vícerozměrných DCT.
• DCT má i některé nectnosti, především blokovou strukturu, která může být viditelná například při nastavení velkých komprimačních faktorů (malého koeficientu Q) při komprimaci pomocí JPEGu. Totéž platí i při zápisu videa do některého z formátů MPEG.

Wavelet transform

Metoda estimace pohybu (Motion Estimation – ME) se používá ke zvýšení přesnosti predikce mezi sousedními snímky/obrazy. Vlastní provedení této techniky může být:

• Estimace pohybu pixel za pixelem, označovaná též jako pixelový rekurzívní algoritmus (Pixel-Recursive Algorithm – PRA).
  Algoritmy PRA se používají málo, protože jsou složité a algoritmy estimace pohybu mají někdy problémy s konvergencí. Objektově orientované estimace, byly vytvořeny pro kódování obrazu. To se zde příliš nehodí, protože estimace pohybu závisí na identifikaci nebo lokalizaci objektu, nebo alespoň jeho obrysu v obou snímcích nebo obrazech. Rovněž režie s reprezentací objektu je tak vysoká, že se přínos zlepšené predikce na snížení bitové rychlosti ztratí. Jako kompromisní i když neoptimální řešení se pro mezisnímkové hybridním kódování s kompenzací pohybu (Motion Compensation – MC) všeobecně rozšířila metoda se srovnáváním bloků BMA. Na pohybově kompensované predikční chyby se místo 2D transformace může použít podpásmové kódování, vektorové kvantování VQ, waveletová transformace nebo jiná ověřená metoda.
• Estimace pohybu blok za blokem, zvaná též algoritmus se srovnáváním bloků (Block-Matching Algorithm – BMA).
  U BMA se odhaduje pohyb bloku pixelů, např. M × N v intervalu (půl)snímku. Rozsah vektoru pohybu (Motion Vector – MV) je omezen vyhledávacím oknem. BMA ignoruje rotace a předpokládá u všech pixelů v bloku (M × N) stejný pohyb. S tímto omezením je cílem najít nejlepší shodu (nebo alespoň nejmenší deformaci) mezi bloky M × N současného (půl)snímku a odpovídajícího bloku v předchozím (půl)snímku v rozsahu vyhledávacího okna.

Podpásmové kódování (Sub-band coding) je další způsob frekvenčního rozkladu. U SBC se 1D nebo 2D signál rozdělí na několik frekvenčních podpásem třeba i různých šířek pomocí banků filtrů. Použitím přesných rekonstrukčních filtrů lze rekonstruovat původní signál naprosto dokonale. Způsob kódování lze s výhodou přizpůsobit frekvencím. Signály ve vysokofrekvenčních pásmech se mohou kvantovat hrubě nebo zcela zanedbat. Tento postup je použit u kódování zvuku v MPEG-1 a 2.

JPEG

H.261

MPEG-1, MPEG-2