Die Bedeutung der Videokodierung
Großer Speicherplatz für Originalvideodaten. Ein 1080P 7 s-Video benötigt 817 MB
Die ursprüngliche Videodatenübertragung nimmt eine große Bandbreite ein und es dauert 11 Minuten, um das obige 7-Sekunden-Video mit einer Bandbreite von 10 Mbit / s zu übertragen
Nach der H.264-Codierung und -Komprimierung beträgt die Videogröße nur 708 k, und die 10-Mbit / s-Bandbreite benötigt nur 500 ms, was die Anforderungen der Echtzeitübertragung erfüllen kann. Daher muss das vom Videoerfassungssensor gesammelte Originalvideo videocodiert sein.
Grundlegend
Warum kann ein großes Originalvideo in ein sehr kleines Video codiert werden? Was ist die Technologie darin? Bevor wir über Technologie sprechen, sollten wir zunächst das Konzept des Videos festlegen, bei dem es sich um fortlaufende Bilder handelt.
Die Kernidee besteht darin, redundante Informationen zu entfernen:
Räumliche Redundanz: Es besteht eine starke Korrelation zwischen benachbarten Pixeln eines Bildes
Zeitliche Redundanz: ähnlicher Inhalt zwischen benachbarten Bildern in einer Videosequenz
Codierungsredundanz: Unterschiedliche Pixelwerte haben unterschiedliche Wahrscheinlichkeiten
Visuelle Redundanz: Das menschliche visuelle System reagiert nicht auf bestimmte Details
Wissensredundanz: Die Struktur der Regelmäßigkeit kann aus Vorwissen und Hintergrundwissen gewonnen werden
Video ist im Wesentlichen eine Reihe von Bildern, die kontinuierlich und schnell wiedergegeben werden. Der einfachste Weg, ein Video zu komprimieren, besteht darin, jedes Bild von Bildern zu komprimieren. Bei der älteren MJPEG-Codierung wird beispielsweise jedes Bildbild im Video komprimiert. Diese Codierungsmethode Es gibt nur eine Intra-Frame-Codierung, bei der die räumliche Stichprobenvorhersage zum Codieren verwendet wird. Die Bildmetapher besteht darin, jedes Bild als Bild zu behandeln und das Bild mithilfe des JPEG-Codierungsformats zu komprimieren. Diese Art der Codierung berücksichtigt nur die Komprimierung redundanter Informationen in einem Bild.
Aufgrund der Zeitkorrelation zwischen Frames wurden jedoch einige fortschrittliche Codierer entwickelt, die Inter-Frame-Codierung verwenden können. Einfach ausgedrückt, werden bestimmte Bereiche auf dem Rahmen durch den Suchalgorithmus ausgewählt, und dann wird der aktuelle Rahmen berechnet. Dies ist eine Form der Codierung mit der Vektordifferenz zwischen dem vorderen und dem hinteren Referenzrahmen. Durch die folgenden zwei aufeinanderfolgenden Frames in Abbildung 2 können wir sehen, dass sich der Skifahrer vorwärts bewegt, aber tatsächlich verschiebt sich die Schneeszene rückwärts, und auf den P-Frame wird verwiesen. Frames (I- oder andere P-Frames) können in der Größe codiert werden nach der Codierung ist sehr klein und das Komprimierungsverhältnis ist sehr hoch.
Referenzlink über der Rahmen http://mp.weixin.qq.com/s/ox6MsWx71b-GFsZihaOwww
Einige Schüler könnten daran interessiert sein, wie diese beiden Bilder entstanden sind. Hier sind zwei Zeilen von FFmpeg-Befehlen zu erreichen. Weitere Informationen zu FFmpeg finden Sie in den folgenden Kapiteln:
Die erste Zeile erzeugt ein Video mit einem sich bewegenden Vektor
Die zweite Zeile gibt jedes Bild als Bild aus
Verwenden Sie den Befehl
ffmpeg -flags2 + export_mvs -i tutu.mp4 -vf codecview = mv = pf + bf + bb tutudebug2.mp4
ffmpeg -i tutudebug2.mp4'tutunormal-% 03d.bmp '
Neben räumlicher Redundanz und zeitlicher Redundanzkomprimierung gibt es hauptsächlich Codierungskomprimierung und visuelle Komprimierung. Das folgende ist das Hauptflussdiagramm eines Encoders:
Abbildung 3 und Abbildung 4 sind zwei Prozesse. Fig. 3 ist eine Intra-Frame-Codierung und Fig. 4 ist eine Inter-Frame-Codierung. Der Hauptunterschied aus der Abbildung besteht darin, dass der erste Schritt anders ist. Tatsächlich werden diese beiden Prozesse auch kombiniert. Im Allgemeinen verwenden I-Frame und P-Frame eine Intra-Frame-Codierung bzw. eine Inter-Frame-Codierung.
Encoderauswahl
Ich habe das Prinzip und den grundlegenden Prozess des Encoders geregelt. Der Encoder hat jahrzehntelange Entwicklung erfahren. Es hat sich von der Unterstützung der Intra-Frame-Codierung zur neuen Generation von Encodern entwickelt, die heute von H.265 und VP9 repräsentiert werden. Gegenwärtig werden einige gängige Encoder analysiert, und wir führen Sie durch die Welt der Encoder.
H.264
Einleitung
Das H.264 / AVC-Projekt beabsichtigt, einen Videostandard zu erstellen. Verglichen mit dem alten Standard kann es qualitativ hochwertige Videos mit einer geringeren Bandbreite liefern (mit anderen Worten, nur die Hälfte der Bandbreite von MPEG-2, H.263 oder MPEG-4 Part 2 oder weniger), ohne zu viel Designkomplexität hinzuzufügen es ist unmöglich zu erreichen oder die Kosten für die Implementierung sind zu hoch. Ein weiterer Zweck besteht darin, eine ausreichende Flexibilität für die Verwendung in verschiedenen Anwendungen, Netzwerken und Systemen bereitzustellen, einschließlich hoher und niedriger Bandbreite, hoher und niedriger Videoauflösung, Rundfunk, DVD-Speicher, RTP / IP-Netzwerken und ITU-T-Multimedia-Telefonsystem.
H.264 / AVC enthält eine Reihe neuer Funktionen, die es nicht nur effizienter als frühere Codecs machen, sondern auch in Anwendungen in verschiedenen Netzwerkumgebungen verwendet werden können. Diese technische Grundlage macht H.264 zum wichtigsten Codec, der von Online-Videounternehmen einschließlich YouTube verwendet wird. Die Verwendung ist jedoch keine sehr einfache Aufgabe. Theoretisch erfordert die Verwendung von H.264 viel Geld. Patentgebühren.
Patentlizenz
Wie der erste und zweite Teil von MPEG-2 und der zweite Teil von MPEG-4 müssen Produkthersteller und Dienstleister, die H.264 / AVC verwenden, Patentinhabern Patentlizenzgebühren zahlen. Die Hauptquelle dieser Patentlizenzen ist eine private Organisation namens MPEG-LA LLC. Diese Organisation hat nichts mit der MPEG-Standardisierungsorganisation zu tun, aber diese Organisation verwaltet auch das MPEG-2 Part One-System, Part Two Video und MPEG-4 Part One. Zweiteilige Video- und andere Technologiepatentlizenzen.
Andere Patentlizenzen müssen bei einer anderen privaten Organisation namens VIA Licensing beantragt werden, die auch Patentlizenzen für Audiokomprimierungsstandards wie MPEG-2 AAC und MPEG-4 Audio verwaltet.
Open Source Implementierung von H.264
openh264 ist ein von Cisco implementiertes Open-Source-H.264-Codierungsprogramm. Obwohl für H.264 eine hohe Patentgebühr erforderlich ist, ist die Patentgebühr jährlich begrenzt. Nachdem Cisco die jährliche Patentgebühr für OpenH264 bezahlt hat, ist OpenH264 tatsächlich kostenlos. Verwenden Sie es frei.
x264 ist eine kostenlose Software für die Videokodierung, die unter der GPL lizenziert ist. Die Hauptfunktion von x264 besteht darin, eine H.264 / MPEG-4-AVC-Videokodierung durchzuführen, nicht als Decoder.
Ohne das Kostenproblem zum Vergleich:
Die CPU-Auslastung von openh264 ist viel geringer als die von x264
openh264 unterstützt nur das Basisprofil, x264 unterstützt mehr Profile
HEVC / H.265
Einleitung
High Efficiency Video Coding (HEVC) ist ein Videokomprimierungsstandard (auch als H.265 bezeichnet), der als Nachfolger des ITU-T H.264 / MPEG-4 AVC-Standards gilt. Im Jahr 2004 begannen die ISO / IEC-Expertengruppe für Bewegtbilder (MPEG) und die ITU-T-Expertengruppe für Videocodierung (VCEG), sich als ISO / IEC 23008-2 MPEG-H Teil 2 oder ITU-T H.265 zu entwickeln. Die erste Version des HEVC / H.265-Videokomprimierungsstandards wurde am 13. April 2013 als offizieller Standard der International Telecommunication Union (ITU-T) akzeptiert. HEVC soll nicht nur die Videoqualität verbessern, sondern auch zweimal erreichen die Komprimierungsrate von H.264 / MPEG-4 AVC (entspricht einer Reduzierung der Bitrate um 50% bei gleicher Bildqualität) und unterstützt 4K-Auflösung und sogar ultrahochauflösendes Fernsehen (UHDTV), die höchste Auflösung kann Erreichen Sie 8192 × 4320 (8K-Auflösung).
Patentlizenz
HEVC verlangt von allen Inhaltsherstellern, die H.265-Technologie verwenden, einschließlich Apple, YouTube, Netflix, Facebook und Amazon, dass sie 0.5% ihres Inhaltsumsatzes als Gebühr für die Nutzung der Technologie zahlen. Der gesamte Streaming-Media-Markt erreicht jedes Jahr rund 100 Milliarden US-Dollar und es geht weiter. Im Wachstum ist die Abgabe von 0.5% definitiv eine enorme Gebühr. Und sie haben die Gerätehersteller nicht losgelassen, unter denen TV-Hersteller 1.5 US-Dollar pro Einheit und Hersteller mobiler Geräte 0.8 US-Dollar pro Einheit an Patentgebühren zahlen müssen. Sie haben nicht einmal Hersteller wie Blu-ray-Player, Spielekonsolen und Videorecorder losgelassen, die jeweils 1.1 US-Dollar zahlen müssen.
Open Source Implementierung von H.265 / HEVC
libde265 HEVC wird von struktur unter der Open-Source-Lizenz GNU Lesser General Public License (LGPL) bereitgestellt, und Zuschauer können Bilder mit höchster Qualität bei langsameren Internetgeschwindigkeiten genießen. Im Vergleich zu früheren Decodern, die auf dem H.264-Standard basieren, kann der libde265 HEVC-Decoder Ihre Full-HD-Inhalte auf das Doppelte der Zielgruppe bringen oder die für das Streaming erforderliche Bandbreite um 50% reduzieren.
x265 wurde von MulticoreWare entwickelt und ist im Rahmen der GPL-Vereinbarung Open Source.
VP8
Einleitung
VP8 ist ein offenes Videokomprimierungsformat, das zuerst von On2 Technologies entwickelt und dann von Google veröffentlicht wurde. Zur gleichen Zeit veröffentlichte Google auch die VP8-codierte Implementierungsbibliothek: libvpx, die in Form von BSD-Lizenzbedingungen veröffentlicht wurde, und fügte anschließend das Recht zur Nutzung des Patents hinzu. Nach einigen Argumenten wurde die Autorisierung von VP8 schließlich als Open Source-Autorisierung bestätigt.
Derzeit sind die Webbrowser, die VP8 unterstützen, Opera, Firefox und Chrome.
Patentlizenz
Im März 2013 hat Google mit MPEG LA und 11 Patentinhabern eine Vereinbarung getroffen, wonach Google VP8 und seine früheren VPx- und andere Kodierungen erhalten kann, die möglicherweise gegen Patente verstoßen. Gleichzeitig kann Google verwandte Patente für VP8-Nutzer kostenlos erneut autorisieren. Diese Vereinbarung eignet sich auch für die nächste Generation der VPx-Codierung. Bisher hat MPEG LA die Gründung der VP8-Lizenzallianz für Patentlizenzen aufgegeben, und VP8-Benutzer können diesen Code kostenlos verwenden, ohne sich über mögliche Lizenzgebühren für Patentverletzungen Gedanken machen zu müssen.
Open Source Implementierung von VP8
Libvpx ist die einzige Open Source-Implementierung von VP8. Es wurde von On2 Technologies entwickelt. Nachdem Google es erworben hatte, öffnete es seinen Quellcode. Die Lizenz ist sehr locker und kann frei verwendet werden.
VP9
Einleitung
Die Entwicklung von VP9 begann im dritten Quartal 2011. Ziel ist es, die Dateigröße im Vergleich zur VP50-Codierung bei gleicher Bildqualität um 8% zu reduzieren. Ein weiteres Ziel besteht darin, die HEVC-Codierung bei der Codierungseffizienz zu übertreffen.
Am 13. Dezember 2012 hat der Chromium-Browser die Unterstützung für die VP9-Codierung hinzugefügt. Der Chrome-Browser unterstützt seit dem 9. Februar 21 die VP2013-codierte Videowiedergabe.
Google gab bekannt, dass die Entwicklung des VP9-Codes am 17. Juni 2013 abgeschlossen sein wird, wenn der Chrome-Browser den VP9-Code standardmäßig leitet. Am 18. März 2014 hat Mozilla dem Firefox-Browser die VP9-Unterstützung hinzugefügt.
Am 3. April 2015 veröffentlichte Google libvpx1.4.0, das Unterstützung für 10-Bit- und 12-Bit-Bittiefe, 4: 2: 2- und 4: 4: 4-Chroma-Sampling sowie VP9-Multi-Core-Codierung / -Decodierung hinzufügte.
Patentlizenz
VP9 ist ein lizenzfreies Videokodierungsformat im offenen Format.
Open Source Implementierung von VP9
libvpx ist die einzige Open Source-Implementierung von VP9, die von Google entwickelt und gepflegt wird. Einige der Codes werden von VP8 und VP9 gemeinsam genutzt, der Rest sind die Codec-Implementierungen von VP8 bzw. VP9.
Vergleich von VP9 und H.264 und HEVC
Vergleich von HEVC und H.264 bei unterschiedlichen Auflösungen
Im Vergleich zu H.264 / MPEG-4 beträgt die durchschnittliche Reduzierung der Bitrate von HEVC:
Es ist ersichtlich, dass die Bitrate um mehr als 60% gesunken ist
HEVC (H.265) hat einen größeren Vorteil bei der Bitrateneinsparung für VP9 und H.264 und spart 48.3% bzw. 75.8% unter demselben PSNR
H.264 hat einen großen Vorteil bei der Codierungszeit. Im Vergleich zu VP9 und HEVC (H.265) ist HEVC 6-mal so hoch wie VP9 und VP9 fast 40-mal so hoch wie H.264.
