Schlüsselwörter: Asynchroner Audio- und Video-MPEG-2-PCR-DTS-PTS-Encoder-Decoder
Mit der rasanten Entwicklung des digitalen Fernsehens in meinem Land und der fortschreitenden digitalen Transformation städtischer Radio- und Fernsehnetze haben immer mehr Menschen damit begonnen, Set-Top-Boxen zum Ansehen digitaler Fernsehprogramme zu verwenden. Doch beim Ansehen von Fernsehprogrammen über eine Set-Top-Box stellen Zuschauer manchmal fest, dass einige Audio- und Videoinhalte nicht synchron sind. Das erregte auch unsere Aufmerksamkeit.
Phänomen und Test
Die Stadt Guiyang hat die digitale Transformation ihres Radio- und Fernsehnetzes Ende 2007 im Wesentlichen abgeschlossen, und auch die Programme des Fernsehsenders Guizhou sind in die digitale Netzübertragung übergegangen. Nach dem Eintritt in das digitale Netzwerk stellten wir fest, dass bei mehreren Programmen unseres Senders in einigen Bereichen das Phänomen der Nichtsynchronisation von Audio und Video auftrat, insbesondere wenn die Nachrichten auf dem Satellitenvideokanal und dem Personenkanal ausgestrahlt wurden. Um herauszufinden, wo das Problem liegt, haben wir uns entschieden, einen Lippensynchronisationstest auf der gesamten Übertragungsstrecke unseres Programms durchzuführen. Das für den Test verwendete Gerät ist Tektronix WFM7120. Bei der Audio-/Video-Verzögerungsmessung ist es auch notwendig, eine Reihe kurzer Farbbalken-Videosignale über den TG700 DVG7 zu erzeugen, und die Audiosequenz wird im Abstand von 5 Sekunden in diese Gruppe von Videosignalen eingebettet, um ein solches Signal zu senden das zu testende System und sendet schließlich das Signal an WFM7120, um den Zeitunterschied zwischen Audio und Video zu messen.
Interner Test des Broadcast-Kontrollzentrums
Wie in Abbildung 1 dargestellt, verwenden wir zur Messung, ob es einen Audio-/Video-Verzögerungsunterschied im TV-Sendersystem gibt, die Inspektionszeit, um das vom TG700 erzeugte Testsignal auf der Broadcast-Festplatte aufzuzeichnen und über die Festplatte abzuspielen. und geben Sie das Testsignal in den Verzögerer ein. Nach dem Frame-Synchronisationsmodul wird es auf einem Kanal ausgestrahlt, und dann messen wir diese drei Signale, bevor die Übertragungsabteilung das Signal an den Encoder des Netzwerkunternehmens überträgt. Die Messergebnisse zeigen, dass die Audio-/Video-Verzögerungsdifferenz dieser drei Signale 12 ms nicht überschreitet, d.
Test verschiedener Set-Top-Boxen
Als zweiten Messpunkt wählten wir den Front-End-Computerraum des Netzwerkunternehmens. Wie in Abbildung 2 dargestellt, haben wir hier die wichtigsten Marken von Set-Top-Boxen ausgewählt, die derzeit in China zum Testen verwendet werden. Nachdem Sie das TG700-Testsignal mit dem von uns verwendeten Original-Encoder codiert haben, fügen Sie es in den Kanal ein, den wir gerade senden. Verwenden Sie dann eine Set-Top-Box im Front-End-Computerraum, um das TV-Signal zu demodulieren. Das dekodierte Audio-/Videosignal wird dann zur Messung nach A/D und Einbettung des analogen Signals über einen Panasonic D7120-Videorecorder an WFM950 gesendet. Die Messergebnisse zeigen, dass der Audio-/Video-Verzögerungsunterschied dieser Art von Set-Top-Boxen unterschiedlich ist, einige liegen um 150 ms vor, andere um 300 ms. Dies zeigt, dass verschiedene Set-Top-Boxen über unterschiedliche Fähigkeiten verfügen, um die Synchronisationsbeziehung zwischen Audio-/Videosignalen nach der Demodulation und Decodierung desselben digitalen TV-Signals aufrechtzuerhalten.
Testen verschiedener Encoder
Wie in Abbildung 3 dargestellt, verwenden wir weiterhin den TG700-Signalgenerator, um verschiedene Encoder zu testen und den Encoder, den Modulator und die Set-Top-Box zu aktivieren, um eine simulierte Sende-/Anzeigeumgebung aufzubauen. Hier verwenden wir mehrere Encoder unterschiedlicher Marken. Nach der Kodierung des Testsignals des TG700 wird es von demselben Modulator moduliert und anschließend wird das Signal von derselben Set-Top-Box dekodiert. Es wird auch von D950 verarbeitet und zur Messung an WFM7120 gesendet. Das endgültige Messergebnis ist, dass einige ihrer Audio-/Video-Verzögerungsunterschiede 30 ms betragen und andere 300 ms erreichen, was darauf hindeutet, dass verschiedene Encoder einen größeren Einfluss auf die Audio-/Video-Synchronisation des endgültigen Anzeigesignals der Set-Top-Box haben.
Ursachenanalyse
Das Timing-Prinzip des MPEG-2-Systems
Derzeit ist der MPEG-2-Standard im digitalen TV-Übertragungssystem meines Landes ein wichtiger Audio- und Videokomprimierungsstandard. Es komprimiert, kodiert und multiplext Programmsignale auf der Quellenseite und demultiplext und dekodiert Signale auf der Empfangsseite. Wurde weithin verwendet. Das von uns verwendete digitale Übertragungssystem basiert auf dem MPEG-2-Standard. Werfen wir einen Blick auf die Systemstruktur von MPEG-2, wie in Abbildung 4 dargestellt.
Aus Abbildung 4 ist ersichtlich, dass die Audio- und Videosignale einen Basisstrom bilden, nachdem die redundanten Informationen durch den Komprimierungscodierer entfernt wurden. Dieser elementare Codestrom kann nicht direkt gespeichert oder übertragen werden. Es muss an einen bestimmten Packer gesendet werden. Der Elementarcodestrom wird nach einem bestimmten Format in Absätze unterteilt und durch Hinzufügen spezifischer Identifikationszeichen zum sogenannten gepackten Elementarcodestrom (PES) gebildet. PES-Pakete sind Audio- und Videodatenpakete mit variabler Länge. Anschließend werden die Audio- und Video-PES-Pakete sowie Hilfsdaten an das Übertragungssubsystem gesendet, in kleine Datenpakete mit einer festen Länge von 188b aufgeteilt und durch Zeitmultiplex gemultiplext. Es wird ein einzelner TS-Stream gebildet, und der TS-Stream erreicht das Empfangsende nach der Übertragung über den Kanal.
Wie wir alle wissen, ist die Synchronisierung eine notwendige Voraussetzung für eine korrekte TV-Anzeige. Da bei digitalem Fernsehen der Puffer zum Speichern des Signals während des Komprimierungs- und Kodierungsprozesses verwendet wird, ändert sich die Zeitachse des Signals im Multiplexer. Außerdem ist die Menge an Datenredundanz unterschiedlich, und das Komprimierungsverhältnis ist ebenfalls unterschiedlich Zeitachse Große Veränderungen, insbesondere bei der Verarbeitung der Frame-Gruppenebene, auch die Reihenfolge von B-Frames und P-Frames hat sich geändert. All dies führt dazu, dass bei der Synchronisierung digitaler TV-Signale das Konzept der Originalsequenz völlig verloren geht. Eine effektive Möglichkeit, eine Synchronisierung zu erreichen, besteht darin, dem Signalcodestrom jedes Mal, wenn ein bestimmtes Intervall verstrichen ist, eine Zeitmarkierung hinzuzufügen. Mit diesem Tag kann das empfangende Ende während des Dekodierungsprozesses vor der Anzeige entsprechend diesem Zeittag neu geordnet werden, die Reihenfolge des Bildes vor der Komprimierung und Kodierung sowie die Zeitbeziehung zwischen Ton und Bild rekonstruieren und so eine Bildsynchronisation und -synchronisation erreichen Der Ton wird mit dem Bild synchronisiert.
Aus Abbildung 4 ist auch ersichtlich, dass es im MPEG-27-Encoder einen einzigen gemeinsamen Systemtakt STC (2 MHz) gibt. Diese Uhr wird verwendet, um einen Zeitstempel zu generieren, der die korrekte Dekodierung und Anzeigezeit von Audio/Video angibt. Gleichzeitig kann es zur Anzeige der Abtastung verwendet werden. Der Momentanwert der momentanen Systemuhrzeit. Der Takt ist durch die Zeilensynchronisation des Eingangsvideos phasenstarr. Wenn es sich bei dem Eingang um ein SDI-Signal handelt, wird der Systemtakt des Encoders durch den Takt geteilt durch 10 erzeugt. Dies ist die Entstehung eines gemeinsamen Systemtakts im Encoder sowie die Regeneration des Takts im Decoder und die Korrektur Verwendung von Zeitstempeln, die die Grundlage für die korrekte Synchronisierung der Vorgänge im Decoder bilden. Um die Taktsynchronisation des Codecs zu realisieren, wird der STC-Systemtakt im Encoder gezählt und der Abtastwert des Zählers zu jedem bestimmten Übertragungszeitpunkt als Dekodierung an den Empfänger im Anpassungsheader des ausgewählten TS-Pakets übertragen Das Programmtakt-Referenzsignal des Prozessors, das PCR ist. Das PCR-Gültigkeitsbit ist 42b, wobei das hohe 33b PCR_Base ist, das ist der Zählwert in der Einheit des 27-MHz-Takts und des Takts dividiert durch 300, und das niedrige 9b ist PCR_Extension, das ist der Zählwert im 27-MHz-Takt als Einheit. Neben der PCR sind auch das Decodierungszeitetikett DTS und das Anzeigezeitetikett PTS von großer Bedeutung. Sie ähneln PCR_Base. Sie werden ebenfalls mit dem 27-MHz-Systemtakt des Encoders erstellt, dividiert durch 300 als Einheitszählwert. Unter anderem wird DTS verwendet, um den Decoder anzuweisen, wann das empfangene Bild und der Audiorahmen zu dekodieren sind, und PTS wird verwendet, um zu benachrichtigen, wann der dekodierte Bildrahmen angezeigt werden soll.
Bei Verwendung der bidirektionalen Kodierung muss die Dekodierung eines bestimmten Bildes innerhalb eines bestimmten Zeitraums vor der Anzeige erfolgen, damit es als Quelldaten für die Dekodierung des B-Frame-Bildes verwendet werden kann. Beispielsweise ist die Anzeigereihenfolge von Bildern IBBP, die Übertragungsreihenfolge von Bildern jedoch IPBB. Das MPEG-Referenzmodell geht davon aus, dass die Dekodierung sofort erfolgt, d. h. Dekodierung und Anzeige erfolgen gleichzeitig. Für Audio-Frames und Bild-B-Frames sind die Dekodierungszeit und die Anzeigezeit gleich, und PTS ist dasselbe wie DTS, sodass nur PTS übertragen werden muss. Bei Video-I-Frames und P-Frames sind aufgrund der Neuordnung der Frames die Dekodierungszeit und die Anzeigezeit unterschiedlich und PTS und DTS müssen gleichzeitig übertragen werden. Wenn der Decoder die IPBB-Bildsequenz empfängt, muss er die I-Frame- und P-Frame-Bilder decodieren, bevor er das erste B-Frame-Bild decodiert. Der Decoder kann jeweils nur ein Einzelbild dekodieren, daher dekodiert er zunächst das I-Frame-Bild und speichert es. Wenn das P-Frame-Bild dekodiert wird, wird das dekodierte I-Frame-Bild ausgegeben und angezeigt. Anschließend wird das B-Frame-Bild dekodiert und angezeigt. Die Tabellen 1, 2, 3 und 4 zeigen die Reihenfolge der Eingabe- und Ausgabebilder des Encoders, die PTS- und DTS-Werte jedes Frames sowie die Decodierungs- und Anzeigesequenz jedes Frames des Bildes durch den Decoder.
In Tabelle 1 bilden 13 Bilder eine Gruppe von Bildern, wobei der erste Rahmen I-Rahmen eine Intra-Rahmen-Codierung verwendet, der zweite und dritte B-Rahmen durch bidirektionale Vorhersage aus dem ersten und vierten Rahmen erhalten werden und der vierte Rahmen ein P-Rahmen ist vom ersten Frame passiert. Abgeleitet von der Vorwärtsvorhersage. Nach der Codierung des ersten Frames puffert der Encoder zunächst den zweiten und dritten Frame, codiert den vierten Frame und codiert dann den zweiten und dritten Frame usw. Die endgültige codierte Ausgabesequenz ist in der Tabelle 2 dargestellt.
Aus Tabelle 3 und Tabelle 4 ist ersichtlich, dass das Dateidatenpaket DTS und PTS enthalten sollte, wenn der Decoder eine bestimmte Zugriffseinheit empfängt, die ein I-Frame-Bild enthält. Die Zeit zwischen den Werten dieser beiden Tags beträgt ein Intervall Bildperiode. Nachdem das I-Frame-Bild das P-Frame ist, sollten im Dateidatenpaket auch ein DTS und ein PTS vorhanden sein, und der Zeitabstand zwischen den Werten der beiden Tags beträgt drei Bildperioden. Dann gibt es zwei B-Frames, deren Dateidatenpakete nur PTS enthalten. Das heißt, das I-Frame-Bild wird nach einer Verzögerung von einem Frame nach der Dekodierung abgespielt und angezeigt. Wenn das I-Frame angezeigt wird, wird das vierte Frame-P-Frame dekodiert, aber nicht abgespielt und angezeigt. Es wird zuerst zwischengespeichert und nach der Wiedergabe und Anzeige des 1I-Frames sofort 2B-Frames dekodieren und anzeigen, dann 3B-Frames, dann die gepufferten 4P-Frames anzeigen und gleichzeitig die 7P-Frames dekodieren und puffern und so weiter. Es ist ersichtlich, dass die Reihenfolge der dekodierten und angezeigten Bilder mit der Reihenfolge der Bildeingabe in Tabelle 1 übereinstimmt.
Timing-Prinzip des Decoders (Set-Top-Box)
PTS und DTS sind nur 33b-Werte. Fehlt ein Bezug zur durch die PCR repräsentierten Zeitachse, ist dieser Wert bedeutungslos. Um eine korrekte Decodierung aufrechtzuerhalten, müssen die Systemuhren des Encoders und Decoders (Set-Top-Box) gesperrt bleiben, d. h. ihre Frequenzen bleiben gleich und die Anfangswerte ihrer jeweiligen Zähler sind gleich.
Im Decoder (Set-Top-Box) befindet sich ein spannungsgesteuerter Oszillator (VCO) mit einer Frequenz von ca. 27 MHz. Das Ausgangssignal wird als Systemtakt an den Zähler gesendet, um den aktuellen STC-Abtastwert zu generieren, der wie bei PCR ein Wert von 42b ist. Darunter ist der hohe Wert 33b der Zählwert in der Einheit 27-MHz-Takt nach der rosa Frequenz von 300 und der niedrige Wert 9b der Zählwert in der Einheit 27-MHz-Takt. Wenn ein neues Programm beim Decoder (Set-Top-Box) ankommt, erhält der Decoder (Set-Top-Box) den PCR-Wert aus dem Code-Stream, vergleicht seinen PCR_Extention-Wert mit den unteren 9b Bits des aktuellen STC und erhält den Fehler Signal und durchläuft dann den Phasenregelkreis. Stellen Sie den spannungsgesteuerten Oszillator so ein, dass die Systemtaktfrequenz des Decoders (Set-Top-Box) mit der Systemtaktfrequenz des Encoders übereinstimmt. Erhalten Sie die PTS- und DTS-Werte jedes Frames nacheinander aus dem Codestream und vergleichen Sie sie mit den hohen 33b-Bits des aktuellen STC-Werts. Wenn der DTS-Wert größer als der STC-Wert ist, wird der Codestrom gepuffert und gleichzeitig die STC-Wertänderung überwacht. Wenn der STC-Wert auf den DTS-Wert ansteigt, wird der Framecode-Stream dekodiert. Wenn der STC-Wert dem PTS-Wert entspricht, wird der Frame abgespielt. Wenn aufgrund des Pufferverzögerungsjitters des Übertragungsnetzwerks der PTS-Wert des Codestroms beim Erreichen des Decoders (Set-Top-Box) bereits kleiner als der STC-Wert ist, überspringt der Decoder (Set-Top-Box) diesen Frame und verwirft die Frame-Daten. Da PTS und DTS auf der Grundlage des PCR-Werts generiert werden, muss der erste erhaltene PCR-Wert als Anfangswert verwendet werden, um den STC-Zähler des Decoders (Set-Top-Box) so einzustellen, dass ihre Werte gleich sind, andernfalls Die Zeitbasis wird unterschiedlich sein. , Also Dekodierungsfehler. Die Verarbeitung von Audio und Video ist ähnlich, es gibt jedoch kein Problem mit der zeitlichen Neuordnung. Abbildung 5 zeigt das Funktionsprinzipdiagramm der Decoder-PCR (Set-Top-Box).
Gründe für nicht synchrones Audio und Video
In praktischen Anwendungen verursachen einige Encoder aufgrund der instabilen Zeitbasis des Eingangsvideosignals Jitter im Ausgangstakt und das Bildsynchronisationsintervall beträgt nicht 40 ms. Bei diesen Encodern wird nach dem Einstellen des anfänglichen DTS-Werts gemäß PCR und Pufferverzögerung der DTS-Wert jedes Frames durch Addition eines festen Werts zum vorherigen DTS erhalten (dieser Wert kann wie folgt berechnet werden: 27 MHz wird durch 300 geteilt). 90 kHz und PAL-TV beträgt 25 Bilder pro Sekunde. Daher beträgt der Wert 90000/25 = 3600), und der PTS-Wert wird entsprechend dem Bildtyp und GOP-Typ berechnet. Allerdings stieg der PCR-Wert in diesem Zeitraum nicht um 3600, was dazu führte, dass DTS und PTS im Vergleich zur PCR größer oder kleiner wurden. Einige Decoder (Set-Top-Boxen) verwenden keinen spannungsgesteuerten Oszillator und ihr Systemtakt beträgt feste 27 MHz, sondern verwenden den empfangenen PCR-Wert, um den Wert des lokalen Systemtaktzählers zu initialisieren. Der Encoder und der Decoder (Set-Top-Box) können keine strikte Sperre aufrechterhalten, was dazu führen kann, dass der Decoder (Set-Top-Box) Frames auslässt. Einige Decoder (Set-Top-Boxen) dekodieren und zeigen jedoch nach dem Verlust von Frames nicht mehr strikt gemäß DTS und PTS an, sondern dekodieren entsprechend der Situation des Puffers, da die Verzögerung der Video- und Audiokodierung unterschiedlich ist und Audio verursachen kann Das Gemälde ist nicht synchron.
Darüber hinaus ist die Übertragungsverzögerung von PCR-Paketen im Übertragungsprozess vom Encoder zum Decoder (Set-Top-Box) aufgrund der Existenz von Pufferverbindungen mit variabler Verzögerung wie Multiplexern und Modulatoren möglicherweise nicht konstant und variiert von groß bis klein. Wenn die PCR nicht korrigiert wird, können die oben genannten Probleme ebenfalls auftreten.
um zusammenzufassen
Aus der obigen Analyse ist ersichtlich, dass sowohl der Encoder als auch der Decoder (Set-Top-Box) das Auftreten einer Asynchronisation von Audio und Video verursachen können. Nachdem wir die Encoder verschiedener Marken getestet hatten, entschied sich unser Sender für einen Encoder mit besseren Testindikatoren und ersetzte den ursprünglichen Encoder, was das Phänomen, dass TV-Ton und -Bild nicht synchron sind, erheblich verbesserte. Im nächsten Schritt der Einführung von Set-Top-Boxen werden Netzwerkunternehmen auch die Prüfung relevanter Indikatoren verstärken, um die Qualität der Einschaltquoten zu verbessern. Natürlich brauchen wir im Prozess der voranschreitenden Digitalisierung des Radios und Fernsehens meines Landes weiterhin die gemeinsamen Anstrengungen unserer Fernsehmitarbeiter und Gerätehersteller, um endlich einen vollen Erfolg zu erzielen.v
Unsere anderen Produkt:
