Audio- und Videoentwicklung und Lernen

Wir gehen zunächst davon aus, dass jemand keine Grundlage für Audio und Video hat und noch nie Kenntnisse in Bezug auf die digitale Signalverarbeitung erworben hat. Die mathematische Grundlage ist im Grunde genommen das Highschool-Niveau, aber er ist mit der C / C ++ - Entwicklung vertraut, zumindest mit der Kompilierung und dem Debuggen von IDE unter einer bestimmten Plattform.

Konzentrieren Sie sich auf die beiden Open-Source-Projekte ffmpeg und webRTC, wobei Sie sich hauptsächlich mit dem Videoteil von ffmpeg und dem Audioteil von webRTC befassen.

Zuallererst Beginnen Sie mit der Videodecodierung. Dies ist die einfachste. Der Basiscode zum Aufrufen der ffmpeg-Videodecodierung beträgt nur etwa 100 Zeilen. Videodecodierung muss nur h.264 verstehen, 80%+ Szenen sind in diesem Codierungsformat, verstehen grundlegende H.264 sps pps NAL und andere Dateiformatkonzepte, verstehen das Prinzip des YUV-Bildformats und verstehen die Konvertierung von YUV in RGB , Damit Sie Bildrendering durchführen können, können Sie einen einfachen Videoplayer erzielen. (Grundsätzlich in der ersten Stufe)

Um mehr über die Videocodierung zu erfahren, wird empfohlen, mit x264 zu beginnen. Ein einfacher Aufruf des x264-Codierungscodes umfasst weniger als 100 Zeilen. Die Codierung ist komplizierter als die Decodierung, da für die Decodierung keine Parameter konfiguriert werden müssen und für die Codierung eine große Anzahl von Parametern konfiguriert werden muss. Verstehen Sie zu Beginn nur einige grundlegende Konzepte, wie z. B. Framerate, gängige Flusssteuerungsmethoden ABR CRF, GOP, I / B Was bedeutet / P Frame? (Wieder mit der X264-Codierung vertraut)

Der Codec des Audioteils ähnelt dem des Videos. In der Anfangsphase müssen Sie nur die beiden Encoder EAAC + und Silk verstehen, die Konzepte von Soundkanal, Abtastrate usw. verstehen und das Wave-Dateiformat verstehen. Kann ein einfacher Audio-Player sein. (Machen Sie einen Audio-Player)

Der komplexe Teil von Audio ist nicht der Codec, sondern der Soundeffekt. Schauen Sie sich das Audioverarbeitungsmodul in webRTC an und verstehen Sie die folgenden Konzepte: Entrauschen von NS, EEC für Echokompensation, VAD für die Stummschaltung, automatische AGC für die Verstärkungsregelung und das integrierte webRTC. Obwohl der Algorithmus nicht der beste ist, kann er über 90% der Probleme lösen, und es lohnt sich, ihn zu lernen. (Webrtc Audio-Verarbeitung lernen)

Nachdem ich dies gelernt habe, muss ich über eine Frage nachdenken, ob ich eine technische Route oder eine algorithmische Route einschlagen möchte. Wenn es eine algorithmische Route ist, muss ich Mathematik lernen. Hinter der digitalen Signalverarbeitung steht eine Vielzahl grundlegender mathematischer Theorien. Wenn es sich um eine technische Route handelt, müssen Sie die plattformübergreifende Entwicklung, das Sammeln, Wiedergeben und Verarbeiten von Audio und Video auf mehreren Plattformen sowie die Optimierung der Assemblersprache auf mehreren Plattformen erlernen. (Plattformbezogen)

Audio und Video sind ein sehr tiefes Feld, und Sie werden das Lernen in Ihrem Leben nie zu Ende bringen. Dieses Feld hat jedoch den Vorteil, dass die Geschwindigkeit der Wissensaktualisierung relativ langsam ist, die gelernten Dinge nicht leicht zu beseitigen sind und sich Erfahrungen ansammeln ist sehr wichtig.v