Konzentriert sich auf die Entwicklung von ESP32-Lösungen

ESP-GMF v1.0: One-Stop-Entwicklung für Audio, Video- und KI-Anwendungen

IoT-Smart-Geräte bewegen sich zunehmend in Richtung einer umfassenden Audiointegration, Video, und KI-Technologien. Produkte wie intelligente Lautsprecher, Video-Gegensprechanlagen, IPC-Kameras, Bluetooth-Audioterminals, und Mensch-Maschine-Interaktionspanels erfordern mehrere Fähigkeiten, inklusive Audiowiedergabe, Videoaufnahme, und intelligente Sprachalgorithmen. Für eine lange Zeit, Entwickler mussten zwischen mehreren unabhängigen Frameworks wechseln, Dies führt zu inkonsistenten Schnittstellen, schwierige Wiederverwendung von Code, und hohe Lernkosten, was die Effizienz der Produktiteration einschränkte.

Espressif ist erschienen ESP-GMF (Allgemeines Multimedia-Framework) v1.0! Dies ist die erste offiziell veröffentlichte API-stabile Version des allgemeinen Multimedia-Frameworks von Espressif. Es integriert Audio, Video, und KI-Multimedia-Funktionen in einem einheitlichen Framework, Bereitstellung einer umfassenden Multimedia-Entwicklungsgrundlage für Chips der ESP32-Serie. Es ersetzt offiziell ESP-ADF und markiert den Beginn einer neuen Ära für die IoT-Multimedia-Entwicklung von Espressif.

ESP-GMF ist ein einheitliches Multimedia-Entwicklungsframework, das für Espressif-SoCs entwickelt wurde. Durch ein einheitliches Datenstrommodell, Komponentensystem, und Entwicklungsarchitektur, Es integriert Audio, Video, und KI-Multimedia-Funktionen in einer einzigen Plattform, Bereitstellung einer effizienteren Lösung für Entwickler, flexibel, und skalierbare Entwicklungserfahrung.

Im Vergleich zum Vorgänger ESP-ADF (Audio-Entwicklungs-Framework), die sich hauptsächlich auf Audioanwendungen konzentrierte, ESP-GMF wurde hinsichtlich des Architekturdesigns umfassend verbessert, Hardware-Unterstützungsbereich, und Code-Wiederverwendungsfunktionen. Es kann eine Vielzahl von Anwendungsszenarien unterstützen, inklusive Audiowiedergabe, Audioaufnahme, KI-Sprachanwendungen, Videoanrufe, Bluetooth-Audio, Bildwiedergabe, und mehr.

Mit der kontinuierlichen Integration von Audio, Video, und KI-Anwendungen, Die Multimedia-Entwicklung wird immer komplexer und vielfältiger.

Durch eine einheitliche Softwarearchitektur, ESP-GMF integriert die zuvor verteilten Multimedia-Funktionen von Espressif und schafft eine einheitliche Datenstrom Modell, modulares Komponentensystem, und skalierbar Pipeline Architektur. Dies bietet einen konsistenten Entwicklungsansatz für Audio, Video, und KI-Multimediaanwendungen.

Entwickler müssen nicht mehr zwischen mehreren Frameworks wechseln und können die Entwicklung verschiedener Arten von Multimedia-Anwendungen innerhalb desselben Entwicklungssystems abschließen. Dies reduziert die Lernkosten erheblich und verbessert die Effizienz der Code-Wiederverwendung.

Gleichzeitig, Espressif hat sich entwickelt ESP Multimedia Core als zugrunde liegende Fähigkeitsgrundlage von ESP-GMF. ESP Multimedia Core konsolidiert grundlegende Funktionen wie Medienprotokolle, Audio-/Video-Codecs, Audioalgorithmen, und Bildverarbeitungsalgorithmen in zugrunde liegende Bibliotheken. Es bietet eine stabile und langfristige Softwaregrundlage für ESP-GMF und zukünftige Multimediaprodukte, während es sich zusammen mit dem Multimedia-Ökosystem von Espressif kontinuierlich weiterentwickelt.

ESP-GMF v1.0 ist die erste offiziell veröffentlichte Version API-stabil Version des Frameworks. Diese Version vereinheitlicht mehrere frühere Entwicklungsversionen und aktualisiert alle offiziellen Komponenten auf 1.0.X, Dies bedeutet, dass zukünftige Versionen sich weiterentwickeln und gleichzeitig die API-Stabilität aufrechterhalten, Dadurch wird das Framework besser für die Produktentwicklung und die langfristige Wartung geeignet.

Mit dieser Version werden hauptsächlich die folgenden Updates eingeführt:

Alle offiziellen Komponenten wurden auf 1.0.x aktualisiert

Alle offiziellen Komponenten haben ihre Umstellung auf formelle Veröffentlichungen abgeschlossen, und öffentliche APIs haben einen stabilen Zustand erreicht, Bereitstellung einer langfristigen Kompatibilitätssicherung für die Produktentwicklung.

Vier neue Kernmodule hinzugefügt

ESP-GMF v1.0 führt mehrere wichtige Fähigkeitsmodule ein, einschließlich:

esp_player

Ein neuer eingebetteter Multimedia-Player, der Demultiplexing unterstützt, Dekodierung, Audio-/Video-Rendering, und Suchoperationen.

esp_asrc

Ein Audio-Abtastraten-Konvertierungsmodul, das Abtastraten konvertieren kann, Bittiefe, und Audiokanäle, mit Unterstützung für die kollaborative Beschleunigung von Software und Hardware.

esp_video_render

Ein Video- und UI-Rendering-Modul, das mehrere Display-Backends unterstützt, Duale Videostreams, Überlagerung, und Widget-Systeme.

gmf_fft

Ein Festkomma-FFT/IFFT-Berechnungsmodul, das die Hardwarebeschleunigung auf Chips wie unterstützt ESP32-S31, ESP32-P4, und ESP32-S3.

Mit der Einführung neuer Komponenten, ESP-GMF v1.0 etabliert ein komplettes Multimedia-Fähigkeitssystem, das Audio abdeckt, Video, multimodale KI, und Bluetooth-Multimedia. Es bietet einheitliche funktionale Schnittstellen für die gesamte Inhaltserfassung, Verarbeitung, Wiedergabe, Rendern, und Übertragung, Bereitstellung einer umfassenderen und effizienteren Multimedia-Entwicklungserfahrung für Entwickler.

ESP-Erfassung Bietet einen einheitlichen Einstiegspunkt für die Audio- und Videoaufnahme, Integration des Gerätezugriffs, Formatkonvertierung, Codierung, Bildverarbeitung, Überlagerung, Synchronisation, und Multiplexing-Fähigkeiten. Es unterstützt die automatische Aushandlung, parallele Stream-Übertragung, und lokaler Speicher, Dadurch ist es allgemein auf Szenarien wie multimodale KI anwendbar, WebRTC, Live-Streaming, und Fernüberwachung.

ESP-Spieler bietet eine All-in-One-Wiedergabelösung vom Demultiplexen und Dekodieren bis hin zum Audio-/Video-Rendering. Es unterstützt mehrere Medienquellen, einschließlich lokaler Dateien, HTTP(S), und HLS, bei gleichzeitiger Integration der Audio-Video-Synchronisation, Wiedergabesteuerung, Suchen, und Wiedergabefunktionen mit variabler Geschwindigkeit, Hilft Entwicklern dabei, schnell stabile und reibungslose Multimedia-Wiedergabeanwendungen zu erstellen.

ESP Audio Simple Player bietet eine leichte Lösung für die reine Audiowiedergabe. Es unterstützt gängige Formate wie MP3, AAC, FLAC, WAV, und Opus, sowie mehrere Audioquellen. Es kann die Dekodierung und Audioformatkonvertierung automatisch abschließen, Dadurch können Anwendungen eine effiziente Audiowiedergabe bei geringerem Ressourcenverbrauch erreichen.

ESP-Video-Rendering bietet leistungsstarke Videokompositions- und Anzeigefunktionen. Es unterstützt mehrere Videostreams, Overlay-Benutzeroberfläche, Integriertes Rendering, und Display-Backends wie LCD und LVGL, Erfüllung der Anforderungen von Anwendungen, einschließlich Videoplayern, Intelligente Displays, Roboter, und Kameravorschauen.

ESP-Audio-Rendering ist für die Mehrkanal-Audiointegration und hochwertige Ausgabe konzipiert. Es unterstützt PCM-Mischen, Verarbeitung von Audioeffekten, und Nachbearbeitungsmöglichkeiten, Ermöglicht die flexible Umsetzung typischer Szenarien wie Hintergrundmusik und TTS-Mischung, Benachrichtigungston-Overlay, und Sprachinteraktion.

ESP BT Audio vereint klassische Bluetooth- und LE-Audio-Funktionen. Es unterstützt Protokolle einschließlich A2DP, HFP, AVRCP, BAP, und TMAP, und lässt sich nahtlos in die ESP-GMF-Pipeline integrieren. Entwickler können auch die von Espressif bereitgestellten grundlegenden Bluetooth-Audiobeispiele kombinieren, um typische Anwendungen wie LE Audio und Auracast schnell kennenzulernen, Beschleunigung der Entwicklung von Bluetooth-Audioprodukten.

ESP-GMF v1.0 ist weiterhin für Espressif-SoCs wie optimiert ESP32-S31, ESP32-P4, und ESP32-S3.

Darunter, ESP32-S31 führt neue V4L2-Kameraunterstützung ein und unterstützt MJPEG-zu-RGB-Dekodierung, Mehrregionales Video-Overlay, Beispiele für Audio-/Video-Rendering, sowie FFT- und PPA-Hardwarebeschleunigungsfunktionen. Diese Verbesserungen bieten eine umfassendere Entwicklungsunterstützung für Anwendungen wie KI-Kameras, Intelligente Displays, und Mensch-Maschine-Interaktionsterminals.

Zusätzlich, Die neue Version optimiert die Entwicklungs-Toolchain weiter. esp_board_manager wurde in eine eigenständige Komponente aufgeteilt, und Beispielprojekte verwenden jetzt einheitlich die esp-bmgr-assist Python-Paket zur Verwaltung der Ressourcen des Entwicklungsboards. Dies macht die Konfigurationsmethoden über verschiedene Projekte hinweg konsistenter und verbessert die Entwicklungseffizienz weiter.

Intelligente Sprachterminals:
Intelligente Offline-Wake-Word-Lautsprecher, Sprachbedienfelder, Bluetooth-Sprachmikrofone

Visuelle Smart-Geräte:
Mit Bildschirm ausgestattete Sprachlautsprecher, Video-Gegensprechanlagen für den Innenbereich, Zutrittskontrollkameras

IoT-Kameras (IPC):
Videoaufnahme + Audioaufnahme, Sprachwarnungen, Zwei-Wege-Gegensprechanlage

Bluetooth-Audioprodukte:
LE Audioübertragung, Öffentliche Audioterminals von Auracast

Industrielle Mensch-Maschine-Interaktion:
Sprachansagen der Ausrüstung, lokale Audiowarnungen, Bilderfassungsterminals

ESP-GMF v1.0 wurde offiziell als Open-Source-Version bereitgestellt. Entwickler können über das GitHub-Repository von ESP-GMF auf den Quellcode zugreifen und ihn mit der offiziellen Dokumentation kombinieren, vollständige Versionshinweise, und das Espressif General Multimedia Framework Guide, um den Ton schnell zu erleben, Video, und KI-Multimedia-Entwicklungsfunktionen, die durch das einheitliche Multimedia-Framework ermöglicht werden.

Die Veröffentlichung von ESP-GMF v1.0 markiert eine strategische Weiterentwicklung des Multimedia-Software-Ökosystems von Espressif. Ein einziges Framework unterstützt jetzt die Integration von Audio, Video, und KI-Anforderungen, Verknüpfung der gesamten Entwicklungskette von der Hardwarebeschaffung über die Medienverarbeitung bis hin zu intelligenten Algorithmen.

Bild von Berg Zhou

Berg Zhou

Berg Zhou konzentriert sich auf das ESP32-Schaltplandesign, PCB-Layout, Firmware-Entwicklung und PCBA-Massenproduktion. Kenntnisse im Schaltungsdesign, Komponentenauswahl, Prototypentests und OEM/ODM-Lösungen aus einer Hand. Sorgen Sie für Stabilität, zuverlässige und kostengünstige ESP32-Funktionsmodule und Steuerplatinen für globale Kunden, Unterstützung kundenspezifischer Entwicklung und Serienfertigung.

Aktuelle Beiträge

Übersetzung
Als Standardsprache festlegen
WhatsApp
WhatsApp
E-Mail
E-Mail
wechat
wechat
wechat

Holen Sie sich ein Angebot

Unsere Produktexperten und Techniker beantworten Ihre Fragen 24 Std..

Wir verwenden Cookies, um sicherzustellen, dass wir Ihnen das beste Erlebnis auf unserer Website bieten.