Интеллектуальные устройства Интернета вещей все чаще переходят к глубокой интеграции звука, видео, и технологии искусственного интеллекта. Такие продукты, как умные колонки, системы видеодомофона, IP-камеры, Аудиотерминалы Bluetooth, панели взаимодействия человека и машины требуют множества возможностей, включая воспроизведение звука, захват видео, и интеллектуальные голосовые алгоритмы. Надолго, разработчикам приходилось переключаться между несколькими независимыми фреймворками, что приводит к несогласованным интерфейсам, сложное повторное использование кода, и высокая стоимость обучения, что ограничивало эффективность итерации продукта.
Эспрессиф выпустил ESP-GMF (Общая мультимедийная структура) v1.0! Это первая официально выпущенная API-стабильная версия общей мультимедийной платформы Espressif.. Он интегрирует аудио, видео, и мультимедийные возможности искусственного интеллекта в единой структуре, предоставление универсальной основы для разработки мультимедиа для чипов серии ESP32.. Он официально заменяет ЭСП-АПД и знаменует начало новой эры в разработке мультимедиа Espressif IoT..
Что такое ESP-GMF?
ESP-GMF — это унифицированная среда разработки мультимедиа, разработанная для SoC Espressif.. Благодаря единой модели потока данных, система компонентов, и архитектура развития, он интегрирует аудио, видео, и мультимедийные возможности искусственного интеллекта в единой платформе, предоставляя разработчикам более эффективный, гибкий, и масштабируемый опыт разработки.
По сравнению с предыдущим ЭСП-АПД (Структура разработки аудио), который в основном ориентирован на аудиоприложения, ESP-GMF был полностью модернизирован с точки зрения проектирования архитектуры., диапазон аппаратной поддержки, и возможности повторного использования кода. Он может поддерживать широкий спектр сценариев применения., включая воспроизведение звука, аудиозапись, Голосовые приложения с искусственным интеллектом, видеозвонки, Bluetooth-аудио, рендеринг изображений, и многое другое.
Создание единой мультимедийной программной платформы
Благодаря непрерывной интеграции аудио, видео, и приложения искусственного интеллекта, разработка мультимедиа становится все более сложной и разнообразной..
Благодаря единой архитектуре программного обеспечения, ESP-GMF интегрирует ранее распределенные мультимедийные возможности Espressif и создает единую Поток данных модель, модульная система компонентов, и масштабируемый Трубопровод архитектура. Это обеспечивает последовательный подход к разработке аудио., видео, и мультимедийные приложения AI.
Разработчикам больше не нужно переключаться между несколькими платформами, и они могут выполнять разработку различных типов мультимедийных приложений в одной системе разработки.. Это значительно снижает затраты на обучение и повышает эффективность повторного использования кода..
В то же время, Эспрессиф разработал Мультимедийное ядро ESP в качестве базовой основы возможностей ESP-GMF. ESP Multimedia Core объединяет фундаментальные возможности, такие как медиа-протоколы., аудио/видео кодеки, аудио алгоритмы, и алгоритмы обработки изображений в базовые библиотеки. Он обеспечивает стабильную и долгосрочную программную основу для ESP-GMF и будущих мультимедийных продуктов., постоянно развиваясь вместе с мультимедийной экосистемой Espressif..
ESP-GMF v1.0: Первая стабильная версия API
ESP-GMF v1.0 — первая официально выпущенная версия. API стабильный версия фреймворка. Этот выпуск объединяет несколько предыдущих версий разработки и обновляет все официальные компоненты до 1.0.х, это означает, что будущие версии будут продолжать развиваться, сохраняя при этом стабильность API., сделать структуру более подходящей для разработки продуктов и долгосрочного обслуживания.
В этом выпуске в основном представлены следующие обновления:
Все официальные компоненты обновлены до версии 1.0.x
Все официальные компоненты завершили переход на официальные выпуски., и публичные API достигли стабильного состояния, обеспечение долгосрочной гарантии совместимости для разработки продукта.
Добавлено четыре новых основных модуля
ESP-GMF v1.0 представляет несколько важных модулей возможностей., включая:
esp_player
Новый встроенный мультимедийный проигрыватель с поддержкой демультиплексирования., декодирование, рендеринг аудио/видео, и операции поиска.
esp_asrc
Модуль преобразования частоты дискретизации звука, способный преобразовывать частоты дискретизации., разрядность, и аудиоканалы, с поддержкой программного и аппаратного совместного ускорения.
esp_video_render
Модуль рендеринга видео и пользовательского интерфейса, поддерживающий несколько серверных модулей отображения., два видеопотока, Наложение, и системы виджетов.
gmf_fft
Модуль вычислений БПФ/ОБПФ с фиксированной точкой, поддерживающий аппаратное ускорение на таких чипах, как ЭСП32-С31, ЭСП32-П4, и ESP32-S3.
Дальнейшее расширение мультимедийных возможностей
С введением новых компонентов, ESP-GMF v1.0 создает полную систему мультимедийных возможностей, охватывающую аудио, видео, мультимодальный ИИ, и Bluetooth-мультимедиа. Он обеспечивает унифицированные функциональные интерфейсы для захвата контента., обработка, воспроизведение, рендеринг, и передача, предоставление разработчикам более комплексного и эффективного опыта разработки мультимедиа.
ESP захват обеспечивает единую точку входа для захвата аудио и видео, интеграция доступа к устройствам, преобразование формата, кодирование, обработка изображений, Наложение, синхронизация, и возможности мультиплексирования. Он поддерживает автоматические переговоры, параллельная потоковая передача, и локальное хранилище, что делает его широко применимым к таким сценариям, как мультимодальный ИИ., ВебRTC, прямая трансляция, и удаленный мониторинг.
ESP-плеер предоставляет комплексное решение для воспроизведения: от демультиплексирования и декодирования до рендеринга аудио/видео.. Он поддерживает несколько источников мультимедиа, включая локальные файлы, HTTP(С), и ЗОЖ, при интеграции синхронизации аудио-видео, управление воспроизведением, Искать, и функции воспроизведения с переменной скоростью, помогая разработчикам быстро создавать стабильные и плавные приложения для воспроизведения мультимедиа.
Простой проигрыватель ESP Audio обеспечивает легкое решение для чистого воспроизведения звука. Он поддерживает основные форматы, такие как MP3., ААС, ФЛАК, WAV, и Опус, а также несколько источников звука. Он может автоматически выполнять декодирование и преобразование аудиоформата., позволяя приложениям достигать эффективного воспроизведения звука с меньшим потреблением ресурсов..
ESP видео рендеринг обеспечивает высокопроизводительную композицию видео и возможности отображения. Он поддерживает несколько видеопотоков, Наложение пользовательского интерфейса, интегрированный рендеринг, и серверные части дисплея, такие как LCD и LVGL., удовлетворение требований приложений, включая видеоплееры, умные дисплеи, роботы, и превью камеры.
ESP аудио рендеринг предназначен для многоканальной интеграции звука и высококачественного вывода. Он поддерживает микширование PCM, обработка аудиоэффектов, и возможности постобработки, обеспечение гибкой реализации типичных сценариев, таких как фоновая музыка и микширование TTS., наложение звука уведомления, и голосовое взаимодействие.
ЭСП БТ Аудио объединяет возможности Classic Bluetooth и LE Audio. Он поддерживает протоколы, включая A2DP., HFP, АВРКП, БАП, и ТМАП, и может быть легко интегрирован в конвейер ESP-GMF.. Разработчики также могут комбинировать базовые примеры аудио Bluetooth, предоставленные Espressif, чтобы быстро освоить типичные приложения, такие как LE Audio и Auracast., ускорение разработки аудиопродуктов Bluetooth.
Непрерывная оптимизация для нескольких SoC Espressif
ESP-GMF v1.0 продолжает оптимизироваться для SoC Espressif, таких как ЭСП32-С31, ЭСП32-П4, и ESP32-S3.
Среди них, ЭСП32-С31 представляет новую поддержку камеры V4L2 и поддерживает декодирование MJPEG в RGB., мультирегиональное видео наложение, примеры рендеринга аудио/видео, а также возможности аппаратного ускорения FFT и PPA.. Эти улучшения обеспечивают более полную поддержку разработки таких приложений, как камеры с искусственным интеллектом., умные дисплеи, и терминалы человеко-машинного взаимодействия.
Кроме того, новая версия дополнительно оптимизирует набор инструментов разработки.. esp_board_manager был выделен в самостоятельный компонент, и примеры проектов теперь единообразно используют esp-bmgr-ассистент Пакет Python для управления ресурсами платы разработки. Это делает методы настройки более согласованными в разных проектах и еще больше повышает эффективность разработки..
Типичные сценарии применения продукта
Умные голосовые терминалы:
Умные колонки с функцией пробуждения в автономном режиме, голосовые панели управления, голосовые микрофоны Bluetooth
Визуальные интеллектуальные устройства:
Голосовые динамики с экраном, внутренние системы видеодомофона, камеры контроля доступа
Интернет-камеры (МПК):
Захват видео + звукосниматель, голосовые оповещения, двусторонняя связь
Bluetooth-аудиопродукты:
ЛЕ Аудио вещание, Общественные аудиотерминалы Auracast
Промышленное взаимодействие человека и машины:
Голосовые объявления оборудования, локальные звуковые оповещения, терминалы захвата изображений
Заключение
ESP-GMF v1.0 был официально открыт с открытым исходным кодом. Разработчики могут получить доступ к исходному коду через репозиторий ESP-GMF GitHub и объединить его с официальной документацией., полные примечания к выпуску, и руководство по общей мультимедийной платформе Espressif для быстрого ознакомления с аудио., видео, и возможности разработки мультимедиа с использованием искусственного интеллекта, обеспечиваемые единой мультимедийной структурой..
Выпуск ESP-GMF v1.0 знаменует собой стратегическое обновление экосистемы мультимедийного программного обеспечения Espressif. Единая платформа теперь поддерживает интеграцию аудио, видео, и требования к ИИ, подключение всей цепочки разработки от приобретения оборудования и обработки мультимедиа до интеллектуальных алгоритмов.














