Сосредоточен на разработке решений ESP32.

Социальные сети :

ESP-GMF v1.0: Комплексная разработка для аудио, Видео и приложения искусственного интеллекта

Интеллектуальные устройства Интернета вещей все чаще переходят к глубокой интеграции звука, видео, и технологии искусственного интеллекта. Такие продукты, как умные колонки, системы видеодомофона, IP-камеры, Аудиотерминалы Bluetooth, панели взаимодействия человека и машины требуют множества возможностей, включая воспроизведение звука, захват видео, и интеллектуальные голосовые алгоритмы. Надолго, разработчикам приходилось переключаться между несколькими независимыми фреймворками, что приводит к несогласованным интерфейсам, сложное повторное использование кода, и высокая стоимость обучения, что ограничивало эффективность итерации продукта.

Эспрессиф выпустил ESP-GMF (Общая мультимедийная структура) v1.0! Это первая официально выпущенная API-стабильная версия общей мультимедийной платформы Espressif.. Он интегрирует аудио, видео, и мультимедийные возможности искусственного интеллекта в единой структуре, предоставление универсальной основы для разработки мультимедиа для чипов серии ESP32.. Он официально заменяет ЭСП-АПД и знаменует начало новой эры в разработке мультимедиа Espressif IoT..

ESP-GMF — это унифицированная среда разработки мультимедиа, разработанная для SoC Espressif.. Благодаря единой модели потока данных, система компонентов, и архитектура развития, он интегрирует аудио, видео, и мультимедийные возможности искусственного интеллекта в единой платформе, предоставляя разработчикам более эффективный, гибкий, и масштабируемый опыт разработки.

По сравнению с предыдущим ЭСП-АПД (Структура разработки аудио), который в основном ориентирован на аудиоприложения, ESP-GMF был полностью модернизирован с точки зрения проектирования архитектуры., диапазон аппаратной поддержки, и возможности повторного использования кода. Он может поддерживать широкий спектр сценариев применения., включая воспроизведение звука, аудиозапись, Голосовые приложения с искусственным интеллектом, видеозвонки, Bluetooth-аудио, рендеринг изображений, и многое другое.

Благодаря непрерывной интеграции аудио, видео, и приложения искусственного интеллекта, разработка мультимедиа становится все более сложной и разнообразной..

Благодаря единой архитектуре программного обеспечения, ESP-GMF интегрирует ранее распределенные мультимедийные возможности Espressif и создает единую Поток данных модель, модульная система компонентов, и масштабируемый Трубопровод архитектура. Это обеспечивает последовательный подход к разработке аудио., видео, и мультимедийные приложения AI.

Разработчикам больше не нужно переключаться между несколькими платформами, и они могут выполнять разработку различных типов мультимедийных приложений в одной системе разработки.. Это значительно снижает затраты на обучение и повышает эффективность повторного использования кода..

В то же время, Эспрессиф разработал Мультимедийное ядро ​​ESP в качестве базовой основы возможностей ESP-GMF. ESP Multimedia Core объединяет фундаментальные возможности, такие как медиа-протоколы., аудио/видео кодеки, аудио алгоритмы, и алгоритмы обработки изображений в базовые библиотеки. Он обеспечивает стабильную и долгосрочную программную основу для ESP-GMF и будущих мультимедийных продуктов., постоянно развиваясь вместе с мультимедийной экосистемой Espressif..

ESP-GMF v1.0 — первая официально выпущенная версия. API стабильный версия фреймворка. Этот выпуск объединяет несколько предыдущих версий разработки и обновляет все официальные компоненты до 1.0.х, это означает, что будущие версии будут продолжать развиваться, сохраняя при этом стабильность API., сделать структуру более подходящей для разработки продуктов и долгосрочного обслуживания.

В этом выпуске в основном представлены следующие обновления:

Все официальные компоненты обновлены до версии 1.0.x

Все официальные компоненты завершили переход на официальные выпуски., и публичные API достигли стабильного состояния, обеспечение долгосрочной гарантии совместимости для разработки продукта.

Добавлено четыре новых основных модуля

ESP-GMF v1.0 представляет несколько важных модулей возможностей., включая:

esp_player

Новый встроенный мультимедийный проигрыватель с поддержкой демультиплексирования., декодирование, рендеринг аудио/видео, и операции поиска.

esp_asrc

Модуль преобразования частоты дискретизации звука, способный преобразовывать частоты дискретизации., разрядность, и аудиоканалы, с поддержкой программного и аппаратного совместного ускорения.

esp_video_render

Модуль рендеринга видео и пользовательского интерфейса, поддерживающий несколько серверных модулей отображения., два видеопотока, Наложение, и системы виджетов.

gmf_fft

Модуль вычислений БПФ/ОБПФ с фиксированной точкой, поддерживающий аппаратное ускорение на таких чипах, как ЭСП32-С31, ЭСП32-П4, и ESP32-S3.

С введением новых компонентов, ESP-GMF v1.0 создает полную систему мультимедийных возможностей, охватывающую аудио, видео, мультимодальный ИИ, и Bluetooth-мультимедиа. Он обеспечивает унифицированные функциональные интерфейсы для захвата контента., обработка, воспроизведение, рендеринг, и передача, предоставление разработчикам более комплексного и эффективного опыта разработки мультимедиа.

ESP захват обеспечивает единую точку входа для захвата аудио и видео, интеграция доступа к устройствам, преобразование формата, кодирование, обработка изображений, Наложение, синхронизация, и возможности мультиплексирования. Он поддерживает автоматические переговоры, параллельная потоковая передача, и локальное хранилище, что делает его широко применимым к таким сценариям, как мультимодальный ИИ., ВебRTC, прямая трансляция, и удаленный мониторинг.

ESP-плеер предоставляет комплексное решение для воспроизведения: от демультиплексирования и декодирования до рендеринга аудио/видео.. Он поддерживает несколько источников мультимедиа, включая локальные файлы, HTTP(С), и ЗОЖ, при интеграции синхронизации аудио-видео, управление воспроизведением, Искать, и функции воспроизведения с переменной скоростью, помогая разработчикам быстро создавать стабильные и плавные приложения для воспроизведения мультимедиа.

Простой проигрыватель ESP Audio обеспечивает легкое решение для чистого воспроизведения звука. Он поддерживает основные форматы, такие как MP3., ААС, ФЛАК, WAV, и Опус, а также несколько источников звука. Он может автоматически выполнять декодирование и преобразование аудиоформата., позволяя приложениям достигать эффективного воспроизведения звука с меньшим потреблением ресурсов..

ESP видео рендеринг обеспечивает высокопроизводительную композицию видео и возможности отображения. Он поддерживает несколько видеопотоков, Наложение пользовательского интерфейса, интегрированный рендеринг, и серверные части дисплея, такие как LCD и LVGL., удовлетворение требований приложений, включая видеоплееры, умные дисплеи, роботы, и превью камеры.

ESP аудио рендеринг предназначен для многоканальной интеграции звука и высококачественного вывода. Он поддерживает микширование PCM, обработка аудиоэффектов, и возможности постобработки, обеспечение гибкой реализации типичных сценариев, таких как фоновая музыка и микширование TTS., наложение звука уведомления, и голосовое взаимодействие.

ЭСП БТ Аудио объединяет возможности Classic Bluetooth и LE Audio. Он поддерживает протоколы, включая A2DP., HFP, АВРКП, БАП, и ТМАП, и может быть легко интегрирован в конвейер ESP-GMF.. Разработчики также могут комбинировать базовые примеры аудио Bluetooth, предоставленные Espressif, чтобы быстро освоить типичные приложения, такие как LE Audio и Auracast., ускорение разработки аудиопродуктов Bluetooth.

ESP-GMF v1.0 продолжает оптимизироваться для SoC Espressif, таких как ЭСП32-С31, ЭСП32-П4, и ESP32-S3.

Среди них, ЭСП32-С31 представляет новую поддержку камеры V4L2 и поддерживает декодирование MJPEG в RGB., мультирегиональное видео наложение, примеры рендеринга аудио/видео, а также возможности аппаратного ускорения FFT и PPA.. Эти улучшения обеспечивают более полную поддержку разработки таких приложений, как камеры с искусственным интеллектом., умные дисплеи, и терминалы человеко-машинного взаимодействия.

Кроме того, новая версия дополнительно оптимизирует набор инструментов разработки.. esp_board_manager был выделен в самостоятельный компонент, и примеры проектов теперь единообразно используют esp-bmgr-ассистент Пакет Python для управления ресурсами платы разработки. Это делает методы настройки более согласованными в разных проектах и ​​еще больше повышает эффективность разработки..

Умные голосовые терминалы:
Умные колонки с функцией пробуждения в автономном режиме, голосовые панели управления, голосовые микрофоны Bluetooth

Визуальные интеллектуальные устройства:
Голосовые динамики с экраном, внутренние системы видеодомофона, камеры контроля доступа

Интернет-камеры (МПК):
Захват видео + звукосниматель, голосовые оповещения, двусторонняя связь

Bluetooth-аудиопродукты:
ЛЕ Аудио вещание, Общественные аудиотерминалы Auracast

Промышленное взаимодействие человека и машины:
Голосовые объявления оборудования, локальные звуковые оповещения, терминалы захвата изображений

ESP-GMF v1.0 был официально открыт с открытым исходным кодом. Разработчики могут получить доступ к исходному коду через репозиторий ESP-GMF GitHub и объединить его с официальной документацией., полные примечания к выпуску, и руководство по общей мультимедийной платформе Espressif для быстрого ознакомления с аудио., видео, и возможности разработки мультимедиа с использованием искусственного интеллекта, обеспечиваемые единой мультимедийной структурой..

Выпуск ESP-GMF v1.0 знаменует собой стратегическое обновление экосистемы мультимедийного программного обеспечения Espressif. Единая платформа теперь поддерживает интеграцию аудио, видео, и требования к ИИ, подключение всей цепочки разработки от приобретения оборудования и обработки мультимедиа до интеллектуальных алгоритмов.

Изображение Берг Чжоу

Берг Чжоу

Берг Чжоу сосредоточен на разработке схемы ESP32, Разводка печатной платы, разработка прошивки и массовое производство печатных плат. Умеете заниматься схемотехникой, выбор компонентов, тестирование прототипов и комплексные решения OEM/ODM. Обеспечить стабильную, надежные и экономичные функциональные модули и платы управления ESP32 для клиентов по всему миру, поддержка индивидуальных разработок и серийного производства.

Последние сообщения

Перевод
Сделать основным языком
WhatsApp
WhatsApp
Электронная почта
Электронная почта
Вичат
Вичат
Вичат

Получить предложение

Наши эксперты по продуктам и технические специалисты ответят на ваши вопросы в течение 24 часы.

Мы используем файлы cookie, чтобы обеспечить вам максимальное удобство использования нашего веб-сайта..