Dispositivos inteligentes IoT estão cada vez mais migrando para uma integração profunda de áudio, vídeo, e tecnologias de IA. Produtos como alto-falantes inteligentes, sistemas de vídeo porteiro, Câmeras IPC, Terminais de áudio Bluetooth, e painéis de interação homem-máquina exigem vários recursos, incluindo reprodução de áudio, captura de vídeo, e algoritmos de voz inteligentes. Por muito tempo, os desenvolvedores tiveram que alternar entre vários frameworks independentes, resultando em interfaces inconsistentes, difícil reutilização de código, e altos custos de aprendizagem, que limitou a eficiência da iteração do produto.
Expressif lançou ESP-GMF (Enquadramento Geral Multimédia) v1.0! Esta é a primeira versão estável de API lançada oficialmente da estrutura geral de multimídia do Espressif. Integra áudio, vídeo, e capacidades multimídia de IA em uma estrutura unificada, fornecendo uma base de desenvolvimento multimídia completa para chips da série ESP32. Ele substitui oficialmente ESP-ADF e marca o início de uma nova era para o desenvolvimento multimídia Espressif IoT.
O que é ESP-GMF?
ESP-GMF é uma estrutura de desenvolvimento multimídia unificada projetada para SoCs Espressif. Através de um modelo de fluxo de dados unificado, sistema de componentes, e arquitetura de desenvolvimento, integra áudio, vídeo, e recursos multimídia de IA em uma única plataforma, fornecendo aos desenvolvedores uma solução mais eficiente, flexível, e experiência de desenvolvimento escalável.
Comparado com o anterior ESP-ADF (Estrutura de desenvolvimento de áudio), que se concentrou principalmente em aplicações de áudio, ESP-GMF foi amplamente atualizado em termos de design de arquitetura, faixa de suporte de hardware, e recursos de reutilização de código. Ele pode suportar uma ampla variedade de cenários de aplicação, incluindo reprodução de áudio, gravação de áudio, Aplicativos de voz de IA, videochamadas, Áudio Bluetooth, renderização de imagem, e mais.
Construindo uma plataforma unificada de software multimídia
Com a integração contínua de áudio, vídeo, e aplicações de IA, o desenvolvimento multimédia está a tornar-se cada vez mais complexo e diversificado.
Através de uma arquitetura de software unificada, ESP-GMF integra os recursos multimídia anteriormente distribuídos do Espressif e estabelece um sistema unificado Fluxo de dados modelo, sistema de componentes modulares, e escalável Gasoduto arquitetura. Isso fornece uma abordagem de desenvolvimento consistente para áudio, vídeo, e aplicações multimídia de IA.
Os desenvolvedores não precisam mais alternar entre vários frameworks e podem completar o desenvolvimento de diferentes tipos de aplicações multimídia dentro do mesmo sistema de desenvolvimento. Isso reduz significativamente os custos de aprendizagem e melhora a eficiência da reutilização de código.
Ao mesmo tempo, A Expressif desenvolveu Núcleo Multimídia ESP como a base de capacidade subjacente do ESP-GMF. ESP Multimedia Core consolida recursos fundamentais, como protocolos de mídia, codecs de áudio/vídeo, algoritmos de áudio, e algoritmos de processamento de imagem em bibliotecas subjacentes. Ele fornece uma base de software estável e de longo prazo para ESP-GMF e futuros produtos multimídia, enquanto evolui continuamente junto com o ecossistema multimídia do Espressif.
ESP-GMF v1.0: A primeira versão estável da API
ESP-GMF v1.0 é o primeiro lançado oficialmente API estável versão do quadro. Esta versão unifica várias versões de desenvolvimento anteriores e atualiza todos os componentes oficiais para 1.0.x, o que significa que as versões futuras continuarão a evoluir, mantendo a estabilidade da API, tornando a estrutura mais adequada para o desenvolvimento de produtos e manutenção a longo prazo.
Esta versão apresenta principalmente as seguintes atualizações:
Todos os componentes oficiais atualizados para 1.0.x
Todos os componentes oficiais concluíram sua transição para lançamentos formais, e APIs públicas atingiram um estado estável, fornecendo garantia de compatibilidade de longo prazo para desenvolvimento de produtos.
Quatro novos módulos principais adicionados
ESP-GMF v1.0 apresenta vários módulos de capacidade importantes, incluindo:
esp_player
Um novo reprodutor multimídia incorporado com suporte para demultiplexação, decodificação, renderização de áudio/vídeo, e buscar operações.
esp_asrc
Um módulo de conversão de taxa de amostragem de áudio capaz de converter taxas de amostragem, profundidade de bits, e canais de áudio, com suporte para aceleração colaborativa de software e hardware.
esp_video_render
Um módulo de renderização de vídeo e UI com suporte a vários back-ends de exibição, fluxos de vídeo duplos, Sobreposição, e sistemas de widgets.
gmf_fft
Um módulo de computação FFT/IFFT de ponto fixo que suporta aceleração de hardware em chips como ESP32-S31, ESP32-P4, e ESP32-S3.
Aprimoramento adicional dos recursos multimídia
Com a introdução de novos componentes, ESP-GMF v1.0 estabelece um sistema completo de capacidade multimídia cobrindo áudio, vídeo, IA multimodal, e multimídia Bluetooth. Ele fornece interfaces funcionais unificadas na captura de conteúdo, processamento, reprodução, renderização, e transmissão, proporcionando aos desenvolvedores uma experiência de desenvolvimento multimídia mais abrangente e eficiente.
Captura ESP fornece um ponto de entrada unificado de captura de áudio e vídeo, integrando o acesso ao dispositivo, conversão de formato, codificação, processamento de imagem, Sobreposição, sincronização, e recursos de multiplexação. Suporta negociação automática, transmissão de fluxo paralelo, e armazenamento local, tornando-o amplamente aplicável a cenários como IA multimodal, WebRTC, transmissão ao vivo, e monitoramento remoto.
Jogador ESP fornece uma solução de reprodução completa, desde demultiplexação e decodificação até renderização de áudio/vídeo. Suporta múltiplas fontes de mídia, incluindo arquivos locais, HTTP(S), e HLS, ao integrar a sincronização de áudio e vídeo, controle de reprodução, Procurar, e funções de reprodução de velocidade variável, ajudando os desenvolvedores a criar rapidamente aplicativos de reprodução de multimídia estáveis e suaves.
Leitor simples de áudio ESP fornece uma solução leve e pura de reprodução de áudio. Suporta formatos convencionais, como MP3, AAC, FLAC, WAV, e Opus, bem como múltiplas fontes de áudio. Ele pode concluir automaticamente a decodificação e a conversão do formato de áudio, permitindo que os aplicativos obtenham reprodução de áudio eficiente com menor consumo de recursos.
Renderização de vídeo ESP fornece composição de vídeo de alto desempenho e recursos de exibição. Suporta vários fluxos de vídeo, IU de sobreposição, renderização integrada, e exibir backends como LCD e LVGL, atendendo aos requisitos de aplicativos, incluindo players de vídeo, monitores inteligentes, robôs, e visualizações de câmeras.
Renderização de áudio ESP foi projetado para integração de áudio multicanal e saída de alta qualidade. Suporta mixagem PCM, processamento de efeitos de áudio, e capacidades de pós-processamento, permitindo a implementação flexível de cenários típicos, como música de fundo e mixagem TTS, sobreposição de som de notificação, e interação por voz.
Áudio ESP BT unifica os recursos clássicos de Bluetooth e LE Audio. Suporta protocolos incluindo A2DP, HFP, AVRCP, BAP, e TMAP, e pode ser perfeitamente integrado ao pipeline ESP-GMF. Os desenvolvedores também podem combinar os exemplos básicos de áudio Bluetooth fornecidos pelo Espressif para experimentar rapidamente aplicações típicas, como LE Audio e Auracast., acelerando o desenvolvimento de produtos de áudio Bluetooth.
Otimização contínua para vários SoCs Espressif
ESP-GMF v1.0 continua a ser otimizado para SoCs Espressif, como ESP32-S31, ESP32-P4, e ESP32-S3.
Entre eles, ESP32-S31 apresenta novo suporte para câmera V4L2 e suporta decodificação MJPEG para RGB, Sobreposição de vídeo multirregional, exemplos de renderização de áudio/vídeo, bem como recursos de aceleração de hardware FFT e PPA. Essas melhorias fornecem suporte de desenvolvimento mais abrangente para aplicações como câmeras AI, monitores inteligentes, e terminais de interação homem-máquina.
Além disso, a nova versão otimiza ainda mais o conjunto de ferramentas de desenvolvimento. esp_board_manager foi separado em um componente independente, e projetos de exemplo agora usam uniformemente o esp-bmgr-assist Pacote Python para gerenciar recursos da placa de desenvolvimento. Isso torna os métodos de configuração mais consistentes em diferentes projetos e melhora ainda mais a eficiência do desenvolvimento.
Cenários típicos de aplicação de produtos
Terminais de voz inteligentes:
Alto-falantes inteligentes com wake-word off-line, painéis de controle de voz, Microfones de voz Bluetooth
Dispositivos Visuais Inteligentes:
Alto-falantes de voz equipados com tela, sistemas de vídeo porteiro interno, câmeras de controle de acesso
Câmeras IoT (CIP):
Captura de vídeo + captação de áudio, alertas de voz, intercomunicador bidirecional
Produtos de áudio Bluetooth:
LE Transmissão de áudio, Terminais de áudio público Auracast
Interação Industrial Homem-Máquina:
Anúncios de voz do equipamento, alertas de áudio locais, terminais de captura de imagem
Conclusão
ESP-GMF v1.0 foi oficialmente de código aberto. Os desenvolvedores podem acessar o código-fonte através do repositório ESP-GMF GitHub e combiná-lo com a documentação oficial, notas de lançamento completas, e o Espressif General Multimedia Framework Guide para experimentar rapidamente o áudio, vídeo, e capacidades de desenvolvimento multimídia de IA possibilitadas pela estrutura multimídia unificada.
A liberação de ESP-GMF v1.0 marca uma atualização estratégica do ecossistema de software multimídia da Espressif. Uma única estrutura agora suporta a integração de áudio, vídeo, e requisitos de IA, conectando toda a cadeia de desenvolvimento, desde aquisição de hardware e processamento de mídia até algoritmos inteligentes.
