ESP-Mosaico est une carte de développement modulaire conçue pour les agents de codage, avec prise en charge de la connexion et de la combinaison de plusieurs appareils.
Pour répondre aux exigences des applications en constante évolution, les créateurs ne sont plus limités par des configurations matérielles fixes. Différentes capacités matérielles peuvent être combinées selon les besoins, tandis que les agents peuvent participer en permanence au développement et au raffinement, permettant à la fois aux configurations matérielles et aux capacités des applications de s'étendre en fonction des exigences du produit.
ESP-Mosaico propose deux approches de création:
Codage de discussion commence par les exigences en matière de langage naturel. Sans avoir besoin de mettre en place un environnement de développement, les créateurs peuvent rapidement générer et exécuter des prototypes matériels.
Codage vibratoire intègre davantage les agents dans le développement d'applications, déploiement, et validation de l'appareil réel, permettant une itération continue des applications depuis un prototype initial jusqu'à un produit complet.
Les deux approches peuvent être utilisées indépendamment ou sélectionnées de manière flexible en fonction des différentes étapes de développement.. Partir d’une simple exigence, les créateurs peuvent progressivement terminer le développement du prototype, itération des fonctionnalités, et enfin exécuter leurs applications sur de vrais périphériques matériels.
Pourquoi ESP-Mosaico a-t-il été créé?
L'IA permet de générer et d'itérer rapidement des logiciels en fonction des exigences, mais les capacités matérielles et les facteurs de forme sont encore souvent déterminés par des cartes de développement et des interfaces fixes..
Chaque fois qu'une nouvelle fonctionnalité est ajoutée ou qu'un facteur de forme de produit est modifié, les créateurs doivent répéter la sélection du matériel, connexions physiques, et adaptation du conducteur.
À mesure que les logiciels deviennent de plus en plus flexibles et évoluent continuellement, le développement matériel nécessite également une approche d'expansion plus flexible afin de suivre l'évolution des exigences des applications..
ESP-Mosaico offre aux créateurs une approche de développement plus flexible.
Les modules matériels peuvent être connectés selon les besoins, plusieurs appareils peuvent être librement combinés, et les agents de codage peuvent participer au développement d'applications en fonction de la configuration matérielle actuelle..
Les créateurs n'ont plus besoin de déterminer la forme finale d'un appareil au début du développement. Plutôt, à mesure que les exigences des applications évoluent, ils peuvent ajouter continuellement des capacités matérielles, combiner différents modules, et ajuster le facteur de forme de l'appareil.
Cela permet au matériel et aux applications d'évoluer et d'itérer ensemble.
C'est aussi l'origine du nom ESP-Mosaïque.
Mosaïque signifie « mosaïque » — d'innombrables petites pièces s'assemblent pour former une œuvre complète.
Avec ESP-Mosaico, différents modules matériels et appareils peuvent également être librement combinés, permettant aux capacités du système de s'étendre continuellement en fonction des exigences changeantes des applications.
Spécifications matérielles de base (Unité principale CoreBoard V1.0)
| Article | Spécification |
|---|---|
| Processeur principal | ESP32-S31, RISC-V double cœur, jusqu'à 320 MHz, 512 Ko de SRAM sur puce |
| Mémoire | 16 Mo SPI-NAND Flash, 16 Mo de mémoire DDR PSRAM (jusqu'à 32 Mo pris en charge) |
| Afficher | 2.16-pouces AMOLED/OLED, 480 × 480 résolution, tactile capacitif, affichage auto-émissif, prend en charge le retour tactile |
| Capteurs embarqués | 6-axe IMU (accéléromètre + gyroscope), doubles magnétomètres; capable de détecter l'orientation, direction, et la position relative d'assemblage entre les appareils |
| Audio | Codec + amplificateur de puissance, microphone et haut-parleur intégrés, prise en charge de l'entrée et de la sortie vocales |
| Autres composants embarqués | Moteur vibrant, boutons physiques, 65 Batterie au lithium intégrée mAh, capable de fonctionner indépendamment sans connexion de type C; Type-C prend en charge l'alimentation bidirectionnelle, débogage, et USB-OTG haut débit 2.0 |
| Sans fil | Wi-Fi 6, Bluetooth 5.4, Fil 1.4, Zigbee 3.0; prend en charge Gigabit Ethernet MAC, encodage/décodage JPEG matériel, et interface de caméra DVP |
| Interfaces d'extension | 2 × 10P 2.54 connecteurs à broches mm des deux côtés pour GPIO, caméra, et d'autres fonctions; 4-interface d'extension PogoPin magnétique à broches; un total de 60 ressources GPIO programmables |
L'appareil complet est un carré, dispositif portatif doté d'un boîtier intégré. Il peut être mis sous tension et utilisé directement hors de la boîte sans aucune soudure supplémentaire.
Deux fonctionnalités matérielles de base
1. Expansion magnétique modulaire avec reconnaissance automatique
Appareils externes tels que des caméras, moteurs, modules d'éclairage, et divers capteurs sont emballés sous forme de modules fonctionnels Mosaico standardisés et connectés à l'unité principale via des interfaces magnétiques PogoPin.
- Après qu'un module soit attaché, le le matériel est automatiquement reconnu et le pilote correspondant est automatiquement chargé, éliminant le besoin d'écrire manuellement le code du pilote de bas niveau;
- Aucun câblage de soudure ou de planche à pain n'est requis;
- L'agent de codage peut détecter automatiquement quels périphériques sont actuellement connectés et générer un code d'application spécifiquement adapté à la configuration matérielle actuelle..
2. Assemblage et collaboration multi-appareils
Plusieurs unités principales ESP-Mosaico peuvent être physiquement placées et assemblées ensemble.
Utilisation de l'IMU et de deux magnétomètres, les appareils peuvent détecter le positions relatives, orientations de placement, et ordre d'assemblage entre les appareils, tout en formant automatiquement un réseau.
Cela permet:
- Interaction multi-écran, interaction distribuée, et prototypes de matériel intelligent basés sur des baies;
- Génération automatique d'une logique de collaboration multi-appareils par l'agent en fonction de la topologie actuelle des appareils.
Cela rend ESP-Mosaico adapté aux installations interactives, baies de bureau, et prototypes IoT distribués.
Architecture logicielle: Deux paradigmes de développement de matériel IA
Le plus gros point fort d’ESP-Mosaico n’est pas le matériel lui-même, mais le Agent de codage, qui crée un flux de travail complet en boucle fermée, depuis les exigences en langage naturel jusqu'aux applications exécutées sur du matériel réel.
Il propose deux modes de développement qui peuvent être sélectionnés de manière flexible en fonction des différentes étapes d'un projet..
① Codage de discussion (Prototypage rapide)
- Aucun environnement de compilation ESP-IDF ne doit être installé ou configuré;
- Les utilisateurs décrivent simplement ce qu'ils souhaitent créer en utilisant un langage naturel.
Par exemple:
"Créez un petit dispositif d'affichage de la température et de l'humidité intérieure avec une alarme lumineuse."
- L'agent basé sur le cloud génère directement le micrologiciel et le flashe sur l'appareil via le réseau., permettant aux utilisateurs de voir immédiatement l'application exécutée sur du matériel réel;
- Idéal pour valider rapidement des idées, étudiants, et les créateurs qui ont besoin de construire rapidement des prototypes.
② Codage vibratoire (Itération complète du produit)
Conçu pour le développement de produits formel, Vibe Coding intègre un agent de codage local sur l'ordinateur dans le flux de travail de développement complet:
- Générer le code;
- Compilez et téléchargez le firmware sur du vrai matériel Mosaico;
- Lire les journaux d'exécution du matériel, données du capteur, et messages d'erreur;
- L'agent reçoit des commentaires du périphérique physique, modifie automatiquement le code, et déploie la version mise à jour pour une autre itération.
Contrairement au codage IA conventionnel, où l'IA analyse uniquement le code source, Vibe Coding peut recevoir de véritables commentaires sur l'exécution du matériel et créer une boucle fermée complète « Idée → Code → Périphérique physique → Commentaires → Amélioration du code », transformer un prototype initial en un micrologiciel de produit prêt pour la production.
SDK sous-jacent et ressources open source
- Construit sur ESP-IDF, avec prise en charge des fichiers BSP et d'exemples de code open source dans le référentiel GitHub ESP-Mosaico;
- Prend en charge le cadre graphique ESP-Brookesia HMI pour le développement rapide d'interfaces utilisateur tactiles;
- Prend en charge les workflows de développement Arduino et ESP-IDF natifs;
- Le codage manuel traditionnel est également pris en charge, sans dépendance obligatoire à un Agent IA.
Points faibles de l'industrie résolus par le produit
Les défis du développement embarqué traditionnel
L'IA peut rapidement générer et itérer des logiciels, mais une fois que le matériel change, les développeurs doivent souvent répéter la sélection du matériel, câblage, et débogage du pilote.
Par conséquent, les cycles d'itération matérielle sont souvent beaucoup plus lents que les cycles d'itération logicielle.
L'approche d'ESP-Mosaico
- Transformez le matériel en modulaire, « blocs de construction » empilables et reconnaissables par l'agent;
- L'IA génère non seulement une logique d'application, mais peut également détecter la configuration matérielle actuelle et adapter automatiquement les pilotes de périphériques.;
- Le facteur de forme du matériel n'a pas besoin d'être finalisé au début. Pendant le développement, les utilisateurs peuvent ajouter des modules ou combiner plusieurs appareils à tout moment, tandis que le logiciel s'adapte dynamiquement à la configuration matérielle changeante.
Scénarios d'application typiques
- Prototypage matériel assisté par l'IA: Créateurs, étudiants, et les concepteurs peuvent utiliser le langage naturel pour créer rapidement des prototypes physiques interactifs;
- Installations artistiques et interactives multi-appareils: Plusieurs appareils peuvent être assemblés en matrices pour permettre une interaction distribuée;
- Prototypes de terminaux Edge AI: Prototypage rapide et validation d'applications d'inférence Edge-Side impliquant des écrans tactiles, voix, et acquisition d'images;
- Plateformes pédagogiques et expérimentales: Formation à l'IoT et à l'IA embarquée avec une barrière moindre pour la mise en place d'environnements de développement;
- Prototypage IHM: Validation rapide des produits interactifs comportant des écrans, interfaces tactiles, et audio.
Comparaison avec d'autres cartes de développement Espressif
- Comparé à ESP32-S3-BOX-3: BOX-3 se concentre davantage sur l'IA vocale et utilise une configuration matérielle fixe. Mosaic se concentre sur extension modulaire + une boucle fermée d'agent de codage AI + assemblage multi-appareils, tout en comportant également une batterie intégrée pour une utilisation portable et en permettant d'ajouter ou de supprimer dynamiquement des fonctionnalités matérielles;
- Par rapport aux cartes ESP-DevKit standard: Les cartes de développement standard nécessitent généralement un câblage manuel et un développement de pilotes., tandis que Mosaico assure la reconnaissance automatique et le chargement du pilote pour les modules magnétiques. Sa valeur fondamentale réside dans la création d'un Boucle fermée de développement matériel piloté par un agent IA.
Conclusion
En résumé, la valeur fondamentale d'ESP-Mosaico réside dans l'intégration profonde de matériel modulaire et agents de codage IA.
L'expansion magnétique et l'assemblage multi-périphériques brisent les limites des configurations matérielles fixes trouvées dans les cartes de développement traditionnelles, tandis que les deux flux de travail—Codage de chat et codage d'ambiance—couvrent le processus de développement complet, du prototypage rapide au développement formel du produit.
ESP-Mosaico réduit considérablement les obstacles au développement de prototypes de matériel intelligent tout en répondant aux besoins des développeurs débutants et professionnels..
Il apporte une nouvelle solution pour IA embarquée, interaction multimodale, et prototypage IoT distribué, permettre au matériel et aux logiciels d'évoluer ensemble tout au long du processus de développement.
