Meta ha reso open source il firmware e gli SDK destinati alla realizzazione dei Muse Gadgets, dispositivi hardware fai-da-te progettati per collegare l’assistente AI Muse a display, pulsanti, sensori, sistemi audio e attuatori. Il progetto comprende un firmware open source per ESP32 e un SDK per Linux, consentendo agli sviluppatori di trasformare schede economiche, Raspberry Pi e altri computer Linux in periferiche fisiche controllabili attraverso Muse. Per iniziare è necessario ottenere un token API dalla piattaforma Muse Gadgets e utilizzare il repository pubblico del progetto, che Meta ha pubblicato su GitHub con licenza Apache 2.0.
Il repository facebookincubator/muse-gadget-sdk è organizzato principalmente nelle directory esp32, linux e skills. Ogni sezione contiene un file README con le istruzioni per configurare l’ambiente e avviare lo sviluppo, oltre a un file AGENTS.md pensato per facilitare l’utilizzo di agenti di programmazione come Muse Code. L’SDK ESP32 permette di collegare a Muse una normale scheda ESP32 e aggiungere, a seconda del progetto, schermi per visualizzare immagini, ingresso e uscita audio oppure sensori cablati. L’SDK Linux consente invece di utilizzare un Raspberry Pi inutilizzato o un normale sistema Linux come gadget Muse e supporta comandi personalizzati; tra gli esempi forniti figurano l’esecuzione di attività di amministrazione di sistema e l’integrazione con Home Assistant.
Ogni dispositivo deve essere associato attraverso uno specifico token SDK. Sia i gadget ESP32 sia quelli Linux vengono collegati all’app Muse disponibile per iOS e Android entrando in Settings > Devices dopo aver abilitato la modalità Developer; una volta riconosciuti, vengono identificati con il prefisso “MuseGadget”. Meta invita inoltre gli sviluppatori a consultare i Gadget SDK Terms prima di installare il firmware o effettuare il pairing dell’hardware. La licenza Apache 2.0 copre il progetto principale, ma alcune componenti di terze parti mantengono le rispettive licenze originali: tra queste figurano l’header minimp3 distribuito con licenza CC0-1.0, un font pixel derivato da Adafruit GFX con licenza BSD-2-Clause, i componenti ESP-IDF scaricati durante la compilazione e le librerie LVGL e SDL utilizzate dal simulatore. La licenza non comprende inoltre l’avatar Jollybot.
Meta presenta Muse Gadgets esplicitamente come un progetto sperimentale e orientato agli appassionati di hardware, sviluppato “da e per hardware hacker”. L’utilizzo viene quindi lasciato sotto la responsabilità degli utenti, con avvertenze volutamente ironiche ma concrete sui rischi tipici della sperimentazione hardware, che possono comprendere schede rese inutilizzabili, garanzie invalidate e problemi di alimentazione. L’obiettivo è permettere agli sviluppatori di costruire direttamente l’interfaccia fisica più adatta ai propri utilizzi di Muse, senza limitare l’assistente ai dispositivi progettati direttamente da Meta.
Accanto agli SDK, Meta ha realizzato anche Muse Home Link, un piccolo dispositivo alimentato tramite USB-C che collega Muse alla rete domestica e gli permette di comunicare con dispositivi smart come televisori e altoparlanti. Home Link può inoltre interagire con qualsiasi apparecchiatura accessibile tramite HTTPS, compresi dispositivi costruiti dall’utente e dotati di una API HTTP locale. Anche il codice di Home Link viene distribuito come open source. Meta ne ha prodotto inizialmente un lotto di 5.000 unità, destinate gratuitamente agli abbonati Muse negli Stati Uniti fino a esaurimento delle disponibilità.
Attraverso Home Link e le skill sviluppate dalla community, Muse può eseguire operazioni fisiche e domestiche come accendere una luce, controllare un televisore oppure inviare un documento a una stampante, naturalmente in funzione dell’hardware e dei servizi configurati dall’utente. La distribuzione gratuita di Home Link è riservata agli utenti statunitensi con un abbonamento Muse attivo ed è limitata a un dispositivo per abbonato. Le unità sono previste in spedizione nel corso di ottobre secondo l’ordine di richiesta. La procedura iniziale serve però soltanto a riservare una posizione nella coda e non costituisce direttamente un ordine: Meta utilizza l’account Muse del richiedente e comunica successivamente quando il dispositivo è effettivamente disponibile per la spedizione.
La piattaforma Muse Gadgets propone inoltre diversi progetti hardware già utilizzabili come punto di partenza. Tra questi compare una configurazione basata su Raspberry Pi 5 che consente a Muse di interagire con Home Assistant e altre applicazioni Linux, oltre alla Waveshare ESP32-S3-Touch-AMOLED-1.75C, una scheda dotata di touchscreen AMOLED circolare da 1,75 pollici, pulsante push-to-talk, altoparlante, microfono e batteria. È previsto anche un dispositivo HDMI da collegare direttamente al televisore per permettere agli utenti di chiedere a Muse di visualizzare contenuti sul grande schermo, indicato al momento come “coming soon”. Un’altra configurazione utilizza Seeed reTerminal E1002, dotato di display E Ink a colori, sul quale Muse può mostrare briefing mattutini, promemoria o liste della spesa.
Tra gli altri dispositivi suggeriti figurano M5Stack StickS3, un modulo compatto con schermo a colori per visualizzare lo stato di Muse e un pulsante frontale; AiPi Lite, pensato come piccolo assistente da scrivania in grado di rispondere vocalmente e mostrare immagini su un display a colori dopo la pressione di un pulsante; una scheda ESP32 di ideaspark con display da 1,9 pollici capace di mostrare lo stato dell’assistente e disegnare immagini; e Home Assistant Voice Preview Edition, che integra modalità push-to-talk tramite altoparlante e microfono e utilizza un anello LED per rappresentare lo stato di Muse. Meta precisa che questi prodotti sono realizzati e commercializzati da aziende terze e che la loro presenza tra i progetti suggeriti non costituisce un’approvazione né una garanzia da parte della società.
Il progetto comprende infine una componente dedicata alla community. Gli sviluppatori possono pubblicare i propri Muse Gadgets nel canale #projects del server Discord, allegando una fotografia o un breve video, una descrizione del dispositivo e un repository GitHub completo di README. Meta può successivamente selezionare questi progetti e inserirli nella pagina ufficiale Muse Gadgets, collegandoli ai rispettivi repository in modo che altri utenti possano riprodurli o modificarli. La combinazione tra firmware ESP32, SDK Linux, skill, Home Link e progetti condivisi crea quindi un’infrastruttura aperta attraverso la quale Muse può essere collegato a dispositivi fisici molto diversi, dai piccoli display portatili fino ai sistemi domestici e alle apparecchiature Linux personalizzate.
Questo articolo è stato redatto con il supporto di strumenti di intelligenza artificiale (AI)