Apple ha sviluppato un nuovo strumento di editing delle immagini chiamato “MGIE”, abbreviazione di MLLM-Guided Image Editing. Utilizza modelli di intelligenza artificiale chiamati MLLM per comprendere e eseguire modifiche alle immagini in base a istruzioni scritte. Questo strumento è frutto della collaborazione tra Apple e ricercatori dell’Università della California, Santa Barbara, ed è stato presentato alla Conferenza internazionale sulle rappresentazioni dell’apprendimento (ICLR) 2024.
MGIE si basa sull’idea di utilizzare modelli di intelligenza artificiale che possono comprendere sia il testo che le immagini per migliorare l’editing delle immagini guidato dalle istruzioni. Il modello è in grado di interpretare istruzioni espresse dall’utente e generare una rappresentazione visiva della modifica desiderata. Utilizza un approccio di formazione end-to-end per ottimizzare il processo di editing.
Questo strumento può gestire una vasta gamma di modifiche, dalla semplice regolazione dei colori alle complesse manipolazioni degli oggetti. Può anche eseguire modifiche globali e locali, come modifiche a specifiche regioni o oggetti nelle immagini. MGIE è disponibile come progetto open source su GitHub e può essere utilizzato attraverso una demo web su Hugging Face Spaces.
MGIE rappresenta un passo avanti nell’editing delle immagini basato su istruzioni, consentendo agli utenti di modificare le immagini utilizzando il linguaggio naturale. È un’importante applicazione dell’intelligenza artificiale che potrebbe avere molteplici utilizzi, dalla grafica sociale all’arte digitale.