EuLLM: la piattaforma europea per LLM sovrani che sfida ChatGPT

Ogni volta che un'azienda italiana manda un documento a ChatGPT o a qualsiasi altro LLM americano, quel testo attraversa l'Atlantico, viene elaborato su server fuori dall'UE e — nella maggior parte dei casi — contribuisce ad addestrare modelli futuri. Per un contratto riservato, una cartella clinica o una valutazione di rischio finanziario, questo non è un dettaglio tecnico: è un problema legale serio.

EuLLM nasce per risolvere esattamente questo problema. Non è l'ennesima wrapper intorno a GPT-4 ospitata su un datacenter europeo di Amazon. È una piattaforma costruita interamente in Europa — server, modelli, team e codice — che permette di portare l'AI generativa dentro la propria infrastruttura senza che i dati escano mai dall'Unione Europea.

Perché "europeo" non basta se il modello è americano

C'è una distinzione importante che spesso viene ignorata nel marketing AI: usare un server europeo di AWS non risolve il problema della sovranità. La catena del valore rimane americana — dal chip al modello, dal codice all'azienda che lo sviluppa. La sentenza Schrems II del 2020 e l'EU AI Act entrato in vigore nel 2024 hanno reso questo problema molto concreto per chi lavora in settori regolamentati.

EuLLM risponde con una filiera completamente europea e auditabile: Qdrant per il database vettoriale (Berlino), Mistral AI per i modelli di base (Parigi), I3K Technologies per lo sviluppo della piattaforma (Milano). Zero dipendenze da entità non-UE nel percorso di una richiesta.

Come funziona: specializzare un modello grande in un esperto piccolo

L'idea centrale di EuLLM è la distillazione verticale. Si prende un modello generalista da 70 miliardi di parametri e lo si trasforma in uno specialista da 7 miliardi focalizzato su un dominio specifico — diritto, medicina, finanza. Il risultato non è un modello peggiore: nel suo campo, il 7B supera il 70B di partenza.

Come è possibile? Un modello generalista distribuisce la sua capacità su decine di domini. La maggior parte dei parametri è "sprecata" per ogni caso d'uso specifico. La distillazione elimina questo spreco. Si ottiene un modello più preciso, molto più veloce e che gira su hardware già disponibile in azienda — niente GPU enterprise da 80.000 euro.

La piattaforma si articola in tre componenti che lavorano insieme:

Forge è la foundry dove avviene la trasformazione. La pipeline include pruning strutturale (si rimuovono i pesi irrilevanti per il dominio senza riaddestrare da zero), knowledge distillation, quantizzazione per massimizzare il throughput, e identity fine-tuning per personalizzare persona e brand voice. L'output è un file GGUF pronto per la produzione.

Hub è il catalogo di modelli pre-specializzati, ospitato interamente in UE. Ogni modello viene distribuito con una compliance card AI Act — un documento che certifica categoria di rischio, dataset di addestramento e limitazioni d'uso. Il primo verticale arriverà nel Q3 2026: Legal IT, addestrato su giurisprudenza italiana, codice civile e corpus normativo europeo. Seguiranno Medical e Finance entro fine 2026.

Engine è il server di inferenza scritto in Rust. Rimpiazza Ollama con un'API OpenAI-compatibile, raggiunge 259 token al secondo su 16 richieste concorrenti, gestisce input multimodali (immagini e audio) interamente in locale, e non genera alcuna telemetria verso server fuori dall'UE. Supporta NVIDIA CUDA, AMD ROCm, Vulkan e Apple Metal.

Il 2026 è l'anno in cui l'AI Act diventa operativo

Chi lavora in ambito legale, sanitario o finanziario sa già che i sistemi AI usati in questi settori sono classificati come "alto rischio" dall'EU AI Act. Questo significa obblighi concreti: documentazione tecnica, valutazione della conformità, registro degli utilizzi, supervisione umana.

Le compliance card integrate in ogni modello del Hub sono la risposta tecnica a questi obblighi. Non sono un accessorio — sono ciò che un DPO o un responsabile compliance può mostrare durante un'ispezione.

EuLLM è candidata all'EIC Accelerator 2026 nell'ambito di Horizon Europe, il programma europeo per le deep tech con potenziale di mercato continentale.

Chi dovrebbe valutarlo

Se la tua organizzazione non può inviare documenti riservati a API americane — per ragioni legali, contrattuali o di politica interna — EuLLM è probabilmente la soluzione più completa disponibile oggi in Europa. Il codice è open-source (Apache 2.0) e disponibile su GitHub, quindi è verificabile da chiunque abbia le competenze tecniche per farlo.

Per chi gestisce infrastruttura IT, il dato più rilevante è che Engine gira sull'hardware che già hai: non serve comprare niente di nuovo per iniziare.

Sito ufficiale: eullm.eu — Codice sorgente: github.com/eullm/eullm