Another Cluster Bites the Dust… e Va Bene Così!
Another Cluster Bites the Dust… e Va Bene Così!Speaker:
Graziano Casto
Developer Relations Engineer @ Mia-PlatformDavide Bianchi
Senior Software Engineer @ Red Hat
Speaker:
Riccardo Soro
DevOps Consultant @ Imola Informatica
Nicolas Fantoni
Platform engineer @ Imola Informatica
Tematiche:
L’intelligenza artificiale generativa ha un potenziale enorme, ma anche un costo ambientale significativo. In questo talk vedremo come rendere l’uso dei Large Language Model più efficiente e sostenibile attraverso tecniche come quantizzazione, pruning e distillazione.
Attraverso casi d’uso concreti, esploreremo i vantaggi dell’ottimizzazione dei modelli: analizzeremo le differenze in termini di dimensione, velocità, consumo di risorse e qualità delle risposte. Parleremo anche di modelli già “green by design” e di strumenti open source per lavorare con modelli più piccoli ma ancora efficaci.
Un talk tecnico, pratico e orientato a chi vuole integrare l’AI nei propri prodotti in modo più consapevole e sostenibile.