L’Ascesa dei Calcoli: Il Costo Nascosto dell’Intelligenza Artificiale
L'intelligenza artificiale sta rivoluzionando il mondo, ma dietro la sua apparente magia si nasconde un costo computazionale enorme. L'addestramento di modelli come GPT-1, GPT-2, GPT-3.5, ChatGPT e GPT-4 richiede quantità di calcoli che sembrano quasi inimmaginabili, alimentate da una legge di scala che guida l'innovazione nel campo.
Inizialmente, OpenAI ha addestrato GPT-1 con un impressionante 18 miliardi di miliardi di addizioni e moltiplicazioni. Questo si è poi moltiplicato esponenzialmente nei modelli successivi: GPT-2 ha richiesto cinquemila miliardi di miliardi di calcoli, mentre GPT-3.5 ne ha necessari 2,6 milioni di miliardi di miliardi. Il modello ChatGPT ha superato i 21 milioni di miliardi di miliardi, e l'ultimo, GPT-6 Astra, ha raggiunto quasi un miliardo di miliardi di miliardi.
La Scala dell’Esplosione
Questi numeri astronomici non sono solo curiosità statistiche. Rappresentano una vera e propria rivoluzione nel modo in cui i sistemi di intelligenza artificiale vengono sviluppati. La legge di scala, ovvero il fatto che l'aumento delle dimensioni dei modelli (numero di parametri) porta a prestazioni migliori, ha creato un circolo virtuoso: più dati e più calcoli portano a modelli più potenti, che richiedono ancora più dati e più calcoli per essere ulteriormente migliorati.
Questo trend è alimentato da una combinazione di fattori. In primo luogo, l'architettura dei chip informatici sta migliorando costantemente, ma il ritmo del progresso nel calcolo è stato superato dalla vorace appetito dell’IA per risorse computazionali. In secondo luogo, la domanda di potenza di calcolo è in costante crescita, spinta dall'innovazione nell'ambito dell'IA.
Il futuro dell'addestramento dei modelli di IA promette ancora più calcoli. Si prevede che entro il 2030 l’addestramento dei modelli più grandi richiederà un consumo energetico paragonabile a quello attuale di New York, sollevando preoccupazioni sull'impatto ambientale e sulla sostenibilità dell'industria dell'IA.