In Breve
- Qual è la previsione di LinkedIn per la spesa in hardware AI nel prossimo anno fiscale?
- LinkedIn non prevede di aumentare significativamente la spesa per hardware AI, mantenendo l'investimento in GPU sostanzialmente invariato.
- Come ha migliorato LinkedIn l'efficienza delle GPU?
- LinkedIn ha raddoppiato l'efficienza delle GPU esistenti grazie a miglioramenti nell'utilizzo, nella distillazione dei modelli e nell'allocazione dei carichi di lavoro.
- Qual è l'approccio di LinkedIn rispetto a Microsoft riguardo all'espansione infrastrutturale?
- LinkedIn adotta un approccio più conservativo rispetto a Microsoft, puntando su data center propri anziché su una rapida espansione.
LinkedIn ha annunciato che per il prossimo anno fiscale non prevede di aumentare in modo significativo la spesa per hardware dedicato all’intelligenza artificiale. L’investimento in GPU rimarrà sostanzialmente invariato, così come l’impronta di calcolo e storage della piattaforma.
La società ha riferito di aver raddoppiato l’efficienza delle GPU esistenti in un periodo di circa sei mesi. Questo risultato è stato ottenuto grazie a miglioramenti cumulativi nell’utilizzo delle GPU, nella distillazione dei modelli e nell’allocazione dei carichi di lavoro. LinkedIn intende impiegare il margine operativo derivante da queste ottimizzazioni per sviluppare nuove funzionalità, piuttosto che investire in nuovo hardware.
Erran Berger, CTO per l’ingegneria, ha descritto l’obiettivo dell’azienda come la capacità di mantenere stabile il footprint di calcolo, pur immettendo in produzione funzionalità più esigenti dal punto di vista computazionale. Questo approccio si colloca in un contesto in cui LinkedIn è controllata da Microsoft dal 2016, ma ha scelto di adottare una strategia differente rispetto alla consistente espansione infrastrutturale del colosso tecnologico.
Infatti, Microsoft ha registrato una spesa in conto capitale di 41 miliardi di dollari nell’ultimo trimestre, aggiungendo 31 data center e prevedendo oltre 50 miliardi di spesa nel trimestre corrente. LinkedIn, invece, ha recentemente sospeso un progetto di migrazione su Azure, noto come Blueshift, e ha deciso di puntare su data center propri situati in Oregon, Texas e Virginia.
Avere il controllo dell’intero stack tecnologico è considerato un fattore abilitante per LinkedIn, poiché consente di monitorare e ottimizzare ogni livello del sistema, trattando l’efficienza come un investimento continuo. Raghu Hiremagalur, CTO per l’infrastruttura, ha evidenziato che mantenere per un anno senza incremento di storage e compute è «non una piccola impresa» e ha richiesto un notevole sforzo.
I miglioramenti ottenuti sono stati presentati come il risultato di un processo cumulativo, piuttosto che di una singola innovazione tecnologica. Questi includono un migliore utilizzo delle GPU, la riallocazione dei carichi di lavoro, la distillazione di modelli più complessi in versioni più piccole e una riprogettazione della divisione del lavoro tra training, inference, storage e progettazione dei sistemi.
Il cambiamento è anche motivato dalla dinamica dei costi: il costo per singola query era in aumento mentre la quantità di dati immagazzinati raddoppiava ogni anno, una tendenza che LinkedIn ha giudicato insostenibile. Sebbene l’azienda non affermi di aver risolto definitivamente il problema, la scelta di mantenere stabile l’investimento in hardware rappresenta un’alternativa alla tendenza prevalente di crescita proporzionale dell’hardware. La sua efficacia dipenderà dalla capacità del programma di efficienza di mantenersi nel tempo.
