Ma tutto inizia con i dati, ed è un’area in cui molte aziende sono in ritardo. Senza una strategia unica e olistica, ogni reparto creerà le proprie soluzioni individuali.
“In questo modo, si finisce per commettere molti più errori e non imparare nulla di nuovo “, afferma Monteiro. “Quello che un CIO deve fare è adottare un approccio architetturale e investire in una piattaforma comune”.
Poi c’è il duro lavoro di raccolta e preparazione dei dati. I controlli di qualità e la convalida sono fondamentali per creare una base solida, tiene a precisare, in modo da non introdurre pregiudizi, che compromettono i clienti e il business.
Se un particolare set di dati esclude le transazioni di maggior valore perché sono tutte gestite manualmente, il modello risultante potrebbe potenzialmente avere un bias verso le linee di business più piccole e meno redditizie. Garbage in, garbage out si applica alla nuova era della gen IA come in tutti gli altri contesti tecnologici precedenti.
Per le aziende che hanno già investito nella loro infrastruttura per i dati, questi investimenti continueranno a ripagare in futuro, evidenzia Monteiro. “Le aziende che hanno investito nella data foundation hanno un enorme vantaggio su ciò che stanno facendo con l’intelligenza artificiale generativa”, aggiunge.
Tuttavia, queste basi di dati tradizionali, originariamente progettate per l’analisi avanzata e i casi d’uso dell’apprendimento automatico, arrivano solo fino a un certo punto.
“Se si vuole andare oltre le basi, è necessario comprendere alcune delle sottigliezze più profonde dell’IA generativa”, sottolinea Shimmin di Omdia. “Qual è la differenza tra i diversi modelli di incorporazione, cos’è il chunking, cos’è la sovrapposizione? Quali sono le diverse metodologie che si possono utilizzare per tokenizzare i dati nel modo più efficiente? Ci vuole una dimensionalità alta o bassa per risparmiare spazio in un database vettoriale? Gli strumenti MLOps che abbiamo non sono stati costruiti per svolgere questi compiti. È tutto molto complicato e si può perdere molto tempo e denaro se non si sa cosa si sta facendo”.
Ma i vendor di piattaforme MLOps si stanno facendo avanti, dice. “Aziende come Dataku, DataRobot e Databricks si sono riattrezzate per supportare LLMOps o GenAIOps. Tutti i piccoli pezzi stanno iniziando ad andare al loro posto”.
L’analisi del livello di astrazione
Lo scorso novembre, OpenAI, la piattaforma di riferimento per la gen AI aziendale, ha inaspettatamente licenziato il suo CEO, Sam Altman, scatenando una caccia al nuovo CEO, con i dipendenti dell’azienda che minacciavano di andarsene e Microsoft che si offriva di accogliere tutti. Durante quei giorni tumultuosi, molte aziende che utilizzano i modelli di OpenAI si sono improvvisamente rese conto di aver messo tutte le loro uova in un paniere instabile.
“Abbiamo visto molte integrazioni di OpenAI”, racconta Dion Hinchcliffe, VP e principal analyst di Constellation Research. “Ma l’intero problema di gestione che si è verificato con OpenAI ha fatto sì che le persone mettessero in discussione il loro impegno eccessivo”.
Anche se un’azienda non fallisce, potrebbe diventare rapidamente obsoleta. All’inizio della scorsa estate, ChatGPT era praticamente l’unica opzione. Poi Facebook ha rilasciato Llama 2, gratuito per la maggior parte dei clienti aziendali, seguito da Claude 2 di Anthropic, che è uscito con offerta di 200.000 token, sufficienti agli utenti per tagliare e incollare l’equivalente di un libro di 600 pagine direttamente in un prompt, lasciando i 32.000 token di GPT-4 nella polvere. Per non essere da meno, tuttavia, Google ha annunciato a febbraio che il suo nuovo modello Gemini 1.5 può gestire fino a 10 milioni di token. Con questo, e con una maggiore velocità, efficienza e precisione tra video, audio e copia scritta, non c’erano praticamente limiti.
Il numero di modelli gratuiti e open-source continua a proliferare, così come i modelli specifici per ogni settore, preaddestrati, per esempio, per la finanza, la medicina o la scienza dei materiali.
“Sembra che ci siano nuovi annunci ogni settimana”, sottolinea Monteiro di Publicis Sapient.
È qui che entra in gioco il “model garden”. Le aziende che si sono date una disciplina nel modo di selezionare e gestire i loro modelli, e architettano i loro sistemi in modo che questi ultimi possano essere facilmente scambiati, saranno in grado di gestire la volatilità in questo spazio.
Ma un tale livello di astrazione deve fare di più che permettere all’azienda di aggiornare i modelli o di scegliere il migliore per ogni particolare caso d’uso.
Può essere utilizzato anche per l’osservabilità, la misurazione e i controlli di accesso basati sui ruoli, spiega Subha Tatavarti, CTO della società di consulenza e tecnologia Wipro Technologies.
Wipro, con 245.000 dipendenti, non ha altra scelta che adottare la gen AI, afferma, perché i suoi clienti si aspettano che lo faccia.
“Siamo fondamentalmente un’azienda tecnologica”, dice. “Dobbiamo farlo”.
Ampliare le prospettive
L’osservabilità consente a un’impresa di vedere dove vanno i dati, quali modelli e suggerimenti vengono utilizzati e quanto tempo ci vuole per ottenere le risposte. Può anche includere un meccanismo per modificare o offuscare i dati sensibili.
Una volta che un’azienda sa cosa sta accadendo con i suoi modelli, può implementare i controlli di misurazione – per esempio, i limiti sulla quantità di utilizzo di un particolare modello – per evitare picchi di costi inaspettati.
“Al momento, il modo in cui funziona la misurazione è il modello di consumo a gettone”, precisa Tatavarti. “E potrebbe diventare molto costoso”.
Inoltre, per le FAQ, le aziende possono memorizzare le risposte nella cache per risparmiare tempo e denaro. E per alcuni casi d’uso, potrebbe non essere necessario un LLM commerciale costoso e di alto livello, poiché un modello open source ospitato localmente potrebbe essere, di per sé, già più che sufficiente.
“Tutto questo ci affascina e il mio team ci sta lavorando”, aggiunge. “Per noi è imperativo che sia fatto”.
E quando si tratta di controlli di accesso, il principio fondamentale dovrebbe essere quello di non esporre mai le API native, ma di avere un livello intermedio che controlli le autorizzazioni e gestisca altre attività di sicurezza e di gestione.
Se, per esempio, una piattaforma HR utilizza la gen AI per rispondere alle domande sulla base di un database vettoriale di policy e altre informazioni, un dipendente dovrebbe essere in grado di fare domande sul proprio stipendio, dichiara Rajat Gupta, chief digital officer di Xebia, una società di consulenza IT. Ma non dovrebbe essere in grado di fare domande su quelle di altri dipendenti, a meno che non sia un manager o lavori nelle risorse umane.
Data la velocità con cui l’intelligenza artificiale viene adottata nelle aziende, in tutte le diverse unità e funzioni aziendali, sarebbe un incubo costruire questi controlli da zero per ogni caso d’uso.
“Il lavoro sarebbe enorme”, afferma. “Ci sarebbe il caos”.
Gupta concorda sul fatto che le aziende che devono costruire questo tipo di funzionalità dovrebbero farlo una volta sola e poi riutilizzarle. “Prendete tutto ciò di cui hanno bisogno in comune – sicurezza, monitoraggio, controlli di accesso – e costruitelo come parte di una piattaforma di livello aziendale”, dice.
Prendiamo, per esempio, un gateway AI, di cui l’open source MLflow AI Gateway è un esempio. Rilasciato lo scorso maggio, è già stato deprecato a favore del MLflow Deployments Server. Un altro strumento utilizzato dalla sua azienda è Arthur Shield di Arthur AI, un firewall per gli LLM. Filtra gli attacchi di prompt injection e varie altre tipologie dannose o pericolose.
E poi c’è Ragas, che aiuta a verificare la risposta di una gen AI rispetto alle informazioni reali in un database vettoriale, per migliorare la precisione e ridurre le hallucination.
“Ci sono molti progetti di questo tipo sia nell’open source che nello spazio commerciale”, osserva.
Anche le piattaforme IA di terze parti, le startup e i consulenti stanno accorrendo per colmare le lacune.
“Il modo in cui l’ecosistema si sta evolvendo è sorprendente”, continua Gupta. “Pensavamo che il ritmo sarebbe rallentato, ma non è così. Sta aumentando rapidamente”.
Quindi, per arrivare più velocemente sul mercato, Xebia sta intrecciando questi diversi progetti, dice, ma non aiuta il fatto che le aziende di IA continuino a proporre nuove cose, come gli agenti autonomi alimentati dall’intelligenza artificiale, per esempio.
“Se si utilizzano agenti autonomi, come si fa a misurare l’efficacia del progetto complessivo?”, chiede. “È una difficoltà”.
Oggi, Xebia blocca gli agenti, limitando la loro autonomia e consentendo loro di svolgere solo compiti molto limitati e precisi. “Questo è l’unico modo per farlo, al momento”, aggiunge. “Limitare le competenze a cui hanno accesso e avere una forma di controllo centrale in modo che non parlino tra loro. Lo controlliamo fino a quando non avremo una comprensione più evoluta e dei cicli di feedback. Si tratta di un’area piuttosto nuova, quindi è interessante vedere come si evolverà”.
La costruzione delle barriere
Secondo il sondaggio di cnvrg.io, la compliance e la privacy sono le principali preoccupazioni delle aziende che cercano di implementare l’AI gen, e vengono ancora prima dell’affidabilità, dei costi e della mancanza di competenze tecniche.
Allo stesso modo, nel sondaggio IBM, per le aziende che non implementano l’intelligenza artificiale generativa, la privacy dei dati è stata definita una barriera dal 57% degli intervistati, e la trasparenza dal 43%. Inoltre, l’85% del campione ha dichiarato che i consumatori sarebbero più propensi a scegliere aziende con pratiche di AI trasparenti ed etiche, ma meno della metà sta lavorando per ridurre i bias, tracciare la provenienza dei dati, lavorare per rendere l’IA più comprensibile o sviluppare policy etiche.
Per i tecnologi è facile concentrarsi sulle soluzioni tecniche. L’IA etica va oltre la tecnologia per includere le prospettive legali e di conformità, oltre che le questioni che riguardano i valori e l’identità aziendale. Si tratta quindi di un’area in cui i CIO o i Chief AI Officer possono intervenire e aiutare a guidare le aziende più grandi.
E va anche oltre. La creazione di infrastrutture per i dati compatibili con la gen AI, di controlli di sicurezza e di gestione e di guide etiche può essere il primo passo verso la piena operatività degli LLM.
L’intelligenza artificiale generativa richiederà ai CIO di ripensare la tecnologia, dice Matt Barrington, leader delle tecnologie emergenti di EY America. Prima della Gen AI, il software era deterministico, dice.
“Si progettava, si costruiva, si testava e si iterava finché non si comportava come previsto”, afferma. “Se non accadeva, probabilmente c’era un bug e si tornava indietro per risolverlo. Se accadeva, lo si metteva in produzione”. Tutti i grandi stack di calcolo, indipendentemente dal modello di software, erano deterministici. Ora, a parte l’informatica quantistica, la gen AI è il primo modello di software non deterministico ampiamente conosciuto, dice. “Il bug è, in realtà, una sua caratteristica e il fatto che possa generare qualcosa in autonomia è il suo principale punto di forza”.
Ciò non significa che il vecchio software debba essere buttato via. MLOps e Pytorch sono ancora importanti, dice, così come sapere quando realizzare un modello di incorporazione RAG, un DAG o andare in multi-modalità, così come preparare i dati per la gen AI.
“Tutti questi aspetti rimarranno importanti”, aggiunge. “Ma si assisterà all’emergere di un nuovo stack di piattaforme non deterministica che si affiancherà a quello tradizionale, con un’area completamente nuova di ingegneria dell’infrastruttura e di operation che emergeranno per supportare queste capacità”.
Questo cambierà il modo in cui le aziende operano a livello centrale, e muoversi in questa direzione per diventare un’impresa veramente alimentata dall’IA sarà un cambiamento rapido, dice. “Osservare questa evoluzione sarà molto interessante”, conclude.
