//AI in Azienda: Partiamo col BOT! Parte 2

Qual'è la dieta ideale del vostro Assistente AI? Così come noi abbiamo bisogno di cibo e calorie, il vostro Assistente AI si nutre sostanzialmente di dati. Ma, quantità e qualità dei dati fanno la differenza in come il vostro assistente crescerà e sarà in grado di rispondere.

Come anticipato in questo capitolo parliamo di dati e di come garantire al vostro assistente una dieta che lo aiuti ad aiutarvi al meglio.

Se vi siete persi la prima parte queste erano le domande di partenza:

"Che cos’è un Bot basato su AI? Come si passa da un semplice Bot di supporto a un Assistente AI che interagisce in modo naturale e 'umano'?"

Vi suggerisco di leggere la prima parte se non lo avete già fatto.

Prima di iniziare, chiedo fin da ora ai non tecnici di perdonare i tecnicismi e ai tecnici di perdonare le mie estreme semplificazioni. Qui siamo proprio sul confine tra i due mondi. 🙂

So che non vedevate l'ora di passare dieci minuti a parlare di questo argomento quindi iniziamo!

I Dati a disposizione per l'AI

Diamo per scontato che un'azienda mediamente strutturata abbia molti dati pubblici a disposizione sui propri siti web, inclusi quelli di supporto come le classiche knowledge base o support center, cataloghi di prodotto, listini, caratteristiche tecniche e materiale di ogni tipo.

A questi si aggiungono dati più riservati come configuratori, schede tecniche e specifiche di prodotto, processi, e non ultime, migliaia di email e messaggi scambiati con i suoi utilizzatori.

Questi dati sono fondamentali per far sì che il nostro Assistente AI possa comprendere bene il contesto in cui deve operare, sono fondamentali perchè sia in grado di dare risposte pertinenti ed efficaci, sono fondamentali per guidarlo a darvi le risposte che vi serve dare.

Altrimenti prenderà le sue informazioni dalla conoscenza che ha, darà risposte generiche e sbagliate portandolo nello psichedelico mondo delle allucinazioni.

Tre punti importanti:

• È molto importante , come amo ripetere, che le informazioni che fornite siano ben analizzate e selezionate. Questo processo si chiama "Data Preparation" ed è fondamentale per ottenere buoni risultati. Se entra immondizia esce immondizia: per gli informatici il detto è vecchissimo: Garbage In, Garbage Out. Immaginate a cosa può succedere se nei dati forniti ci sono versioni discordanti dello stesso prodotto, se ci sono prezzi diversi, se una risposta del vostro customer service si è poi rivelata sbagliata e viene fornita centinaia di volte ai vostri utenti? Ricordate dalla serie "Assumere un'AI nella tua azienda" che la responsabilità è vostra!

• Oltre a fornirgli i dati dovremo vincolarlo ad utilizzare solo la conoscenza che gli forniremo, per evitare che si metta a parlare di altri argomenti con i vostri utilizzatori a vostre spese.

• Inoltre tenete sempre in considerazione che il lavoro di un qualunque LLM è quello di produrre contenuti basati sulla conoscenza acquisita nel suo modello. A parità di domanda e dati di origine, quindi, non otterrete mai le stesse risposte perché, per loro natura, gli LLM generano nuovo testo partendo dal vostro prompt.

Quindi, con dati errati o inaccurati, il rischio che correte è quello di fornire un input corretto ed ottenere un output con un’interpretazione del modello di AI.

Dai, iniziamo a vedere un po' di tipologie di informazioni con cui potreste volerlo alimentare.

I ticket

I ticket, per chi non lo sapesse, sono le richieste di supporto registrate sui sistemi di helpdesk di qualunque tipo, interno o esterno, per tracciarle, smistarle, gestirle, misurarle.

Diciamo, per includere tutti, che un ticket rappresenta una richiesta di un utente e contiene conversazioni ed azioni da quando ve la fa a quando l'avete risolta.

Spesso in Azienda non esistono sistemi con cui gestirli e i 'ticket' sono destrutturati nelle varie caselle di posta di supporto o in chat su Teams/Slack e strumenti simili. Esiste quindi un sacco di conoscenza nascosta piena di domande e risposte di ogni tipo.

OK?

Come detto sopra, specialmente se ne avete tanti, però non ha sempre senso utilizzare tutti i ticket per alimentare l’Assistente AI: non tutti contengono risposte corrette o domande ben poste. Vanno selezionati quelli che, per categoria, sono i migliori sia come qualità della domanda che della risposta.

E va fatta manutenzione periodica perché risposte eccellenti fornite magari un paio d’anni fa sarebbero superate da risposte più recenti dove i vostri operatori hanno trovato soluzioni migliori.

Quindi l’idea di connettere l’AI che sceglierete a TUTTI i ticket/e-mail mi sembra piuttosto brutta perché rischierebbe di inserire spazzatura nel modello, inquinandolo. Repetita Iuvant.

Significa, in sostanza, dover fare una bella fase di analisi e selezione dei dati con campioni sufficientemente alti, su interazioni positive e rivelatesi efficaci.

Feedback 'spontanei'

Croce e delizia di molti, i social sono una miniera di informazioni importantissima. Un’idea è quindi quella di utilizzare tutti i feedback raccolti e portarli in un Assistente AI che, interrogato opportunamente, sia in grado di riassumere le vostre performance viste dal punto di vista del mercato. Anche qui il lavoro di pulizia può essere importante.

Cosa ci potete fare? Ad esempio dare al reparto Ricerca & Sviluppo la possibilità di interagire con i vostri clienti basandovi sui feedback ricevuti. O di analizzare nuove idee sui prodotti sfruttando interazioni già fatte.

Potreste fornire oltre al feedback altri 'meta dati' quali il numero di conferme della validità di quel ticket per aiutare l'Assistente a tenerne conto.

La Knowledge Base

Avete mai sviluppato un sito o una sezione di supporto su cui tutta la knowledge base sia pubblica? Parlo di cose come https://help.disneyplus.com/ o https://help.openai.com/. O di cose relativamente più semplici come le pagine con le risposte alle domande più frequenti (FAQ) come ad esempio queste: https://www.garanteprivacy.it/faq.

Sono progetti complessi, che richiedono molto tempo e conoscenza dell’azienda e che necessitano di manutenzione costante.

Ma rappresentano spesso il fiore all’occhiello della vostra conoscenza e, soprattutto se abbinate a dati statistici sul loro reale utilizzo, rappresentano un’ottima selezione di conoscenza per alimentare il vostro Assistente AI.

Dal mio punto di vista queste potrebbero finire al 100% nella knowledge base senza troppe analisi. Siete d’accordo?

Il sito web

Se avete una knowledge base avete sicuramente anche un sito web ben strutturato contenente molte informazioni aggiornate, corrette, chiare, sulla vostra azienda e i vostri prodotti e servizi.

Molti fornitori di soluzioni per Assistenti AI vi permettono di connettervi al vostro sito ed utilizzare tutto il contenuto come sorgente di informazioni. Molto probabilmente anche qui val la pena dare accesso pieno alle informazioni, verificando che la soluzione scelta sia in grado di accorgersi quando qualche documento viene aggiornato, tema non scontato e non banale in questo ambito

Poi ci sono i PDF (Ma dimenticateli!)

A prescindere dal contenuto, dal canale, dall'obiettivo, siamo tutti intasati di PDF che descrivono ogni dettaglio della nostra organizzazione.

Di conseguenza i consumatori seriali di AI Generative tengono i PDF sempre al centro delle discussioni circa il loro utilizzo come sorgente attendibile da dare in pasto ad un LLM.

Sono i documenti giusti da usare?

NO!

Perché?

Perché sono documenti pensati per ‘la stampa’ o quantomeno per essere adeguati all’occhio umano.

Ma tutte le informazioni di formattazione, il modo in cui il testo è disposto al loro interno, la presenza di contenuti grafici non rilevanti ecc. non fanno altro che rallentare e creare potenziale confusione al motore che li dovrà analizzare e trasformarli in puro testo, nell’ordine casuale che potrebbe derivare dalla composizione del documento. Spesso infatti, la presenza di riquadri rende il testo sconnesso e di difficile leggibilità per un LLM.

Molte volte inoltre il testo è rappresentato da immagini che, in determinati motori di AI, sarebbero semplicemente ignorati.

Contengono, in sostanza, dati molto destrutturati ed un sacco di distrazione per il modello.

Se avete a disposizione il testo con cui sono stati creati -immaginando siano documenti della vostra azienda- non esitate ad utilizzare il testo originale. Anche, meglio, in formato TXT, HTML, Markdown o Word, Excel che sono formati più semplici e digeribili per gli LLM.

In alternativa, se non potete farne a meno, selezionate il testo dai file che vi interessano e incollatelo in un file di testo e guardate ciò che ne esce.

Evitate, se potete, i PDF. Grazie. 😀

Ma i manuali tecnici sono in PDF… e in azienda abbiamo molte immagini importanti!!!

Certo, capita spesso che la vostra azienda offra prodotti complessi, con molte figure e istruzioni specifiche rappresentate in manuali che devono essere necessariamente ben impaginati. E spesso l’unica soluzione disponibile è proprio una serie di PDF che con tanta fatica (e costi) avete realizzato.

Ad esempio per spiegare quali siano i pulsanti giusti di una caldaia a gas un’immagine vale più di mille parole (anche se io non capisco mai, quando si blocca, cosa devo fare).

La cosa interessante è che le attuali versioni di Chat GPT o Gemini sono in grado di elaborarle ed utilizzarle per darvi le risposte.

Provate con qualche manuale Ikea e, anche se ancora lontani dalla perfezione, scoprirete quanto i nuovi modelli sono in grado di capire dalle istruzioni di montaggio.

Per semplificarvi la vita ho fatto una prova io, provando a chiedere sia a Gemini, che a Gemini Advanced che a Chat GPT. Vedete che hanno compreso di cosa si parla ma hanno un’indole parecchio diversa alla risposta…

(Cliccate sulle immagini per ingrandirle)

Gemini

Gemini senza preavviso mi ha localizzato e deciso che avrei dovuto comprarne una. Dicendomi solo che è “un’informazione rilevante” ma non spiegandomi come risolvere il problema…

Gemini Advanced

Gemini Advanced mi da istruzioni generiche che però non mi aiutano. I punti sopra sono punti generici sull’installazione dell’intera poltrona, non su questo passaggio.

Chat GPT 4

Chat GPT-4 invece mi fornisce correttamente le istruzioni di questo passaggio.

Però considerate che difficilmente l'Assistente AI che state realizzando avrà la potenza di GPT-4, se non altro perchè costa, ad oggi, 20x GPT 3.5. Quindi, se avete molte informazioni in manuali di questo tipo, il mio consiglio è di affidarvi a chi sa gestire questo genere di informazioni: a chi quei PDF li crea partendo da dati strutturati.

Cito ad esempio un’azienda come ekrai.com (disclaimer: con cui ho collaborato) che, potendo avere a disposizione i dati strutturati di ogni vostra procedura o specifica tecnica, è in grado di fornire dati ottimizzati per un sistema di AI Generativa.

E l’analisi delle immagini? Tenetela come fase due del progetto: anche se i modelli multimodali stanno facendo passi da gigante, e probabilmente nel 2024 avremo grandi novità, gli strumenti più affidabili ad oggi disponibili si basano soprattutto sul testo. E se volete partire con un progetto piccolo valutate di escluderle per ora.

Tutto il resto è sul file system in cloud...

Certo, avete sicuramente decine di migliaia di documenti Word, Excel, Powerpoint. Valgono anche qui le regole precedenti sul concetto di 'ordine e selezione'. Spesso due versioni dello stesso documento si contraddicono tra loro o contengono informazioni non validate.

È vero che alcuni sistemi danno la possibilità di pubblicare e sincronizzare intere cartelle di documenti ma... rileggete la parte sopra riguardo la preparazione dei dati per favore. 😀

Ok, per fortuna c'è tutto sull’ERP (o sul CRM)

Se avete bisogno di fornire dati esatti al 100% e vederli presenti nell’output va bene, si potrà fare in diversi modi.

Il concetto importante da comprendere è che l’AI Generativa per sua natura tende a inventare e riscrivere tutto. Va bene quando vi servono risultati "Buoni Abbastanza" ma non esatti.

Non disperate, quindi, ci sono molte di possibilità:

1. esportare interminabili quantità di file in formato CSV dai vostri gestionali e caricarli nella configurazione dell’assistente. Ricordandovi periodicamente di cancellarli e di caricarne più aggiornati quando cambiano.

2. utilizzare Assistenti che offrano, tramite le Actions, accesso diretto, via API o tramite accesso ad un database o data-lake, ai vostri sistemi. Ovvero che, nell’ambito delle loro attività di analisi della vostra richiesta, si occupino di ‘chiamare’ il vostro ERP o CRM e chiedere, ad esempio, dati su un prodotto, su un cliente, su un’ordine, trasferendoli esattamente nel risultato fornito dall’AI. Questo è reso possibile da alcuni strumenti (Es. OpenAI GPTs e Assistants) che permettono di effettuare chiamate direttamente ‘dal prompt’ attraverso appunto le Actions.

3. Utilizzare sistemi che offrano soluzioni di RAG (Retrieval Augmented Generation) andando a cercare i dati in un vostro repository prima o dopo aver costruito l’output. Nel prossimo capitolo troverete qualche approfondimento su questo approccio

In generale il concetto da memorizzare è che in una soluzione di questo tipo è possibile mescolare contenuti generati dall’AI con contenuti presi esattamente dai vostri sistemi.

Tra le varie abilità necessarie, qui conta quella di scrivere bene il prompt.

E poi ci sono i dati che genera l'Assistente!

Ogni buon Assistente AI genera quantità importanti di dati: Le conversazioni con le domande e le risposte fornite, la data e l'ora in cui vengono fatte, se non anonimo gli utenti che fanno le domande, i tempi di risposta, la durata delle conversazioni, i feedback degli utenti, il rilevamento del sentiment degli utenti, la classificazione degli argomenti trattati, errori o problemi durante le interazioni, tentativi di aggirarlo con codice malevolo...

Vi basta?

Questi dati sono importanti per voi, per i vostri data scientist, per migliorare costantemente il servizio ed essere sicuri di erogalo con risposte di qualità.

Perchè parlo di tentativi di aggirarlo? Perchè il vostro 'stagista' AI è molto ingenuo e può essere abbastanza facilmente manipolato per estorcere informazioni sensibili di ogni tipo.

Anche di questo parliamo nei prossimi capitoli!

E chi può vedere tutta questa roba?

Quando parliamo di dati, e in questo caso mi riferisco a tutti quelli utilizzati per alimentare la soluzione, i dati analitici sulle conversazioni e le conversazioni stesse (che potrebbero contenere dati personali dei vostri utenti), una delle domande principali è: "Dove sono custoditi questi dati e chi ha l'accesso?"

Risulta facile comprendere che è vitale gestirli con un alto livello di sicurezza. Conoscere la loro localizzazione geografica non è solo una pratica di buon senso, pensare al GDPR non è un’opzione ma una necessaria azione responsabile (Sì, proprio da ESG, come suggeritomi dall'amico Alessio Pennasilico) per assicurare protezione e conformità alle vostre informazioni.

Quando utilizzate soluzioni di terze parti di fatto state consegnando a fornitori esterni tutte le vostre informazioni, pubbliche e private, e le istruzioni su come usarle.

Approfondire l'affidabilità, i termini e le condizioni del fornitore della soluzione e della sua infrastruttura è quindi un altro passo cruciale. Questo ci permette di comprendere se il fornitore stesso può accedere ai dati e, di conseguenza, valutare il livello di fiducia da riporre nella soluzione.

In breve, la gestione dei dati nel back-end (dietro le quinte) non è solo una questione di accessibilità, ma anche di fiducia e trasparenza nella loro custodia.

Alla stessa domanda serve rispondere pensando al tipo di utenti che accederanno al vostro assistente e chiedersi: "Sto fornendo soltanto informazioni pubbliche disponibili a chiunque?" Se no ha molto senso identificare gli utenti e profilarli.

Ma se voleste realizzare diversi Assistenti AI, uno interno con tutte le domande che l’ufficio tecnico potrebbe fornire, uno dedicato alla rete di partner, uno dedicato ai clienti registrati, ciascuno con dati potenzialmente sensibili o riservati allora dovrete selezionare soluzioni che vi permettano di distinguere e fornire livelli di sicurezza e accessibilità personalizzati.

Per fortuna ci sono strumenti già in grado di fornire tutti questi approcci sostanzialmente senza scrivere codice informatico. Anche di questo parleremo nel prossimo capitolo.

Nel frattempo valutate bene:

1. Il primo Bot sarà pubblico o privato? E sarà basato su dati riservati o pubblici?

2. Quanto vale la pena rischiare?

E poi pensate seriamente ad un'area della vostra azienda o del vostro lavoro che sarebbe bello coinvolgere nella realizzazione del primo assistente AI.

Partendo in piccolo!

Pensate seriamente a dove sono i dati e vedrete che dalla prossima volta avrete tutti gli elementi per iniziare a creare qualcosa di molto interessante!

---

📢 Se hai pensieri o commenti, oppure se vuoi solo aiutare a diffondere queste riflessioni, condividi questa pagina con chiunque credi possa apprezzarla. La tua opinione conta tantissimo!

🚀 Per tenerti sempre aggiornato sui miei contenuti:

📝 Iscriviti al Blog Glimpse per non perderti neanche un aggiornamento

🔗 Seguimi su Linkedin

📚 Dai un'occhiata a 'Glimpse', il mio romanzo sull'intelligenza artificiale

🗓️ Contattami se vuoi organizzare un Workshop sull’AI o per qualunque idea.

A presto!

Massimiliano