AISA Chat Control, AISA testing tool & AISA Ticket Explainer - Miglioramento dell'esperienza Cliente di SiglaCredit.

Introduzione

Gentile team di Sigla Credit, grazie per i vostri feedback e per la riunione del 28 aprile con Jessica, nella quale abbiamo potuto comprendere a fondo cosa vi rende felici e cosa no del nostro servizio.

Per noi è molto importante migliorare ciò che ci avete richiesto ed, in particolare, migliorare questi quattro elementi della vostra esperienza cliente:

• Farvi sempre comprendere in che percentuale dei casi l'agente si comporta come dovrebbe e in quale invece no. Perché comprendiamo che individuare un errore manualmente e non sapere quante volte si ripete può essere spaventoso, e difficile da spiegare ai vostri colleghi.
• Darvi modo di comprendere approfonditamente, nei casi in cui non si comporta come dovrebbe, dov'è l'errore e cosa succede; per determinare voi la gravità dell'errore dal vostro punto di vista ed aprire un ticket di conseguenza, con l'urgenza che gli attribuite.
• Assicurarvi sempre che gli errori noti non si ripetano e che non vi siano regressioni, ovvero il ripresentarsi di errori già corretti in passato contestualmente ad aggiornamenti che correggono errori nuovi.
• Infine, corretti gli errori capire cosa è successo e perché si è verificato; così da imparare anche voi e poter condividere con i vostri colleghi delle spiegazioni che contribuiscano a nutrire la credibilità delle vostre strategie e delle vostre scelte tecnologiche; e la credibilità nei confronti della nostra soluzione.

Con queste migliorie necessarie ben chiare in mente, ecco la soluzione che stiamo costruendo.

Per comprenderla, vi spiego brevemente perché si verificano le regressioni. L'AI è uno strumento non deterministico che risponde ad ogni input ricevuto in modo diverso, ogni volta che lo riceve. In questo contesto, per ogni categoria di input l'AI ha una tendenza a commettere un determinato tipo di errore; e sempre lo stesso tipo di errore.

Un esempio molto puntuale è il suo comportamento con le date. Un LLM tende a fare fatica ad interpretare il posizionamento sull'asse temporale di una data, ed è un errore a cui tende nella sua natura non deterministica, di dare risposte.

Ovvero tende a sbagliarlo un determinato numero di volte sul totale di input richiesti. Detto in parole povere, se chiedo a ChatGPT 100 volte se il 26 ottobre 2025 è nel futuro o nel passato, un dato numero di volte risponderà in modo errato. Il numero di risposte esatte, però, sarà sempre maggiore del numero di risposte sbagliate. E c'è di più, non è sempre detto che questo si verifichi "ogni volta lo stesso numero di volte."

Ecco le nostre soluzioni in questo scenario di incertezza.

AISA Chat Control

AISA Chat control è la soluzione al primo bisogno che avete manifestato: comprendere in che percentuale dei casi l'agente si comporta come dovrebbe e in quale invece no.

Svilupperemo uno strumento che regolarmente controlla un campione di chat per restituire un esito % di comportamenti andati a buon fine e comportamenti anomali; mostrandovi con un click la lista di comportamenti anomali per poterli analizzare e aprire ticket direttamente da quella sezione. Questa seconda caratteristica - ovvero il click nella lista di errori - vi permette di risolvere il vostro secondo bisogno, ovvero "Comprendere dov'è l'errore e cosa succede; per determinare voi la gravità dell'errore dal vostro punto di vista ed aprire un ticket di conseguenza".

Disponibile a partire da oggi: Fintanto che la UI di questo strumento non sarà pronta con una UI fruibile direttamente all'interno della vostra piattaforma, vi forniremo un report tempestivo via Slack come versione alfa di questa funzione, ogni martedì mattina come spiegato da Davide Orefice nel suo ultimo messaggio.

AISA testing tool

AISA testing tool è lo strumento che risolve il vostro bisogno più importante; prevedere ed evitare o individuare e correggere le regressioni e gli errori che si ripetono.

AISA testing tool è uno strumento di testing avanzato che ci permette di effettuare test di volume sul comportamento dell'Agente AI, monitorando le regressioni.

In questo strumento inseriamo tutti gli errori noti da monitorare e istruiamo un agente AI specializzato nella ricerca di errori, a cercarli sia nelle conversazioni precedentemente avvenute, sia in dati sintetici ovvero in simulazioni di conversazioni, ad un volume sufficientemente alto da scoprire:

• se si verificano
• con quale frequenza

Così da poter intervenire - prima del rilascio di qualsiasi aggiornamento - qualora le modifiche appena fatte dovessero aver generato di nuovo comportamenti errati da parte dell'AI e che erano precedentemente già noti e corretti, ma che con gli aggiornamenti più recenti sono stati manomessi o dalle nostre stesse modifiche o da variazioni nei comportamenti tipici del LLM in uso.

Lo strumento permette anche di ricercare errori noti su gruppi di chat realmente avvenute nel passato, così da quantificarne il volume e determinarne la causa per correggerla.

Poiché questo è il vostro bisogno più rilevante, questo strumento è già disponibile e verrà rilasciato entro 24 ore nella vostra dashboard. È uno strumento molto avanzato e, per questo, richiederà formazione per voi se desiderate usarlo. Tuttavia, poiché - nel vostro caso - siamo sempre noi a svolgere modifiche al vostro contesto e alle vostre API, è rilevante che i nostri operatori sappiano utilizzarlo più dei vostri. Sono stati tutti correttamente formati e sono pronti per utilizzarlo.

AISA Ticket Explainer

Infine, miglioreremo gli approfondimenti che vi forniremo alla correzione di ogni errore, spiegandovi ciò che è successo e perché, affinché voi possiate apprenderlo e condividerlo internamente. Anche questo con il supporto di un agente AI, che ci aiuterà elaborando risposte automatiche ai vostri ticket, sempre controllate da un nostro operatore e sempre disponibili nella vostra dashboard nella sezione assistenza.

Processo di lavoro

Rilasciati questi strumenti, il nostro team si assicurerà di operare con un processo rigoroso per cui saremo sicuri che:

• Verranno creati test volumetrici ogni volta che verrà fatta una modifica al contesto
• Lo strumento Chat control verrà controllato periodicamente da un nostro operatore

Conclusione e prossimi rilasci

Il testing volumetrico per la prevenzione e il monitoraggio degli errori noti è già disponibile nella vostra dashboard cliente, nella sezione Prova Assistente > Test Automatizzati.

AISA Chat Control e AISA Ticket Explainer sono stati prioritizzati nella nostra roadmap di sviluppo del prodotto e verranno rilasciati nel corso delle prossime due/quattro settimane, fornendovi aggiornamenti puntuali sullo stato delle funzionalità.

Fintanto che non saranno disponibili le funzionalità nella vostra dashboard vi forniremo report via Slack che sostituiscono AISA Chat Control.

Come abbiamo preso l'abitudine di fare nelle ultime settimane ci impegneremo a spiegarvi con profondità gli errori che rileviamo, da cosa sono stati causati e come sono stati risolti.

Per noi migliorare il nostro servizio per i nostri clienti è una priorità assoluta.

Il team di AISA.