In Relevance AI, il concetto di "knowledge" si basa su una soluzione di Retrieval-Augmented Generation (RAG). Ciò significa che gli agenti AI non solo generano risposte, ma le arricchiscono con contesto aggiuntivo e informazioni pertinenti tratte da fonti di dati predefinite. Queste fonti sono organizzate in tabelle di conoscenza ("knowledge tables"), che fungono da database di riferimento. L'accesso a queste tabelle consente agli agenti di comprendere meglio le richieste degli utenti e di fornire risposte più precise.
Limiti della Ricerca Semplice e Necessità di un Approccio Avanzato
Il tool builder di Relevance AI offre un modo semplice per recuperare informazioni dalle tabelle di conoscenza. Tuttavia, questo approccio può risultare insufficiente quando è richiesta alta precisione. La ricerca vettoriale, utilizzata in questo contesto, si basa sulla similarità semantica, non sulla corrispondenza esatta delle parole. Sebbene vantaggiosa per trovare informazioni concettualmente simili alla query, può produrre risultati non ottimali o irrilevanti, poiché tende a ordinare i risultati in base alla similarità, anche se la pertinenza effettiva è bassa. Un approccio più sofisticato è quindi essenziale per garantire la qualità delle risposte.
Tecniche Avanzate di Recupero della Conoscenza con LLM
Per superare queste limitazioni, si impiega una serie di passaggi che coinvolgono l'uso di modelli linguistici (LLM). Questo metodo consente di affinare le query di ricerca e validare i risultati, garantendo risposte accurate e pertinenti. Ecco i passaggi principali:
1.
Input dell'Utente:
◦
L'agente AI riceve una query in linguaggio naturale dall'utente, ad esempio: "Mi chiedevo se posso usare questo strumento mentre sono in giro".
2.
Raffinamento della Query con il Primo LLM:
◦
Un primo LLM elabora la query, trasformandola in una query di ricerca più precisa. Questo processo include l'eliminazione di parole non necessarie e la focalizzazione sul significato principale della domanda.
◦
Prompt Engineering: Il processo è guidato dal "prompt engineering", che definisce chiaramente l'obiettivo della trasformazione della query. Il prompt specifica come l'LLM deve interpretare la query e come generare una query di ricerca efficace. Un "system prompt" può essere utilizzato per definire il "ruolo" dell'LLM, come un esperto di motori di ricerca.
◦
Esempio: La query "Mi chiedevo se posso usare questo strumento mentre sono in giro" viene trasformata in "Funzionalità mobile Sparky CRM".
3.
Ricerca Vettoriale nella Tabella di Conoscenza:
◦
La query raffinata viene utilizzata per una ricerca vettoriale nella tabella di conoscenza. Questa ricerca confronta la query con i contenuti della tabella in base alla similarità semantica, ordinando i risultati per pertinenza, ma senza distinzione tra risultati realmente rilevanti e meno rilevanti.
◦
Esempio: Per "Funzionalità mobile Sparky CRM", la ricerca restituisce domande su app mobili, utilizzo offline e monitoraggio delle prestazioni.
4.
Validazione della Pertinenza con il Secondo LLM:
◦
Un secondo LLM analizza i risultati della ricerca vettoriale, insieme alla query originale e raffinata, per estrarre solo le informazioni pertinenti. Se nessun risultato è rilevante, l'LLM non fornisce alcuna informazione.
◦
Questo passaggio è cruciale perché la ricerca vettoriale ordina i risultati per similarità, ma non può valutare la loro effettiva pertinenza alla domanda.
◦
Esempio: Il secondo LLM valuta i risultati e determina che le informazioni rilevanti riguardano l'accessibilità di Sparky CRM tramite app mobile per iOS e Android.
5.
Output:
◦
L'output finale è una risposta accurata e pertinente, risultato del processo di raffinamento e validazione.
Perché Questo Approccio È Essenziale?
•
Maggiore Accuratezza: L'uso di LLM per raffinare le query e validare i risultati riduce la possibilità di fornire risposte irrilevanti.
•
Gestione di Domande Non Presenti: Il sistema è in grado di riconoscere quando la tabella di conoscenza non contiene una risposta alla domanda dell'utente, evitando di generare risposte non valide.
•
Controllo Granulare: Questo approccio permette un controllo più preciso sul processo di recupero delle informazioni rispetto all'uso del modulo "knowledge" semplificato.
Esempio Pratico: Domanda su Aggiornamenti Futuri
Consideriamo una domanda come "Ci sarà un aggiornamento dell'app a settembre?". Se la tabella di conoscenza non contiene questa informazione:
•
La query viene raffinata in "Aggiornamento app Sparky CRM settembre".
•
La ricerca vettoriale restituisce risultati non pertinenti.
•
Il secondo LLM analizza i risultati e, non trovando informazioni rilevanti, non fornisce alcuna risposta.
Conclusione
La gestione avanzata della conoscenza in Relevance AI, basata sull'uso di LLM per il raffinamento delle query e la validazione dei risultati, è fondamentale per la creazione di agenti AI che forniscono risposte precise e pertinenti. Questo approccio permette di ottenere un maggiore controllo sul processo di recupero delle informazioni, evitando risposte non rilevanti o inesistenti. Attraverso l'uso di tecniche avanzate di prompt engineering e validazione, è possibile creare agenti AI affidabili ed efficienti.
Class Sessions
1- Costruzione e Funzionalità sulla Piattaforma Relevance
2- Profilo Agente
3- Strumenti AI Personalizzati con Relevance AI
4- Cos'è la "Knowledge" in Relevance AI
5- Creare Integrazioni Personalizzate
6- Utilizzo degli Output nel Tool Builder di Relevance AI
7- Utilizzo degli Step di Codice JavaScript e Python nel Tool Builder di Relevance AI
8- Usare Relevance Ai