De ce majoritatea agenților de inteligență artificială din companii nu ajung niciodată în producție și cum intenționează Databricks să remedieze acest lucru

Multe eforturi de dezvoltare a agenților de inteligență artificială pentru întreprinderi nu ajung niciodată în producție și nu pentru că tehnologia nu este pregătită. Problema, conform Cărămizi de dateProblema este că firmele se bazează încă pe evaluări manuale, cu un proces lent, inconsistent și dificil de scalat.

Astăzi, la Summitul Data + AI, Databricks a lansat Mosaic Agent Bricks ca soluție la această provocare. Tehnologia se bazează pe și extinde... Cadrul de lucru pentru agenții de inteligență artificială Mosaic compania a anunțat în 2024. Simplu spus, nu mai este suficient să poți construi agenți IA pentru a avea un impact în lumea reală.

Platforma Mosaic Agent Bricks automatizează optimizarea agenților folosind o serie de inovații susținute de cercetare. Printre inovațiile cheie se numără integrarea TAO (Test-Time Adaptive Optimization), care oferă o abordare inovatoare a optimizării inteligenței artificiale fără a fi nevoie de date etichetate. Mosaic Agent Bricks generează, de asemenea, date sintetice specifice domeniului, creează repere în funcție de sarcină și optimizează echilibrul calitate-cost fără intervenție manuală.

Fundamental, scopul noii platforme este de a rezolva o problemă pe care utilizatorii Databricks o aveau cu eforturile existente de dezvoltare a agenților de inteligență artificială.

„Zburau în orb, nu aveau nicio modalitate de a evalua acești agenți”, a declarat pentru VentureBeat Hanlin Tang, directorul tehnic al rețelelor neuronale de la Databricks. „Majoritatea se bazau pe un fel de urmărire manuală a vibrațiilor pentru a vedea dacă agentul sună suficient de bine, dar acest lucru nu le dă încrederea necesară pentru a intra în producție.”

De la inovarea în cercetare la scara producției de inteligență artificială la nivel de întreprindere

Tang a fost anterior cofondator și director tehnic al Mosaic, care a fost achiziționată de Databricks în 2023 pentru $1,3 miliarde.

La Mosaic, o mare parte din inovațiile în cercetare nu au avut neapărat un impact imediat asupra companiei. Toate acestea s-au schimbat după achiziție.

„Marele moment de revelație pentru mine a fost când am lansat pentru prima dată produsul nostru pe Databricks și, instantaneu, peste noapte, am avut mii de clienți enterprise care îl foloseau”, a spus Tang.

În schimb, înainte de achiziție, Mosaic petrecea luni întregi încercând să convingă doar o mână de companii să testeze produsele. Integrarea Mosaic în Databricks a oferit echipei de cercetare Mosaic acces direct la problemele companiilor la scară largă și a dezvăluit noi domenii de explorat.

Acest contact cu o întreprindere a dezvăluit noi oportunități de cercetare. 

„Numai atunci când ai contact cu clienții din mediul de afaceri, lucrezi cu ei în profunzime, descoperi cu adevărat probleme de cercetare interesante pe care să le abordezi”, a explicat Tang. „Agent Bricks... este, într-un fel, un fel de evoluție a tot ceea ce am lucrat la Mosaic acum, când suntem cu toții pe deplin, pe deplin bricksteri.”

Rezolvarea crizei de evaluare a inteligenței artificiale agențice

Echipele din companii se confruntă cu un proces costisitor de optimizare prin încercări și erori. Fără repere specifice sarcinilor sau date de testare specifice domeniului, fiecare ajustare a agentului devine un joc de ghicit costisitor. Urmează abateri de la calitate, depășiri de costuri și termene limită ratate.

Agent Bricks automatizează întregul proces de optimizare. Platforma preia o descriere a sarcinilor la nivel înalt și date de la nivel de întreprindere. Restul se ocupă automat.

Mai întâi, generează evaluări specifice sarcinilor și evaluări LLM. Apoi, creează date sintetice care reflectă datele clienților. În cele din urmă, caută în diferite tehnici de optimizare pentru a găsi cea mai bună configurație.

„Clientul descrie problema la un nivel general și nu intră în detalii de bază, pentru că noi ne ocupăm de acestea”, a spus Tang. „Sistemul generează date sintetice și construiește evaluări LLM personalizate, specifice fiecărei sarcini.”

Platforma oferă patru configurații de agenți:

• Extragerea informațiilorConvertește documentele (PDF-uri, e-mailuri) în date structurate. Un caz de utilizare ar putea fi organizațiile de retail care îl utilizează pentru a extrage detalii despre produse din PDF-urile furnizorilor, chiar și cu formatare complexă.
• Asistent de cunoștințeOferă răspunsuri precise, citate, din datele companiei. De exemplu, tehnicienii de producție pot obține răspunsuri instantanee din manualele de întreținere fără a căuta prin dosare.
• Master în masterat personalizatGestionează sarcinile de transformare a textului (rezumare, clasificare). De exemplu, organizațiile din domeniul sănătății pot personaliza modele care rezumă notițele pacienților pentru fluxurile de lucru clinice.
• Supervizor Multi-AgentOrchestrează mai mulți agenți pentru fluxuri de lucru complexe. Un exemplu de caz de utilizare îl reprezintă firmele de servicii financiare care pot coordona agenți pentru detectarea intențiilor, recuperarea documentelor și verificările de conformitate.

Agenții sunt grozavi, dar nu uitați de date

Construirea și evaluarea agenților este o parte esențială a pregătirii IA pentru întreprinderi, dar nu este singura parte necesară.

Databricks poziționează Mosaic Agent Bricks ca strat de consum AI aflat deasupra stivei sale unificate de date. La Summit-ul Data + AI, Databricks a anunțat, de asemenea, disponibilitatea generală a... Ingineria datelor Lakeflow platformă, care a fost prezentată pentru prima dată în 2024.

Lakeflow rezolvă provocarea pregătirii datelor. Acesta unifică trei procese critice de inginerie a datelor care anterior necesitau instrumente separate. Ingestarea gestionează introducerea atât a datelor structurate, cât și a celor nestructurate în Databricks. Transformarea oferă curățare, remodelare și pregătire eficientă a datelor. Orchestrarea gestionează fluxurile de lucru de producție și programarea.

Conexiunea fluxului de lucru este directă: Lakeflow pregătește datele companiei prin ingerare și transformare unificate, apoi Agent Bricks construiește agenți AI optimizați pe baza datelor pregătite. 

„Vă ajutăm să introduceți datele în platformă, iar apoi puteți face analize ML, BI și AI”, a declarat pentru VentureBeat Bilal Aslam, director senior de management de produs la Databricks. 

Dincolo de simpla ingerare a datelor, Mosaic Agent Bricks beneficiază și de funcțiile de guvernanță ale catalogului Unity de la Databricks. Acestea includ controale de acces și urmărirea liniei de date. Această integrare asigură că comportamentul agenților respectă guvernanța datelor întreprinderii, fără configurații suplimentare.

Învățarea agenților din feedback-ul uman elimină umplerea prompturilor

Una dintre abordările comune pentru ghidarea agenților de inteligență artificială în zilele noastre este utilizarea unui prompt de sistem. Tang a făcut referire la practica „prompt stuffing” (umplerea prompturilor), în care utilizatorii introduc tot felul de îndrumări într-un prompt în speranța că agentul îl va urma.

Agent Bricks introduce un nou concept numit – Învățarea agenților din feedback-ul uman. Această funcție ajustează automat componentele sistemului pe baza îndrumărilor limbajului natural. Rezolvă ceea ce Tang numește problema umplerii cu prompturi. Potrivit lui Tang, abordarea de umplere cu prompturi eșuează adesea deoarece sistemele de agenți au mai multe componente care necesită ajustări.

Învățarea prin agent din feedback-ul uman este un sistem care interpretează automat îndrumările din limbajul natural și ajustează componentele corespunzătoare ale sistemului. Abordarea reflectă învățarea prin consolidare din feedback-ul uman (RLHF) dar operează la nivel de sistem al agentului, mai degrabă decât la nivel de ponderi individuale ale modelului.

Sistemul gestionează două provocări principale. În primul rând, îndrumările în limbaj natural pot fi vagi. De exemplu, ce înseamnă de fapt „respectă vocea brandului tău”? În al doilea rând, sistemele de agenți conțin numeroase puncte de configurare. Echipele se luptă să identifice ce componente necesită ajustări.

Sistemul elimină necesitatea de a ne da seama ce componente ale agentului necesită ajustări pentru modificări comportamentale specifice.

„Credem că acest lucru îi va ajuta pe agenți să devină mai ușor de gestionat”, a spus Tang.

Avantaje tehnice față de framework-urile existente

Nu există lipsă de framework-uri și instrumente de dezvoltare a inteligenței artificiale agentice pe piață astăzi. Printre lista tot mai mare de opțiuni ale furnizorilor se numără instrumente de la Langchain, Microsoft şi Google.

Tang a susținut că ceea ce diferențiază Mosaic Agent Bricks este optimizarea. În loc să necesite configurare și reglare manuală, Agent Bricks încorporează automat mai multe tehnici de cercetare: TAO, învățare în context, optimizare promptă și reglare fină.

Când vine vorba de comunicarea între agenti, există câteva opțiuni pe piață astăzi, inclusiv cea a Google Protocolul Agent2AgentPotrivit lui Tang, Databricks explorează în prezent diverse protocoale de agenți și nu s-a angajat să respecte niciun standard.

În prezent, Agent Bricks gestionează comunicarea dintre agenti prin două metode principale:

1. Expunerea agenților ca puncte finale care pot fi încapsulate în diferite protocoale.
2. Utilizarea unui supervizor multi-agent care este compatibil cu MCP (Model Context Protocol).

Implicații strategice pentru factorii de decizie din cadrul întreprinderilor

Pentru companiile care doresc să fie lideri în domeniul inteligenței artificiale, este esențial să dispună de tehnologiile potrivite pentru a evalua calitatea și eficacitatea.

Implementarea agenților fără evaluare nu va duce la un rezultat optim și nici existența agenților fără o bază de date solidă. Atunci când se iau în considerare tehnologiile de dezvoltare a agenților, este esențial să existe mecanisme adecvate pentru a evalua cele mai bune opțiuni.

Abordarea „Agent Learning from Human Feedback” este, de asemenea, remarcabilă pentru factorii de decizie din întreprinderi, deoarece ajută la ghidarea IA agentială către cel mai bun rezultat.

Pentru companiile care doresc să fie lideri în implementarea agenților de inteligență artificială, această dezvoltare înseamnă că infrastructura de evaluare nu mai este un factor de blocaj. Organizațiile își pot concentra resursele pe identificarea cazurilor de utilizare și pregătirea datelor, în loc să construiască cadre de optimizare.