3za3 – LLM & RAG Hackathon

Anton, náš software engineer z tímu Visma Machine Learning zorganizoval interný hackathon na tému LLM & RAG. Na ňon sa kolegovia rozdelení do tímov pokúsili vytvoriť chatbota integrovaného do Slacku, ktorý dokáže odpovedať na otázky týkajúce sa interných predpisov Vismy.

 

Porozprávaj mi prečo hackathon a aká bola jeho téma?

Chceli sme odbremeniť HR, ktoré často odpovedá na tie isté otázky, pretože ja ako developer som lenivý a radšej sa opýtam, ako by som to mal niekde hľadať. :D A keďže máme dobu umelej inteligencie, tak vieme vytvoriť Chatbota, nafeediť mu potrebné data ako centxt a tým pádom môže odpovedať na otázky s relevantnými informáciami.

Z technickej stránky to bolo o čom?

Používali sme Python a Azure, ktorý má service presne na to. Taktiež je to veľmi jednoduché na spojazdnenie a potrebuješ len nejaký základný backend. Frontend implementácia bola buď Slack chatbot alebo mobilná appka, kde vieš znova integrovať nejaký chatbot. Dá sa to aj prekomplikovať, ale načo, keď sú väčšie mozgy, ktoré spravili heavy lifting za nás.

Čo ťa najviac potešilo a čo naopak sklamalo?

Potešila ma účasť, čakal som, že bude výrazne menej ľudí, no nakoniec prišlo cca 25, čo znamená, že v rámci Vismy je vnímané, že LLM a celkovo AI budúcnosť je to, na čo sa treba orientovať. Neviem, čo ma nepotešilo, podľa mňa to bol veľmi podarený event a dúfam, že ich budeme mať viacero takých.

Ak ťa zaujíma téma umelej inteligencie, tak v našom Code Talk podcaste nám Tonik porozprával práve o nej. Nájdeš ju na našom Youtube

A viac o tíme, v ktorom pracuje si môžeš pozrieť tu