Ste pri rozhovore s chatbotom struční a neformálni? Ak áno, môžete dostávať horšie odpovede, ako keby ste používali formálnejší jazyk.
Ilustračný obrázok. Zdroj: iStockphotos.com. Autor: Tero Vesalainen
Rozhovor s chatbotom menej formálnym jazykom, ako to robí veľa ľudí, znižuje presnosť jeho odpovedí. To naznačuje, že buď musíme byť pri používaní chatbota jazykovo prísnejší, alebo že treba umelú inteligenciu vyškoliť, aby sa lepšie prispôsobila neformálnosti.
Komunikácia s ľuďmi vs. s chatbotmi
Fulei Zhang a Zhou Ju z Amazonu skúmali, ako začínajú ľudia rozhovory s ľudskými agentmi v porovnaní s asistentom chatbota, poháňaným modelom veľkého jazyka (LLM). Na analýzu týchto interakcií použili Claude 3.5 Sonnet, pokročilý jazykový model umelej inteligencie od spoločnosti Anthropic, ktorý slúžil ako nástroj hodnotenia rozhovorov podľa rôznych faktorov. Zistili, že ľudia komunikujúci s chatbotmi používali menej presnú gramatiku, boli menej zdvorilí než pri rozhovoroch s ľuďmi a zároveň využívali o niečo užší rozsah slovnej zásoby.
Napríklad interakcia medzi ľuďmi bola o 14,5 percenta zdvorilejšia a formálnejšia ako konverzácie s chatbotmi, o 5,3 percenta plynulejšia a o 1,4 percenta lexikálne rozmanitejšia. „V konverzáciách medzi ľuďmi a LLM prispôsobujú používatelia svoj jazykový štýl a vytvárajú správy, ktoré sú kratšie, priamejšie, menej formálne a gramaticky jednoduchšie,“ píšu autori.
„Toto správanie je pravdepodobne formované mentálnymi modelmi používateľov chatbotov LLM ako menej sociálne citlivých alebo menej schopných nuansovej interpretácie.“
Aká otázka, taká odpoveď
Ukazuje sa však, že táto neformálnosť má aj svoju nevýhodu. V druhom hodnotení výskumníci trénovali model umelej inteligencie s názvom Mistral 7B na 13 000 reálnych konverzáciách medzi ľuďmi a použili ho na interpretáciu 1357 reálnych správ odoslaných chatbotom s umelou inteligenciou. Výskumníci priradili každú konverzáciu k určitému zámeru, teda cieľu používateľa, napríklad požiadať o pomoc alebo získať informáciu.
Umelá inteligencia Mistral bola však trénovaná na rozhovoroch medzi ľuďmi, preto dvojica zistila, že umelá inteligencia mala problém správne označiť zámer v konverzáciách chatbota.
Stratégie na zlepšenie porozumenia
Zhang a Ju potom vyskúšali rôzne stratégie na zlepšenie porozumenia umelej inteligencie Mistral. Najprv použili umelú inteligenciu Claude na prepísanie stručnejších správ používateľov do jazyka podobného človeku a využili ich na doladenie modelu Mistral. To však znížilo presnosť označení zámerov o 1,9 percenta v porovnaní s jeho predvolenými odpoveďami. Ďalej použili Claude na poskytnutie „minimalistického“ prepísania, ktoré bolo kratšie a priamočiarejšie (napríklad otázka týkajúca sa možností cestovania a ubytovania pre nadchádzajúcu cestu Paríž budúci mesiac. lety hotely?), no aj to znížilo presnosť Mistralu – tentoraz o 2,6 percenta. Alternatívne, „obohatené“ prepísanie s formálnejším a pestrejším jazykom zaznamenalo pokles presnosti o 1,8 percenta.
Na prvý pohľad to pôsobí paradoxne. Prečo by lepšie formulované otázky zhoršovali výkon modelu? Dôvod spočíva v tom, že Mistral sa, rovnako ako väčšina jazykových modelov, učí na obrovskom množstve prirodzeného textu – teda aj na bežných, často neúplných či gramaticky nedokonalých otázkach používateľov. Ak mu výskumníci podsunú umelo uhladené alebo „akademické“ prepisy, model sa dostane mimo svojho prirodzeného kontextu a môže byť zmätený. Obohatené formulácie tiež často menia jemné významové nuansy, napríklad tón, zámer či implicitné informácie, preto je pre model náročnejšie pochopiť, čo chce človek povedať.
Zlepšenie nastalo až v momente, keď výskumníci trénovali Mistral na kombinácii minimalistických aj obohatených prepísaní. Táto variabilita mu pomohla lepšie rozumieť rôznym štýlom komunikácie od krátkych, hovorových otázok až po rozvitý, formálny jazyk. Vďaka tomu sa jeho výkon zvýšil o 2,9 percenta. Inými slovami, model sa stal robustnejším a dokázal presnejšie reagovať na rôzne spôsoby, akými s ním ľudia komunikujú.
Noah Giansiracusa z Bentley University v Massachusetts hovorí, že ho neprekvapuje rozdielnosť komunikácie s botmi v porovnaní s komunikáciou s ľuďmi, ale nie je to nevyhnutne niečo, čomu sa treba vyhnúť. „Myslím si, že je to zdravšie ako sa obsedantne snažiť odstrániť priepasť medzi človekom a botom.
Zdroj: New Scientist, Modern Science
(LDS)
