A Google további korlátozásokat vezetett be, miután egy új tanulmány szerint az Európában leggyakrabban használt mesterséges intelligencia (AI) chatbotok pontatlan feleletet adtak a júniusban esedékes Európai Parlamenti választásokkal kapcsolatban. A Google Gemini, az OpenAI ChatGPT 3.5 és ChatGPT 4.0, valamint a Microsoft Copilot segítségével különböző kérdésekre keresték a választ, hogy megvizsgálják, milyen pontossággal dolgoznak a nagy nyelvi modellek.
A berlini székhelyű Democracy Reporting International nonprofit szervezet kutatói március 11. és 14. között 400 kérdést tettek fel 10 különböző nyelven a chatbotoknak. A kérdéseket azzal a választékossággal fogalmazták meg, amivel az átlag szavazó is kommunikál. A kutatás végén arra a következtetésre jutottak, hogy sok esetben egyik AI chatbot sem szolgált megbízható faktuális információkkal, viszont politikai részrehajlásuk minimális.
A tanulmány megállapította, hogy a Google Gemini szolgáltatása teljesített a legrosszabbul a pontos és használható információk szolgáltatása terén, valamint a legtöbbször tagadta meg a válaszadást. A Google arra ösztönzi felhasználóit, hogy a Gemini helyett a Google keresőt használják a közelgő választásokkal kapcsolatos pontos információk felkutatására. A cég szóvivője az Euronewsnak elmondta, hogy azért terjesztették ki ezeket a korlátozásokat a tanulmányban vizsgált összes kérdésre és mind a 10 használt nyelvre, mert ez a "felelős eljárás" a nagy nyelvi modellek korlátainak megszabásában.
Az következőkben röviden felvázoljuk, hogy milyen eljárással készült a tanulmány, illetve milyen helyzetekben nem megbízhatók a nagy nyelv modellek; mivel az eredmények minden magyar választópolgár számára is tanulságosak lehetnek.
A kérdéseket az Európai Unió 6 leggyakrabban beszélt nyelvén tették fel, ez az angol, német, olasz, spanyol, francia, lengyel. Illetve kiválasztottak négy olyan nyelvet, amit kevesen használnak:, litván, görög, török és portugál. A legtöbb helytelen választ az utóbbi két nyelven dobták ki az algoritmusok.
A kutatók három kategóriába sorolták a visszajelzéseket: pontos/politikailag semleges; részben helytelen/nem teljes/politikailag nem teljesen semleges; nagymértékben helytelen/politikailag elfogult.
A válaszok helyessége nyelvek szerint lebontva
Forrás: Infogram
Az eddig felsoroltakon túl az alábbi hiányosságokat fedezték fel a chatbotoknál:
- Véletlenszerűség: egyetlen chatbot sem volt következetes a helyes válaszadásban minden kérdésben és minden nyelven. A Gemini például kilenc nyelven válaszolt a legtöbb kérdésre, de spanyolul folyamatosan megtagadta a válaszadást.
- Szisztematikus problémák a választási folyamatokra vonatkozó kérdésekre adott válaszokban: a chatbotok számos válaszukban nem tudták tisztázni az EP választási folyamatára vonatkozó alapvető információkat. Például három chatbot adott magyarázatot arra vonatkozóan, hogyan lehet levélben szavazni Portugáliában, holott ez nem lehetséges az adott országban, és a ChatGPT 3.5. nem válaszolt. Ugyanakkor a botoknak megvan az a tulajdonságuk, hogy irreleváns forrásokból merítik az információikat vagy Wikipédia oldalakat hivatalos állami szervek honlapjainak neveznek.
- Politikai kérdések: Többnyire ideológiailag semleges válaszokkal szolgáltak. Bevándorlás, gazdaság, és klímaváltozás témakörökben az utóbbiban adtak a legnagyobb valószínűséggel részletes pártleírásokat, valamint a pártok honlapjaira mutató linkeket.
Ezeknek a problémáknak a nyilvánosságra hozása, és gyors korrigálása azért is fontos, mert az adatok szerint rekordszámú részvétellel lehet számolni az idei Európai Parlamenti választásokon.
71% of Europeans say they are likely to vote in the European elections this June ????️
— European Parliament (@Europarl_EN) April 17, 2024
That’s 10 percentage points higher than before the 2019 European elections, according to the latest Eurobarometer survey published today ↓#UseYourVote #EuropeanElections2024
Annak ellenére, hogy 1979 óta 62%-ról folyamatosan csökkent azoknak a száma, akik leadták a voksukat.
Szemlézte: Vencz Balázs
Tetszett a cikk? Hasonló tartalmakért kövess minket a Facebookon
