Veliki jezični modeli danas mogu odgovarati na pitanja na različitim jezicima i u različitim kulturnim kontekstima. Ovo istraživanje postavlja pitanje koliko su njihovi odgovori usklađeni sa stavovima ljudi diljem svijeta?
Autori istraživanja su razvili evaluacijski okvir temeljen na podacima iz međunarodnog istraživanja World Values Survey (WVS), koje prikuplja stavove građana o društvenim, političkim i kulturnim pitanjima u velikom broju država. Na temelju tih podataka testirali su više velikih jezičnih modela i usporedili njihove odgovore s time kako ljudi u različitim zemljama stvarno razmišljaju o tim pitanjima.
Rezultati pokazuju da modeli bolje odražavaju stavove ljudi iz nekih zemalja nego iz drugih. Dok su u pojedinim slučajevima njihovi odgovori vrlo slični mišljenjima u određenim državama, u mnogim drugim zemljama ta je podudarnost znatno slabija.
Posebno je zanimljivo da jezik upita ima značajan utjecaj na odgovore modela. Kada se pitanje postavi na jeziku koji odgovara određenoj zemlji ili kontekstu iz istraživanja, modeli se bolje usklađuju s mišljenjima ljudi iz tog okruženja. To sugerira da jezik može služiti kao jednostavan način usmjeravanja modela prema određenim kulturnim perspektivama.
Istraživanje također pokazuje da su modeli općenito više usklađeni sa suvremenim stavovima, dok slabije odražavaju promjene kroz povijesna razdoblja.
Ovaj rad prvi sustavno analizira usklađenost AI modela s globalnim javnim mišljenjem kroz tri dimenzije – zemljopisnu, jezičnu i vremensku te otvara važno pitanje: mogu li modeli zaista reprezentirati raznolikost ljudskih stavova ili i dalje odražavaju ograničen skup perspektiva?
