Procjena rizika objavljena 2025. godine upozorava na moguće štetne učinke AI pratitelja (AI companions) na djecu i mlade. Riječ je o AI sustavima osmišljenima za razgovor, društvo, zabavu, emocionalnu podršku ili romantičnu interakciju s korisnikom. Za razliku od klasičnih AI chatbotova, takvi su sustavi oblikovani da stvaraju osjećaj prisnosti i “prijateljstva“.
U procjeni su analizirani popularni AI pratitelji, uključujući Character.AI, Nomi i Replika. Zaključak je da AI pratitelji predstavljaju neprihvatljiv rizik za osobe mlađe od 18 godina. Kao glavni rizici navode se poticanje štetnih ponašanja, izlaganje neprimjerenom sadržaju, dijeljenje opasnih informacija, moguće pogoršanje teškoća mentalnog zdravlja te stvaranje emocionalne ovisnosti o umjetnom sugovorniku.
Važnost ovih nalaza dodatno naglašavaju podaci iz izvještaja Talk, Trust, and Trade-Offs: How and Why Teens Use AI Companions. Prema tom istraživanju, 72 posto tinejdžera koristilo je AI pratitelje barem jednom, a 52 posto koristi ih redovito. Trećina tinejdžera koji ih koriste razgovarala je s AI pratiteljem o važnim ili ozbiljnim temama umjesto sa stvarnom osobom, dok je gotovo četvrtina podijelila osobne ili privatne informacije.
U preporukama se naglašava potreba za pouzdanijom provjerom dobi, većom odgovornošću platformi, snažnijim sigurnosnim mjerama, boljom informiranošću roditelja te dodatnim istraživanjima o emocionalnim i psihološkim učincima takvih sustava na mlade.
