ChatGPT dă greș în știință – identifică corect doar 16% din afirmațiile false
Un nou studiu zguduie încrederea în inteligența artificială, arătând că ChatGPT, pus să evalueze peste 700 de ipoteze științifice, a avut o performanță mult sub așteptări. Deși la prima vedere cifrele par decente, realitatea este cu totul alta, mai ales când vine vorba de consecvență și de capacitatea de a depista informații eronate.
Acuratețe înșelătoare
Experimentul, realizat inițial în 2024, a arătat o acuratețe a răspunsurilor de 76,5%. Un an mai târziu, într-un test de urmărire din 2025, precizia a urcat ușor la 80%. Numai că, odată ce cercetătorii au ajustat rezultatele pentru a elimina factorul de ghicire aleatorie, lucrurile au început să arate mult mai puțin solid. Performanța reală a inteligenței artificiale a fost cu doar aproximativ 60% mai bună decât simpla șansă, un nivel care, hai să fim serioși, e mai aproape de o notă de trecere chinuită decât de o fiabilitate solidă.
Dar unde a eșuat lamentabil sistemul? La identificarea afirmațiilor false, pe care le-a etichetat corect în doar 16,4% din cazuri.
O problemă de consecvență
Poate cea mai mare îngrijorare nu este legată de acuratețe, ci de inconsistență. Chiar și atunci când i s-a adresat exact aceeași solicitare de 10 ori, ChatGPT a oferit răspunsuri consecvente doar în aproximativ 73% din cazuri. V-ați gândit vreodată la implicațiile acestui lucru?
Cicek, profesor asociat la Departamentul de Marketing și Afaceri Internaționale din cadrul Carson College of Business al WSU și autor principal al publicației, a subliniat gravitatea situației. „Nu vorbim doar despre acuratețe, vorbim despre inconsistență, pentru că dacă pui aceeași întrebare iar și iar, obții răspunsuri diferite”, a spus acesta.
Și a continuat cu un exemplu concret. „Am folosit 10 solicitări cu exact aceeași întrebare. Totul era identic. Răspundea că este adevărat. Apoi, spune că este fals. Este adevărat, este fals, fals, adevărat. Au existat mai multe cazuri în care au fost cinci răspunsuri adevărate și cinci false”. Cum vine asta, până la urmă?
Experții îndeamnă la prudență
Pe baza acestor constatări, cercetătorii recomandă liderilor de afaceri să verifice cu mare atenție informațiile generate de IA și să le abordeze cu un scepticism sănătos. Concluziile subliniază importanța prudenței atunci când ne bazăm pe IA pentru decizii importante, în special cele care necesită un raționament nuanțat sau complex.
E drept că IA generativă poate produce un limbaj fluent și convingător, dar asta nu demonstrează încă același nivel de înțelegere conceptuală. Iar nevoia de formare pentru a înțelege mai bine ce pot și ce nu pot face eficient sistemele de IA devine tot mai clară.
Deși acest studiu s-a concentrat pe ChatGPT, Cicek a menționat că experimente similare cu alte instrumente de inteligență artificială au produs rezultate comparabile. Lucrarea se bazează, si, pe cercetări anterioare care indică o reticență crescută. Un sondaj național din 2024 a constatat că, dincolo de cifre, consumatorii erau mai puțin dispuși să cumpere produse atunci când acestea erau comercializate cu accent pe IA.
