Oamenii de știință au creat un test care arată dacă un program AI poate provoca „daune catastrofale”
Oamenii de știință au conceput un nou set de teste care măsoară dacă agenții de inteligență artificială (AI) își pot modifica propriul cod și își pot îmbunătăți capacitățile fără instrucțiuni umane, potrivit Live Science.
Ce este clasamentul Kaggle?
Criteriul de referință, denumit „MLE-bench”, este o compilație de 75 de teste Kaggle, fiecare fiind o provocare care testează ingineria învățării automate. Această activitate implică instruirea modelelor AI, pregătirea seturilor de date și derularea experimentelor științifice.
Testele Kaggle măsoară cât de bine algoritmii de învățare automată îndeplinesc anumite sarcini
Oamenii de știință de la OpenAI au conceput MLE-bench pentru a măsura cât de bine se descurcă modelele AI la „ingineria autonomă de învățare automată” – care este printre cele mai dificile teste cu care se poate confrunta un AI.
Orice inteligență artificială viitoare care obține rezultate bune la cele 75 de teste care alcătuiesc MLE-bench poate fi considerată suficient de puternică pentru a fi un sistem de inteligență generală artificială (AGI) – o inteligență artificială ipotetică care este mult mai inteligentă decât oamenii – au declarat oamenii de știință.
„Riscăm să dezvoltăm modele capabile să provoace daune catastrofale”
Fiecare dintre cele 75 de teste de laborator MLE are o valoare practică în lumea reală. Exemplele includ OpenVaccine – o provocare de a găsi un vaccin ARNm pentru COVID-19 – și provocarea Vesuvius pentru descifrarea manuscriselor antice.
Dacă agenții AI învață să efectueze în mod autonom sarcini de cercetare în domeniul învățării automate, acest lucru ar putea avea numeroase efecte pozitive, cum ar fi accelerarea progresului științific în domeniul sănătății, al științei climatice și în alte domenii, au scris oamenii de știință în lucrare. Dar, dacă nu sunt controlate, acestea ar putea duce la un dezastru total.
„Capacitatea agenților de a efectua cercetări de înaltă calitate ar putea marca un pas transformator în economie. Cu toate acestea, agenții capabili să îndeplinească sarcini de cercetare ML deschise, la nivelul îmbunătățirii propriului lor cod de formare, ar putea îmbunătăți capacitățile modelelor de frontieră semnificativ mai rapid decât cercetătorii umani”, au scris oamenii de știință.
„Dacă inovațiile sunt produse mai rapid decât capacitatea noastră de a le înțelege impactul, riscăm să dezvoltăm modele capabile să provoace daune catastrofale sau să fie utilizate în mod abuziv, fără o dezvoltare paralelă în ceea ce privește securizarea, alinierea și controlul acestor modele”.
Doar doi oameni au obținut vreodată medalii în cele 75 de competiții Kaggle
Ei au adăugat că orice model care ar putea rezolva o „fracțiune mare” din MLE-bench poate, probabil, să execute singur multe sarcini deschise de învățare automată.
Oamenii de știință au testat cel mai puternic model AI proiectat până în prezent de OpenAI – cunoscut sub numele de „o1”. Acest model AI a atins cel puțin nivelul unei medalii de bronz Kaggle la 16,9% din cele 75 de teste din MLE-bench. Această cifră s-a îmbunătățit cu cât o1 a avut mai multe încercări de a face față provocărilor.
Aşadar, obținerea unei medalii de bronz este echivalentă cu clasarea în primii 40% dintre participanții umani în clasamentul Kaggle. Modelul o1 al OpenAI a obținut o medie de șapte medalii de aur la MLE-bench, cu două mai mult decât este necesar unui om pentru a fi considerat un „Grandmaster Kaggle”.
Doar doi oameni au obținut vreodată medalii în cele 75 de competiții Kaggle diferite, au scris oamenii de știință în lucrare.
Sursa – www.antena3.ro
