ChatGPT V4 nadmašuje standarde, SAT-ove i može identificirati eksploatacije u ETH ugovorima

GPT-4, najnovija verzija chatbot-a za umjetnu inteligenciju (AI), ChatGPT, može položiti srednjoškolske testove i ispite na pravnim fakultetima sa ocjenama u 90. percentilu i ima nove mogućnosti obrade koje nisu bile moguće u prethodnoj verziji.

Brojke iz GPT-4 testnih rezultata podijelio je 14. marta njegov kreator OpenAI otkrivajući da on također može konvertirati slike, audio i video ulaze u tekst pored toga što može kreativnije i pouzdanije rukovati “mnogo nijansiranijim uputstvima”.

„Polaže simulirani pravosudni ispit sa rezultatom oko 10% najboljih koji su polagali test,“ dodao je OpenAI. “Nasuprot tome, rezultat GPT-3.5 je bio oko 10% donjih.”

Brojke pokazuju da je GPT-4 postigao rezultat od 163 u 88. percentilu na LSAT ispitu — test koji studenti moraju položiti u Sjedinjenim Državama da bi bili primljeni na pravni fakultet.

Rezultati ispita GPT-4 i GPT-3.5 na nizu nedavnih ispita u SAD. Izvor: OpenAI

Rezultat GPT4 bi ga stavio u dobru poziciju da bude primljen u 20 najboljih pravnih fakulteta i samo je nekoliko maraka manje od prijavljenih rezultata potrebnih za prijem u prestižne škole kao što su Harvard, Stanford, Princeton ili Yale.

Prethodna verzija ChatGPT-a imala je samo 149 bodova na LSAT-u što ga stavlja u donjih 40%.

GPT-4 je također postigao 298 od 400 na Uniform pravosudnom ispitu — testu koji su polagali nedavno diplomirani studenti prava koji im omogućava da rade kao advokati u bilo kojoj jurisdikciji SAD.

UBE bodovi su morali biti primljeni za bavljenje advokaturom u svakoj američkoj jurisdikciji. Izvor: Nacionalna konferencija pravosudnih ispitivača

Stara verzija ChatGPT-a imala je probleme u ovom testu, završivši u zadnjih 10% sa rezultatom 213 od 400.

Što se tiče SAT ispita iz čitanja i pisanja zasnovanog na dokazima i SAT ispita iz matematike koje su polagali američki srednjoškolci kako bi izmjerili svoju spremnost za fakultet, GPT-4 je postigao rezultat u 93. odnosno 89. percentilu.

GPT-4 je briljirao i u “tvrdim” naukama, dajući znatno iznad prosječnih procenata u AP biologiji (85-100%), hemiji (71-88%) i fizici 2 (66-84%).

Rezultati ispita GPT-4 i GPT-3.5 na nizu nedavnih ispita u SAD. Izvor: OpenAI.

Međutim, njegov AP Calculus rezultat je bio prilično prosječan, rangirajući se u 43. do 59. percentilu.

Još jedna oblast u kojoj je nedostajao GPT-4 su ispiti iz engleske književnosti, objavljivanje rezultata u 8. do 44. percentilu na dva odvojena testa.

OpenAI je rekao da su GPT-4 i GPT-3.5 polagali ove testove sa praktičnih ispita 2022-2023, i da alati za obradu jezika nisu prošli nikakvu posebnu obuku:

“Nismo imali posebnu obuku za ove ispite. Manji broj problema na ispitima model je uočio tokom obuke, ali vjerujemo da su rezultati reprezentativni.”

Rezultati su izazvali strah i u Twitter zajednici.

Povezano: Kako će ChatGPT uticati na Web3 prostor? Odgovori industrije

Nick Almond, osnivač FactoryDAO rekao je njegovih 14,300 pratilaca na Twitteru 14. marta da će GPT4 “uplašiti ljude” i da će “urušiti” globalni obrazovni sistem.

Bivši direktor Coinbasea, Conor Grogan, rekao je da je umetnuo živi Ethereum pametni ugovor u GPT-4 i odmah ukazao na nekoliko "sigurnosnih slabosti" i naveo kako se kod može iskoristiti:

Ranije revizije pametnih ugovora na ChatGPT-u otkrile su da je njegova prva verzija također u razumnoj mjeri sposobna uočiti greške u kodu.

Rowan Cheung, osnivač AI biltena “The Rundown” podijelio je video GPT koji prepisuje ručno nacrtanu lažnu web stranicu na komadu papira u kod.