U nedavnoj studiji objavljenoj u The Annals of Family Medicine, istraživači su procijenili efikasnost Chat Generative Pretrained Transformer (ChatGPT) u sažimanju medicinskih sažetaka za pomoć liječnicima. Studija je imala za cilj da utvrdi kvalitet, tačnost i pristrasnost sažetaka koje je generisao ChatGPT, pružajući uvid u njihov potencijal kao alata za probavljanje ogromne količine medicinske literature usred vremenskih ograničenja sa kojima se suočavaju zdravstveni radnici.
Visoke ocjene za kvalitet i tačnost
Studija je koristila ChatGPT za kondenzaciju 140 medicinskih sažetaka iz 14 različitih časopisa, smanjujući sadržaj u prosjeku za 70%. Uprkos nekim netačnostima i halucinacijama otkrivenim u malom dijelu sažetaka, liječnici su sažetke visoko ocijenili za kvalitet i tačnost. Nalazi sugeriraju da ChatGPT ima potencijal da pomogne ljekarima u efikasnom pregledu medicinske literature, nudeći sažete i tačne sažetke usred ogromnog broja informacija.
Istraživači su odabrali 10 članaka iz svakog od 14 časopisa koji pokrivaju različite medicinske teme i strukture. Zadužili su ChatGPT da sumira ove članke i procijenili generirane sažetke za kvalitet, tačnost, pristrasnost i relevantnost u deset medicinskih oblasti. Studija je otkrila da je ChatGPT uspješno sažimao medicinske sažetke u prosjeku za 70%, pokupivši visoke ocjene od recenzenata ljekara za kvalitet i tačnost.
Implikacije za zdravstvenu zaštitu
Uprkos visokim ocjenama, studija je u malom broju sažetaka utvrdila ozbiljne netačnosti i halucinacije. Ove greške su se kretale od izostavljenih kritičnih podataka do pogrešnih tumačenja dizajna studija, što bi potencijalno moglo promijeniti interpretaciju nalaza istraživanja. Međutim, učinak ChatGPT-a u sažimanju medicinskih sažetaka smatran je pouzdanim, uz minimalnu uočenu pristrasnost.
Dok je ChatGPT pokazao snažnu usklađenost sa ljudskim procjenama na nivou časopisa, njegov učinak u preciziranju relevantnosti pojedinačnih članaka za specifične medicinske specijalitete bio je manje impresivan. Ovo neslaganje je naglasilo ograničenje u mogućnosti ChatGPT-a da precizno identifikuje relevantnost pojedinačnih članaka u širem kontekstu medicinskih specijalnosti.
Studija pruža vrijedan uvid u potencijal AI, posebno ChatGPT, u pomaganju ljekarima u efikasnom pregledu medicinske literature. Dok ChatGPT obećava u sažimanju medicinskih sažetaka sa visokim kvalitetom i preciznošću, potrebna su dalja istraživanja kako bi se odgovorilo na ograničenja i poboljšao njegov učinak u specifičnim medicinskim kontekstima.
Buduća istraživanja bi se mogla fokusirati na usavršavanje sposobnosti ChatGPT-a da prepozna relevantnost pojedinačnih članaka za određene medicinske specijalnosti. Pored toga, napori da se ublaže nepreciznosti i halucinacije u generisanim rezimeima mogu dodatno poboljšati korisnost AI alata u zdravstvenim ustanovama.
Izvor: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/