AI sprawdziła badania medyczne. Ludzie przestali być potrzebni? - Geekweek Interia
Modele AI wykryły do 96 proc. błędów w badaniach medycznych, podczas gdy ludzcy recenzenci zauważyli tylko 27 proc. uchybień.
Choć w ostatnich latach nie brakowało doniesień o tym, że sztuczna inteligencja wprowadza mnóstwo błędów do publikacji naukowych, to teraz okazuje się, że osiąga ona niespotykaną dotąd skuteczność w wykrywaniu błędów metodologicznych w pracach naukowych dotyczących badań klinicznych w medycynie.
W nowym eksperymencie, którego wyniki ukazały się jako publikacja oczekująca na recenzję w serwisie „medRxiv”, naukowcy zbadali możliwości 15 dużych modeli językowych (LLMs). Podczas gdy ludzcy recenzenci naukowi byli w stanie zauważyć zaledwie 27 proc. celowo wprowadzonych błędów, najlepszy z testowanych modeli osiągnął wynik na poziomie 96 proc.
AI vs ludzie
Najlepszy z testowanych modeli, Claude Opus 5.5, odnalazł aż 96 proc. ukrytych błędów w tekstach z 2008 r. Dodatkowe sprawdzania na 58 badaniach klinicznych opublikowanych w 2026 r. przyniosły jeszcze lepsze rezultaty, sięgające nawet 99 proc. skuteczności. Modele open-weight osiągnęły w tym samym teście poziom 66-89 proc. wykrytych błędów.
Średni czas potrzebny na przeprowadzenie pojedynczej recenzji przez algorytmy wynosił od 1,4 do 16,3 minuty. Poza liderem rankingu wysokie wyniki zanotowały również modele GPT-6.1 Sol (94 proc.) i GPT-6 Luna (86 proc.).
Różnica między średnią LLM a średnią ludzką jest nieco niesprawiedliwa, ponieważ LLM nie przestanie szukać
Błędy w renomowanych czasopismach
Aby wyeliminować ryzyko, że modele po prostu zapamiętały treści starych artykułów, naukowcy poddali je sprawdzianowi na najnowszych pracach. W teście wykorzystali 58 badań opublikowanych w 2026 r., z czego większość ukazała się już po zakończeniu okresu trenowania użytych systemów.
Co ciekawe, sztuczna inteligencja wskazywała nieścisłości również w niezmodyfikowanych wersjach artykułów naukowych. Błędy te zauważyła m.in. w pracach drukowanych przez renomowane czasopisma medyczne, takie jak „Journal of the American Medical Association” („JAMA”) czy „The New England Journal of Medicine” („NEJM”).
Najczęstszym zastrzeżeniem ze strony modeli było formułowanie wniosków nieposiadających wystarczającego oparcia w przedstawionych wynikach. Wyniki wskazują, że tradycyjny proces peer review pozostawia przestrzeń na przeoczenia, które boty potrafią sprawnie wyłapać.
Na podstawie dotychczasowych doświadczeń nie zamierzam już przeprowadzać żadnych recenzji naukowych bez wsparcia AI
Zmiana ról
Ekspert dodał, że wyłączność ludzi w ocenie badań medycznych staje się powoli niebezpieczna i nieetyczna. Rola człowieka powinna przesunąć się w stronę oceny nowatorskości pracy i jej szerszego kontekstu badawczego.
Badania kliniczne są obszarem wyjątkowo podatnym na automatyczną kontrolę ze względu na ściśle rygorystyczne schematy metodologiczne. Systematyczność takich procedur ułatwia wyszukiwanie odchyleń od normy przez algorytmy.
Musimy odnaleźć równowagę między obszarami, w których krytyczne myślenie człowieka jest niezbędne, a miejscami, gdzie narzędzia mogą go zastąpić lub uzupełnić
Duże modele językowe wykazują jeszcze pewne wady, takie jak fałszywe alarmy w przypadku bezbłędnych prac. W grupach kontrolnych bez celowych zmian modele zgłaszały uchybienia w 14-29 proc. przypadków.
Powiązane
