AI wcale nie głupieje. Naukowcy: To z ludźmi dzieje się coś zaskakującego
Naukowcy Stevens Institute of Technology i University of Massachusetts w Bostonie odkryli, że modele AI nie stają się gorsze, ale użytkownicy stają się coraz bardziej wymagający.
Powszechne wrażenie, że ChatGPT i inne duże modele językowe (LLM) radzą sobie z zadaniami coraz gorzej, nie wynika z rzeczywistego pogorszenia ich jakości. Zespół badaczy z Stevens Institute of Technology i University of Massachusetts w Bostonie wykazał, że to użytkownicy stają się bardziej wybredni.
Zihan Chen, Di Zhu oraz Lei Nico Zheng przeanalizowali dane z Chatbot Arena, popularnej platformy prowadzonej przez organizację LMSYS. Użytkownicy na niej porównują odpowiedzi dwóch modeli i wskazują, która jest lepsza. Badacze przeanalizowali ponad 1,2 mln głosów oddanych na 106 modeli przez ponad rok, które nie zmieniały się technicznie.
Rosnące wymagania użytkowników
Dane jednoznacznie pokazały, że dla tych samych par niezmienionych modeli udział głosów „oba są złe” rósł systematycznie o 1,71 pkt proc. każdego miesiąca. W ujęciu rocznym oznacza to skok krytycznych ocen o około 21 pkt proc. Tempo tego zjawiska przyspieszało do 1,91 pkt proc. miesięcznie.
Internauci przestali odróżniać lepszą odpowiedź od gorszej, a przesunął się próg akceptacji
Teoria hedonicznej bieżni
Zjawisko to idealnie wpisuje się w znaną z psychologii teorię poziomu adaptacji oraz koncepcję „hedonicznej bieżni”. Punkt odniesienia człowieka nieustannie przesuwa się wraz z nowymi doświadczeniami. Na rynek trafiają coraz potężniejsze systemy AI, a użytkownicy błyskawicznie przyzwyczajają się do wyższej jakości.
Badanie wykazało, że bardziej wybredni stawali się zarówno powracający testerzy (wzrost surowości o 1,9 pkt proc. miesięcznie u tych samych osób), jak i nowi użytkownicy, którzy już przy pierwszym głosowaniu byli o 11,6 pkt proc. bardziej krytyczni niż debiutanci rok wcześniej.
Konsekwencje dla biznesu i AI
W efekcie, mimo ogromnego postępu technologicznego, ogólny odsetek niezadowolenia względem AI na platformie Chatbot Arena nie uległ praktycznie zmianie (lekki wzrost z 19,4 do 20,6 proc.). To zjawisko stanowi ostrzeżenie dla dostawców oprogramowania oraz firm wdrażających AI.
Badanie podważa też sposób tworzenia publicznych rankingów LLM oraz trenowania algorytmów. Nowoczesne modele są dostrajane za pomocą techniki uczenia ze wzmocnieniem na podstawie ludzkich opinii. Bezrefleksyjne łączenie danych treningowych z różnych okresów wprowadza do procesu uczenia szum informacyjny.
Naukowcy rekomendują wprowadzenie obowiązkowego „kotwiczenia ocen” - utrzymywanie w puli testowej zestawu zamrożonych modeli referencyjnych, które pozwolą odfiltrować zmieniające się nastroje i rosnące wymagania oceniających.
Powiązane
