Polecamy: Ta aplikacja odrabia zadanie domowe za uczniów. Nauczyciele są bezradni
ChatGPT ze świetnym wynikiem amerykańskiego egzaminu medycznego
ChatGPT to duży model językowy zaprojektowany do generowania tekstu, przypominającego ten stworzony przez człowieka, poprzez przewidywanie sekwencji słów. W przeciwieństwie do większości chatbotów nie przeszukuje on zasobów Internetu. Zamiast tego używa procesów wewnętrznych do generowania tekstu.
To właśnie ChatGPT uzyskał wyniki w przedziale od 52,4 do 75 procent w trzyczęściowym egzaminie medycznym (USMLE), po usunięciu pytań opartych na obrazach i nieostrych odpowiedziach. Próg zaliczenia każdego roku wynosi około 60 procent. Badacze z firmy technologicznej AnsibleHealth, którzy przeprowadzili badanie, powiedzieli, że osiągnięcie pozytywnego wyniku tego niezwykle trudnego egzaminu eksperckiego i dokonanie tego bez wsparcia ze strony człowieka stanowi znaczący kamień milowy w ewolucji sztucznej inteligencji.
W swoim badaniu naukowcy przetestowali ChatGPT na łącznie 350 pytaniach z USMLE z czerwca 2022 roku. Wyniki przewyższyły te osiągane przez PubMedGPT, odpowiednik modelu przeszkolony wyłącznie w oparciu o literaturę z dziedziny biomedycyny, który uzyskał 50,8 procent na starszym zbiorze danych pytań „w stylu” tych z USMLE.
Nie przegap: Aplikacja zasugerowała rozwód 37-letniej Brytyjce. Kobieta posłuchała
„ChatGPT osiągnął lub zbliżył się do progu zaliczenia wszystkich trzech egzaminów bez żadnego specjalistycznego szkolenia” – napisali autorzy badania. Konkluzja z badania była dość jednoznaczna. Wyniki te według badaczy sugerują, że ten lub podobne modele językowe mogą pomóc w edukacji medycznej, a potencjalnie nawet w podejmowaniu decyzji klinicznych.
Nie tylko ChatGPT
Drugie badanie, opublikowane na arXiv w grudniu ubiegłego roku, oceniało możliwości innego dużego modelu językowego, Flan-PaLM, na USMLE. Kluczowa różnica między dwoma modelami polega na tym, że Flan-PaLM został mocno zmodyfikowany, aby przygotować się do egzaminów, przy użyciu zbioru baz danych z odpowiedziami na pytania medyczne o nazwie MultiMedQA.
Sprawdź też: ChatGPT będzie zintegrowany z Operą. Przyspieszy przeglądanie Internetu
ChatGPT is now able to nearly pass graduate exams such as some medical school exams.https://t.co/0yf7qAxLGE pic.twitter.com/T8a8ljFPba
— David Benaron (@SpottiCat) January 12, 2023
Flan-PaLM osiągnął 67,6-procentową dokładność odpowiedzi na pytania USMLE, czyli o około 17 punktów procentowych więcej niż poprzedni najlepszy wynik uzyskany przy użyciu PubMedGPT.
Część pierwsza USMLE jest zwykle podejmowana pod koniec drugiego roku szkoły medycznej, druga – na czwartym roku, a trzecia – po ukończeniu szkoły medycznej i pierwszym roku rezydentury.
Gdzie skorzystać z ChatGPT za darmo?
Najlepiej na oficjalnej stronie OpenAI. Czasami ze względu na gigantyczne zainteresowanie program nie działa – w razie wystąpienia takiej sytuacji uzbrój się w cierpliwość lub… zapłać za płatną wersję narzędzia.