Badanie: darmowa wersja ChatGPT może źle odpowiadać na pytania o lekarstwa

ChatGPT, zwłaszcza w wersji bezpłatnej, nie powinien być traktowany jak specjalista medyczny czy wirtualny lekarz. Ekspeci z Long Island University, którzy w maju zadali 39 pytań darmowemu ChatGPT, uznali, że tylko 10 odpowiedzi chatbota było "zadowalających" na podstawie ustalonych przez nich kryteriów. Teraz dzielą się wynikami analizy.

ChatGPT nie dał sobie rady z pytaniami

Odpowiedzi ChatGPT na 29 innych pytań związanych z lekami nie dotyczyły bezpośrednio zadawanego pytania, lub były nieprecyzyjne, czy też niekompletne - czytamy w badaniu.

Badanie wskazuje przy tym, że pacjenci i pracownicy służby zdrowia powinni zachować ostrożność, polegając na ChatGPT w kwestii informacji o lekach I powinni weryfikować każdą z odpowiedzi chatbota ze sprawdzonymi źródłami - według głównej autorki, profesor Sary Grossman. Dla pacjentów ChatGPT nie powinien pełnić roli lekarza.

Warto podkreślić, że ChatGPT był szeroko postrzegany jako najszybciej rozwijająca się w historii aplikacja internetowa dla konsumentów, po swoim uruchomieniu około roku temu, co zapoczątkowało przełomowy rok dla sztucznej inteligencji. Ale w międzyczasie chatbot również wywołał obawy o różne kwestie, w tym oszustwa, kradzież własności intelektualnej, dyskryminacji i dezinformacji.

Kilka badań podkreśliło podobne przypadki błędnych odpowiedzi od ChatGPT, a Federalna Komisja Handlu w lipcu otworzyła śledztwo w sprawie dokładności chatbota i ochrony konsumentów.

Niesłabnąca popularność GPT

W październiku ChatGPT przyciągnął około 1,7 miliarda wizyt na całym świecie. Nie ma jednak publicznie dostępnych danych na temat tego, ilu użytkowników zadaje chatbotowi pytania medyczne.

Warto zauważyć, że darmowa wersja ChatGPT jest ograniczona do korzystania z zestawów danych do września 2021 roku – co oznacza, że może brakować jej istotnych informacji w szybko zmieniającym się krajobrazie medycznym. Nie wiadomo, jak dokładnie płatne wersje ChatGPT, które zaczęły korzystać z przeglądania internetu w czasie rzeczywistym w tym roku, mogą teraz odpowiadać na pytania związane z lekami.

Profesor Grossman przyznała, że istnieje szansa, że płatna wersja ChatGPT mogłaby zapewnić lepsze wyniki badania. Ale powiedziała, że badanie skupiło się na darmowej wersji chatbota, aby odzwierciedlić to, czego używa i ma dostęp większość ogółu społeczeństwa.

Badanie wykorzystało rzeczywiste pytania zadane służbie informacji o lekach College of Pharmacy na Long Island University od stycznia 2022 do kwietnia tego roku.