Potencjał „halucynacji” w modelach językowych AI i ich zastosowanie w odkrywaniu leków
Sztuczna inteligencja, a w szczególności duże modele językowe (LLM), odgrywa coraz większą rolę w różnych dziedzinach nauki, w tym w chemii, biologii i odkrywaniu nowych leków. Jednak w miarę jak technologia ta zyskuje na znaczeniu, naukowcy zauważają jedno z jej nietypowych zachowań – generowanie treści, które mogą być przekonujące, ale nie zawsze zgodne z faktami. Zjawisko to, określane mianem „halucynacji”, budzi kontrowersje, ale jednocześnie otwiera nowe możliwości, szczególnie w obszarach wymagających kreatywności, takich jak projektowanie nowych leków.
Halucynacje jako źródło inspiracji w nauce
Odkrywanie leków to proces czasochłonny i kosztowny, który wymaga analizy ogromnej liczby związków chemicznych oraz poszukiwania innowacyjnych rozwiązań w odpowiedzi na różnorodne wyzwania biologiczne. W ostatnich latach algorytmy uczenia maszynowego i modele generacyjne stały się kluczowymi narzędziami wspierającymi naukowców w tym procesie. Duże modele językowe, mimo pewnych ograniczeń, w tym wspomnianych halucynacji, mogą przyczynić się do odkrycia przełomowych rozwiązań.
Halucynacje w modelach językowych są często postrzegane jako wada, ponieważ generowane treści mogą być niezgodne z rzeczywistością. Jednak w niektórych przypadkach, zwłaszcza tam, gdzie kreatywność odgrywa kluczową rolę, takie „błędy” mogą przyczyniać się do rozwoju innowacyjnych pomysłów. W historii nauki nie brakuje przykładów przypadkowych odkryć – takich jak wynalezienie penicyliny – które zmieniły świat. W podobny sposób halucynacje generowane przez LLM mogą prowadzić do nietypowych skojarzeń i nowych koncepcji w projektowaniu molekuł o unikalnych właściwościach.
Badania nad halucynacjami w projektowaniu leków
Badacze z ScaDS.AI oraz Uniwersytetu Technicznego w Dreźnie postanowili sprawdzić, czy halucynacje w dużych modelach językowych mogą faktycznie stanowić wartość dodaną w kontekście odkrywania leków. W eksperymencie wykorzystano siedem modeli AI, w tym GPT-4o i Llama-3.1-8B, aby generować opisy molekuł na podstawie ich struktury SMILES (linearny zapis struktury chemicznej). Opisy te następnie włączano do zadań klasyfikacyjnych, takich jak przewidywanie właściwości molekularnych.
Wyniki badań potwierdziły, że halucynacje mogą poprawić skuteczność modeli. Na przykład Llama-3.1-8B odnotował wzrost wskaźnika ROC-AUC aż o 18,35% w porównaniu z podstawową wersją. Modele o większej liczbie parametrów, takie jak GPT-4o, również wykazały istotną poprawę wyników. Co ciekawe, generowane halucynacje, choć często niezwiązane bezpośrednio z faktami, dostarczały przydatnych wskazówek, które wspomagały proces przewidywania właściwości molekularnych.
Jak powstają halucynacje?
Aby generować halucynacje, badacze stworzyli standardowy schemat zapytań, w którym model został określony jako „ekspert w odkrywaniu leków”. SMILES, czyli uproszczony zapis molekularny, był tłumaczony na naturalny język, a uzyskane opisy oceniano pod kątem zgodności z rzeczywistością za pomocą modelu HHM-2.1-Open. Wyniki wykazały niską zgodność faktograficzną, z wynikami w przedziale od 7,42% do 20,89%, w zależności od modelu. Jednak nawet te „błędne” opisy okazały się użyteczne w kontekście eksploracji nowych pomysłów.
Zadania badawcze były formułowane jako problemy binarnej klasyfikacji, w których modele musiały przewidywać, czy dana molekuła spełnia określone właściwości. Modele były programowane tak, aby na końcu odpowiadały jedynie „Tak” lub „Nie”, co ułatwiało ocenę ich skuteczności.
Wpływ parametrów na jakość halucynacji
Eksperymenty wykazały, że jakość generowanych halucynacji zależy od kilku czynników. Modele o większej liczbie parametrów generalnie radziły sobie lepiej, choć efektywność przestawała rosnąć po osiągnięciu 8 miliardów parametrów. Ważnym czynnikiem była również tzw. „temperatura”, czyli parametr wpływający na kreatywność modelu. Średnie wartości tej zmiennej dawały najlepsze rezultaty, pozwalając na generowanie halucynacji, które były zarówno twórcze, jak i przydatne w kontekście naukowym.
Wnioski i przyszłość halucynacji w AI
Badania wykazały, że halucynacje generowane przez LLM mogą być wartościowym narzędziem w eksploracji nowych rozwiązań w odkrywaniu leków. Chociaż modele językowe, takie jak GPT-4o czy Llama-3.1-8B, czasami generują treści o niskiej zgodności z faktami, ich potencjał twórczy jest niezaprzeczalny. Wykorzystanie tych możliwości może przyczynić się do przyspieszenia procesu projektowania molekuł, odkrywania nowych właściwości chemicznych oraz opracowywania innowacyjnych terapii.
Przyszłość tej technologii zależy od dalszych badań nad optymalizacją modeli oraz lepszego zrozumienia, jak wykorzystać halucynacje jako źródło inspiracji w nauce. Na razie wiadomo jedno: w połączeniu z ludzką kreatywnością i wiedzą, AI otwiera zupełnie nowe horyzonty w naukach przyrodniczych i medycynie.