Nowe podejście do rekomendacji: Integracja modeli LLM z filtracją kolaboracyjną
Filtracja kolaboracyjna (CF) to popularna technika stosowana w systemach rekomendacji, która polega na dopasowywaniu preferencji użytkowników do odpowiednich produktów. Choć metoda ta jest skuteczna, często napotyka na trudności związane z bardziej złożonymi relacjami między użytkownikami a produktami oraz z dynamicznie zmieniającymi się interakcjami. W odpowiedzi na te wyzwania, badacze zaczęli badać możliwości wykorzystania dużych modeli językowych (LLM) w celu ulepszenia rekomendacji. Modele te mogą wykorzystać swoje zdolności do rozumowania, aby lepiej dopasowywać produkty do preferencji użytkowników.
Dotychczasowe rozwiązania, takie jak KAR czy LLM-CF, skupiały się na rozszerzaniu modeli CF o dodatkowe funkcje tekstowe generowane przez LLM. Mimo że przynosiło to skutki, integracja ta wiązała się z wysokimi kosztami obliczeniowymi, a same modele wymagały dostosowania do kontekstu użytkownika.
Nowa propozycja: LLM-KT
Zespół badaczy z uczelni takich jak Uniwersytet HSE, MIPT, Ural Federal University oraz laboratoria Sber AI i AIRI opracował nową ramę o nazwie LLM-KT, która znacząco ulepsza modele CF. W odróżnieniu od wcześniejszych metod, LLM-KT wprowadza funkcje generowane przez LLM na wewnętrznym poziomie modelu. Jest to elastyczne podejście, które nie wymaga żadnych zmian w architekturze modelu CF, co oznacza, że może być stosowane w różnych kontekstach i z różnymi modelami.
Badania przeprowadzone na popularnych zestawach danych, takich jak MovieLens i Amazon, wykazały, że LLM-KT poprawia wyniki bazowych modeli aż o 21% w miarce NDCG@10, co czyni go porównywalnym z najnowocześniejszymi metodami uwzględniającymi kontekst.
Jak działa LLM-KT?
Metoda LLM-KT polega na zastosowaniu transferu wiedzy, który umożliwia modelom CF lepsze zrozumienie preferencji użytkowników poprzez osadzenie funkcji generowanych przez LLM we wnętrzu modelu. W praktyce, LLM analizuje dane interakcji użytkownika z różnymi produktami, tworząc tzw. „profile preferencji”. Profile te są następnie przekształcane w osadzenia (embeddings) przy użyciu wstępnie wytrenowanych modeli tekstowych, takich jak „text-embedding-ada-002”.
Aby zoptymalizować to podejście, model CF jest trenowany z użyciem dodatkowego zadania pomocniczego. Łączy ono standardową stratę modelu z funkcją straty rekonstrukcji, która dopasowuje osadzenia profili do wewnętrznych reprezentacji modelu CF. Proces ten wykorzystuje UMAP do dopasowania wymiarów oraz RMSE do śledzenia dokładności rekonstrukcji, co pozwala na dokładniejsze uchwycenie preferencji użytkownika.
Zalety LLM-KT: Elastyczność i prostota
LLM-KT został opracowany na platformie RecBole, co zapewnia elastyczne możliwości konfiguracji eksperymentów. Naukowcy mogą z łatwością definiować szczegółowe przepływy danych i eksperymenty za pomocą jednego pliku konfiguracyjnego. Kluczowe funkcje obejmują wsparcie dla osadzeń generowanych z różnych źródeł, adaptowalny system konfiguracji oraz narzędzia analityczne do porównywania wyników. Modułowa struktura frameworka obejmuje takie elementy jak Model Wrapper, który zarządza najważniejszymi komponentami, oraz Hook Manager, umożliwiający dostęp do reprezentacji pośrednich.
Dzięki tym funkcjom, badacze mogą łatwiej testować różne konfiguracje i ulepszać modele CF, korzystając z transferu wiedzy i elastycznego dostosowania parametrów.
Wyniki eksperymentów
Podczas eksperymentów z LLM-KT badacze przetestowali swoją metodę na dwóch rodzajach modeli: tradycyjnych, opartych wyłącznie na danych interakcji użytkownik-produkt, oraz modelach uwzględniających dodatkowe informacje kontekstowe. Badania przeprowadzono na zbiorach danych Amazon (kategoria „CD i winyle”) oraz MovieLens, z podziałem 70-10-20% na trening, walidację i testy.
W ramach testów porównano wydajność LLM-KT z modelami bazowymi (NeuMF, SimpleX, MultVAE) oraz z zaawansowanymi metodami uwzględniającymi kontekst (KAR, DCN, DeepFM). Wyniki były oceniane z wykorzystaniem miar rankingowych, takich jak NDCG@K, Hits@K, Recall@K oraz AUC-ROC dla zadań przewidywania wskaźnika klikalności (CTR). LLM-KT wykazał stałe poprawy wyników w porównaniu z innymi modelami, oferując porównywalną wszechstronność i precyzję w odniesieniu do najnowszych metod.
Podsumowanie
LLM-KT to nowatorska metoda, która oferuje elastyczne możliwości poprawy modeli filtracji kolaboracyjnej. Jej najważniejszą zaletą jest możliwość wbudowania osadzeń generowanych przez modele LLM bez potrzeby zmiany architektury modelu. Dzięki platformie RecBole, narzędzie to jest łatwe do implementacji i dostosowania do różnych potrzeb eksperymentalnych. Wyniki badań na popularnych zbiorach danych, takich jak MovieLens i Amazon, potwierdzają, że LLM-KT przynosi znaczną poprawę wydajności, a jednocześnie jest dostępne dla szerokiego wachlarza modeli CF.