Nowa warstwa pamięci dla agentów AI – Zep kontra MemGPT
Ograniczenia obecnych modeli językowych
Rozwój modeli językowych opartych na transformatorach znacząco wpłynął na rozwój aplikacji opartych na sztucznej inteligencji, w szczególności na chatboty i wirtualnych asystentów. Mimo imponujących możliwości generowania treści, obecne modele mają istotne ograniczenia wynikające z ich statycznych okien kontekstowych. Oznacza to, że w dłuższych rozmowach sztuczna inteligencja może tracić kontekst, co prowadzi do błędnych lub niespójnych odpowiedzi.
Aby rozwiązać ten problem, stosuje się techniki Retrieval-Augmented Generation (RAG), które pozwalają na dynamiczne pobieranie dodatkowej wiedzy z zewnętrznych źródeł. Jednak tradycyjne podejścia RAG opierają się na statycznym wyszukiwaniu dokumentów, co ogranicza ich zdolność do efektywnego zarządzania długoterminową pamięcią i adaptacji do zmieniających się kontekstów rozmowy.
Zep – innowacyjna warstwa pamięci dla agentów AI
Aby przezwyciężyć te ograniczenia, badacze z Zep AI Research opracowali nową warstwę pamięci o nazwie Zep, która integruje Graphiti – silnik wiedzy oparty na grafach, uwzględniający zmieniające się w czasie informacje.
W przeciwieństwie do statycznych metod przeszukiwania dokumentów, Zep dynamicznie aktualizuje oraz integruje zarówno dane konwersacyjne, jak i uporządkowane informacje biznesowe. Dzięki temu AI zyskuje zdolność do lepszego rozumienia i zapamiętywania kontekstów, co pozwala na bardziej intuicyjne oraz precyzyjne interakcje.
Wyniki testów wskazują na wyższość Zep nad MemGPT
Efektywność Zep została potwierdzona w testach benchmarkowych. W Deep Memory Retrieval (DMR), czyli teście oceniającym zdolność modeli AI do długoterminowego przechowywania i przywoływania informacji, Zep osiągnął 94,8% dokładności, przewyższając MemGPT, który uzyskał wynik 93,4%.
Kolejny test – LongMemEval – ocenił zdolność modeli do zapamiętywania informacji w skomplikowanych, biznesowych scenariuszach. Tutaj Zep osiągnął poprawę dokładności o 18,5%, jednocześnie redukując czas odpowiedzi nawet o 90% w porównaniu do tradycyjnych metod pełnego przetwarzania kontekstu.
Jak działa Zep? Kluczowe technologie
1. Podejście oparte na grafach wiedzy
Zep wykorzystuje Graphiti Engine, który organizuje pamięć w formie hierarchicznego grafu wiedzy, podzielonego na trzy główne komponenty:
– Subgraf epizodów – przechowuje surowe dane z konwersacji, zachowując pełną historię interakcji.
– Subgraf encji semantycznych – identyfikuje i organizuje kluczowe byty, poprawiając reprezentację wiedzy.
– Subgraf społecznościowy – grupuje powiązane encje, tworząc szerszy kontekst relacji między danymi.
2. Obsługa informacji zmieniających się w czasie
Zep wykorzystuje dwuwektorowy model czasowy, który pozwala na śledzenie wiedzy w dwóch osiach czasowych:
– Oś zdarzeń (T) – uporządkowanie zdarzeń w kolejności chronologicznej.
– Oś systemowa (T’) – zapis historii aktualizacji i przechowywania danych.
Dzięki temu model AI nie tylko przechowuje informacje, ale również rozumie ich ewolucję w czasie.
3. Mechanizm wielopoziomowego wyszukiwania
Zep stosuje zaawansowane techniki wyszukiwania danych, aby jak najdokładniej przywoływać istotne informacje:
– Wyszukiwanie kosinusowe – porównuje podobieństwo semantyczne między zapytaniem a zapisanymi danymi.
– Okapi BM25 – ocenia istotność słów kluczowych w odniesieniu do treści zapytania.
– Wyszukiwanie grafowe (Breadth-First Search) – analizuje powiązania kontekstowe w ramach grafu wiedzy.
4. Wydajność i skalowalność
Strukturyzowanie pamięci w formie grafu pozwala Zep na redukcję zbędnych operacji pobierania danych. W praktyce przekłada się to na niższe zużycie tokenów i szybsze generowanie odpowiedzi, co jest kluczowe w aplikacjach biznesowych, gdzie szybkość i koszty operacyjne mają ogromne znaczenie.
Ocena wydajności Zep
1. Test DMR
Test głębokiego przywoływania pamięci (DMR) mierzy zdolność AI do długoterminowego przechowywania i odzyskiwania informacji. W tym teście Zep osiągnął:
– 94,8% dokładności przy użyciu modelu GPT-4 Turbo (lepszy wynik względem MemGPT – 93,4%).
– 98,2% dokładności przy użyciu GPT-4o Mini, co wskazuje na wysoką skuteczność retencji wiedzy.
2. Test LongMemEval
LongMemEval bada zdolność AI do obsługi rozmów przekraczających 115 000 tokenów – co odpowiada rozmowom na przestrzeni wielu sesji. Zep wykazał:
– Poprawę dokładności o 15,2% i 18,5% odpowiednio w modelach GPT-4o Mini i GPT-4o.
– Redukcję czasu odpowiedzi o 90%, co czyni go znacznie bardziej wydajnym od tradycyjnych metod przetwarzania pełnego kontekstu.
– Mniejsze zużycie tokenów – Zep wymaga zaledwie 1,6 tys. tokenów na odpowiedź, podczas gdy pełny kontekst wymaga aż 115 tys. tokenów.
3. Wyniki w różnych typach zapytań
Zep wykazał poprawę w różnych obszarach przetwarzania zapytań:
– Pytania preferencyjne – 184% lepszy wynik w porównaniu do pełnego kontekstu.
– Zapytania obejmujące kilka sesji – poprawa skuteczności o 30,7%.
– Rozumowanie czasowe – wzrost efektywności o 38,4%, co wskazuje na lepsze zarządzanie informacjami zmieniającymi się w czasie.
Podsumowanie
Zep wprowadza nową jakość w dziedzinie pamięci dla agentów AI, eliminując ograniczenia tradycyjnych metod zapamiętywania i przywoływania informacji. Dzięki wykorzystaniu dynamicznie aktualizowanego grafu wiedzy, sztuczna inteligencja może lepiej rozumieć kontekst rozmowy, łączyć informacje z różnych sesji i efektywnie zarządzać długoterminową pamięcią.
Wyniki testów pokazują, że nowa technologia osiąga 94,8% dokładności w DMR i znacząco poprawia wydajność w aplikacjach biznesowych. Dzięki temu Zep może znaleźć zastosowanie w inteligentnych asystentach, chatbotach korporacyjnych oraz systemach przetwarzania dużych ilości danych.