Badanie Amazona PP-GLAM: Wyzwanie relacji substytut kontra komplement
Klasyfikacja trafności wyszukiwania produktowego wydaje się z pozoru bliska standardowym zadaniom rozumienia języka naturalnego: mając zapytanie użytkownika i opis produktu, model powinien ocenić, czy para jest trafna. Jednak głębszy wgląd w dane e-commerce ujawnia cztery jakościowo różne klasy relacji, które badanie Choudhary i współpracowników¹ określa skrótem ESCI: produkt dokładnie odpowiadający zapytaniu (exact), produkt będący zamiennikiem (substitute), produkt komplementarny (complement) i produkt nieistotny (irrelevant). Klasyfikacja tych czterech klas wymaga nie tylko rozumienia semantyki tekstu, lecz przede wszystkim wiedzy o intencji zakupowej, która rzadko wynika wprost z dosłownego znaczenia słów. Opublikowane na konferencji WWW 2024 badanie¹ demonstruje, że modele językowe osiągają w tym zadaniu dokładność 84-86%, lecz granica ich możliwości jest strukturalna. Przełomem jest dopełnienie semantyki grafami sygnałów behawioralnych, czyli historii interakcji klientów z produktami. Struktura PP-GLAM, łączący modele językowe z grafowymi sieciami neuronowymi przez interpretowalny zespół GBDT, podnosi dokładność do 90,45% przy macro-F1 wynoszącym 82,36%, przewyższając zarówno samodzielne modele językowe, jak i własnościowy model SALAM łączący wcześniej LM z GNN w sposób nieinterpretowalny.
Klasyfikacja ESCI odzwierciedla rzeczywisty problem, z jakim mierzy się każda platforma e-commerce przy ustalaniu rankingu wyników wyszukiwania¹. Para oznaczona jako "exact" powinna zajmować szczyt listy wyników, pary "substitute" i "complement" mogą być użyteczne w określonym kontekście zakupowym, a pary "irrelevant" powinny być odfiltrowane, gdyż ich obecność pogarsza doświadczenie użytkownika i redukuje konwersję. Trudność zadania wynika z natury samego materiału: zapytania e-commerce składają się przeciętnie z kilku słów kluczowych, a opisy produktów, choć dłuższe, zawierają mieszaninę terminologii technicznej, nazw własnych i sformułowań marketingowych. Model językowy widzi jedynie tę powierzchnię tekstową i nie ma dostępu do informacji o tym, jakie produkty klienci kupują razem, jakie zastępują sobie nawzajem w koszyku, ani jakie jest historyczne zachowanie konwersyjne danej pary. Badanie¹ potwierdza tę granicę empirycznie na zbiorze liczącym około dwóch milionów par zapytanie-produkt z trzech regionów geograficznych i językowych: DeBERTa osiąga 70,00% macro-F1, a BigBird 74,40%, co oznacza, że jeden na cztery przypadki jest klasyfikowany błędnie nawet przez najlepsze modele czysto językowe.
Granice semantyczne modeli językowych w grafach wiedzy produktowej
Struktura PP-GLAM¹ odpowiada na tę granicę przez architekturę modułową, której projektowanie rozwiązuje trzy praktyczne problemy jednocześnie. Zbiór danych jest wielojęzyczny i wieloregionalny, co sprawia, że żaden pojedynczy model językowy nie jest optymalny dla wszystkich par: DeBERTa sprawdza się lepiej dla angielskiego, M-DeBERTa dla pozostałych języków, a BigBird radzi sobie z długimi opisami produktów dzięki mechanizmowi uwagi typu sparse. Zamiast wybierać jeden model, PP-GLAM trenuje wszystkie równolegle i traktuje ich predykcje jako cechy wejściowe dla zespołu GBDT. Opisy produktów są przy tym zbyt długie dla standardowych okien kontekstowych LM, dlatego moduł odszumiania oparty na TF-IDF redukuje opis do najbardziej informatywnych tokenów przed tokenizacją. Wreszcie, zapytania rotują w tempie 20-25% miesięcznie, co sprawia, że kosztowne przetrenowanie całego modelu przy każdej aktualizacji danych jest niepraktyczne: modułowość PP-GLAM pozwala dodawać i usuwać kandydatów LM oraz GNN bez wpływu na pozostałe komponenty, a miesięczny cykl aktualizacji dotyczy jedynie modeli kwalifikowanych przez selekcję opartą na wartościach SHAP.
Implikacje dla architektury silników rekomendacji i katalogów
Jednym z najbardziej nieoczekiwanych odkryć badania¹ jest odwrotna relacja między gęstością sygnału behawioralnego a jego korelatem z etykietami ESCI. Zbiór danych zawiera 76,6 miliona krawędzi reprezentujących pięć rodzajów interakcji: kliknięcia stanowią 49,86% wszystkich krawędzi, wyświetlenia 40,15%, dodania do koszyka 5,25%, zakupy 1,93% i konsumpcje zaledwie 0,17%. Intuicja podpowiada, że kliknięcia, jako najgęstszy sygnał, powinny być najbardziej wartościowe dla modelu. Dane obalają to przekonanie: sygnały rzadkie, czyli dodania do koszyka i zakupy, wykazują silną korelację z etykietami ESCI, podczas gdy kliknięcia i wyświetlenia mają korelację niską. Mechanizm tego zjawiska jest logiczny: kliknięcie jest słabą deklaracją zainteresowania, które może wynikać z ciekawości, błędnego wyświetlenia lub eksploracji, natomiast dodanie do koszyka lub zakup są silnym sygnałem intencji zakupowej i rzeczywistego dopasowania produktu do potrzeby klienta. Ta hierarchia sygnałów ma bezpośrednie implikacje dla projektowania infrastruktury danych behawioralnych: gęstość sygnału nie jest synonimem jego wartości informacyjnej.
Wyniki eksperymentalne potwierdzają, że zintegrowanie sygnałów behawioralnych przez grafy GNN przekłada się na mierzalną przewagę¹. PP-GLAM osiąga 90,45% dokładności i 82,36% macro-F1 na zbiorze US, podczas gdy najlepszy samodzielny model językowy BigBird osiąga 86,58% i 74,40%, a model SALAM łączący LM z GNN w latentnej przestrzeni osiąga 83,82% i 67,17%. Analiza wartości SHAP ujawnia precyzyjną hierarchię udziałów poszczególnych komponentów: modele LM odpowiadają za 16-31% udziału każdy, heterogeniczny graf łączący wszystkie relacje za 33%, a silne sygnały behawioralne adds i purchases za 9-10% każdy. Słabe sygnały, takie jak wyświetlenia, wnoszą jedynie 3%. Na tej podstawie autorzy konstruują zredukowany wariant PP-GLAM (Red), ograniczający się do DeBERTy, BigBirda i GraphSage z heterogenicznym grafem. Redukcja parametrów wynosi 57,8% przy spadku wydajności o zaledwie 1,6 punktu procentowego. Fakt, że selekcja ta jest możliwa bez przetrenowania kandydatów, lecz wyłącznie przez analizę wartości SHAP, stanowi argument za interpretowalną architekturą zespołową w środowiskach produkcyjnych o ograniczonych zasobach obliczeniowych.
