Pułapka wolumenu danych w trenowaniu algorytmów rekomendacyjnych
Problem długiego ogona zapytań wyszukiwawczych jest fundamentalnym wyzwaniem każdej platformy e-commerce o zasięgu globalnym. Zapytania rzadkie, generujące mniej niż kilka wyświetleń dziennie, mogą stanowić ponad połowę wolumenu wyszukiwania, lecz algorytmy klasyfikacji trafności nie dysponują dla nich wystarczającą liczbą obserwacji behawioralnych, by skutecznie rankingować produkty. Reformulacja zapytań (QR) odpowiada na ten problem przez pożyczanie sygnałów behawioralnych od semantycznie podobnych zapytań popularnych: system mapuje rzadkie zapytanie na powiązane zapytania z bogatą historią kliknięć i zakupów, a tym samym poprawia trafność wyników dla długiego ogona. Badanie Zhang i współpracowników¹ dokumentuje, że ta intuicyjnie atrakcyjna strategia zawodzi w praktyce produkcyjnej z powodu strukturalnego problemu fałszywych pozytywów w danych treningowych, a skala zbioru danych nie jest antidotum na tę patologię. Praca prezentuje trzy innowacje, które ten problem rozwiązują: metrykę podobieństwa opartą na dywergencji Jensena-Shannona (JSD), normalizację zapytań zwiększającą zasięg systemu z 166 tysięcy do ponad 3 milionów unikalnych zapytań rzadkich, oraz technikę trudnych negatywów ANCE uczącą model subtelnych rozróżnień semantycznych. Łącznie te trzy komponenty odwróciły trend z testów A/B: zamiast straty 0,05% przychodu osiągnięto zysk od 0,08% do 0,29% w zależności od rynku.
Mechanizm pożyczania sygnałów behawioralnych w QR opiera się na założeniu, że klienci formułujący różne zapytania szukają semantycznie tego samego produktu, więc historia zakupów dla jednego zapytania jest informacją użyteczną dla rankingowania produktów przy drugim¹. Założenie to jest poprawne w ograniczonym zakresie, lecz generuje fałszywe pozytywy, gdy model mapuje zapytania o szerokim i wąskim zasięgu produktowym. Autorzy przywołują konkretny przykład: "furniture" i "dining table" są semantycznie powiązane, lecz pożyczenie sygnałów od zapytania szerszego do węższego promuje produkty meblowe niezwiązane ze stołami jadalnymi na wyniki dla klientów poszukujących konkretnego mebla. Tradycyjne metryki podobieństwa oparte na zbiorach produktów klikniętych lub kupionych przy obu zapytaniach nie wykrywają tej asymetrii, ponieważ mierzą część wspólną jako procent jednego ze zbiorów, ignorując rozbieżność całości dystrybucji behawioralnej. System produkcyjny działający według tej logiki osiągał w testach A/B wynik gorszy od wariantu kontrolnego o 0,05% przychodu w Japonii, co przy skali platformy oznacza realną stratę, nie tylko statystyczną anomalię.
