Trudności tradycyjnego testowania wyszukiwarek e-commerce
Zgodność ocen między dwoma ludzkimi sędziami trafności produktów w e-commerce wynosi od 42% do 49%¹. Model GPT-3.5-turbo osiąga 82%. Ten wynik odwraca logikę ewaluacji wyszukiwarki produktowej: to nie złoty standard ludzkich sędziów wyznacza punkt odniesienia dla automatyzacji. To automatyzacja wyznacza nowy standard. Każdy sklep internetowy, który inwestuje w optymalizację wyszukiwarki produktowej, staje prędzej czy później przed tym samym problemem: skąd wziąć wiarygodne dane o tym, czy wyniki wyszukiwania są trafne. Budowa kolekcji testowej, czyli zbioru zapytań i ręcznie ocenionych par zapytanie–produkt, była przez dekady domeną wyłącznie największych graczy. Twórcy publicznie dostępnego zbioru WANDS poświęcili na annotację 233 000 par zapytanie–produkt ponad 3 500 godzin pracy ludzkich sędziów¹. Dla typowego sklepu o obrotach kilkudziesięciu milionów złotych jest to koszt niedostępny. Badanie Soviero i współpracowników¹ opublikowane na konferencji ECIR 2024 stawia tezę, że ta bariera może zostać usunięta: eksperymenty z GPT-3.5-turbo i GPT-4 pokazują, że modele językowe osiągają około 82% zgodności z ocenami ludzkimi, co paradoksalnie przewyższa typowy poziom zgodności między samymi ludzkimi sędziami wynoszący od 42% do 49%¹. Implikacja jest daleko idąca: narzędzie do rzetelnej, skalowalnej ewaluacji wyszukiwania produktowego staje się dostępne dla organizacji, które dotychczas nie mogły sobie na nie pozwolić.
Wyszukiwanie produktowe różni się od klasycznego wyszukiwania dokumentów w sposób, który ma bezpośrednie przełożenie na trudność automatycznej oceny trafności¹. Zapytania użytkownika są krótkie i często pozbawione kontekstu zdaniowego: składają się z kilku słów kluczowych, nazw marek, parametrów technicznych lub nieformalnych opisów potrzeby. Dokumenty, czyli opisy produktów, są równie lakoniczne. Trafność pary zapytanie–produkt zależy przy tym nie od dosłownego pokrycia leksykalnego, lecz od intencji zakupowej, która może być wyrażona całkowicie innym słownictwem niż użyte w nazwie produktu. Badanie wyodrębnia dwie warstwy trudności: tzw. easy instances, gdzie zapytanie i produkt albo współdzielą słowa kluczowe, albo wyraźnie się rozchodzą, oraz hard instances, gdzie relacja między zapytaniem a produktem jest semantyczna, lecz niewidoczna dla prostego dopasowania leksykalnego¹. Podział ten okaże się kluczowy dla zrozumienia zarówno możliwości, jak i ograniczeń podejścia opartego na LLM.
