Problem zapytań o niskiej trafności (few-recall) w tradycyjnym wyszukiwaniu
Segment zapytań przynoszący sklepowi największe straty przychodowe nie jest tym, w którym produkt nie istnieje. Jest tym, w którym produkt jest, ale wyszukiwarka go nie znajduje. Gdy klient wpisuje "samodzielna ślepa paczka" zamiast branżowego "DIY blind box", tradycyjny mechanizm dopasowania oparty na indeksie odwróconym nie połączy tych fraz i wyświetli pustą stronę wyników lub kategorię nieistotnych produktów. Taobao, jedna z największych platform e-commerce świata, zidentyfikowała tę lukę jako strukturalny problem przychodowy i podjęła zakrojone na szeroką skalę badania nad jej usunięciem. Efektem prac jest framework BEQUE¹, który po czternastodniowym teście A/B na urządzeniach mobilnych przyniósł wzrost GMV o 18,66% w segmencie zapytań wcześniej zwracających znikome wyniki. Skala tego efektu dowodzi, że problem "few-recall" nie jest marginalną niedogodnością, lecz ukrytym rezerwuarem konwersji, który w każdym sklepie o obrotach powyżej dziesięciu milionów złotych przekłada się na dziesiątki lub setki tysięcy złotych utraconego przychodu miesięcznie.
Zjawisko semantycznej luki jest w literaturze dobrze opisane, jednak jego szczególnie złośliwa odmiana, czyli systematyczne zaniedbanie długiego ogona zapytań, wynika ze strukturalnej wady danych treningowych, a nie z samej architektury modeli. Systemy przepisywania zapytań trenowane na logach wyszukiwania uczą się na próbce, w której popularne frazy reprezentowane są tysiącami przykładów, a ogonowe zaledwie pojedynczymi lub żadnymi. Autorzy badania określają ten mechanizm efektem Mateusza w danych¹: im częstsze zapytanie, tym więcej sygnału uczącego, tym lepiej obsługiwane, i odwrotnie. Skutkiem jest model znakomicie obsługujący siedemdziesiąt procent ruchu, lecz bezradny wobec pozostałych trzydziestu, gdzie potrzeba semantycznej pomocy jest największa. Taobao definiuje te trzy segmenty precyzyjnie: zapytania "top" zwracają ponad 70% trafnych produktów, "torso" od 10% do 70%, a "tail" poniżej 10%¹. Właśnie ten ostatni segment jest docelowym obszarem interwencji systemu BEQUE, i to on generuje najbardziej dramatyczne wyniki w testach online.
