fix(procurement): искать номинал независимо от кириллицы и латиницы

[ShaerWare]

Summary

Клиент прислал ссылку на АВР NXZM-630S/3B 3P 630A, которого 36 штук на складе, и спросил, почему ассистент отвечает «🕐 наличие уточняется» и предлагает три других АВР.

Данные были верные — in_stock=1, stock_qty=36, lead_time_days=4, обновлено ночным синком. До ассистента они просто не доезжали: позиция не попадала в выдачу вообще.

Причина — омоглифы. В названии «630A» латиницей (U+0041), в запросе «630А» кириллицей (U+0410): токен не находился, значимых совпадений оставалось ноль, и строку отбрасывал фильтр случайных чисел. Каталог при этом расколот почти пополам — 11 501 позиция с кириллической А/Р/В после цифры и 10 167 с латинской, так что любой запрос с номиналом видел лишь свою половину.

• _fold() сворачивает визуально неотличимые кириллические буквы в латиницу только для сопоставления; в выдачу название идёт как есть. Буквы б/г/з в таблицу не входят: «б» это не «6», такая подмена давала бы ложные совпадения с цифрами.
• Сворачиваются обе стороны — название, категория, артикул и токены запроса. Токены после стоп-слов и синонимов: в _STOPWORDS лежат русские «в», «для», и свёрнутое слово там бы не нашлось.
• «ампер» словом добавлен в стоп-слова. На «нужен АВР 630 ампер» выдача состояла из АМПЕРМЕТРОВ: «ампер» был единственным значимым (≥4 символов) токеном и попадал в «амперметр», а «авр» и «630» короткие и значимыми не считаются.

NEWS

🔍 Ассистент перестал терять товары из-за похожих букв

В названиях товаров номиналы написаны по-разному: у одних «630А» русской буквой, у других «630A» английской — на вид не отличить, а для поиска это были разные слова. Из-за этого ассистент мог не найти товар, который лежит на складе, и предложить вместо него другие. Теперь он не различает такие буквы и видит весь каталог целиком.

Test plan

• 7 новых тестов в test_offer_search_homoglyphs.py: запрос кириллицей находит латинское название (тот самый случай, и первой строкой), запрос латиницей находит кириллическое, оба написания «16А» находятся вместе, «ампер» не превращает запрос в амперметры, сам амперметр по прямому запросу по-прежнему находится, артикул с омоглифами ищется в любом написании, _fold не трогает не-омоглифы
• Прежние тесты ранжирования целы — весь procurement-набор 67 passed
• ruff check . + ruff format --check . — чисто
• Проверено на живом каталоге прода: «АВР 630А» и «АВР 630A» → позиция клиента первой строкой, «в наличии 36 шт., срок до 4 дн.»; «автоматический ввод резерва 630А» → она же первой; «нужен АВР 630 ампер» → АВР вместо амперметров

🤖 Generated with Claude Code