Skip to content

Latest commit

 

History

4 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Link quality control

Нормализация, дедупликация и контроль качества URL из корпуса заказчика или открытых списков, которые заказчик уже имеет право обрабатывать.

Link quality control не связан с Google. Публичная документация описывает очереди URL, каноникализацию, срез меток, дедупликацию, фильтр доменов, журнал исключений, экспорт CSV/JSON и лимиты частоты.

Рабочий процесс: клиент предоставляет URL или sitemap → согласуются правила доменов → нормализация → дедупликация → если нужен login или CAPTCHA, процесс останавливается без обхода → экспорт результата. Инструмент не предназначен для обхода защит, сбора закрытых данных или доступа без разрешения.

Репозиторий — публичная документация без production-кода, cookies, токенов, прокси, клиентских данных и внутренней инфраструктуры.

Контакт

Telegram @TheBotsLab · BotsLab@proton.me

About

URL normalization and quality control for client corpora

Topics

Resources

Security policy

Stars

1 star

Watchers

0 watching

Forks

Releases

Packages

Contributors