Инструменты для подготовки корпуса киносценариев к локальной разметке возрастных маркеров.
Статус: экспериментальный прототип. Основной конвейер и тестовый контур собраны, но разметка корпуса ещё не запускалась. Схема, промпт и правила будут меняться после проверки на реальных ответах модели. Готового датасета и обученного классификатора пока нет.
Screenage разбирает PDF и DOCX, делит сценарии на устойчивые текстовые блоки, собирает задания для модели и проверяет ответы через Pydantic. Модель извлекает только наблюдаемые признаки и ссылки на предложения. Тяжесть контента и правовые сигналы рассчитываются отдельно детерминированными правилами.
PDF/DOCX → blocks → roster → immutable tasks
→ structured output → canonical claims
→ lexical hits → severity/legal findings
Screenage не определяет официальный возрастной рейтинг произведения: сценарий не содержит финальный монтаж, изображение и звук, а официальная категория относится к готовому продукту целиком.
- единый Pydantic-контракт для JSON Schema и валидации ответа;
- парсер PDF/DOCX с проверкой полноты и атомарной публикацией snapshot;
- разбиение на TARGET до 6000 символов с контекстом и сохранением реплик;
- отдельный pre-pass списка персонажей и возраста;
- возобновляемый runner для Luna через fal.ai/OpenRouter;
- независимые lexical, severity и legal derivations;
- fail-closed аудит корпуса и результатов;
- 167 офлайн-тестов.
Это пока не подтверждает качество будущей разметки. Ближайшие этапы:
- проверить wire protocol на нескольких запросах;
- прогнать стратифицированную канарейку и разобрать ошибки;
- зафиксировать схему и правила после канарейки;
- разметить полный корпус;
- подготовить примеры для обучения и отдельно проверить negative sampling;
- обучить и оценить первый классификатор.
Требуется Python 3.12–3.14.
python3 -m venv .venv
.venv/bin/python -m pip install -e '.[test]'
.venv/bin/pytestТексты сценариев в репозиторий не входят. data/manifest/corpus.jsonl
содержит только имена, размеры, SHA-256 и решения о включении файлов.
Локальные исходники размещаются в:
data/raw/snegiri_scenarii/pdf/
Текущий manifest фиксирует 211 источников: 196 используются, 15 исключены из-за сканов, повреждённого текстового слоя, языка или нестабильной вёрстки.
Проверка корпуса и parser snapshot:
.venv/bin/python -m screenage auditПересборка snapshot:
.venv/bin/python -m screenage audit --rebuild --parser-workers 8Этот раздел описывает планируемый рабочий контур. До завершения wire-smoke и канарейки его не следует считать проверенным production-рецептом.
Поддерживается один транспорт:
https://fal.run/openrouter/router/openai/v1/chat/completions;- модель
openai/gpt-5.6-luna; - reasoning effort
medium; - авторизация через
FAL_KEY; - входы и выходы не сохраняются на стороне fal.ai (
X-Fal-Store-IO: 0).
Сначала стоит выполнить короткий wire-smoke:
FAL_KEY=… .venv/bin/python -m screenage run \
--run-dir data/interim/runs/wire-v5 \
--task-list data/manifest/wire_smoke_tasks.jsonl
.venv/bin/python -m screenage audit \
--run-dir data/interim/runs/wire-v5Затем — зафиксированную канарейку:
FAL_KEY=… .venv/bin/python -m screenage run \
--run-dir data/interim/runs/canary-v5 \
--task-list data/manifest/canary_tasks.jsonlОшибки, refusal, content filter и обрыв по длине не считаются результатом. Успешные ответы сохраняются атомарно; незавершённый запуск можно продолжить той же командой.
После полного и успешно проверенного run:
.venv/bin/python -m screenage derive \
--run-dir data/interim/runs/canary-v5Производные данные записываются в derived/<ruleset-sha>/, поэтому правила
можно пересчитывать без повторной разметки.
- исходные сценарии и результаты разметки не распространяются вместе с кодом;
- текущая реализация проверена офлайн, но ещё не прошла end-to-end проверку на живом API;
- качество разметки и полнота обнаружения триггеров пока не измерены;
- правовые findings предназначены для анализа и не являются юридическим заключением;
- перед обучением модели потребуются отдельная проверка качества, группировка произведений и разбиение train/dev/test.
Код распространяется по лицензии MIT. Лицензия не распространяется на исходные сценарии и другие материалы третьих лиц.