Skip to content
Ev0lv3ntaPublic

About

Experimental pipeline for screenplay content annotation

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Latest commit

 

History

3 Commits

Folders and files

Repository files navigation

Screenage

Инструменты для подготовки корпуса киносценариев к локальной разметке возрастных маркеров.

Статус: экспериментальный прототип. Основной конвейер и тестовый контур собраны, но разметка корпуса ещё не запускалась. Схема, промпт и правила будут меняться после проверки на реальных ответах модели. Готового датасета и обученного классификатора пока нет.

Screenage разбирает PDF и DOCX, делит сценарии на устойчивые текстовые блоки, собирает задания для модели и проверяет ответы через Pydantic. Модель извлекает только наблюдаемые признаки и ссылки на предложения. Тяжесть контента и правовые сигналы рассчитываются отдельно детерминированными правилами.

PDF/DOCX → blocks → roster → immutable tasks
→ structured output → canonical claims
→ lexical hits → severity/legal findings

Screenage не определяет официальный возрастной рейтинг произведения: сценарий не содержит финальный монтаж, изображение и звук, а официальная категория относится к готовому продукту целиком.

Текущее состояние

  • единый Pydantic-контракт для JSON Schema и валидации ответа;
  • парсер PDF/DOCX с проверкой полноты и атомарной публикацией snapshot;
  • разбиение на TARGET до 6000 символов с контекстом и сохранением реплик;
  • отдельный pre-pass списка персонажей и возраста;
  • возобновляемый runner для Luna через fal.ai/OpenRouter;
  • независимые lexical, severity и legal derivations;
  • fail-closed аудит корпуса и результатов;
  • 167 офлайн-тестов.

Это пока не подтверждает качество будущей разметки. Ближайшие этапы:

  1. проверить wire protocol на нескольких запросах;
  2. прогнать стратифицированную канарейку и разобрать ошибки;
  3. зафиксировать схему и правила после канарейки;
  4. разметить полный корпус;
  5. подготовить примеры для обучения и отдельно проверить negative sampling;
  6. обучить и оценить первый классификатор.

Установка

Требуется Python 3.12–3.14.

python3 -m venv .venv
.venv/bin/python -m pip install -e '.[test]'
.venv/bin/pytest

Корпус

Тексты сценариев в репозиторий не входят. data/manifest/corpus.jsonl содержит только имена, размеры, SHA-256 и решения о включении файлов.

Локальные исходники размещаются в:

data/raw/snegiri_scenarii/pdf/

Текущий manifest фиксирует 211 источников: 196 используются, 15 исключены из-за сканов, повреждённого текстового слоя, языка или нестабильной вёрстки.

Проверка корпуса и parser snapshot:

.venv/bin/python -m screenage audit

Пересборка snapshot:

.venv/bin/python -m screenage audit --rebuild --parser-workers 8

Запуск разметки

Этот раздел описывает планируемый рабочий контур. До завершения wire-smoke и канарейки его не следует считать проверенным production-рецептом.

Поддерживается один транспорт:

  • https://fal.run/openrouter/router/openai/v1/chat/completions;
  • модель openai/gpt-5.6-luna;
  • reasoning effort medium;
  • авторизация через FAL_KEY;
  • входы и выходы не сохраняются на стороне fal.ai (X-Fal-Store-IO: 0).

Сначала стоит выполнить короткий wire-smoke:

FAL_KEY=… .venv/bin/python -m screenage run \
  --run-dir data/interim/runs/wire-v5 \
  --task-list data/manifest/wire_smoke_tasks.jsonl

.venv/bin/python -m screenage audit \
  --run-dir data/interim/runs/wire-v5

Затем — зафиксированную канарейку:

FAL_KEY=… .venv/bin/python -m screenage run \
  --run-dir data/interim/runs/canary-v5 \
  --task-list data/manifest/canary_tasks.jsonl

Ошибки, refusal, content filter и обрыв по длине не считаются результатом. Успешные ответы сохраняются атомарно; незавершённый запуск можно продолжить той же командой.

После полного и успешно проверенного run:

.venv/bin/python -m screenage derive \
  --run-dir data/interim/runs/canary-v5

Производные данные записываются в derived/<ruleset-sha>/, поэтому правила можно пересчитывать без повторной разметки.

Документация

Ограничения

  • исходные сценарии и результаты разметки не распространяются вместе с кодом;
  • текущая реализация проверена офлайн, но ещё не прошла end-to-end проверку на живом API;
  • качество разметки и полнота обнаружения триггеров пока не измерены;
  • правовые findings предназначены для анализа и не являются юридическим заключением;
  • перед обучением модели потребуются отдельная проверка качества, группировка произведений и разбиение train/dev/test.

Лицензия

Код распространяется по лицензии MIT. Лицензия не распространяется на исходные сценарии и другие материалы третьих лиц.

About

Experimental pipeline for screenplay content annotation

Topics

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages