TOM (Total Orchestration Manager) — я строил локального AI-агента до того, как это стало необходимостью

Rust, FSM, PostgreSQL + pgvector + LanceDB, локальные модели. Проект закрыт. Но я был прав.

Кому: CTO и основателям, которые смотрят на импортозамещение AI-инфраструктуры и хотят понять, где проходит граница локальных моделей на практике.

Кто сделал: @nikondrat. Я строю системы, которые работают без облака.

---

Контекст

РКН блокирует сервисы один за другим. VPN продаются миллионами. Я посмотрел на это и понял: иностранные AI-агенты — следующие. Когда заблокируют Claude, ChatGPT и остальных, локальная альтернатива станет необходимостью.

Я не стал ждать — начал строить.

Что я сделал

TOM (Total Orchestration Manager) — AI-оркестратор на Rust с разделением ролей: архитектор, кодер, аудитор. Машина состояний (FSM), планирование с декомпозицией, инструменты (ФС, git, shell, семантика, AST), гибридная память (PostgreSQL + pgvector + LanceDB). Весь инференс — через локальные модели (Ollama, gRPC).

Архитектура:

Крейт	Назначение
tom-core	CLI, оркестратор, планы, промпты, инструменты, БД, роли (src/main.rs)
tom-server	Сервис инференса для локальных движков
tom-client	gRPC-клиент к серверу инференса

Что под капотом: FSM-оркестрация, планировщик с декомпозицией, консенсус между ролями, shadow-audit для снижения галлюцинаций, PostgreSQL для сессий, pgvector + LanceDB для эмбеддингов. Settings через иерархию: config.toml → env → macOS Keychain.

Что я понял

Локальные модели (Qwen, Llama через Ollama) на тот момент — не замена GPT/Claude. Качество выше, но скорость ниже, стабильность ниже. Проект закрыт.

Главный вывод: я не ошибся в направлении — я ошибся в тайминге. Сегодня локальные модели уже ближе к порогу, за которым такая система становится практичной.

Что я получил:

• Понимание границ локального AI изнутри — не из статей, а из кода
• Архитектуру, которую можно переиспользовать
• Доказательство, что я вижу тренды и проверяю их на практике

Что это говорит обо мне

Я смотрю вперёд. Не жду, пока проблема ударит — начинаю искать решение, когда тренд только обозначился.

Я строю, а не рассуждаю. Гипотеза → код → вывод. Быстрее и честнее, чем аналитические записки.

Я честен о результате. Проект закрыт. Но знание, полученное из реальной попытки, стоит дороже работающего прототипа.

Контакты

Если вам нужен человек, который мыслит на шаг вперёд и доводит идеи до кода, а не до презентаций — давайте созвонимся на 15 минут. Без обязательств.

• Telegram: @nikondrat
• Email: nikondrator@icloud.com
• GitHub: nikondrat/tom