Первое занятие: сначала короткая инструкция. Если среда не работает —
00. Старт без установки.ipynbили HTML без Jupyter. GitHub необязателен; можно работать и сдавать файлами.
Практические занятия по дисциплине «Компьютерное зрение» для направления 01.03.02 «Прикладная математика и информатика», профиль «Искусственный интеллект», СГУ им. Питирима Сорокина. 5 семестр.
Курс о том, как из таблицы чисел, которой для компьютера является любая картинка, извлечь смысл: от пикселей, камер и фильтров через классические алгоритмы OpenCV к первой собственной нейросети. За семестр каждый студент делает проект на своей съёмке или согласованном разрешённом наборе. В следующем семестре пригодится опыт проекта; данные и задача могут измениться.
Автор — Дуркин Анатолий Альбертович, старший преподаватель: anatoliy.durkin@mail.ru, Telegram @AnatoDu, канал https://t.me/code_matan_ai
- Скачайте курс (Git clone или Download ZIP). Один раз скопируйте project_template целиком в личную папку с любым именем, вне клона курса. Готовый студенческий ZIP уже содержит этот шаблон.
- В собственной папке откройте
workbooks/01.1 Как компьютер видит мир.ipynb. Поддержка и учебные данные находятся внутриcourse_support; соседний репозиторий не нужен. Подробно — первый старт. - Условия проекта — в ПРОЕКТ.md, критерии оценки — в ОЦЕНИВАНИЕ.md, как сдавать — в СДАЧА.md, как снимать данные — в ДАННЫЕ.md.
- Книги, фильмы, курсы и соревнования по темам курса — в ПОЛЕЗНОЕ.md.
- Установка дома — УСТАНОВКА.md.
Каждое занятие — две пары, на каждую пару своя тетрадь. Номер тетради NN.M читается так: занятие NN, пара M.
| № | Пара 1 | Пара 2 | Выдаётся |
|---|---|---|---|
| 1 | Как компьютер видит мир | Цвет, яркость и ваш проект | выбор трека |
| 2 | Камера. От света к пикселю | Калибровка камеры | ЛР1 |
| 3 | Свёртка и линейные фильтры | Шум, нелинейные фильтры и масштаб | — |
| 4 | Края и градиенты | Бинаризация, морфология и контуры | ЛР2 |
| 5 | Особые точки и дескрипторы | Сопоставление, гомография и «скан из фото» | — |
| 6 | Сегментация | Поиск и классификация изображений по содержанию | — |
| 7 | Видео: кадры, фон, движение | Трекинг и классические детекторы | ЛР3 |
| 8 | Разметка: инструменты и форматы | Метрики: IoU и mAP своими руками | ЛР4 |
| 9 | Аугментации и разбиение без утечек | Решение без нейросетей | ЛР5 |
| 10 | Перцептрон своими руками | Многослойная сеть в PyTorch | ЛР6 |
| 11 | Свёрточная сеть | Переобучение и данные проекта | — |
| 12 | Первая нейросеть на ваших данных | Защита проектов | защита |
Тетради появляются к своему занятию.
flowchart LR
subgraph before["Уже пройдено: 1–4 семестры"]
A1["Алгебра и геометрия, математический анализ"]
A2["Численные методы, архитектура компьютера"]
A3["Теория вероятностей и матстатистика"]
A4["Введение в ИИ, машинное обучение"]
end
subgraph now["Сейчас: 5 семестр"]
B0["Компьютерное зрение"]
B1["Уравнения с частными производными"]
B2["Нечёткая логика"]
B3["ООП (C++)"]
B4["Факультатив: виртуальная и дополненная реальность"]
end
subgraph after["Дальше: 6–8 семестры"]
C1["Нейронные сети"]
C2["Методы оптимизации"]
C3["Архитектура систем ИИ, информационная безопасность"]
C4["Практики, ВКР"]
end
A1 --> B0
A2 --> B0
A3 --> B0
A4 --> B0
B1 <--> B0
B2 <--> B0
B3 <--> B0
B4 <--> B0
B0 --> C1
B0 --> C2
B0 --> C3
B0 --> C4
01.1 … 12.2 .ipynb тетради занятий: NN — занятие, M — пара
course_support/ проверки, вспомогательные функции и учебные данные
docs/ правила курса и шпаргалки
project_template/ заготовка репозитория для вашего проекта
Готовы тетради 02.1 и 02.2; условия первой лабораторной — ЛР1. 02.1 работает без OpenCV; в 02.2 предусмотрен отдельный разбор ошибки на NumPy, а библиотечная калибровка остаётся самостоятельной частью работы в доступной среде. Новые файлы добавляйте по инструкции обновления, сохраняя старые ответы.
Готовы 03.1 и 03.2. Номера обозначают учебные блоки, а не календарные недели. Фильтрация и шумоподавление работают на CPU. В 03.1/03.2 выберите маршрут с OpenCV либо раздел «Самостоятельная работа без OpenCV» в конце тетради: он использует NumPy/Matplotlib и свои учебные массивы. Исполняйте только выбранный маршрут, без Run All всей тетради. Новых лабораторных и баллов в этом блоке нет. Добавьте новые тетради в workbooks и обновите course_support целиком, сохранив свои ответы и данные.
В тетрадях 02.x/03.x новые операции разбираются по отдельности перед составными примерами. Подробные версии уже выполненных тетрадей сохраняйте рядом со своими ответами, а не поверх них; задания и баллы не изменены. Порядок обновления — Работа с материалами.
Готовы 04.1 и 04.2: от разности пикселей к Собелю, от порога к морфологии и измерению по эталону. Весь основной путь работает на NumPy и Matplotlib без OpenCV, сверху вниз. Готовые иллюстрации подписаны как демонстрации; собственные расчёты выполняются отдельно. Условия второй лабораторной — ЛР2, NumPy и OpenCV оцениваются по одним критериям.
Обычные разделы тетради не требуют решения «Ваш ход». Если временно пропускаете упражнение, пропустите также его check(...) и продолжайте следующий обычный раздел. Проверка относится к вашему ответу; она не выполняет задание за вас. Задания могут использовать ответы предыдущих заданий. Не заменяйте свою уже заполненную тетрадь новой версией поверх ответов.
05.1 — окно, край и угол, карта Харриса, дескрипторы и ограничения; 05.2 — сопоставление, учебный RANSAC переноса, гомография и выравнивание листа. По 90 минут. Основной код на NumPy/Matplotlib; OpenCV только для дополнительного сравнения.
Все необходимые объяснения есть в студенческих тетрадях. Обычные примеры не зависят от ответов «Ваш ход»; при пропуске задания пропускайте и его check(...). Добавьте новые тетради и обновите course_support целиком, сохранив прежние ответы.
06.1 — сегментация крупной фотографии, цветовые группы, маски, IoU и разделение экземпляров. 06.2 — поиск похожих фрагментов, гистограммы, их ограничения и классификация с раздельными train/validation/test. Маленький пример объясняет вычисление; крупное изображение помогает увидеть его смысл и ошибки. Задания требуют придумать контрпример, выбрать результат по цене ошибки или обнаружить утечку данных. Весь основной путь — NumPy/Matplotlib на CPU. Интернет, OpenCV и scikit-image студенту не нужны. Каждая тетрадь рассчитана на 90 минут с самостоятельной работой и обсуждением.
Добавьте 06.1/06.2 в workbooks, обновите course_support целиком. Старые ответы сохраняйте.
В 04.2 добавлен отдельный крупный опыт с буквой i в конце: можно открыть новую копию рядом со своей,
не заменяя тетрадь с записями. Новых лабораторных и баллов в этом блоке нет.
07.1 — кадры и время, движение против присутствия, изменение света и устойчивые события. 07.2 — рамки, сопровождение одной посылки, счёт пересечений, сравнение качества/времени и классические детекторы. Крупный локальный ролик с остановкой и изменением освещения проходит через обе пары. Каждая тетрадь рассчитана на 90 минут с практикой; основной путь работает на NumPy/Matplotlib без камеры, кодеков и OpenCV. Запуск VideoCapture/MOG2/каскада — дополнительный, готовые иллюстрации подписаны.
Добавьте новые тетради в workbooks, обновите весь course_support и условия ЛР3.
Прежние ответы не заменяйте. ЛР3 соединяет блоки 05–07, максимум — прежние 15 баллов.
Готовы 08.1/08.2: инструкция разметки и форматы, IoU, сопоставление объектов, precision/recall и смысл AP/mAP. Весь основной маршрут работает на NumPy/Matplotlib без OpenCV. Учебный AP явно отделён от протокола COCO. ЛР4 — датасет классификационного проекта, прежние 20 баллов; рамки не обязательны для проекта. Добавьте две новые тетради в workbooks, обновите course_support и docs целиком, сохранив старые ответы.
Готовы 09.1/09.2: допустимые аугментации, разбиение групп без утечек, классификация рукописных цифр по признакам и ближайшему центру, выбор на validation и разбор ошибок на test. Основной путь — NumPy/Matplotlib без OpenCV и scikit-learn; Pipeline/SVM — дополнительная ветка. Условия ЛР5, прежние 15 баллов. Добавьте только новые 09.x в workbooks и обновите course_support/docs, сохранив свои старые ответы.
10.1 — логистический нейрон, потери, градиент и реальные цифры 0/1; работает на NumPy/Matplotlib. 10.2 — MLP для десяти цифр: пошаговый mini-batch, обучение PyTorch на CPU, кривые и ошибки. Без PyTorch доступен содержательный NumPy-маршрут с предоставленными весами и журналом; он является исследованием обученной модели, а не собственным обучением. Все «Ваш ход» доступны в обоих маршрутах. Подготовка среды выполняется заранее по возможности. OpenCV и GPU не нужны. ЛР6 выдана по этапам 10–12 и прежним 20 баллам; итог требует CNN, MLP — подготовка. Добавьте только новые 10.x и обновите course_support/docs, сохранив старые ответы.