Проект по созданию системы безопасности на предприятии, реализующей детектирование людей и автоматическую проверку наличия касок по изображениям с видеокамер
Я сделал обучение двух различных нейронных сетей Faster-RCNN с FPN (Region Based Convolutional Neural Network with Feature Pyramid Architecture). Первая сеть реализует детектирование людей по изображениям с видеокамер, а вторая проверяет наличие касок на головах работников предприятия.
Для того чтобы получить более качественную детекцию, я использовал технологию transfer learning, инициализировав на старте предобученные веса. После завершения обучения сетей я сохранил состояния моделей, которые показали наименьший суммарный лосс на валидации.
Далее я реализовал оценку качества детектирования, используя самостоятельно написанные функции, которые вычисляли следующие валидационные метрики:
- среднее IOU;
- recall и precision при заданных порогах уверенности (score) и IoU;
- значения average precision (AP) для каждого класса;
- mean average precision (mAP) для модели двухклассовой детекции c различными порогами по IoU.
В процессе обучения моделей я также проводил мониторинг изменения лосс функций на трейне и валидации. Данные результаты сохранил в tensorboard.dev
Ключевой файл - отчет в формате jupiter notebook main.ipynb, в котором представлено подробное описание реализованного проекта и описаны все шаги по предобработке данных, а также обучению и тестированию моделей с выводами. Все ключевые для данного проекта функции я представил в отдельных .py файлах:
- реализация аугментации и визуализация исходных данных - augment_and_visualize.py
- реализация обучения сетей с параллельным тестированием на валидации и трекингом в tensorboard - training_rcnn.py
- визаулизация результатов детекции и загрузка обученных моделей с гугл диска - predict.py
- подсчет всех ключевых метрик для оценки качества детектирования - metrics.py
Для того, чтобы была возможность самостоятельно протестировать работоспособность двух обученных моделей детектирования, написал скрипт detecting.py, который запрашивает путь к файлу (jpg/png) и визуализирует результаты распознавания. О том, как запустить этот скрипт через терминал будет далее подробно рассказано.
Примеры результатов работы двух разных обученных моделей:
Данные команды требуется запускать последовательно в терминале:
- Склонируйте к себе этот репозиторий
git clone https://github.com/Koldim2001/Factory_detection.git
- Перейдите с помощью команды cd в созданную папку Factory_detection
cd Factory_detection
- Загрузите все необходимые библиотеки:
pip install -r requirements.txt
- Запустите написанный python скрипт:
python detecting.py
При запуске программы потребуется ввести путь к изображению, для которого надо провести детекцию. Учтите, что путь к файлу не должен содержать кириллицу (русские буквы).
После завершения детектирования людей откроется отдельное окно с результирующими боксами. При закрытии этого окна
автоматически начнется процедура двухклассовой детекции (наличие/отсутвие касок на голове). По результатам вычислений откроется новое отдельное окно с задетектированными боксами.
Я реализовал интеграцию модели детектирования людей в чат бот. При отправлении изображения в лс он выдает число обнаруженных объектов и отправляет ответное изображение с предсказанными bounding боксами.
Инструкция по запуску "локального сервера", реализующего работу бота:
Первые 3 этапа идентичны описанным ранее.
4. Запустите написанный python скрипт (но сначала вставьте свой API ключ в код):
python tg_bot.py
- Перейдите в диалог с ботом и пользуйтесь
Пример работы телеграм бота: