Разработка программно-аппаратного комплекса обнаружения радиоэлектронных компонентов с использованием системы компьютерного зрения

Содержание

Введение. 5

Анализ конкурентов. 6

Разработка системного решения. 7

Разработка аппаратной компоненты системы.. 8

Разработка структурной схемы.. 8

Выбор компонентной базы.. 10

Разработка схемотехнического решения. 11

Разработка конструкции устройства. 12

Разработка программной компоненты.. 13

Разработка функциональной схемы ПО.. 13

Разработка клиентского ПО.. 15

Выбор технологии. 15

Разработка алгоритмов. 16

Разработка дизайн-проекта. 19

Разработка серверной компоненты.. 23

Разработка алгоритмов. 23

Разработка СУБД.. 24

Разработка нейросетевого модуля. 26

Архитектура сети YOLA.. 26

Подготовка dataset. 27

Обучение нейромодуля. 29

Результат работы программно-аппаратного комплекса. 33

Список используемой литературы.. 35

Приложение А.. 36

Приложение Б. 55

Введение

Современная электроника активно развивается, и с каждым годом увеличивается сложность радиотехнических устройств. В связи с этим возникает необходимость автоматизации процессов контроля, диагностики и инвентаризации радиоэлектронных компонентов на печатных платах. Ручная проверка компонентов является трудоёмкой и подверженной ошибкам, особенно при работе с большими или сложными платами.

Одним из перспективных решений данной проблемы является использование систем компьютерного зрения и машинного обучения для автоматического обнаружения и классификации радиоэлектронных элементов. Такие системы позволяют существенно ускорить процесс идентификации компонентов, снизить количество ошибок и интегрироваться в современные производственные или ремонтные процессы.

Целью данной курсовой работы является разработка программно-аппаратного комплекса, способного обнаруживать и классифицировать четыре основных типа компонентов: резисторы, конденсаторы, индуктивности и транзисторы. Система построена на базе микроконтроллера ESP32-WROOM с камерой OV2640, что обеспечивает компактность и автономность решения.

Особенностью разработанной системы является:

1. Высокая точность классификации: минимальная вероятность определения компонента одного класса должна превышать 75%.
2. Визуальная обратная связь: оператор видит реальное изображение платы с обведёнными компонентами.
3. Аудиальная сигнализация: обнаружение разных типов компонентов сопровождается звуковыми сигналами различной тональности, что позволяет оперативно реагировать на процесс обнаружения.
4. Организация данных: информация о найденных компонентах сохраняется в базе данных PostgreSQL, структурированной в соответствии с третьей нормальной формой, что обеспечивает целостность и удобство последующей обработки данных.

В ходе работы решаются следующие задачи:

1. разработка аппаратной платформы с ESP32 и камерой;
2. создание модели искусственного интеллекта для классификации компонентов;
3. реализация интерфейса визуализации и звукового оповещения;
4. проектирование базы данных для хранения информации о пользователях.

Таким образом, разработанный программно-аппаратный комплекс позволяет автоматизировать процесс обнаружения компонентов на платах, обеспечивает высокую точность классификации и удобство использования для оператора.