09А_Маш_зрение (конспект за второй семестр 4-го курса, преподаватель Ляхова)

13

Система технического зрения

Система технического зрения (СТЗ) предназначена для приема и обработки большого объема аналоговой информации, используемой для

- ориентирования подвижных объектов (роботов),

- позиционирования на операциях подгонки резисторов, сборки, сварки, механической обработки, загрузки,

- контроля внешнего вида детали, топологии платы и фотошаблона на соответствие КД, отсутствия дефектов (трещин, КЗ),

- определение физических параметров: геометрических параметров, веса..

S, f, λ, φ U, V, F 0/1 0/1

Осветитель Приемник Интерфейс ВУ Интерфейс

U

Объект Исполнительное устройство

Фон

Рис. Схема СТЗ.

Входные параметры: яркость S (интенсивность излучения) и цвет (длина волны  излучения) или частота f, фаза φ.

Технические средства формирования изображений:

- датчики излучения оптического, теплового (дают возможность температурной диагностики оборудования, объектов и среды, позволяют ориентироваться роботам в темноте - экономия электрической энергии), радиолокационного, ультразвукового, проникающего излучения - рентгеновского (для неразрушающего контроля непрозрачных сред - интроскопия),

- тактильные поверхности,

- машинная графика,

- щуп (многоточечный, контурный).

Наиболее распространенные приемники - датчики видеоизображения:

- вакуумные передающие трубки: телевизионные установки (малогабаритная телевизионная установка МТУ-1, серийная телекамера КТП-67),

- видеокамера,

- web-камера,

- мишень пироэлектрического видикона,

- твердотельные устройства видеосигналов - линейки и матрицы: -

- фотодиодная (матрица размером от 16х16 до 800х800 элементов типа СФ-14 с чувствительным полем 32х32 элемента для установки на захватном устройстве робота,

линейка с числом элементов от 32 до 2000 с шагом от 15 мкм),

- фототранзисторная (биполярная )

- на приборах с зарядовой связью (ПЗС) - (КТ-2 с матрицей 288 х 232), линейка ПЗС размером 512, 1024 и 2048 элементов

- матрица торцов до 100 тыс. световодных волокон,

- сжатых в пучок в пальцах робота,

- с шаровой линзой, фокусирующей изображение почти кругового обзора (вращающейся по двум осям),

- закрепленных на плате, вращающейся по 2-м осям.

- планшетные устройства. Планшетные устройства включают поверхность, каждая точка которой может быть дискретно идентифицирована с помощью ВУ. Точки указываются магнитными чернилами, электрическим пером или курсором.

Тактильные поверхности:

- из проводящей силиконовой резины, изолированной от печатной платы с электродами тонким сетчатым материалом (например, для сверхтонких колготок – отклик - выходной параметр R). Замыкание резины и электрода происходит под действием тяжести детали.

- поверхность из пьезоэлектрической поливинилиденфлюоридной пленки, при деформации которой изменяется заряд точки (Q).

Рис. Матрица тактильных элементов с использованием пьезоэлектрической полиимидной пленки.

- электретная поверхность, при деформации которой изменяется ток в цепи (I).

- тензотермическая поверхность “Pressurex” увеличивает яркость S при увеличении давления,

- электропроводящий эластомер, поверхность с углеродными волокнами (R).

Рис. Световолоконная система.

Рис. Формирование объемного изображения с помощью щупа сканирующего туннельного микроскопа.

Прием изображения

осуществляется

- “жестким растром” - привязкой элемента изображения к приемной ячейке (твердотельные датчики, тактильные поверхности), при этом входная информация может быть аналоговой (интенсивность, длина волны излучения) или дискретной: бинарной (есть/нет, белое/черное) или многоразрядной в двоичном коде,

- сканированием луча (электронного, оптического,..), при этом последовательно принимаемая входная информация, как правило, аналоговая: пространственно-временная зависимость интенсивности, длины волны излучения. Непрерывная информация должна быть дискретизирована

Подавление шумов, помех

Аппаратно достигается использованием фильтров (оптических, радиочастотного диапазона и т.д.) и оформлением контрастной подсветки таким образом, чтобы более четко выявить край изображения и избежать “бликов” - паразитных переотражений. Для низкочастотного излучения фон должен иметь контрастные значения электрических или акустических параметров.

Программно подавление шумов осуществляется установлением порогового уровня параметров излучения (яркости S₀ ).

Описание каждого дискрета изображения включает яркость S (интенсивность излучения) и цвет (длину волны  излучения). Простейший способ представления изображения - бинарный - черно/белое изображение (черное =1, белое =0). Эти 2 значения различаются по яркости:

S_б(x,y)  = 1 при S(x,y)  S₀(x,y)

 = 0 при S(x,y) < S₀(x,y)

где S(x,y) - исходное изображение, S_б(x,y) - бинарное изображение, S₀(x,y) - пороговый уровень, формирует зону нечувствительности. Бинарное описание изображения может быть использовано для логического описания состояния датчика тактильной поверхности с использованием классификации признаков: “Есть” - “Нет”.

Сжатие данных геометрическое и временное необходимо для увеличения быстродействия. (Телевизионный сигнал стандартной системы содержит 2-3 млн. бит. Аналог датчика изображения: глаз человека: информационный поток - 140 млн. бит/сек, по зрительному нерву от глаза к мозгу передается информация 50...70 бит/сек (оптоволоконная магистраль имеет пропускную способность - 1 Гбит/сек). Тактовая частота электрохимической компоненты работы мозга - 10 Гц ( ритм) . При этом используется пространственно-временная фильтрация: накопление сигнала за рефлекторный период до величины, выше пороговой.)

Аппаратное сжатие осуществляется с помощью линий задержки. Для аппаратной дискретизации при приеме изображения используются

- барабанные сканирующие устройства (как при считывании штрих-кода),

- развертывающие устройства с бегущим лучом, обеспечивающие построчный просмотр изображения (с оптико-механической разверткой, сканирующим лучом (удобны для измерения координат и размеров объектов с применением время - импульсной базы),

- элементы матриц (фото-, ПЗС, оптического волокна,..),

- тактильные (планшетные) устройства,

- щуп, движущийся по заданной траектории, с отсчетом координат касания - координатная дискретизация,

- дальномеры лазерные, ультразвуковые, радиочастотные, временная (частотная) дискретизация.

Основные приемы программного сжатия

- выделение геометрического дискрета – пиксела, которому приписывают значения S и ,

- буферизация (считывание прекращается по сигналу прерывания или по заданному числу отсчетов) - временная.

Распознавание

изображений предусматривает

- описание изображения определенным набором чисел, цепочкой символов или граф,

- преобразование изображения,

- нормализацию - отнесение к определенному классу.

Приемы обработки и распознавания связаны: сжатие должно упрощать нормализацию объекта.

В описании координаты x и y показывают центр пиксела. Значения S и  также дискретизируются. (По аналогии с монитором, реализующим 16 или 256 цветов оттенков серого цвета.) Каждый дискрет - градация обозначается числом. В итоге поле изображения характеризуется многомерной матрицей многоразрядных чисел. Еще более сложной задачей является трехмерный анализ объекта, который реализуется

- с помощью нескольких датчиков изображения,

- дополнением к плоскому СТЗ датчиком расстояния (например, сканирующим лазерным дальномером),

- многослойным (например, томографическим, рентгеновским или УЗ) видеоанализом. Сканирующий луч отражается от определенного слоя в глубине объекта. Формируется изображение внутренних сечений. Этот метод используется для дефектоскопии электронных схем высокой степени интеграции (а также для многослойной записи информации).

Чем качественнее изображение (больше дискретов), тем больший объем памяти занимает его описание. Таким образом, дискретизация состоит

- из выборки - выборе некоторого множества точек - пикселов на поле наблюдения,

- и квантования - характеристике пиксела конечным числом символов.

Пересылка изображения 256 х 256 х 1 бит со скоростью 30 Кбайт/с займет 250 мс, в то время как длительность одного кадра - 20 мс. Еще больший объем информации передается для полутонового изображения с 15 оттенками серого цвета, не говоря уже о цветном изображении. Для работы в реальном времени необходимо сократить объем записи в оперативную память ВУ. Это можно сделать аппаратными или программными методами.

К аппаратным методам относятся использование:

- дорогих быстродействующих процессоров,

- многопроцессорных ВУ с реальной параллельной обработкой сигнала,

- датчиков с малым числом дискретов передаваемого изображения.

К программным методам сжатия данных (2-ого этапа) относятся следующие приемы преобразования описания:

- уменьшение числа дискретов с помощью локальных операций, 64 х 64 или 32 х 32 или 16 х 16 (рис.А89-2.3).

- сегментация изображения,

- метод масок (выделение характерных точек эталонных фигур),

- вычисление параметров изображения.

Преобразование описания изображения производится с помощью локальных операций. Яркость S(х,у) усредняется в зависимости от локальной ситуации ..

000 001 111 S(х,у)

000 011 111 0 - 0 или 1 - 1

000 001 111

Необходимо выработать решающее правило в зависимости от цели. Локальное окно заменяет пиксел в описании изображения, уменьшая его объем.

Рис. Описание цвета пиксела: черно – белого, 8 градаций серого, трехцветного с 8 градациями каждого цвета.

Увеличение локального окна может привести к искажению изображения.

Сегментация - это топологический анализ изображения. Алгоритм сегментации зависит от назначения операции. Используется преобразование изображения по порогу яркости в значениях “0” или “1”, а для цветных изображений - по градиенту цветности, освещенности. На изображении выделяются области однородности. При сегментации возможны преобразования изображений:

- оконтуривание (выделение из массива информации контуров),

- стирание контура (инвертирование (0--> 1, 1--> 0) каждого пиксела области однородности - границы - с внешней стороны),

- скелетизация (выделение средней линии области однородности, например, при распознавании букв и цифр любой толщины написания),

- удаление изолированных одинарных и двойных точек,