Что такое машинное зрение

Машинное зрение. Что это и как им пользоваться? Обработка изображений оптического источника

Машинное зрение — это научное направление в области искусственного интеллекта, в частности робототехники, и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования полученных данных для решения разного рода прикладных задач без участия (полного или частичного) человека.

Исторические прорывы в машинном зрении

• 1955 год – Оливер Селфридж. Статья «Глаза и уши компьютера».
• 1958 год – Фрэнк Розенблатт. Компьютерная реализация персептрона.
• 1960-е годы – первые системы обработки изображений.
• 1970-е годы – Лавренсе Робертс. Концепция машинного построения трёхмерных образов объектов.
• 1979 год – Ганс-Хельмут Нагель. Теория анализа динамических сцен.
• 1990-е годы – Первые беспилотные системы управления автотранспортом.
• 2003 год – Корпоративные системы распознавания лиц.

Компоненты системы машинного зрения

• Одна или несколько цифровых или аналоговых камер (черно-белые или цветные) с подходящей оптикой для получения изображений
• Программное обеспечение для изготовления изображений для обработки. Для аналоговых камер это оцифровщик изображений
• Процессор (современный ПК c многоядерным процессором или встроенный процессор, например — ЦСП)
• Программное обеспечение машинного зрения, которое предоставляет инструменты для разработки отдельных приложений программного обеспечения.
• Оборудование ввода-вывода или каналы связи для доклада о полученных результатах
• Умная камера: одно устройство, которое включает в себя все вышеперечисленные пункты.
• Очень специализированные источники света (светодиоды, люминесцентные и галогенные лампы и т. д.)
• Специфичные приложения программного обеспечения для обработки изображений и обнаружения соответствующих свойств.
• Датчик для синхронизации частей обнаружения (часто оптический или магнитный датчик) для захвата и обработки изображений.
• Приводы определенной формы используемые для сортировки или отбрасывания бракованных деталей.

Машинное зрение сосредотачивается на применении, в основном промышленном, например, автономные роботы и системы визуальной проверки и измерений. Это значит, что технологии датчиков изображения и теории управления связаны с обработкой видеоданных для управления роботом и обработка полученных данных в реальном времени осуществляется программно или аппаратно.

Обработка изображений и анализ изображений в основном сосредоточены на работе с 2D изображениями, т.е. как преобразовать одно изображение в другое. Например, попиксельные операции увеличения контрастности, операции по выделению краёв, устранению шумов или геометрические преобразования, такие как вращение изображения. Данные операции предполагают, что обработка/анализ изображения действуют независимо от содержания самих изображений.

Компьютерное зрение сосредотачивается на обработке трехмерных сцен, спроектированных на одно или несколько изображений. Например, восстановлением структуры или другой информации о 3D сцене по одному или нескольким изображениям. Компьютерное зрение часто зависит от более или менее сложных допущений относительно того, что представлено на изображениях.

Также существует область названная визуализация, которая первоначально была связана с процессом создания изображений, но иногда имела дело с обработкой и анализом. Например, рентгенография работает с анализом видеоданных медицинского применения.

Наконец, распознавание образов является областью, которая использует различные методы для получения информации из видеоданных, в основном, основанные на статистическом подходе. Значительная часть этой области посвящена практическому применению этих методов.

Таким образом, можно сделать вывод, что понятие «машинное зрение» на сегодняшний день включает в себя: компьютерное зрение, распознавание зрительных образов, анализ и обработка изображений и т.д.

Задачи машинного зрения

• Распознавание
• Идентификация
• Обнаружение
• Распознавание текста
• Восстановление 3D формы по 2D изображениям
• Оценка движения
• Восстановление сцены
• Восстановление изображений
• Выделение на изображениях структур определенного вида, сегментация изображений
• Анализ оптического потока

Распознавание

Классическая задача в компьютерном зрении, обработке изображений и машинном зрении это определение содержат ли видеоданные некоторый характерный объект, особенность или активность.

Эта задача может быть достоверно и легко решена человеком, но до сих пор не решена удовлетворительно в компьютерном зрении в общем случае: случайные объекты в случайных ситуациях.

Один или несколько предварительно заданных или изученных объектов или классов объектов могут быть распознаны (обычно вместе с их двухмерным положением на изображении или трехмерным положением в сцене).

Идентификация

Распознается индивидуальный экземпляр объекта принадлежащего к какому-либо классу.
Примеры: идентификация определённого человеческого лица или отпечатка пальцев или автомобиля.

Обнаружение

Видеоданные проверяются на наличие определенного условия.

Обнаружение, основанное на относительно простых и быстрых вычислениях иногда используется для нахождения небольших участков в анализируемом изображении, которые затем анализируются с помощью приемов, более требовательных к ресурсам, для получения правильной интерпретации.

Распознавание текста

Поиск изображений по содержанию: нахождение всех изображений в большом наборе изображений, которые имеют определенное различными путями содержание.

Оценка положения: определение положения или ориентации определенного объекта относительно камеры.

Оптическое распознавание знаков: распознавание символов на изображениях печатного или рукописного текста (обычно для перевода в текстовый формат, наиболее удобный для редактирования или индексации. Например, ASCII).

Восстановление 3D формы по 2D изображениям осуществляется с помощью стереореконструкции карты глубины, реконструкции поля нормалей и карты глубины по закраске полутонового изображения, реконструкции карты глубины по текстуре и определения формы по перемещению

Пример восстановления 3D формы по 2D изображеню

Оценка движения

Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены. Примерами таких задач являются: определение трехмерного движения камеры, слежение, то есть следование за перемещениями объекта (например, машин или людей)

Восстановление сцены

Даны два или больше изображения сцены, или видеоданные. Восстановление сцены имеет задачей воссоздать трехмерную модель сцены. В простейшем случае, моделью может быть набор точек трехмерного пространства. Более сложные методы воспроизводят полную трехмерную модель.

Восстановление изображений

Задача восстановления изображений это удаление шума (шум датчика, размытость движущегося объекта и т.д.).

Наиболее простым подходом к решению этой задачи являются различные типы фильтров, таких как фильтры нижних или средних частот.

Более высокий уровень удаления шумов достигается в ходе первоначального анализа видеоданных на наличие различных структур, таких как линии или границы, а затем управления процессом фильтрации на основе этих данных.

Восстановление изображений

Анализ оптического потока (нахождения перемещения пикселей между двумя изображениями).
Несколько задач, связанных с оценкой движения, в которых последовательность изображений (видеоданные) обрабатываются для нахождения оценки скорости каждой точки изображения или 3D сцены.

Примерами таких задач являются: определение трехмерного движения камеры, слежение, т.е. следование за перемещениями объекта (например, машин или людей).

Методы обработки изображений

• Счетчик пикселей
• Бинаризация
• Сегментация
• Чтение штрих-кодов
• Оптическое распознавание символов
• Измерение
• Обнаружение краев
• Сопоставление шаблонов

Счетчик пикселей

Подсчитывает количество светлых или темных пикселей.
С помощью счетчика пикселей пользователь может выделить на экране прямоугольную область в интересующем месте, например там, где он ожидает увидеть лица проходящих людей. Камера в ответ немедленно даст сведения о количестве пикселей, представленных сторонами прямоугольника.

Счетчик пикселей дает возможность быстро проверить, соответствует ли смонтированная камера нормативным требованиям или требованиям заказчика относительно пиксельного разрешения, например, для лиц людей, входящих в двери, которые контролируются камерой, или в целях распознавания номерных знаков.

Бинаризация

Преобразует изображение в серых тонах в бинарное (белые и черные пиксели).
Значения каждого пикселя условно кодируются, как «0» и «1». Значение «0» условно называют задним планом или фоном а «1» — передним планом.

Часто при хранении цифровых бинарных изображений применяется битовая карта, где используют один бит информации для представления одного пикселя.

Также, особенно на ранних этапах развития техники, двумя возможными цветами были чёрный и белый, что не является обязательным.

Сегментация

Используется для поиска и (или) подсчета деталей.

Цель сегментации заключается в упрощении и/или изменении представления изображения, чтобы его было проще и легче анализировать.

Сегментация изображений обычно используется для того, чтобы выделить объекты и границы (линии, кривые, и т. д.) на изображениях. Более точно, сегментация изображений — это процесс присвоения таких меток каждому пикселю изображения, что пиксели с одинаковыми метками имеют общие визуальные характеристики.

Результатом сегментации изображения является множество сегментов, которые вместе покрывают всё изображение, или множество контуров, выделенных из изображения. Все пиксели в сегменте похожи по некоторой характеристике или вычисленному свойству, например, по цвету, яркости или текстуре. Соседние сегменты значительно отличаются по этой характеристике.

Чтение штрих-кодов

Штрих-код — графическая информация, наносимая на поверхность, маркировку или упаковку изделий, представляющая возможность считывания её техническими средствами — последовательность чёрных и белых полос либо других геометрических фигур.
В машинном зрении штрих-коды используют для декодирования 1D и 2D кодов, разработанных для считывания или сканирования машинами.

Оптическое распознавание символов

Оптическое распознавание символов: автоматизированное чтение текста, например, серийных номеров.

Распознавание используется для конвертации книг и документов в электронный вид, для автоматизации систем учёта в бизнесе или для публикации текста на веб-странице.

Оптическое распознавание текста позволяет редактировать текст, осуществлять поиск слов или фраз, хранить его в более компактной форме, демонстрировать или распечатывать материал, не теряя качества, анализировать информацию, а также применять к тексту электронный перевод, форматирование или преобразование в речь.

Моя программа, написанная на LabView по работе с изображениями

Использовано компьютерное зрение для неразрушающего контроля качества сверхпроводящих материалов.

Введение. Решение задач обеспечения комплексной безопасности (как антитеррористической и механической безопасности объектов, так и технологической безопасности инженерных систем), в настоящее время, требует системной организации контроля, текущего состояния объектов. Одними из наиболее перспективных способов контроля текущего состояния объектов являются оптические и оптико-электронные методы, основанные на технологиях обработки видеоизображений оптического источника. К ним относятся: программы по работе с изображениями; новейшие способы обработки изображений; оборудования для получения, анализа и обработки изображений, т.е. комплекс средств и методов относящихся к области компьютерного и машинного зрения. Компьютерное зрение — это общий набор методов, позволяющих компьютерам видеть и распознавать трех- или двухмерные объекты, как инженерного направления, так и нет. Для работы с компьютерным зрение требуются цифровые или аналоговые устройства ввода-вывода, а также вычислительные сети и IP анализаторы локаций, предназначенные для контроля производственного процесса и подготовки информации для принятия оперативных решений в кратчайшие сроки.

Постановка проблемы. На сегодняшний день, главной задачей для проектируемых комплексов машинного зрения остаётся обнаружение, распознавание, идентификация и квалификация объектов потенциального риска, находящихся в случайном месте в зоне оперативной ответственности комплекса. Существующие на данный момент программные продукты, направленные на решение перечисленных задач обладают рядом существенных недостатков, а именно: значительная сложность, связанная с высокой детализацией оптических образов; высокая потребляемая мощность и достаточно узкий спектр возможностей. Расширение задач обнаружения объектов потенциального риска, до области поиска случайных объектов в случайных ситуациях, находящихся в случайном месте, имеющимися программными продуктами не возможно, даже с задействованием суперкомпьютера.

Цель. Разработка универсальной программы обработки изображений оптического источника, с возможностью потокового анализа данных, то есть программа должна быть лёгкой и быстрой для того, чтобы её можно было записать на малогабаритное ЭВМ устройство.

• разработка математической модели программы;
• написание программы;
• опробирование программы в условиях лабораторного эксперимента, с полной подготовкой и проведением эксперимента;
• исследование возможности применения программы в смежных областях деятельности.

• отсутствием на рынке программного обеспечения программ обработки изображений с выводом подробного анализа инженерных составляющих объектов;
• постоянно растущими требованиями к качеству и скорости получения визуальной информации, резко повышающими востребованность программ обработки изображений;
• существующей потребность в программах высокой производительности, надежных и простых с точки зрения пользователя;
• высокой стоимостью профессиональных программ обработки визуальной информации.

• отсутствием на рынке программного обеспечения программ обработки изображений с выводом подробного анализа инженерных составляющих объектов;
• постоянно растущими требованиями к качеству и скорости получения визуальной информации, резко повышающими востребованность программ обработки изображений;
• существующей потребность в программах высокой производительности, надежных и простых с точки зрения пользователя;
• существует потребность программ высокой производительности и простого управления, чего добиться в наше время крайне сложно. Для примера я взял Adobe Photoshop. Данный графический редактор обладает гармоничным сочетанием функциональности и простоты использования для рядового пользователя, но в данной программе невозможно работать со сложными инструментами по обработке изображения (например, анализ изображения путём построения математической зависимости (функции) или же интегральной обработкой изображений);
• высокой стоимостью профессиональных программ обработки визуальной информации. Если программное обеспечение качественно, то цена на него крайне высока, вплоть до отдельных функции того или иного набора программ. На графике ниже представлена зависимость цены/качества простых аналогов программы.

Для упрощения решения задач данного типа, мною была разработана математическая модель и написана программа для ЭВМ устройства по анализу изображения при помощи простейших преобразований исходных изображений.

Программа работает с преобразованиями типа бинаризации, яркости, контраста изображения и т.д. Принцип действия программы продемонстрирован на примере анализа сверхпроводящих материалов.

При создании композиционных сверхпроводников на основе Nb3Sn варьируется объемное соотношение бронзы и ниобия, размер и количество волокон в нем, равномерность их распределения по сечению бронзовой матрицы, наличие диффузионных барьеров и стабилизирующих материалов. При заданной объемной доле ниобия в проводнике увеличение количества волокон приводит, соответственно, к уменьшению их диаметра. Это ведет к заметному возрастанию поверхности взаимодействия Nb / Cu-Sn, что в значительной степени ускоряет процесс нарастания сверхпроводящей фазы. Такое увеличение количества сверхпроводящей фазы при повышении числа волокон в проводнике обеспечивает возрастание критических характеристик сверхпроводника. В связи с этим необходимо наличие инструмента для контроля объемной доли сверхпроводящей фазы в конечном продукте (композиционном сверхпроводнике).

При создании программы учитывалась важность проведения исследований материалов, из которых создаётся сверхпроводящие кабели, так как при неправильном соотношении ниобия к бронзе возможен взрыв проводов, а, следовательно, людские жертвы, денежные затраты и потеря времени. Данная программа позволяет определить качество проводов на основе химическо физического анализа объекта.

Блок-диаграмма программы

Описание этапов исследования.

1 этап. Пробоподготовка: резка композиционного сверхпроводника на электроэрозионном станке; запрессовка образца в пластмассовую матрицу; полировка образца до зеркального состояния; травление образца для выделения волокон ниобия на бронзовой матрице. Получены образцы запрессованных композиционных сверхпроводниковых образцов;

2 этап. Получение изображений: получение металлографических изображений на сканирующем электронном микроскопе.

3 этап. Обработка изображений: создание инструмента для определения объемной доли сверхпроводящей фазы на металлографическом изображении; набор статистически значимых данных на конкретном типе образцов. Созданы математические модели различных инструментов по обработке изображений; создана программная разработка для оценки объемной доли сверхпроводящий фазы; программа была облегчена путём соединения нескольких математических функций в одну; было получено среднее значение объемной доли волокон ниобия в бронзовой матрице 24.7±0,1 %. Низкий процент отклонения свидетельствует о высокой повторяемости структуры композиционного провода.

Электронномикроскопическое изображения композиционных сверхпроводников

Методы обработки изображений в программе.

• Идентификация — распознается индивидуальный экземпляр объекта, принадлежащего к какому-либо классу.
• Бинаризация – процесс перевода цветного (или в градациях серого) изображения в двухцветное черно-белое.
• Сегментация — это процесс разделения цифрового изображения на несколько сегментов (множество пикселей, также называемых суперпикселями).
• Эрозия – сложный процесс, при выполнении которого структурный элемент проходит по всем пикселам изображения. Если в некоторой позиции каждый единичный пиксел структурного элемента совпадет с единичным пикселом бинарного изображения, то выполняется логическое сложение центрального пиксела структурного элемента с соответствующим пикселом выходного изображения.
• Дилатация — свертка изображения или выделенной области изображения с некоторым ядром. Ядро может иметь произвольную форму и размер. При этом в ядре выделяется единственная ведущая позиция, которая совмещается с текущим пикселем при вычислении свертки.

Формулы работы программы

Формула бинаризации (метод Оцу):

Формула эрозии:

Формула дилатации:

Схема дилатации и эрозии

Формулы сегментации порогами цвета:

Определение модуля градиента яркости для каждого пикселя изображения:

Вычисление порога:

Использованное оборудование

• CHMER GX-320L с ЧПУ — станок для электроэрозионной резки образцов
• SimpliMet 1000 — станок для горячей запрессовки
• AutoMet 250 Buehler – машина для шлифовки и полировки
• Axio Scope A1 Carl Zeiss – оптический микроскоп для контроля качества шлифов
• Hitachi TM-1000 — сканирующий электронный микроскоп для получения металлографических изображений

Интерфейс программы

Системы машинного зрения

Привет, Вы узнаете про системы машинного зрения, Разберем основные ее виды и особенности использования. Еще будет много подробных примеров и описаний. Для того чтобы лучше понимать что такое системы машинного зрения, компьютерное зрение, техническое зрение, машинное зрение , настоятельно рекомендую прочитать все из категории Распознавание образов.

машинное зрение — э то применение компьютерного зрения для промышленности и производства. В то время как компьютерное зрение — это общий набор методов, позволяющих компьютерам видеть, областью интереса машинного зрения, как инженерного направления, являются цифровые устройства ввода-вывода и компьютерные сети, предназначенные для контроля производственного оборудования, таких как роботы-манипуляторы или аппараты для извлечения бракованной продукции. Машинное зрение является подразделом инженерии, связанное с вычислительной техникой, оптикой, машиностроением и промышленной автоматизацией. Одно из наиболее распространенных приложений машинного зрения — инспекции промышленных товаров, таких как полупроводниковые чипы, автомобили, продукты питания и лекарственные препараты. Люди, работавшие на сборочных линиях, осматривали части продукции, делая выводы о качестве исполнения. системы машинного зрения для этих целей используют цифровые и интеллектуальные камеры, а также программное обеспечение, обрабатывающее изображение для выполнения аналогичных проверок.

Компьютерное зрение (иначе техническое зрение ) — теория и технология создания машин, которые могут производить обнаружение, отслеживание и классификацию объектов.

Как научная дисциплина, компьютерное зрение относится к теории и технологии создания искусственных систем, которые получают информацию из изображений. Видеоданные могут быть представлены множеством форм, таких как видеопоследовательность, изображения с различных камер или трехмерными данными, например с устройства Kinect или медицинского сканера.

Как технологическая дисциплина, компьютерное зрение стремится применить теории и модели компьютерного зрения к созданию систем компьютерного зрения. Примерами применения таких систем могут быть:

1. Системы управления процессами (промышленные роботы, автономные транспортные средства).
2. Системы видеонаблюдения.
3. Системы организации информации (например, для индексации баз данных изображений).
4. Системы моделирования объектов или окружающей среды (анализ медицинских изображений, топографическое моделирование).
5. Системы взаимодействия (например, устройства ввода для системы человеко-машинного взаимодействия).
6. Системы дополненной реальности.
7. Вычислительная фотография, например для мобильных устройств с камерами.

О существовании специальных систем, которые "автоматически вводят в компьютер текст", знают даже начинающие пользователи. Со стороны все выглядит довольно просто и логично. На отсканированном изображении система находит фрагменты, в которых "узнает" буквы, а затем заменяет эти изображения настоящими буквами, или, по-другому, их машинными кодами. Так осуществляется переход от изображения текста к "настоящему" тексту, с которым можно работать в текстовом редакторе. Как этого добиться?

Компанией "Бит" была разработана специальная технология распознавания символов, которая получила название "Фонтанного преобразования" , а на ее основе — коммерческий продукт, получивший высокую оценку. Это система оптического распознавания Fine Reader. Сегодня на рынке представлена уже третья версия продукта, которая работает не только с текстом, но и с формами, таблицами, а разработчики уже колдуют над новой четвертой версией Fine Reader, которая будет распознавать не только печатный но и рукописный текст.

Компьютерное зрение также может быть описано как дополнение (но не обязательно противоположность) биологическому зрению. В биологии изучается зрительное восприятие человека и различных животных, в результате чего создаются модели работы таких систем в терминах физиологических процессов. Компьютерное зрение, с другой стороны, изучает и описывает системы компьютерного зрения, которые выполнены аппаратно или программно. Междисциплинарный обмен между биологическим и компьютерным зрением оказался весьма продуктивным для обеих научных областей.

Подразделы компьютерного зрения включают воспроизведение действий, обнаружение событий, слежение, распознавание образов, восстановление изображений и некоторые другие.

Машинное зрение относится к инженерным автоматизированным системам визуализации в промышленности и на производстве, и в этом качестве машинное зрение, связано с самыми разными областями компьютерных наук: компьютерное зрение, оборудования для управления, базы данных, сетевые системы и машинное обучение.

Не стоит путать машинное и компьютерное зрения. Компьютерное зрение является более общей областью исследований, тогда как машинное зрение является инженерной дисциплиной связанной с производственными задачами.

История развития машинного зрения

Компьютерное зрение оформилось как самостоятельная дисциплина к концу 60х годов. Это направление возникло в рамках искусственного интеллекта в тот его период, когда еще были горячи споры о возможности создания мыслящей машины. Оно выделилось из работ по распознаванию образов. [Зуева, 2008]

Кратко история развития машинного зрения представлена на рисунке 1.

Рис. 1. История машинного зрения

В истории развития машинного зрения можно выделить следующие этапы:

• · 1955 г. — профессор Массачусетского технологического института (МТИ) Оливер Селфридж опубликовал статью «Глаза и уши для компьютера». В ней автор выдвинул теоретическую идею оснащения компьютера средствами распознавания звука и изображения.
• · 1958 г. — психолог Фрэнк Розенблатт из Корнеллского университета создал компьютерную реализацию персептрона (от perception — восприятие) — устройства, моделирующего схему распознавания образов человеческим мозгом. Персептрон был впервые смоделирован в 1958 году, причем его обучение требовало около получаса машинного времени на ЭВМ IBM-704. Аппаратный вариант — Mark I Perceptron — был построен в 1960 г. и предназначался для распознавания зрительных образов .

Однако рассмотрение задач машинного зрения носило скорее умозрительный характер, так как ни техники, ни математического обеспечения для решения таких сложных задач еще не было.

• · 1960-е гг.- появление первых программных систем обработки изображений (в основном для удаления помех с фотоснимков, сделанных с самолетов и спутников), стали развиваться прикладные исследования в области распознавания печатных символов. Однако все еще существовали ограничения в развитии данной области науки, такие как отсутствие дешевых оптических систем ввода данных, ограниченность и довольно узкая специализация вычислительных систем. Бурное развитие систем компьютерного зрения на протяжении 60-х годов можно объяснить расширением использования вычислительных машин и очевидной потребностью в более быстрой и эффективной связи человека с ЭВМ. К началу 60-х годов задачи компьютерного зрения в основном охватывали область космических исследований, требовавших обработки большого количества цифровой информации.
• · 1970-е гг. — Лавренсе Робертс, аспирант МТИ, выдвинул концепцию машинного построения трехмерных образов объектов на основе анализа их двумерных изображений. На данном этапе стал проводиться более глубокий анализ данных. Начали развиваться различные подходы к распознаванию объектов на изображении, например структурные, признаковые и текстурные.
• · 1979 г. — профессор Ганс-Хельмут Нагель из Гамбургского университета заложил основы теории анализа динамических сцен, позволяющей распознавать движущиеся объекты в видеопотоке.
• · В конце 1980-х годов были созданы роботы, способные более-менее удовлетворительно оценивать окружающий мир и самостоятельно выполнять действия в естественной среде
• · 80-е и 90-е годы ознаменовались появлением нового поколения датчиков двухмерных цифровых информационных полей различной физической природы. Развитие новых измерительных систем и методов регистрации двухмерных цифровых информационных полей в реальном масштабе времени позволило получать для анализа устойчивые во времени изображения, генерируемые этими датчиками. Совершенствование же технологий производства этих датчиков позволило существенным образом снизить их стоимость, а значит, значительно расширить область их применения

· С начала 90-х годов в алгоритмическом аспекте последовательность действий по обработке изображения принято рассматривать в согласии с так называемой модульной парадигмой. Эта парадигма, предложенная Д. Марром на основе длительного изучения механизмов зрительного восприятия человека, утверждает, что обработка изображений должна опираться на несколько последовательных уровней восходящей информационной линии: от «иконического» представления объектов (растровое изображение, неструктурированная информация) – к их символическому представлению (векторные и атрибутивные данные в структурированной форме, реляционные структуры и т. п.). [Визильтер и др., 2007]

• · В середине 90-х годов появились первые коммерческие системы автоматической навигации автомобилей. Эффективные средства компьютерного анализа движений удалось разработать в конце XX века
• · 2003 г. — на рынок были выпущены первые достаточно надежные корпоративные системы распознавания лиц.

Будущее машинного зрения

Машинное зрение имеет все шансы превзойти человеческое в ближайшие десять лет. Уже сейчас роботы видят сквозь стены и на километры вперед. Последний бастион — расшифровка видеоинформации — скоро падет. В строй встанут роботы-автомобили, роботы-поезда и роботы-самолеты. А еще — доктора, скальпель которых никогда не сорвется, а зоркий глаз вовремя заметит артерию.

Остается надеяться, что люди сумеют направить мощь машинного зрения в верное русло, а не станут в спешном порядке конструировать терминаторов [Талан, 2007] .

У систем машинного зрения достаточно хорошие перспективы. Идеальная система машинного зрения будет полностью построена на цифровых технологиях, станет использовать интеллектуальные камеры и недорогое оборудование, реализующее набор стандартизованных функций обработки и распознавания изображений. Ключевым в ее успехе будет, конечно, удобная интеллектуальная программная среда, способная гибко и быстро настраиваться на произвольную предметную область, допускающая динамическое расширение функциональных возможностей и легко стыкующаяся с технологической аппаратурой.

По мнению Хирохисы Хирукавы, исследователя из Национального института перспективных научных исследований и технологий, производство роботов в XXI веке может стать крупнейшей отраслью промышленности — подобно производству автомобилей в XX столетии. При этом уже к 2025-му, в крайнем случае к 2050 году стоит ожидать массового распространения роботов, служащих для выполнения домашних работ[Морзеев, 2002].

Боб Таплетт, руководитель проектного отдела компании Microscan, говорит следующее: "Полагаю, можно утверждать, что в будущем системы машинного зрения превратятся в системы сбора данных. Считыватели штрих-кодов уйдут в прошлое, и в значительной мере это будет обусловлено тем, что системы машинного зрения способны решать гораздо больший круг задач".

Общая схема взаимосвязей различных областей знаний

Основные принципы или целостность восприятия

В основе фонтанного преобразования лежит принцип целостности. В соответствии с ним любой воспринимаемый объект рассматривается как целое, состоящее из частей, связанных между собой определенными отношениями. Так, например, печатная страница состоит из статей, статья — из заголовка и колонок, колонка — из абзацев, абзацы — из строк, строки — из слов, слова — из букв. При этом все перечисленные элементы текста связаны между собой определенными пространствами и языковыми отношениями.Для выделения целого требуется определить его части. Части же, в свою очередь, можно рассматривать только в составе целого. Поэтому целостный процесс восприятия может происходить только в рамках гипотезы о воспринимаемом объекте — целом. После того как выдвинуто предположение о воспринимаемом объекте, выделяются и интерпретируются его части. Затем предпринимается попытка "собрать" из них целое, чтобы проверить правильность исходной гипотезы. Разумеется, воспринимаемый объект может интерпретироваться в рамках более крупного целого.Так, читая предложение, человек узнает буквы, воспринимает слова, связывает их в синтаксические конструкции и понимает смысл.В технических системах любое решение при распознавании текста принимается неоднозначно, а путем последовательного выдвижения и проверки гипотез и привлечения как знаний о самом исследуемом объекте, так и общего контекста. Целостное описание класса объектов восприятия отвечает двум условиям: во — первых, все объекты данного класса удовлетворяют этому описанию, а во- вторых, ни один объект другого класса не удовлетворяют ему. Например, класс изображений буквы "К" должен быть описан так, чтобы любое изображение буквы "К" в него попадало, а изображение всех других букв — нет . Об этом говорит сайт https://intellect.icu . Такое описание обладает свойством отображаемости, то есть обеспечивает воспроизведение описываемых объектов: эталон буквы для системы OCR позволяет визуально воспроизвести букву, эталон слова для распознавания речи позволяет произнести слово, а описание структуры предложения в синтаксическом анализаторе позволяет синтезировать правильное предложение. С практической точки зрения отображаемость играет огромную роль, поскольку позволяет эффективно контролировать качество описаний.Существует два вида целостного описания: шаблонное и структурное.В первом случае описание представляет собой изображение в растровом или векторном представлении, и задан класс преобразований (например, повтор, масштабирование и пр.).Во втором случае описание представляется в виде графа, узлами которого являются составляющие элементы входного объекта, а дугами — пространственные отношения между ними . В свою очередь элементы могут оказаться сложными (то есть иметь свое описание).

Конечно, шаблонное описание проще в реализации, чем структурное. Однако оно не может использоваться для описания объектов с высокой степенью изменчивости. Шаблонное описание, к примеру, может приниматься для распознавания только печатных символов, а структурное — еще и для рукописных.

Целостность восприятия предлагает два важных архитектурных решения. Во первых, все источники знания должны работать по возможности одновременно. Нельзя, например, сначала распознать страницу, а затем подвергнуть ее словарной и контекстной обработке, поскольку в этом случае невозможно будет осуществить обратную связь от контекстной обработки к распознаванию. Во вторых, исследуемый объект должен представляться и обрабатываться по возможности целиком.

Первый шаг восприятие — это формирование гипотезы о воспринимаемом объекте. Гипотеза может формироваться как на основе априорной модели объекта, контекста и результатов проверки предыдущих гипотез (процесс "сверху — вниз"), так и на основе предварительного анализа объекта ("снизу — вверх"). Второй шаг — уточнение восприятия (проверка гипотезы), при котором производится дополнительный анализ объекта в рамках выдвинутой гипотезы и в полную силу привлекается контекст.

Для удобства восприятия необходимо провести предварительную обработку объекта, не потеряв при этом существенной информации о нем. Обычно предварительная обработка сводится к преобразованию входного объекта в представление, удобное для дальнейшей работы (например, векторизация изображения), или получение всевозможных вариантов сегментации входного объекта, из которого путем выдвижения и проверки гипотез выбирается правильный. Процесс выдвижения и проверки гипотез должен быть явно отражен в архитектуре программы. Каждая гипотеза должна быть объектом, который можно было бы оценить или сравнить с другими. Поэтому обычно гипотезы выдвигаются последовательно, а затем объединяются в список и сортируются на основе предварительной оценке. Для окончательного же выбора гипотезы активно используется контекст и другие дополнительные источники знаний.

Ныне одним из лидеров в области генетического программирования является группа исследователей из Стэндфордского университета (Stanford University), работающая под руководством профессора Джона Коза. Генетическое программирование вдохнуло новую жизнь в хорошенько уже подзабытый язык LISP (List Processing), который создавался группой Джона Маккарти (того самого, кто в 60-е годы ввел в наш обиход термин "искусственный интеллект") как раз для обработки списков и функционального программирования. Кстати, именно этот язык в США был и остается одним из наиболее распространенных языков программирования для задач искусственного интеллекта.

Принципы функционирования систем машинного зрения

Последовательность действий, выполняемых системой машинного зрения, можно представить в следующем виде:

Рис.5. Последовательность действий системы машинного зрения

Изображение, полученное с камеры, попадает в захватчик кадров или в память компьютера. Захватчик кадров — это устройство, которое преобразует выходные данные с камеры в цифровой формат (как правило, это двумерный массива чисел) и размещает изображения в памяти компьютера, так чтобы оно могло быть обработано с помощью программного обеспечения для машинного зрения.

Программное обеспечение, как правило, совершает несколько шагов для обработки изображений. Часто изображение для начала обрабатывается с целью уменьшения шума или конвертации множества оттенков серого в простое сочетание черного и белого (бинаризации). После первоначальной обработки программа будет считать, производить измерения и/или определять объекты, размеры, дефекты и другие характеристики изображения. В качестве последнего шага, программа пропускает или забраковывает деталь в соответствии с заданными критериям. Если деталь идет с браком, программное обеспечение подает сигнал механическому устройству для отклонения детали; другой вариант развития событий, система может остановить производственную линию и предупредить человека работника для решения этой проблемы, и что привело к неудаче. Хотя большинство систем машинного зрения полагаться на «черно-белые» камеры, использование цветных камер становится все более распространенным явлением. Кроме того, все чаще системы машинного зрения используют цифровые камеры прямого подключения, а не камеры с отдельным захватчиком кадров, что сокращает расходы и упрощает систему.

Распознавание символов

Сегодня известно три подхода к распознаванию символов — шаблонный, структурный и признаковый. Но принципу целостности отвечает лишь первые два.Шаблонное описание проще в реализации, однако, в отличие от структурного, оно не позволяет описывать сложные объекты с большим разнообразием форм. Именно поэтому шаблонное описание применяется для распознавания лишь печатных символов, в то время как структурное — для рукописных, имеющих, естественно, гораздо больше вариантов начертания.

Шаблонные системы

Такие системы преобразуют изображение отдельного символа в растровое, сравнивают его со всеми шаблонами, имеющимися в базе и выбирают шаблон с наименьшим количеством точек, отличных от входного изображения. Шаблонные системы довольно устойчивы к дефектам изображения и имеют высокую скорость обработки входных донных, но надежно распознают только те шрифты, шаблоны которых им "известны". И если распознаваемый шрифт хоть немного отличается от эталонного, шаблонные системы могут делать ошибки даже при обработке очень качественных изображений!

Структурные системы

В таких системах объект описывается как граф, узлами которого являются элементы входного объекта, а дугами — пространственные отношения между ними . Система реализующие подобный подход, обычно работают с векторными изображениями. Структурными элементами являются составляющие символ линии. Так, для буквы "р" — это вертикальный отрезок и дуга.

К недостаткам структурных систем следует отнести их высокую чувствительность к дефектам изображения, нарушающим составляющие элементы. Также векторизация может добавить дополнительные дефекты. Кроме того, для этих систем, в отличие от шаблонных и признаковых, до сих пор не созданы эффективные автоматизированные процедуры обучения. Поэтому для Fine Reader структурные описания пришлось создать в ручную.

Признаковые системы

В них усредненное изображение каждого символа представляется как объект в n-мерном пространстве признаков. Здесь выбирается алфавит признаков, значения которых вычисляются при распознавании входного изображения. Полученный n-мерный вектор сравнивается с эталонными, и изображение относится к наиболее подходящему из них. Признаковые системы не отвечают принципу целостности. Необходимое, но недостаточное условие целостности описания класса объектов (в нашем случае это класс изображений, представляющих один символ)состоит в том, что описанию должны удовлетворять все объекты данного класса и ни один из объектов других классов. Но поскольку при вычислении признаков теряется существенная часть информации, трудно гарантировать, что к данному классу удастся отнести только <родные> объекты.

Структурно-пятенный эталон

Фонтанное преобразование совмещает в себе достоинства шаблонной и структурной систем и, по нашему мнению, позволяет избежать недостатков, присущих каждой из них по отдельности. В основе этой технологии лежит использование структурно-пятенного эталона. Он позволяет представить изображения в виде набора пятен, связанных между собой n-арными отношениями, задающими структуру символа. Эти отношения (то есть расположение пятен друг относительно друга) образуют структурные элементы, составляющие символ. Так, например, отрезок — это один тип n-арных отношений между пятнами, эллипс -другой, дуга — третий. Другие отношения задают пространственное расположение образующих символ элементов.В эталоне задаются

• — имя;
• — обязательные, запрещающие и необязательные структурные элементы;
• — отношения между структурными элементами;
• — отношения, связывающие структурные элементы с описывающим прямоугольником символа;
• — атрибуты, используемые для выделения структурных элементов;
• — атрибуты, используемые для проверки отношений между элементами;
• — атрибуты, используемые для оценки качества элементов и отношений;
• — позиция, с которой начинается выделение элемента (отношения локализации элементов).

Структурные элементы, выделяемые для класса изображений, могут быть исходными и составными. Исходные структурные элементы — это пятна, составные — отрезок, дуга, кольцо, точка. В качестве составных структурных элементов, в принципе, могут быть взяты любые объекты, описанные в эталоне. Кроме того, они могут быть описаны как через исходные, так и через другие составные структурные элементы.Например, для распознавания корейских иероглифов (слоговое письмо) составными элементами для описания слога являются описания отдельных букв (но не отдельные элементы букв). В итоге, использование составных структурных элементов позволяет строить иерархические описания классов распознаваемых объектов.В качестве отношений используются связи между структурными элементами, которые определяются либо метрическими характеристиками этих элементов (например, <длина больше>), либо их взаимным расположением на изображении (например, <правее>,<соприкасается>).При задании структурных элементов и отношений используются конкретизирующие параметры, позволяющие доопределить структурный элемент или отношение при использовании этого элемента в эталоне конкретного класса. Для структурных элементов конкретизирующими могут являться, например, параметры, задающие диапазон допустимой ориентации отрезка, а для отношений -параметры, задающие предельное допустимое расстояние между характерными точками структурных элементов в отношении <соприкасается>.<Конкретизирующие параметры используются также для вычисления <качества> конкретного структурного элемента изображения и <качества> выполнения данного отношения./DT>Построение и тестирование структурно-пятенных эталонов для классов распознаваемых объектов — процесс сложный и трудоемкий. База изображений, которая используется для отладки описаний, должна содержать примеры хороших и плохих (предельно допустимых) изображений для каждой графемы, а изображения базы разделяются на обучающее и контрольное множества.Разработчик описания предварительно задает набор структурных элементов (разбиение на пятна) и отношения между ними. Система обучения по базе изображений автоматически вычисляет параметры элементов и отношений. Полученный эталон проверяется и корректируется по контрольной выборке изображений данной графемы. По контрольной же выборке проверяется результат распознавания, то есть оценивается качество подтверждения гипотез.<Распознавание с использованием структурно-пятенного эталона происходит следующим образом. Эталон накладывается на изображение, и отношения между выделенными на изображении пятнами сравниваются с отношениями пятен в эталоне. Если выделенные на изображении пятна и отношения между ними удовлетворяют эталону некоторого символа, то данный символ добавляется в список гипотез о результате распознавания входного изображения.

Программная архитектура системы технического зрения (СТЗ)

СТЗ является перепрограммируемым обучаемым автоматом, который решает задачи распознавания и идентификации объектов.

Аппаратные средства СТЗ включают в себя помимо устройств, входящих в рабочий комплекс, графический дисплей, видеоконтрольное устройство, накопитель на гибких магнитных дисках, печатающее устройство и отладочный комплекс с программатором. Такой комплекс позволяет быстро перепрограммировать рабочие комплексы, находящиеся от отладочного комплекса на значительном расстоянии.

Скорость перепрограммирования СТЗ для обработки изображений другого класса объектов определяется уровнем ее программного обеспечения, которое имеет модульную структуру и организовано в виде проблемно-ориентированной операционной системы. Ядро системы обеспечивает взаимодействие между программными модулями с использованием библиотеки подпрограмм (рис. 5.3).

Интерпретатор команд предназначен для преобразования команд оператора в формат команд системного ядра.

Справочник оператора по требованию программиста позволяет разъяснить возможности операционной системы, а также выдавать сообщения при неверном введении команды.

Программные модули связи обеспечивают сеть программы для обмена информацией между технологическим оборудованием и рабочим комплексом СТЗ.

Модуль управления работой видеодатчика связывает телекамеру с системой, выдает команды для выбора режима работы манипулятора и выполняет предварительное преобразование изображения: фильтрацию, определение контура и анализ связности.

Модуль тестовой проверки осуществляет оперативный контроль аппаратных и программных средств СТЗ.

Модуль вычисления признаков служит для описания отдельных деталей, выделенных при сегментации изображения и проводит их к стандартному списку параметров.

Модуль распознавания обеспечивает сравнение полученного списка параметров со списком, хранящимся в памяти микро ЭВМ.

Модуль обучения обеспечивает подготовку СТЗ к работе с другими объектами.

Программное обеспечение имеет также ряд вспомогательных модулей, обеспечивающих работу оператора. К числу их относится модуль управления файлами для обеспечения записи программ на магнитных дисках, модуль отображения для формирования массива данных, выводимых на графический дисплей или печать и модуль управления работой программатора для формирования и записи программ обработки изображений в ППЗУ.

Аппартаные Компоненты системы

Типовая система машинного зрения состоит из одной или нескольких цифровых или аналоговых камер (черно-белые или цветные) с подходящей оптикой для получения изображений, подсветки и объекта (рис. 4), оборудования ввода/вывода или каналы связи для доклада о полученных результатах. Кроме того, важна и программная составляющая систем машинного зрения, а именно программное обеспечение для подготовки изображений к обработке (для аналоговых камер это оцифровщик изображений), специфичные приложения программного обеспечения для обработки изображений и обнаружения соответствующих свойств.

Рис.4. Состав типовой системы машинного зрения

Матрица чувствительных элементов , входящих в состав видеокамеры, предназначена для получения цифрового изображения. В состав матрицы чувствительного элемента входит множество аналого-цифровых преобразователей, предназначенных для преобразования информации о световой интенсивности в цифровое значение.

Объектив позволяет камере фокусироваться на определенном расстоянии и получать четкое изображение объекта. В случае, когда объект находится вне фокусного расстояния, изображение получается нерезким (размытым, с нечеткими краями), что ухудшает возможность обработки видеоряда. В отличие от обычных цифровых фотоаппаратов с объективами, поддерживающими функции автофокусировки, в машинном зрении применяется оптика с фиксированным фокусным расстоянием или ручной настройкой фокуса. Существуют различные типы объективов для самых разных задач (стандартные, телескопические, с широким углом обзора, с увеличением и другие), и выбор правильного типа оптики — важный этап при проектировании системы машинного зрения.

Подсветка — еще один важный элемент в машинном зрении. Благодаря использованию различных типов освещения можно расширить круг задач, решаемых машинным зрением. Существует различные типы подсветок, но наиболее популярным является светодиодная — в связи с ее высокой яркостью. При этом современный уровень развития светодиодной техники обеспечивает большой срок службы устройства и малое энергопотребление.

Пример системы машинного чтения

Работает система по принципу <одной кнопки>. Это означает, что при нажатии кнопки <Сканируй и Распознавай> запускается весь процесс обработки документа: сканирование, фрагментация страницы на текстовые и графические блоки, распознавание текста, проверка орфографии и формирование выходного файла. Но что за всем этим стоит? Интеллектуальный алгоритм позволяет автоматически подобрать оптимальный уровень яркости сканера (адаптивное сканирование) в зависимости от фона документа, сохранить иллюстрации (или, в зависимости от решаемой задачи, удалить ненужные графические элементы для максимального сокращения последующего редактирования).В CuneiForm используется несколько методов подобного сопоставления. Во-первых, образ каждого символа раскладывается на отдельные элементы — события. К примеру, событием является фрагмент от одной линии пересечения до другой. Совокупность событий представляет собой компактное описание символа.Другие методы основаны на соотношении <масс> отдельных элементов символов и описании их характерных признаков(закругления, прямые, углы и т. д.). По каждому из этих описаний существуют базы данных, в которых находятся соответствующие эталоны. Поступающий на обработку элемент изображения сравнивается с эталоном. А затем на основании этого сравнения решающая функция выносит вердикт о соответствии изображения конкретному символу. Кроме того, существуют алгоритмы, которые позволяют работать с текстами низкого качества. Так, для разрезания <склеенных> символов существует метод оценки оптимальных разбиений. И наоборот, для соединения "рассыпаных" элементов разработан механизм их соединения.В CuneiForm'96 мы впервые применили алгоритмы самообучения (или адаптивного распознавания). Принцип их работы состоит в следующем. В каждом тексте присутствуют четко и нечетко пропечатанные символы. Если после того как система распознала текст (как это делает обычная система, например предыдущая версия OCR CuneiForm 2.95), выясняется, что точность оказалась ниже пороговой, производится дораспознавание текста на основе шрифта, который генерируется системой по хорошо пропечатанным символам. Здесь разработчики соединили достоинства двух типов систем распознавания: омнии мультишрифтовые. Напомним, что первые позволяют распознавать любые шрифты без дополнительного обучения, вторые же более устойчивы при распознавании низкокачественных текстов. Результаты применения Cunei-Form'96 показали, что использование самообучающихся алгоритмов позволяет поднять точность распознавания низкокачественных текстов в четыре-пять раз! Но главное, пожалуй, в том, что самообучающиеся системы обладают гораздо большим потенциалом повышения точности распознавания.Важную роль играют методы словарного и синтаксического распознавания и, по сути, служат мощным средством поддержки геометрического распознавания. Но для их эффективного использования необходимо было решить две важные задачи. Во-первых, реализовать быстрый доступ к большому (порядка 100000 слов) словарю. В результате удалось построить систему хранения слов, где на хранение каждого слова уходило не более одного байта, а доступ осуществлялся за минимальное время. С другой стороны, потребовалось построить систему коррекции результатов распознавания, ориентированную на альтернативность событий (подобно системе проверки орфографии). Сама по себе альтернативность результатов распознавания очевидна и обусловлена хранением коллекций букв вместе с <оценками соответствия>. А словарный контроль позволял изменять эти оценки, используя словарную базу. В итоге применение словаря позволило реализовать схему дораспознавания символов.Сегодня наряду с задачами повышения точности распознавания на передний план выходят вопросы расширения сфер применения OCR-технологий, соединения технологий распознавания с архивными системами. Иными словами, мы переходим от монопрограммы, выполняющей функции ввода текста, к автоматизированным комплексам, решающим задачи клиента в области документооборота. Вот уже около полугода CuneiForm поставляется в комплекте с сервером распознавания CuneiForm OCR Server, предназначенным для коллективного ввода данных в организациях, а электронный архив <Евфрат>, включающий модуль распознавания, за короткое время приобрел большую популярность.С таким прицелом создавался и комплект CuneiForm'96i Professional, существенно изменивший представления о системах распознавания в целом.

Распознавание рукописных текстов

Очевидно, проблема распознавания рукописного текста значительно сложнее, чем в случае с текстом печатным. Если в последнем случае мы имеем дело с ограниченным числом вариаций изображений шрифтов (шаблонов), то в случае рукописного текста число шаблонов неизмеримо больше. Дополнительные сложности вносят также иные соотношения линейных размеров элементов изображений и т. п.

И все же сегодня мы можем признать, что основные этапы разработки технологии распознавания рукописных (отдельные символы, написанные от руки) символов уже пройдены. В арсенале Cognitive Technologies имеются технологии распознавания всех основных типов текстов: стилизованных цифр, печатных символов и <рукопечатных> символов. Но технологии ввода <рукопечатных> символов потребуется еще пройти стадию адаптации, после чего можно будет заявить, что инструментарий для потокового ввода документов в архивы действительно реализован полностью.

примеры систем машинного зрения

Видеонаблюдение

Автоматические и автоматизированные системы видеонаблюдения являются одной из ключевых составляющих современных комплексных систем безопасности. Задача видеонаблюдения подразумевает визуальный контроль заданной области пространства при помощи одной или нескольких видеокамер, позволяющий сохранять и просматривать цифровые видеоданные, а также постоянно оценивать состояние контролируемой территории, выделяя так называемые охранные события.

Охранное видеонаблюдение сегодня имеет два самых важных направления развития — полный переход на цифровые системы видеонаблюдения и развитие функций видеоаналитики. Цифровое (IP) видеонаблюдение предполагает отказ от аналоговых камер и средств передачи данных. Видеоаналитика представляет развитие функций систем видеонаблюдения, позволяя сократить объем регистрируемых данных.

Система обнаружения и сопровождения движущихся объектов по признаку их движения

Технология детектирования движения в поле зрения камеры, или motion detection, стала одной из первых коммерческих технологий на потребительском рынке Web-камер [Морзеев, 2002] . Принцип работы технологии очень простой, поскольку предполагается, что камера неподвижна, а следовательно, неподвижен и фон. Движутся только объекты. Хотя существуют и такие технологии, которые позволяют детектировать движущиеся объекты на движущемся фоне.

У систем обнаружения и сопровождения движущихся объектов могут быть различные функции, такие как:

• • обнаружение новых объектов сцены наблюдения;
• • обнаружение пропавших объектов сцены наблюдения;
• • регистрация новой сцены наблюдения;
• • контроль отсутствия сдвигов камеры относительно сцены наблюдения.

Система считывания регистрационных номеров автомобилей

Как уже говорилось, одной из функций систем видеонаблюдения является считывание идентификационных меток объектов, прежде всего – номеров транспортных средств, пересекающих зону наблюдения.

• • регистрация появления автомобиля (подсчет автомобилей);
• • выделение номерного знака;
• • распознавание символов номерного знака;
• • сохранение распознанного номера в базе данных.

Биометрия

В последние годы во всем мире наблюдается все возрастающий интерес к методам распознавания и идентификации личности. Основные пути и способы решения этих задач лежат в области разработки биометрических систем. В биометрических системах для распознавания человека используется совокупность биометрических характеристик, основанных на биологических особенностях человеческого тела. В качестве таких биометрических характеристик могут выступать голос, почерк, отпечатки пальцев, геометрия кисти руки, рисунок сетчатки или радужной оболочки глаза, лицо и ДНК.

Биометрическая защита более эффективна в сравнении с такими методами, как использование паролей, PIN-кодов, смарт-карт поскольку биометрия позволяет идентифицировать именно конкретного человека, а не устройство. Традиционные методы защиты не исключают возможности потери или кражи информации, вследствие чего она становится доступной незаконным пользователям. Уникальный биометрический идентификатор, каковым является, например, отпечаток пальца или изображение лица, служит ключом, который невозможно потерять.

Биометрическая система безопасности позволяет отказаться от парольной защиты либо служит для ее усиления. Одной из основных причин, которые существенно повысили значимость автоматической обработки и анализа биометрической информации, явилось повышение требований к функциональным возможностям автоматических систем безопасности, расположенных в общественных местах (вокзалы, супермаркеты и т. п.)

1. Система обнаружения и распознавания лиц

технология обнаружения и распознавания лиц по двумерным изображениям, включает три основных модуля:

• • детектирование (обнаружение) лиц;
• • индексация (кодирование и последующий быстрый поиск лиц в базе);
• • идентификация лиц.

2. Система распознавания жестов руки человека

Распознавание жестов представляет собой обширную область приложений компьютерного зрения. Под «жестами» в широком смысле понимаются любые движения человеческого тела. В узком смысле обычно подразумеваются некоторые характерные движения рук человека, имеющие в определенной предметной области какие-либо определенные семантические значения. Распознавание жестов может использоваться для построения различного рода человеко-машинных интерфейсов, управления различными техническими средствами и системами виртуальной реальности.

В качестве простого примера можно рассмотреть систему распознавания жестов руки человека по изображениям от черно-белой видеокамеры низкого разрешения (рис.8). Система не требует предварительного обучения и устойчиво различает до 10 различных жестов

Рис.8. Простой пример системы распознавания жестов

Медицинские приложения

Особое место в области разработки систем компьютерного зрения занимают задачи медицинской диагностики. Основные задачи, которые должны решать здесь данные технологии, следующие: задача измерения объектов на рентгенограммах, компьютерных томограммах и современных цифровых ультразвуковых приборах, задача улучшения визуализации, задача восстановления трехмерных форм объектов. Наиболее современной и бурно развивающейся в области разработки медицинских диагностических приложений можно считать технологию, связанную с определением степени алкогольного и наркотического опьянения на основе анализа реакции зрачка пациента.

1. Системы для компьютерного анализа томографических изображений

При создании систем анализа томографических изображений общего назначения основной акцент делался на разработку процедур автоматической и полуавтоматической сегментации изображений. Реализованная схема алгоритма сегментации включает:

• первичную гистограммную сегментацию методом статистического выделения мод;

• формирование связных областей с заданными характеристиками методом слияния/разбиения.

Специально разработанный для данного класса задач метод статистического выделения мод позволяет оценивать количество и степень выраженности мод гистограммы (рис.9), опираясь на соответствующий график статистической производной.

Рис.9. Пример автоматического разделения мод на гистограмме

Метод слияния/разбиения связных областей использует полученную на первом этапе разметку пикселей изображения в качестве стартового приближения, после чего происходит процесс итеративной релаксации с целью минимизации заданной энергетической функции. Алгоритм сегментации может быть использован как в автоматическом, так и в полуавтоматическом режиме. В этом случае врач-оператор может инициализировать процесс сегментации интересующих его объектов путем указания интересующих его точек.

Выводы

Динамичное развитие новых компьютерных технологий (сетевые технологии, технологии <клиент-сервер>, и т. д.) нашли свое отражение и в состоянии сектора электронного документооборота. Если раньше в продвижении технологий бесклавиатурного ввода делался упор на преимущества их персонального использования, то сегодня на первый план выходят преимущества коллективного и рационального использования технологий ввода и обработки документов. Иметь одну, обособленную систему распознавания сегодня уже явно недостаточно. С распознанными текстовыми файлами (как бы хорошо они распознаны ни были) нужно что-то делать: хранить в базе данных, осуществлять их поиск, передавать по локальной сети, и т. д. Словом, требуется взаимодействие с архивной или иной системой работы с документами. Таким образом, система распознавания превращается в утилиту для архивных и иных систем работы с документами.

С появлением сетевых версий систем сканирования (режим потокового сканирования OCR CuneiForm) и распознавания (сервер распознавания CuneiForm OCR Server) документов нашей компании уже удалось реализовать некоторые преимущества коллективного использования таких технологий в организациях разного масштаба. По этой причине, с нашей точки зрения, актуальным был бы разговор о комплексном решении компаниями проблемы автоматизации работы с документами в организациях самого различного ранга. Что касается Cognitive Technologies, то представляемый ею электронный архив <Евфрат> (система включает в себя возможность ввода документов с помощью OCR CuneiForm), новые утилиты, встроенные в OCR CuneiForm'96, и технологии, используемые при реализации крупных проектов, продолжают линию компании, направленную на расширение применения систем ввода информации и разработку технологий автоматизации работы с документами.

Вау!! 😲 Ты еще не читал? Это зря!

• беспилотные авто , uber , автопилот ,
• проблемы распознавания , проблемы распознавания образов , ошибки распознавания ,
• Беспилотный подводный аппарат
• беспилотный летательный аппарат , бла , бпла , беспилотник ,
• Гибридная навигация
• Автопилот
• Современные системы помощи водителю
• технологическая безработица , безлюдное производство ,
• Беспилотный наземный транспорт
• Блок обработки зрения
• Измерение гарантированного безопасного расстояния впереди
• Электронный контроль устойчивости
• Система Precrash

На этом все! Теперь вы знаете все про системы машинного зрения, Помните, что это теперь будет проще использовать на практике. Надеюсь, что теперь ты понял что такое системы машинного зрения, компьютерное зрение, техническое зрение, машинное зрение и для чего все это нужно, а если не понял, или есть замечания, то нестесняся пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Распознавание образов

Ответы на вопросы для самопроверки пишите в комментариях, мы проверим, или же задавайте свой вопрос по данной теме.

Что такое машинное зрение?

Машинное зрение — это технология, которую машины используют для автоматического распознавания изображений и их точного и эффективного описания. Сегодня компьютерные системы имеют доступ к большому объему изображений и источников данных, полученных со смартфонов, дорожных камер, систем безопасности и других устройств или созданных ими. Приложения машинного зрения используют искусственный интеллект и машинное обучение (AI/ML) для точной обработки этих данных для идентификации объектов и распознавания лиц, а также для классификации, рекомендаций, мониторинга и обнаружения.

Почему машинное зрение важно?

Хотя технология визуальной обработки информации существует уже некоторое время, большая часть процесса требовала вмешательства человека, занимала много времени и была сопряжена с ошибками. Например, внедрение системы распознавания лиц в прошлом требовало от разработчиков вручную помечать тысячи изображений точек с ключевыми данными, такими как ширина переносицы и расстояние между глазами. Автоматизация этих задач требует значительных вычислительных мощностей, поскольку данные изображений являются неструктурированными и сложными для упорядочения компьютерами. Таким образом, визуальные приложения были дорогими и недоступными для большинства организаций.

Сегодня прогресс в этой области в сочетании со значительным увеличением вычислительной мощности позволил улучшить как масштаб, так и точность обработки данных изображений. Системы машинного зрения, работающие на базе ресурсов облачных вычислений, теперь доступны каждому. Любая организация может использовать эту технологию для проверки личности, модерации контента, анализа потокового видео, обнаружения ошибок и многого другого.

Каковы варианты использования машинного зрения?

Многочисленные приложения машинного зрения используются в сфере развлечений, бизнеса, здравоохранения, транспорта и в повседневной жизни. Ниже мы рассмотрим некоторые примеры из практики:

Охрана и безопасность

Правительства и предприятия используют машинное зрение для повышения безопасности активов, площадок и объектов. Например, камеры и датчики следят за общественными пространствами, промышленными объектами и местами повышенной безопасности. Они отправляют автоматические предупреждения, если происходит что-то необычное, например, несанкционированное проникновение в запретную зону.

Точно так же машинное зрение может повысить личную безопасность как дома, так и на рабочем месте. Например, технология распознавания позволяет отслеживать множество проблем, связанных с безопасностью. К ним относятся домашние камеры, работающие в режиме реального времени и обнаруживающие домашних животных, или камеры, работающие в режиме реального времени и обнаруживающие посетителей или доставленные посылки. На рабочем месте такой мониторинг включает ношение работниками соответствующих средств индивидуальной защиты, предоставление информации системам оповещения или составление отчетов.

Эффективность работы

Машинное зрение позволяет анализировать изображения и извлекать метаданные для бизнес-аналитики, создавая возможности для получения дополнительной прибыли и повышения операционной эффективности. Например, оно может:

• Осуществлять автоматическую идентификацию дефектов качества до того, как продукция покинет завод
• Выявлять проблемы с техническим обслуживанием и безопасностью оборудования
• Анализировать изображения в социальных сетях, чтобы выявить тенденции и закономерности в поведении клиентов
• Проверять личность сотрудников с помощью автоматического распознавания лиц

Здравоохранение

Здравоохранение — одна из ведущих отраслей, использующих технологии машинного зрения. В частности, анализ медицинских снимков создает визуализацию органов и тканей, помогая медицинским работникам быстро и точно ставить диагнозы, что приводит к улучшению результатов лечения и увеличению продолжительности жизни. Пример

• Обнаружение опухолей путем анализа родинок и повреждений кожи
• Автоматический рентгеновский анализ
• Обнаружение симптомов с помощью МРТ

Автономные транспортные средства

Технология автономных транспортных средств использует машинное зрение для распознавания изображений в реальном времени и построения 3D-карт с помощью многочисленных камер, установленных на автономном транспорте. Оно может анализировать изображения и идентифицировать других участников дорожного движения, дорожные знаки, пешеходов или препятствия.

В полуавтономных транспортных средствах машинное зрение использует машинное обучение (ML) для мониторинга поведения водителя. Например, оно ищет признаки рассеянности, усталости и сонливости в зависимости от положения головы водителя, движения глаз и движения верхней части тела. Если технология улавливает определенные предупреждающие знаки, она сигнализирует водителю и таким образом снижает вероятность дорожно-транспортного происшествия.

Сельское хозяйство

Приложения машинного зрения, обеспечивающие повышение производительности и снижение затрат благодаря интеллектуальной автоматизации, улучшают общее функционирование сельскохозяйственного сектора. Спутниковые снимки, а также кадры с БПЛА помогают анализировать обширные участки земли и совершенствовать методы ведения сельского хозяйства. Приложения машинного зрения автоматизируют такие задачи, как мониторинг полевых условий, выявление заболеваний сельскохозяйственных культур, проверку влажности почвы и прогнозирование погоды и урожайности. Мониторинг животных с помощью машинного зрения — еще одна ключевая стратегия умного сельского хозяйства.

Как работает машинное зрение?

Системы машинного зрения используют технологию искусственного интеллекта (ИИ) для имитации возможностей человеческого мозга, отвечающих за распознавание и классификацию объектов. Специалисты по информатике обучают компьютеры распознавать визуальные данные, вводя огромное количество информации. Алгоритмы машинного обучения (ML) выявляют общие закономерности на этих изображениях или видео и применяют полученные знания для точной идентификации неизвестных изображений. Например, если компьютеры обработают миллионы изображений автомобилей, они начнут создавать идентичные шаблоны, которые позволят точно определить автомобиль на изображении. Машинное зрение использует такие технологии, как приведенные ниже.

Глубокое обучение

Глубокое обучение — это тип машинного обучения, в котором используются нейронные сети. Нейронные сети глубокого обучения состоят из множества слоев программных модулей, называемых искусственными нейронами, которые работают вместе внутри компьютера. Они используют математические расчеты для автоматической обработки различных аспектов данных изображения и постепенно вырабатывают комбинированное понимание изображения.

Сверточные нейронные сети

Сверточные нейронные сети (CNN) используют систему меток для категоризации визуальных данных и понимания всего изображения. Они анализируют изображения в пикселях и присваивают каждому пикселю метку. Это значение вводится, чтобы выполнить математическую операцию, называемую сверткой, и сделать прогнозы относительно изображения. Подобно человеку, пытающемуся распознать объект на расстоянии, CNN сначала определяет контуры и простые формы, а затем заполняет их дополнительными деталями, такими как цвет, внутренние формы и текстура. Наконец, он повторяет процесс прогнозирования в течение нескольких итераций для повышения точности.

Рекуррентные нейронные сети

Рекуррентные нейронные сети (RNN) похожи на CNN, но могут обрабатывать серию изображений для поиска связей между ними. В то время как CNN используются для анализа отдельных изображений, RNN могут анализировать видео и понимать взаимосвязи между изображениями.

В чем разница между машинным зрением и обработкой изображений?

Обработка изображений использует алгоритмы для изменения изображений, включая повышение резкости, сглаживание, фильтрацию или повышение качества. Компьютерное зрение отличается тем, что оно не изменяет изображение, а наоборот, осмысливает то, что видит, и выполняет задачу, например, маркировку. В некоторых случаях можно использовать обработку изображений для изменения изображения, чтобы система машинного зрения могла лучше его распознать. В других случаях вы используете машинное зрение для идентификации изображений или частей изображения, а затем используете обработку изображений для дальнейшего изменения изображения.

Какие общие задачи может выполнять машинное зрение?

Давайте рассмотрим ниже несколько примеров задач машинного зрения, которые могут реализовать организации.

Классификация изображений

Классификация изображений позволяет компьютерам увидеть изображение и точно определить, к какому классу оно относится. Машинное зрение понимает типы изображений и соответственно маркирует их, например деревья, самолеты или здания. Например, камера может распознавать лица на фотографии и фокусироваться на них.

Обнаружение объектов

Обнаружение объектов — это задача машинного зрения для обнаружения и локализации изображений. Программа использует классификацию для идентификации, сортировки и организации изображений. Обнаружение объектов используется в промышленных и производственных процессах для управления автономными приложениями и мониторинга производственных линий. Производители камер для подключенных домов и поставщики услуг также используют функцию обнаружения объектов для обработки видео потоков с камер в реальном времени, чтобы обнаруживать людей и объекты в режиме реального времени и предоставлять предупреждения конечным пользователям.

Отслеживание объектов

Отслеживание объектов использует модели глубокого обучения для идентификации и отслеживания предметов, входящих в различные категории. Эта технология имеет несколько реальных применений в различных отраслях. Первым элементом процесса отслеживания объектов является обнаружение объекта; вокруг объекта создается ограничивающая рамка, ему присваивается идентификатор объекта, и его можно отслеживать по кадрам. Например, отслеживание объектов можно использовать для мониторинга дорожного движения в городской среде, наблюдения за людьми и медицинской визуализации.

Сегментирование

Сегментирование — это алгоритм машинного зрения, который идентифицирует объект путем разделения его изображений на разные области на основе видимых пикселей. Сегментирование также упрощает изображение, например, размещает форму или контур предмета, чтобы определить, что это такое. При этом сегментирование также распознает наличие нескольких объектов на изображении или в кадре.

Например, если на изображении есть кошка и собака, можно использовать сегментирование для распознавания этих двух животных. В отличие от обнаружения объекта, которое строит рамку вокруг объекта, при сегментировании отслеживаются пиксели для определения формы объекта, что облегчает его анализ и маркировку.

Извлечение данных изображений на основе контента

Извлечение данных изображений на основе контента — это применение методов машинного зрения, позволяющих искать конкретные цифровые изображения в больших базах данных. Он анализирует метаданные, такие как теги, описания, метки и ключевые слова. Семантический поиск использует такие команды, как «найти фотографии зданий», для получения соответствующего контента.

Как AWS помогает в решении задач машинного зрения?

AWS предоставляет самый широкий и полный набор услуг искусственного интеллекта и машинного обучения (AI/ML), подключенных к обширному набору источников данных, для клиентов любого уровня квалификации.

Для клиентов, использующих фреймворки и управляющих собственной инфраструктурой, мы оптимизируем версии самых популярных фреймворков глубокого обучения, включая PyTorch, MXNet и TensorFlow. AWS предоставляет широкий и углубленный портфель вычислительных, сетевых услуг и услуг ML инфраструктуры хранения данных с возможностью выбора процессоров и ускорителей для удовлетворения уникальных потребностей в производительности и бюджете.

Для клиентов, которые хотят создать стандартное решение в области машинного зрения для своего бизнеса, Amazon SageMaker упрощает подготовку данных, построение, обучение и развертывание ML-моделей для любого случая использования с помощью полностью управляемой инфраструктуры, инструментов и рабочих процессов, включая предложения без кода для бизнес-аналитиков.

Для клиентов, которым не хватает навыков машинного обучения, которым требуется ускорить вывод на рынок или которые хотят добавить интеллект в существующий процесс или приложение, AWS предлагает ряд сервисов машинного зрения на основе ML. Эти сервисы позволяют легко добавлять интеллектуальные данные в приложения искусственного интеллекта с помощью предварительно обученных API. Amazon Rekognition автоматизирует анализ изображений и видео с помощью машинного обучения и анализирует миллионы изображений, прямых трансляций и сохраненных видео за считанные секунды. Amazon Deep Lens — первая в мире видеокамера с поддержкой глубокого обучения, позволяющая разработчикам изучать основы глубокого обучения с помощью проектов машинного зрения, учебных пособий и практических исследований в реальном мире на физическом устройстве.

Начните работать с системами машинного зрения, создав бесплатный аккаунт AWS уже сегодня.

Что такое машинное зрение

Технология машинного зрения позволяет промышленному оборудованию «видеть» и анализировать объекты, а также взаимодействовать с ними, что в свою очередь помогает повысить качество изготавливаемой продукции, сократить расходы на производство, а также упростить задачи.

Чем машинное зрение отличается от технического или компьютерного?

Начнем с терминологии. В русском языке существует как минимум три близких до смешения определения: зрение машинное, компьютерное и техническое. В английском — получили распространение всего два: машинное (Machine Vision) и компьютерное (Computer Vision). Давайте попытаемся разобраться — в чем разница?

Начнем с английских определений – их меньше. Термин «Машинное зрение» (Machine Vision), как правило, употребляется при описании систем и технологий, используемых в промышленной автоматизации, т.е. там, где используются «машины» в их наиболее широком понимании: техника как механизмы или устройства, выполняющие какую-либо работу. Термин «компьютерное зрение», на наш взгляд, несет несколько иную смысловую нагрузку: в первую очередь речь идет об использовании вычислительной машины — компьютера как основного элемента таких систем. Системы машинного зрения находят применение не только в промышленности (технике), но и в медицине (подсчет эритроцитов, иридодиагностика и др.), в задачах охраны и безопасности (распознавание номеров, лиц) и других. Основной упор в компьютерном зрении делается скорее на алгоритмическую часть, математику, нежели на области его практического применения.

В русскоязычном варианте термин «компьютерное зрение» полностью повторяет свое значение. А вот термин «машинное зрение» в переводе на русский язык наследует немного иное понимание. В общеупотребительной практике «машина» ассоциируется скорее со словом «автомобиль» нежели с более общим термином «техника». Например, стиральная машина — но бытовая техника. Вероятно, именно поэтому у нас появилась еще одна интерпретация, свободная от этой двусмысленности: техническое зрение. На наш взгляд, она в полной мере является аналогом английского термина «машинное» зрение и наравне с последним может употребляться для определения промышленных систем, использующих зрение во всех его проявлениях. Итак, ниже пойдет речь собственно о системах машинного или технического зрения.

Преимущества машинного зрения

Машинное зрение повышает эффективность работы компании, производительность и экономит денежные средства. Внедрение на производстве систем машинного зрения существенно повышает его конкурентоспособность, что обусловлено целым рядом очевидных преимуществ роботизированного труда:

1. Компьютерное зрение идеально подходит для рутинных, повторяющихся задач, на которых человек способен легко потерять концентрацию внимания и допустить ошибку;
2. В сферах, требующих высокой точности, таких как фармацевтика и машиностроение, машинное зрение гарантирует абсолютную точность выполнения задач;
3. Значительное преимущество машинного зрения перед человеческим трудом — это способность компьютера к выявлению на изображениях миллионы оттенков и градаций цветов, недоступных человеческому глазу;
4. Машинное зрение способно одновременно воспринимать огромное множество объектов, что не только уменьшает время выполнения задач, но и расширяет функционал возможностей.

Задачи машинного зрения

1. соответствие качества продукции;
2. обнаружение и поиск объектов, измерение размеров;
3. управление инструментами (машиной, роботом и т.д.);
4. тестирование и калибровка;
5. управление производственными процессами в режиме реального времени;
6. сбор, распознавание и идентификация информации, сравнение с заданным шаблоном;
7. мониторинг оборудования;
8. восстановление изображений;
9. считывание штрихкодов;
10. сортировку/подсчет объектов;
11. Цветовой анализ.

1. Получения изображений;
2. Обработки изображений.

Компоненты системы машинного зрения

1. вычислитель (тот или иной процессор, графический сопроцессор, DSP или ПЛИС);
2. математические алгоритмы, которые на этом вычислителе работают.

1. видеокамера;
2. тепловизионная камера;
3. лазерный 3D сканер;
4. TOF камера;
5. и многие другие.

1. Оборудование ввода-вывода;
2. Система освещения;
3. Объективы для камеры.

Выбор компонентов машинного зрения

Выбор неправильного технического решения для получения изображения очень трудно компенсировать самыми сложными математическими алгоритмами. К сожалению, не последнюю роль в совершении ошибки играет наш собственный опыт: человеку не составляет труда без всех этих «премудростей» получить (увидеть) и обработать картинку. Это происходит как нам кажется мгновенно и требует куда меньших усилий, чем решение квадратного уравнения, с которыми компьютер справляется оперативнее нас. Из чего мы делаем простой, но неправильный вывод: получение и обработка изображений для компьютера – не очень сложная задача, ведь он такой «умный». Но это совсем не так. Несмотря на очевидный прогресс в вычислительных возможностях, цифровых камерах и алгоритмах современные системы машинного зрения не способны «легко» решать задачи, которые человеку кажутся пустяковыми.

Мы склонны недооценивать возможности нашего мозга и зрения. В этом кроется источник ряда неудач и разочарований от попыток использования систем машинного зрения в промышленных задачах. Производители оборудования часто не обращают внимание своих потребителей на то обстоятельство, что даже самая совершенная камера с последним программным обеспечением есть необходимая, но не достаточная составляющая успеха. Совершенный фотоаппарат еще никого в одночасье не сделал профессиональным фотографом. Несмотря на ряд «помощников» (автоэкспозиция, автофокус) нужны знания и немалый опыт для выбора времени и точки съемки, освещения, диафрагмы и точки фокуса для получения хорошего снимка. При этом, как правило, не ставится цели получить повторяемость картинки объекта с детализацией вне зависимости от его цвета, внешней засветки или поворота, избежать теней, неравномерности освещения, скрыть или подчеркнуть дефекты формы или поверхности – т.е. максимально облегчить последующую обработку, повысить надежность и достоверность работы алгоритмов. А ведь это лишь малая толика вопросов, без которых работа систем машинного зрения не будет эффективна.

Из вышесказанного следует неутешительный вывод: при всей кажущейся тривиальности задачи визуального контроля построение работающей системы машинного зрения требует вовлечение профессионалов на самых ранних стадиях, начиная с подбора оборудования и до его установки, обучения алгоритмов и последующего сопровождения. Не стоит доверяться продавцам, убеждающим: вот эта «чудо-камера» решит все ваши проблемы. Практический опыт и знания, полученные при создании систем технического зрения, работающих на производстве, важны как в никакой другой прикладной инженерной области в силу изначальной высокой степени неопределенности условий и объекта исследования. Соответствует этому (в прямом и переносном смыслах) ценность и инженеров, и компаний, обладающих таким опытом. Это ли не повод молодым специалистам задуматься об области приложения своих усилий?

Применение машинного зрения: примеры

Рассмотрим практический пример применения машинного зрения.
Даже, казалось бы, в простых вопросах визуального контроля баночек с соком на конвейере или ампул с лекарством может возникнуть ряд моментов, требующих системного подхода и определенного опыта. К примеру, вызывает неподдельное удивление тот факт, что контроль акцизной марки, наклеенной на круглой бутылке вертикально и горизонтально, требует разных технических решений. Для более развернутой иллюстрации давайте рассмотрим задачу чуть посложнее. Например, интеграция технического зрения в систему электрических испытаний пленочных конденсаторов в их массовом производстве. Предмет испытаний выбран из нашей практики, но может быть легко заменен на меньшие или большие объекты из любой производственной области, будь то пищевая промышленность или автомобилестроение. Итак, помимо собственно электрических (или каких-то других) испытаний необходимо решить следующие, типовые для технического зрения, задачи:

1. Визуальный контроль поверхности, формы;
2. Управление машинами и механизмами подачи, в данном проекте это промышленные роботы;
3. Учет (идентификация, сортировка, маркировка и пр.).

В рассматриваемом примере конденсаторы представляют собой объекты прямоугольной формы с размерами граней от 3 до 20мм двух типов: выводной — и вариант для поверхностного монтажа, т.е. без ножек – выводов. Выводной, в свою очередь, разделяется на два типа корпуса: собственно, корпусной и окукленный. Корпусной имеет строго ортогональные формы параллелепипеда, окукленный – некоей округлой формы, похожей на прямоугольный леденец с овальными гранями. Все они отличаются размером корпуса, его цветом, а выводные – еще и диаметром, длиной выводов и расстоянием между ними. Кроме того, выводы могут быть расположены с разных сторон или с одной.

1. Взять объект из «кучи»;
2. Проверить его тип (по форме и маркировке);
3. Оценить состояние корпуса на предмет видимых повреждений, царапин, сколов;
4. Переместить в станцию электрических испытаний;
5. Провести электрические испытания;
6. Переместить из станции электрических испытаний в соответствующий лоток в зависимости от результата испытаний (Отбраковка и сортировка по номиналу).

Рисунок 2. Схема размещения оборудования установки комплексных испытаний пленочных конденсаторов

Установка должна работать со всеми типами конденсаторов без существенной переналадки, а лучше и вовсе без нее. Рассмотрим наиболее сложный вариант с окукленными конденсаторами (т.е. имеющими форму корпуса отличную от прямоугольной в двух сечениях).

Для захвата конденсатора из «кучи» используется картинка с камеры, расположенной над «светящимся» участком вибростола, осуществляющего подачу. Алгоритм выделяет на изображении «свободный» конденсатор и передает его координаты для захвата роботу, оснащенному пневматической присоской. В случае отсутствия свободного конденсатора на контроллер стола подачи посылается команда на «встряхивание», после чего анализируется новая картинка. Процедура повторяется, пока в поле зрения не появится изделие для захвата.

Рисунок 3. Вибростол anyfeed для автоматизированной подачи небольших изделий с использованием системы машинного зрения

Робот перемещает захваченный объект в первую зону контроля, где, помимо оценки формы корпуса, длины и расположения выводов, определяется его соответствие заданному программой типу.

Пневматический захват позволяет манипулировать объектами разной формы и размера, но при этом получается большой разброс фактического положения изделия в захвате. Кроме того, выводы конденсатора могут быть смещены в ту или иную стороны. Для определения ошибки позиционирования применяется система машинного зрения, оценивающая фактическое положение изделия в захвате в координатах робота. Для оценки смещений в третьем измерении используется триангуляционный принцип с дополнительной лазерной подсветкой. Таким образом, на следующей операции достигается требуемая точность размещения элемента в механическом захвате. В некоторых случаях принимается решение о невозможности манипуляций с данным образцом, и он отправляется в брак или в контейнер для «ручной» обработки.

Рисунок 4. Компактный, недорогой SCARA робот

Механический захват с пневматическим приводом осуществляет выравнивание выводов для последующего размещения прибора в разъеме станции электрического тестирования и передает изделие для последующих манипуляций второму роботу.

Рисунок 5. Исключение перспективных искажений при использовании телецентрической оптики (вверху) в сравнении с обычным объективом (внизу).
Одинаковые болты расположены на разном расстоянии от камеры. Деталь слева – цилиндр, вытянутый вдоль оси объектива.

Для повышения достоверности контроля корпуса округлой формы применяются телецентрические объективы, которые позволяют не только точнее оценить геометрические размеры, но и увеличить глубину резкости изображения, что делает возможной работу с объектами разных размеров.

Для получения тех или иных характеристик применяются различные типы светодиодной подсветки: фоновый, диффузионный прямой свет, лазерная триангуляция.

Система перемещений работает в тесном взаимодействии с испытательной станцией и с подсистемами машинного зрения. Процесс электрических испытаний является самым длительным этапом – поэтому для повышения производительности установки важно, чтобы сюда поступали только изделия, успешно прошедшие все остальные проверки. На всех этапах контроля предусмотрена отбраковка изделия.

В зависимости от результатов испытаний конденсаторы могут быть отсортированы по номиналу или другим рабочим характеристикам.

Выбор оборудования и средств разработки систем машинного зрения

1. Устройство подачи, вибростол Anyfeed (Швейцария), управляется по последовательному каналу;
2. Системы захвата изображения оснащаются цифровыми камерами ace (Basler AG, Германия) с различными объективами в зависимости от выбранного разрешения и объекта съемки. Интерфейс Ethernet со встроенными цепями питания (PoE) обеспечивает требуемую гибкость – подключение камер осуществляется по одному кабелю с использованием сетевого концентратора;
3. На нескольких постах контроля применяются телецентрические объективы (OptoEngineering Srl, Италия), в остальных случаях — обычные объективы среднего ценового диапазона;
4. Общая синхронизация и управление механизмами и роботами осуществляется с использованием набора дискретных датчиков и промышленного контроллера cRIO (National Instruments Corp., США);
5. Станция электрических испытаний построена на базе промышленной измерительной платформы PXI и модульных приборов National Instruments Corp., США.

Отличительной особенностью данной установки стал тот факт, что прикладное программное обеспечение всех подсистем разрабатывается в одной графической среде программирования LabVIEW (National Instruments Corp., США). Помимо традиционных для LabVIEW задач:

1. Программа электрических испытаний;
2. Программирование контроллера cRIO;
3. Интерфейс оператора;

за счет дополнительных библиотек реализуются:

1. Захват и обработка изображений (библиотека NI Vision от National Instruments;
2. Управление промышленными роботами (библиотека от DigiMetrix GmbH, Германия).

Рисунок 6. Пример программирования промышленного робота в LabVIEW.

Единое средство разработки систем машинного зрения позволяет не только сократить затраты на создание (работает одна команда разработчиков или несколько – они «говорят» на одном языке), но и в значительной степени повышает надежность работы прикладного программного обеспечения, поскольку не требует интеграции нескольких различных программ, разработанных на разных языках.

Разработка систем машинного зрения: выводы

Успешная разработка и внедрение машинного зрения в производственный процесс — достаточно сложная инженерная задача, при всей кажущейся ее простоте. Но это не должно стать препятствием для освоения современных технологий, т.к. актуальность машинного зрения стремительно растет.

Если вы решили самостоятельно построить систему технического зрения, то будьте готовы к тому, что успех придет не сразу. Как правило, это итеративный процесс, состоящий из многочисленных экспериментов с камерами, светом и алгоритмами обработки изображений. На рынке представлено большое количество средств разработки, которые позволяют «без программирования» решать типовые задачи, однако все они требуют времени на освоение. Кроме того, каждый объект исследования нуждается в собственном, индивидуальном подходе к поиску оптимального технического решения.

Самый простой способ сократить количество проблем на начальном этапе – описать свою задачу поставщику компонентов будущей системы. Профессиональные советы помогут вам избежать очевидных ошибок. Если вам предлагают «чудо-камеру», легко решающую любые задачи – попросите это продемонстрировать на вашем образце и убедитесь в том, что это действительно «легко и просто». Если вы не уверены в своих силах или если у вас есть более важные занятия – поручите решение вопроса людям, имеющим практический опыт работы с системами технического зрения и их интеграции в машины и производственные процессы.