Введение .................................................................................................. 10
1
Машинное зрение, LabVIEW и NI Vision ................................................14
1.1. Проблематика машинного зрения.................................................14
1.1.1. Задачи машинного зрения ........................................................... 15
1.1.2. Уровни и методы машинного зрения...........................................16
1.1.3. Сопряженные технические дисциплины ......................................17
1.1.4. Требования к алгоритмам машинного зрения .............................19
1.1.5. Роль специальных программных средств в разработке
приложений машинного зрения ............................................................ 22
1.2. Знакомство с LabVIEW .................................................................... 24
1.3. Знакомство с NI Vision .................................................................... 44
1.3.1. Платформа NI Vision: захват, обработка и анализ изображений
в LabVIEW .............................................................................................. 44
1.3.2. Функции NI Vision ........................................................................ 45
1.4. Знакомство с Vision Assistant..........................................................50
1.4.1. Начало работы с Vision Assistant .................................................50
1.4.2. Пример работы в Vision Assistant ................................................ 52
1.4.3. Экспорт проекта в LabVIEW ......................................................... 56
2
Цифровые изображения ........................................................................ 59
2.1. Растровое изображение ................................................................ 59
2.1.1. Изображение как двумерный массив данных .............................. 59
2.1.2. Алгебраические операции над изображениями ............................62
4 Обработка и анализ цифровых изображений с примерами Содержание 5
2.2. Виды изображений.......................................................................... 75
2.2.1. Физическая природа изображений .............................................76
2.2.2. Тип пикселя.................................................................................. 81
2.3. Устройства оцифровки и ввода изображений ............................. 84
2.3.1. Линейки и матрицы, сканеры и камеры ....................................... 84
2.3.2. Геометрия изображения .............................................................. 87
2.3.3. Цифровые и аналоговые устройства ........................................... 88
2.3.4. Пространственное разрешение ................................................. 89
2.3.5. Программное обеспечение ........................................................91
2.4. Форматы хранения и передачи цифровых изображений ...........92
2.4.1. Методы сжатия цифровых изображений .....................................94
2.4.2. Формат BMP ................................................................................96
2.4.3. Формат PCX .................................................................................99
2.4.4. Формат GIF ..................................................................................99
2.4.5. Формат TIFF .............................................................................. 100
2.4.6. Формат JPEG ............................................................................ 101
2.4.7. Формат DICOM ......................................................................... 105
2.5. Цифровые видеопоследовательности ....................................... 106
2.5.1. Скорость съемки ...................................................................... 107
2.5.2. «Смаз» изображения ................................................................ 108
2.5.3. Этапы проектирования системы видеосъемки .......................... 109
2.5.4. Быстрая съемка и съемка быстропротекающих процессов ..... 111
2.5.5. Форматы хранения и передачи цифровых
видеопоследовательностей ............................................................... 112
3
Методы обработки изображений ......................................................118
3.1. Гистограмма и гистограммная обработка. Бинаризация
и сегментация. Профили и проекции ................................................ 119
3.1.1. Гистограмма и гистограммная обработка изображений .......... 121
3.1.2. Бинаризация полутоновых изображений ...................................137
3.1.3. Адаптивная бинаризация ...........................................................137
3.1.4. Сегментация многомодальных изображений ............................ 141
3.1.5. Обработка цветных изображений ............................................ 141
3.1.6. Профиль вдоль линии и анализ профиля ....................................151
3.1.7. Проекция и анализ проекции ................................................... 160
3.2. Фильтрация изображений. Ранговая нелинейная фильтрация.
Выделение объектов ............................................................................163
3.2.1. Задача фильтрации изображений ..............................................163
3.2.2. Фильтрация бинарных изображений .........................................168
3.2.3. Нелинейная фильтрация полутоновых изображений .................175
3.2.4. Задача выделения объектов интереса .......................................... 180
3.3. Линейная фильтрация изображений. Линейная фильтрация
в пространственной области. Преобразование Фурье.
Линейная фильтрация в частотной области .......................................184
3.3.1. Линейная фильтрация изображений. Линейная фильтрация
в пространственной области ..............................................................184
3.3.2. Преобразование Фурье. Линейная фильтрация в частотной
области .............................................................................................. 192
3.3.3. ВейвлетHанализ ......................................................................... 204
3.4. Выделение контуров на полутоновых изображениях ............... 216
3.4.1. Задача выделения контуров ...................................................... 216
3.4.2. Операторы выделения контуров в IMAQ Vision .........................222
3.5. Математическая морфология Серра (ММ) ..................................228
3.5.1. Теоретические основы математической морфологии .............. 229
3.5.2. Операции математической морфологии в IMAQ Vision.............239
4
Методы анализа изображений ............................................................251
4.1. Выделение и анализ связных областей ........................................251
4.1.1. Выделение связных областей на бинарных изображениях ........251
4.1.2. Методы сегментации полутоновых изображений ...................... 255
4.1.3. Геометрическое описание выделенных областей .................... 261
4.1.4. Выделение и анализ связных областей в IMAQ Vision ................265
4.2. Выделение геометрических примитивов ................................... 280
4.2.1. Методы выделения геометрических примитивов на основе
преобразования Хафа ........................................................................ 280
4.2.2. Выделение геометрических примитивов в IMAQ Vision ............ 285
4.3. Обнаружение объектов, заданных эталонами .......................... 296
4.3.1. Методы обнаружения объектов, заданных эталонами .............. 296
4.3.2. Функции привязки эталонов в IMAQ Vision ............................... 302
4.4. Измерения на изображениях ...................................................... 306
6 Обработка и анализ цифровых изображений с примерами Содержание 7
4.4.1. Функции геометрических измерений в IMAQ Vision ................ 306
4.4.2. Функции яркостных измерений в IMAQ Vision...........................311
4.5. Считывание символьной информации ........................................312
4.5.1. Задача оптического распознавания символов (OCR) .................312
4.5.2. Считывание штриховых кодов ................................................... 323
4.5.3. Считывание информации технических индикаторов .................. 332
4.6. Служебные функции пакета IMAQ Vision ..................................... 333
4.6.1. Ручные геометрические измерения и построения .................... 333
4.6.2. Работа c растровым изображением и областями интереса ...... 343
5
Цифровая фотограмметрия и бесконтактные измерения ............. 347
5.1. Методы цифровой фотограмметрии ...........................................347
5.1.1. Фотограмметрический метод бесконтактных трехмерных
измерений ..........................................................................................347
5.1.2. Математическая модель камеры ................................................ 348
5.1.3. Калибровка видеокамер ............................................................350
5.1.4. Внешнее ориентирование камер .............................................. 351
5.1.5. Решение задачи стереосоответствия при построении модели
поверхности. Структурированный подсвет ........................................ 352
5.1.6. Приведение координат точек снимков к нормальному случаю
съемки. Определение элементов взаимного ориентирования
по внешнему ....................................................................................... 354
5.1.7. Вычисление пространственных координат точек
поверхности ....................................................................................... 355
5.2. Фотограмметрический комплекс для бесконтактных
измерений на базе LabVIEW и PXI .......................................................356
5.2.1. Аппаратное обеспечение комплекса ........................................356
5.2.2. Программное обеспечение комплекса .................................... 360
6
Compact Vision System – новая промышленная платформа
для систем технического зрения .........................................................369
6.1. Compact Vision System (CVS) .......................................................368
6.1.1. Технические характеристики CVS .............................................368
6.1.2. Подключение и настройка CVS .................................................369
6.1.3. Создание приложения для CVS ..................................................374
6.2. Пример приложения: фотограмметрический комплекс
на базе CVS ...........................................................................................377
6.2.1. Аппаратное обеспечение комплекса ........................................377
6.2.2. Программное обеспечение комплекса .................................... 378
6.2.3. Пример сканирования детали ................................................... 388
7
Примеры практических систем машинного зрения .........................391
7.1. Автоматизация измерений и технический контроль ..................391
7.1.1. Система автоматического выделения и фильтрации следа
частиц .................................................................................................391
7.1.2. Система автоматизированного бесконтактного измерения
объема круглых лесоматериалов ........................................................392
7.1.3. Система определения гранулометрического состава рудной
массы (разработка ИИТ и ООО «НВП ЦентрHЭСТАгео») ....................394
7.1.4. Система автоматического измерения угла схождения
сварного шва ...................................................................................... 395
7.1.5. Система автоматического распознавания и подсчета
некондиционных кристаллов на круглой пластине ..............................396
7.1.6. Система компенсации геометрических искажений
и бесшовной сшивки изображений, получаемых
от многокамерных систем видеоввода ...............................................397
7.1.7. Система автоматизированного контроля
качества внутренней поверхности труб .............................................. 398
7.2. Зрение роботов ............................................................................399
7.2.1. Область применения: автомобильные системы ........................399
7.2.2. Область применения: мобильные роботы................................ 401
7.2.3. Система обнаружения препятствий на дороге перед
движущимся транспортным средством ............................................. 404
7.2.4. Система автоматической привязки телефрагментов
к ортофотоизображению ................................................................... 404
7.3. Видеонаблюдение ........................................................................ 405
7.3.1. Область применения: видеонаблюдение ................................. 405
7.3.2. Система обнаружения и сопровождения движущихся
объектов по признаку их движения .................................................... 406
8 Обработка и анализ цифровых изображений с примерами Содержание 9
7.3.3. Система стереообнаружения движения в зоне
видеонаблюдения .............................................................................. 411
7.3.4. Система считывания регистрационных номеров
автомобилей .......................................................................................412
7.3.5. Система считывания номеров железнодорожных вагонов
и цистерн ............................................................................................413
7.4. Биометрия......................................................................................414
7.4.1. Область применения: биометрия ..............................................414
7.4.2. Система обнаружения и распознавания лиц .............................421
7.4.3. Система трехмерной реконструкции и формирования
строго фронтального изображения лица человека .............................423
7.4.4. Система автоматического выделения человеческого лица
и слежения за его чертами ..................................................................425
7.4.5. Система распознавания жестов руки человека ......................... 426
7.4.6. Cистема для биомеханических исследований на основе
высокоскоростной стереосъемки движений человека ...................... 426
7.4.7. Система слежения за положением головы и направлением
взгляда ребенка ..................................................................................428
7.5. Обработка документов, распознавание текста и штриховых
кодов .................................................................................................... 429
7.5.1. Система автоматического поиска и считывания штриховых
кодов ................................................................................................. 429
7.5.2. Система автоматического распознавания машиночитаемых
документов ........................................................................................ 430
7.5.3. Система считывания номеров денежных банкнот ......................431
7.5.4. Система оценки подлинности денежных банкнот ......................432
7.5.5. Cистема для оценки ветхости денежных банкнот ....................... 433
7.6. Медицинские приложения ...........................................................434
7.6.1. Проекты в области анализа и обработки медицинских
изображений ......................................................................................434
7.6.2. Системы для компьютерного анализа томографических
изображений ...................................................................................... 435
7.6.3. Система компьютерного анализа томографических
изображений для диагностики воспалительных заболеваний пазух
и полости носа (синуитов) ..................................................................436
7.6.4. Система компьютерного анализа томографических
изображений для оценки степени ожирения у мужчин .......................436
7.6.5. Система компьютерного анализа медицинской
рентгенографической информации для ранней диагностики
остеопороза ....................................................................................... 438
7.6.6. Автоматизированное рабочее место врачаHрентгенолога ....... 438
7.6.7. Система телемедицины в области радиологических
обследований .................................................................................... 440
7.6.8. Модуль управления данными медицинского обследования
на основе технологии DICOM .............................................................441
Список литературы ...............................................................................442
Литература по машинному зрению ....................................................443
Литература по машинному зрению на русском языке ........................443
Литература по машинному зрению на английском языке....................445
Литература по LabVIEW и NI Vision.....................................................452
Литература по LabVIEW и NI Vision на русском языке .........................452
Литература по LabVIEW и NI Vision на английском языке .................... 453
Предметный указатель