АНАЛІЗ МЕТОДІВ ВИЯВЛЕННЯ РУХОМИХ ОБ’ЄКТІВ НА ЗОБРАЖЕННЯХ
12.04.2024 06:57
[1. Information systems and technologies]
Author: Баловсяк Сергій Васильович, доктор технічних наук, доцент,
Чернівецький національний університет імені Юрія Федьковича, м. Чернівці;
Гриник Назар Михайлович, аспірант,
Чернівецький національний університет імені Юрія Федьковича, м. Чернівці
Побудова якісних тривимірних моделей об’єктів є важливою для практики, а метод фотограмметрії дозволяє будувати такі моделі на основі серії фотографій об’єктів без застосування дороговартісного спеціалізованого обладнання [1]. Таким чином будуються 3D моделі різноманітних об’єктів: деталей, пристроїв, будинків, скульптур та ін. Для підвищення якості тривимірної моделі зображення об’єкта потрібно обробити: видалити фон і рухомі об’єкти, виділити ділянки дзеркальних, прозорих і напівпрозорих поверхонь та ін. Проте, у більшості випадків така попередня обробка зображень не виконується, що знижує якість отриманих 3D моделей. На експериментальних зображеннях часто присутні рухомі об’єкти, тому в даній роботі проведено аналіз методів виявлення рухомих об’єктів на зображеннях, які потенційно дозволяють підвищити якість побудованих 3D моделей.
Для автоматичного визначення руху обʼєктів на зображеннях застосовуються ряд методів [1, 2]: методи локального та глобального оптичного потоку; диференціальні методи оцінювання оптичного потоку (наприклад, метод Лукаса – Канаде); кореляційні методи (наприклад, блоковий метод і метод порівняння зображень на основі аналізу різниці яскравостей зображень); методи, засновані на кластеризації; методи на основі дескрипторів об’єктів (зокрема, засновані на детектуванні об’єктів методом Віоли-Джонса); методи з використанням штучних нейронних мереж (ШНМ).
Розглянемо приклади виявлення рухомих обʼєктів на зображеннях методом порівняння зображень та з використанням методу Віоли-Джонса. Цифрові зображення f обробляються як прямокутні матриці f = (f (i, k, c)), де i = 0, ..., M-1; k = 0, ..., N-1; c = 0, 1, 2; M – висота зображення в пікселях, N – ширина зображення в пікселях, c – номер каналу кольору [3]. Наприклад, для побудови тривимірної моделі колони отримано серію її зображень, серед яких проаналізуємо два (рис. 1). Розглянуто зображення №1 з рухомим об’єктом (людиною) (рис. 1а) та зображення №2 без рухомих об’єктів (рис. 1б). Методом порівняння зображень отримано різницю яскравостей зображень №1 та №2 (рис. 2а), а також обчислено корінь середньої квадратичної помилки (RMSE – Root Mean Square Error) між яскравостями зображень.
Рис. 1. Зображення № 1 (а) та зображення № 2 (б) колони корпусу № 5 Чернівецького національного університету
Рис. 2. Виділення рухомого обʼєкту на зображенні: а) на основі різниці (за модулем) зображень №1 та №2 (рис. 1); б) методом Віоли-Джонса
На зображенні різниці fd (рис. 2а) виділяється прямокутна ділянка з рухомим об’єктом, для якої значення різниці перевищує встановлений поріг. Проте, метод порівняння зображень ефективний тоді, якщо зображення відрізняються тільки рухомими об’єктами. Для виявлення рухомих об’єктів певних типів є ефективним метод Віоли-Джонса. Наприклад, для виявлення людей на зображеннях у методі Віоли-Джонса використовуються каскади Хаара 'haarcascade_fullbody.xml'. На основі початкового зображення метод Віоли Джонса повертає координати та розміри прямокутних ділянок, в яких містяться зображення людей (рис. 2б). Отримані ділянки з рухомими об’єктами замінюються на фонові зображення, що зменшує спотворення при побудові тривимірних моделей методом фотограмметрії, наприклад, за допомогою інтегрованого пакету програм 3DF Zephyr [4].
Таким чином, методом порівняння зображень та з використанням методу Віоли-Джонса можливо ефективно виділяти рухомі зображення людей. Проте, найбільш перспективним напрямом виявлення довільних рухомих об’єктів на зображеннях є використання штучних нейронних мереж [5, 6].
Література:
1. Купріянчик І.П., Бутенко Є.В. Фотограмметрія та дистанційне зондування: навч. посіб. – К.: МВЦ "Медінформ", 2013. – 392 с.
2. Вовк С.М., Гнатушенко В.В., Бондаренко М.В. Методи обробки зображень та комп'ютерний зір: навч. посіб.; Дніпропетр. нац. ун-т ім. Олеся Гончара. – Дніпропетровськ : Ліра, 2016. – 147 с.
3. Gonzalez R., Woods R. Digital image processing. 4th edidion. – Pearson/ Prentice Hall, NY, 2018. – 1192 p.
4. 3DF Zephyr. The Complete Photogrammetry Solution. URL: https://www.3dflow.net.
5. Balovsyak S., Fodchuk I., Odaiska Kh., Roman Yu., Zaitseva E. Analysis of X-Ray Moiré Images Using Artificial Neural Networks // IntelITSIS 2022: 3nd International Workshop on Intelligent Information Technologies and Systems of Information Security, March 23–25, 2022. – Khmelnytskyi, Ukraine, CEUR Workshop Proceedings, 2022. – P. 187-197.
6. TensorFlow. An end-to-end open source machine learning platform. URL: https://www.tensorflow.org.