МАСШТАБУВАННЯ ЗОБРАЖЕНЬ ІЗ ВИКОРИСТАННЯМ ЗГОРТКОВИХ НЕЙРОННИХ МЕРЕЖ - Scientific conference
Main page
UA RU EN

Congratulation from Internet Conference!

Hello

Рік заснування видання - 2011

МАСШТАБУВАННЯ ЗОБРАЖЕНЬ ІЗ ВИКОРИСТАННЯМ ЗГОРТКОВИХ НЕЙРОННИХ МЕРЕЖ

15.05.2024 18:19

[1. Information systems and technologies]

Author: Баловсяк Сергій Васильович, доктор технічних наук, доцент, Чернівецький національний університет імені Юрія Федьковича, м. Чернівці; Олександров Іван Юліанович, студент, Чернівецький національний університет імені Юрія Федьковича, м. Чернівці


ORCID: 0000-0002-3253-9006 Баловсяк С.В.

Завдання масштабування цифрових зображень часто виникає в сучасних комп’ютерних системах [1]. Масштабування зображень реалізується шляхом зменшення або збільшення роздільної здатності зображень, тобто їх розміру в пікселях. Зменшення роздільної здатності зображень виконується, наприклад, для зменшення об’єму графічних файлів і зниження завантаженості каналів телекомунікаційної системи при передаванні зображень. Таке зменшення роздільної здатності зображень використовується у різноманітних базах даних та сховищах для економії ресурсів. Збільшення масштабу зображень часто застосовується для обробки експериментальних зображень, які отримано або збережено з низькою роздільною здатністю. Підвищення роздільної здатності є важливим також із метою кращої візуалізації зображень та подальшої комп’ютерної обробки. 

Проте, при зміна масштабу зображень призводить до виникнення характерних спотворень (дефектів, артефактів). Найбільші спотворення отримуються при використання алгоритму найближчого сусіда. Білінійна інтерполяція призводить до часткового розмиття зображень. Бікубічна інтерполяція забезпечує менше розмиття, порівняно з білінійною, але на зображеннях все одно помітні спотворення. Тому перспективним напрямом якісного масштабування зображень є використання штучних нейронних мереж (ШНМ) [2]. 

Масштабування зображень з використанням ШНМ передбачає попереднє навчання ШНМ на зображеннях навчальної вибірки (наприклад, символів англійського алфавіту та цифр). Контрольна вибірка призначена для запобігання перенавчанню. Під час навчання на входи ШНМ можуть подаватися зображення у зменшеному масштабі fRGBS (розміром MS × NS  пікселів) (рис. 1а), а вихідними зображеннями ШНМ є відповідні їм зображення fRGBY (розміром MY × NY пікселів) у початковому масштабі (рис. 1б). У даній роботі з метою спрощення структури ШНМ на її входи подавалися зображення fRGBX (розміром MX × NX пікселів) у такому ж масштабі, що вихідні зображення fRGBY. Зображення fRGBX обчислено на основі зображень fRGBS шляхом їх бікубічної інтерполяції (рис. 2а). У роботі розглянуто збільшення масштабу у 2 рази (MY = 2MS, NY = 2NS), але можливе також збільшення масштабу в довільну кількість разів. Програму масштабування зображень реалізовано на мові Python з використанням, зокрема, бібліотек cv2 (для масштабування зображень), tensorflow (для реалізації ШНМ). Застосовано згорткову нейронну мережу (ЗНМ) (Convolutional Neural Network, CNN), як метод навчання ЗНМ використано зворотне розповсюдження помилки. Реалізовано ЗНМ з архітектурою супер-роздільної здатності (Super-Resolution Convolutional Neural Network – SRCNN) [3].




Рис. 1. Зображення fRGBS у зменшеному масштабі (а) та зображення fRGBY у початковому масштабі (б)




Рис. 2. Зображення fRGBX після бікубічної інтерполяції (а) та зображення gRGB на виході ЗНМ (навченої для 3000 епох) (б)

У даній роботі на входи ЗНМ подавалося не все зображення одночасно, а по частинам (фрагментам) у вигляді локальних областей (вікон) прямокутної форми розміром MX × NX пікселів. Після навчання на входи мережі подавалися зображення у зменшеному масштабі, а на виходах отримувалися зображення gRGB у більшому масштабі (рис. 2б).  Завдяки навчанню ЗНМ візуальна якість зображень gRGB значно вища, ніж зображень fRGBX у такому ж масштабі, але обчислених шляхом інтерполяції (рис. 2а). Візуальну якість зображень-результатів можливо підвищити за рахунок більш тривалого навчання ЗНМ. Зроблено висновок про доцільність використання ЗНМ для масштабування зображень.  

Література

1. Gonzalez R., Woods R. Digital image processing, 4th edidion. – Pearson/ Prentice Hall, NY, 2018. – 1192 p.

2. Geron A. Hands-On Machine Learning with Scikit-Learn, Keras, and TensorFlow /A. Geron. - O'Reilly Media, Inc., 2019. – 510 p.

3. Super-Resolution Convolutional Neural Network. URL:  https://goodboychan.github.io/python/deep_learning/vision/tensorflow-keras/2020/10/13/01-Super-Resolution-CNN.html#google_vignette



Creative Commons Attribution Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
допомога Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter

Another articles in this section

Сonferences

Conference 2024

Conference 2023

Conference 2022

Conference 2021



Міжнародна інтернет-конференція з економіки, інформаційних систем і технологій, психології та педагогіки

Наукова спільнота - інтернет конференції

:: LEX-LINE :: Юридична лінія

Інформаційне суспільство: технологічні, економічні та технічні аспекти становлення