СИСТЕМА ВІДСТЕЖЕННЯ ПЕРЕШКОД ТА ДОРОЖНІХ ЗНАКІВ - Scientific conference
Main page
UA RU EN

Congratulation from Internet Conference!

Hello

Рік заснування видання - 2011

СИСТЕМА ВІДСТЕЖЕННЯ ПЕРЕШКОД ТА ДОРОЖНІХ ЗНАКІВ

29.09.2021 21:02

[1. Information systems and technologies]

Author: Амарій А.М., спеціальність «Комп’ютерна інженерія», студент 6 курсу, кафедра комп'ютерних систем та мереж, Чернівецький національний університет імені Юрія Федьковича, м. Чернівці; Мельничук С.В., д.ф.-м.н., професор, кафедра комп'ютерних систем та мереж, Чернівецький національний університет імені Юрія Федьковича, м. Чернівці; Танасюк Ю.В., к.ф.-м.н., доцент, кафедра комп'ютерних систем та мереж, Чернівецький національний університет імені Юрія Федьковича, м. Чернівці


При керуванні автомобілем водію окрім дорожньої обстановки також часто необхідно контролювати й інші показники, наприклад поточну швидкість автомобіля, частоту обертів двигуна, положення на GPS-карті. Хоча більшість сучасних автомобілів спроектовано таким чином, щоб уся необхідна водію інформація була доступна йому в полі зору, однак навіть мимовільне переведення погляду з дороги на якийсь прибор, нажаль, може призвести до непередбачуваних обставин і невиправних наслідків.

Для вирішення таких задач розробляють системи курсової допомоги водіям із застосуванням технологій доповненої реальності. Робота таких систем насамперед ґрунтується на алгоритмах і методах аналізу фізичних об’єктів, що знаходяться в межах дороги на шляху курсування автомобіля із застосуванням крайових обчислень з подальшим інформуванням водія транспортного засобу та сприяння прийняттю рішень. Можливості цих систем передбачають детектування різноманітних наявних та потенційних перешкод та вказівників на шляху курсування транспортного засобу.

Аналогічні системи відстеження перешкод та дорожніх знаків можна спостерігати у закордонних компаніях Continental (сумісно з DigiLens Inc.) [1] та WayRay [2]. Обидві компанії впроваджують повноцінні апаратно-програмні рішення із застосуванням доповненої реальності. Рішення компанії Continental здатне реагувати на перешкоди та слідкувати за дорожніми знаками та розміткою. Компанія WayRay просунулася ще далі, та запропонувала рішення, яке окрім систем допомоги водіям автомобілів, також може застосовуватися у інших сферах, таких як залізничний транспорт, будівництво, аграрна промисловість та авіація. З розглянутих аналогів не було знайдено жодного, яке б мало українське походження.

Мета даної роботи полягала в розробці способу аналізу фізичних об’єктів, що знаходяться в межах дороги на шляху курсування автомобіля, із застосуванням крайових обчислень з подальшим інформуванням водія транспортного засобу та сприянням прийняттю рішень. Цей спосіб полягає у використанні штучних нейронних мереж семантичної сегментації зображень DeepLab з основою MobileNetV2 та класифікації зображень дорожніх знаків TrafficSignNet [3]. Програмну реалізацію виконано на мові програмування Python з використанням платформи машинного навчання Tensorflow [4] та бібліотек комп’ютерного зору OpenCV, Scipy та Skimage. Для навчання моделі для семантичної сегментації зображень було використано набір даних «Cityscapes», який фокусується на семантичному розумінні міських вуличних сцен. Цей набір даних містить різноманітні зображення з п’ятдесяти міст Німеччини, знятих протягом різних пір року (весна, літо, осінь), в різний час доби при хороших чи середніх погодних умовах. Загальна кількість таких зображень складає 5000 з точними анотаціями та 20000 з грубими [5]. Для навчання моделі для класифікації зображень дорожніх знаків було вибрано набір даних «German Traffic Sign Recognition Benchmark». Цей набір даних з багатьма класами для завдань класифікації одного зображення представлений на Міжнародній спільній конференції з нейронних мереж (IJCNN) 2011. Набір даних складається з 40 класів зображень з більше ніж 50000 екземплярів [6].

При запуску системи відстеження перешкод та дорожніх знаків в реальному часі, кожен кадр сегментується за час, що приблизно становить 0,5 с. Отже з урахуванням подальшої обробки, хоч вона і не займає багато часу (зокрема розпізнання дорожнього знаку нейронною мережею класифікації виконується менше, ніж за 0,1 с), результуючий кадр буде виведений на екран через час, що не перевищує 0,5 с, тобто це час надходження інформації до водія. За умов руху автомобіля по місту з середньою швидкістю близько 30 км/год, цього часу достатньо для оцінювання загальної дорожньої обстановки та навіть прийняття рішень, що потребують швидкої реакції, оскільки раптові появи перешкод, зокрема пішоходів, досить яскраво виділяються на зображенні. Також система достатньо точно розпізнає поодинокі дорожні знаки (рис. 1), а при неможливості точного розпізнання (випадки, коли два знаки розміщені надто близько один до одного), принаймні, виділяє знайдений сегмент дорожнього знаку, що може привернути увагу водія (рис. 2).




Рис. 1. Розпізнання поодинокого знаку: а) на дорозі; б) тестовий набір




Рис. 2. Виділення сегменту дорожнього знаку з неточною класифікацією

Також розроблена система відстеження перешкод та дорожніх знаків була протестована при обробці запису з відео-реєстратора автомобіля. Тестування показало, що дана система досить точно визначає та виділяє справжніх пішоходів та автомобілі на зображенні (рис. 3). 




Рис. 3. Виділення сегментів: а) пішоходів; б) автомобілів

Отже, зважаючи на досягнуті швидкодію та точність, розроблений спосіб розпізнавання перешкод та дорожніх знаків може застосовуватися учасниками дорожнього руху як в реальному часі, так і для обробки записів автомобільних відео-реєстраторів.

Література:

1. Augmented-Reality HUD [Електронний ресурс] / Continental Group. – Режим доступу: https://www.continental-automotive.com/en-gl/Passenger-Cars/Information-Management/Head-Up-Displays/Augmented-Reality-HUD-(1)

2. WayRay [Електронний ресурс] / WayRay. – Режим доступу: https://wayray.com/ 

3. Traffic Sign Classification with Keras and Deep Learning [Електронний ресурс] / Adrian Rosebrock. – Режим доступу: https://www.pyimagesearch.com/2019/11/04/traffic-sign-classification-with-keras-and-deep-learning/

4. TensorFlow Model Garden [Електронний ресурс] / TensorFlow. – Режим доступу:  https://github.com/tensorflow/models

5. Dataset Overview [Електронний ресурс] / Cityscapes Dataset. – Режим доступу: https://www.cityscapes-dataset.com/dataset-overview/

6. GTSRB – German Traffic Sign Recognition Benchmark [Електронний ресурс] / Mykola. – Режим доступу: https://www.kaggle.com/meowmeowmeowmeowmeow/gtsrb-german-traffic-sign



Creative Commons Attribution Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
допомога Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter

Another articles in this section

Сonferences

Conference 2024

Conference 2023

Conference 2022

Conference 2021



Міжнародна інтернет-конференція з економіки, інформаційних систем і технологій, психології та педагогіки

Наукова спільнота - інтернет конференції

:: LEX-LINE :: Юридична лінія

Інформаційне суспільство: технологічні, економічні та технічні аспекти становлення