Вас вітає Інтернет конференція!
Вітаємо на нашому сайті
АПАРАТНО-ПРОГРАМНЕ ЗАБЕЗПЕЧЕННЯ ДЛЯ РОЗПІЗНАВАННЯ ЖЕСТІВ РУКИ
15.11.2022 22:38
[1. Інформаційні системи і технології]
Автор: Баловсяк Сергій Васильович, доктор технічних наук, доцент, Чернівецький національний університет імені Юрія Федьковича, м. Чернівці; Олександрюк Дмитро Ярославович, студент, Чернівецький національний університет імені Юрія Федьковича, м. Чернівці
Розпізнавання жестів є важливим для практики, оскільки дозволяє людині спілкуватися та взаємодіяти з комп’ютерною системою природно, без будь-яких механічних посередників (клавіатури, комп’ютерної миші та ін.). Таке розпізнавання жестів робить комп’ютери доступнішими для людей з обмеженими фізичними можливостями, забезпечує більш природну взаємодію користувачів із комп’ютерними системами в іграх або у віртуальному 3D світі. Завдяки розпізнаванню жестів на зображеннях, зчитаних з відеокамер, можливо керувати різноманітними пристроями за допомогою руху руки або пальців. Проте, розпізнавання жестів на зображеннях у загальному випадку є складним завданням комп’ютерного зору. Тому в даній роботі використано бібліотеку MediaPipe, яка дозволяє з високою точністю розпізнавати жести на зображеннях [1, 2]. Розпізнавання об’єктів на зображеннях в бібліотеці MediaPipe виконується з використанням штучних нейронних мереж (ШНМ).
Апаратні засоби комп’ютерної системи для розпізнавання жестів руки складаються з керуючого комп’ютера та однієї чи кількох відеокамер. Програмні засоби системи розроблені на мові Python із використанням бібліотеки MediaPipe і містять такі модулі:
1. Зчитування вхідного зображення з відеокамери.
2. Навчання ШНМ на основі навчальної вибірки зображень рук.
3. Аналізу моделі руки (долоні), обчислення координат орієнтирів.
4. Побудови структури долоні.
Для реалізації розпізнавання жестів рук на зображеннях використовується рішення бібліотеки MediaPipe з назвою «Hands». Таке рішення дозволяє визначати координати 21-го орієнтира на зображенні руки, завдяки чому можливо розпізнавати різноманітні жести, оскільки кожному жесту руки відповідає певна комбінація орієнтирів (рис. 1). Крім цього, певними жестами та рухами руки можливо керувати пристроями комп’ютерної системи, наприклад, регулювати гучність звуку в динаміках, вмикати освітлення та ін.
Рис. 1. Розпізнавання орієнтирів на зображенні долоні:
а) нумерація орієнтирів; б) приклад розпізнавання
Таким чином, розроблена комп’ютерна система дозволяє зчитувати зображення рук з відеокамери, розпізнавати орієнтири на зображенні долоні та відповідні їм жести, керувати пристроями за допомогою жестів. Крім цього, функції системи можуть бути розширені за рахунок того, що бібліотека MediaPipe дозволяє розпізнавати обличчя, руки та інші частини тіла людини.
Література
1. Бібліотека MediaPipe. MediaPipe Hands. [Електронний ресурс]. – Режим доступу: https://google.github.io/mediapipe/solutions/hands.
2. Hosain A.A., Santhalingam P.S., Pathak P., Rangwala H., Kosecka J. FineHand: Learning Hand Shapes for American Sign Language Recognition. [Electronic resource]. – Access mode: https://arxiv.org/abs/2003.08753.
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter
Інші наукові праці даної секції
-
МЕТОД СТВОРЕННЯ ВІДМОВОСТІЙКИХ БАЗДРОТОВИХ СИСТЕМ У СУЧАСНИХ ВИРОБНИЦТВАХ
31.10.2022 17:13 -
PROJECT MODELS OF DEVELOPING THE DISTRIBUTIVE CHANNELS AND NETWORKS
16.11.2022 23:23 -
ЗАСТОСУВАННЯ АПАРАТУ НЕЧІТКОЇ ЛОГІКИ ПРИ СТВОРЕННІ АПАРАТНО-ПРОГРАМНИХ ЗАСОБІВ ВИЯВЛЕННЯ КОМП’ЮТЕРНИХ АТАК
16.11.2022 16:31 -
СУЧАСНІ ПРИСТРОЇ ТА ТЕХНОЛОГІЇ ІДЕНТИФІКАЦІЇ ОСОБИ
16.11.2022 13:33 -
РОЗПІЗНАВАННЯ ЗОБРАЖЕНЬ ОСНОВІ МЕТОДІВ ОБЧИСЛЮВАЛЬНОГО ІНТЕЛЕКТУ
16.11.2022 13:29
Конференції
Конференції 2024
Конференції 2023
Конференції 2022
Конференції 2021
