СИСТЕМА КОМП’ЮТЕРНОГО ЗОРУ ДЛЯ ВИЗНАЧЕННЯ ЕМОЦІЙ НА ОСНОВІ ЗОБРАЖЕННЯ ОБЛИЧЧЯ ОСОБИ - Scientific conference
Main page
UA PL EN

Congratulation from Internet Conference!

Hello

Рік заснування видання - 2011

СИСТЕМА КОМП’ЮТЕРНОГО ЗОРУ ДЛЯ ВИЗНАЧЕННЯ ЕМОЦІЙ НА ОСНОВІ ЗОБРАЖЕННЯ ОБЛИЧЧЯ ОСОБИ

13.11.2025 16:19

[1. Information systems and technologies]

Author: Баловсяк Сергій Васильович, доктор технічних наук, доцент, Чернівецький національний університет імені Юрія Федьковича, м. Чернівці; Бурій Тетяна Миколаївна, студентка, Чернівецький національний університет імені Юрія Федьковича, м. Чернівці


ORCID: 0000-0002-3253-9006 Баловсяк С.В.

ORCID: 0009-0003-8634-5332 Бурій Т.М.

Завдання визначення емоцій на основі зображення обличчя особи є актуальним, оскільки такий аналіз зображень часто застосовується у різних сферах науки, техніки, освіти, медицини та бізнесу [1]. Врахування емоцій користувача є важливим для ефективної організації людино-машинної взаємодії, зокрема в системах електронного навчання для адаптації форми подання матеріалів до потреб користувача. Розпізнавання емоцій також може застосовуватися як складова кіберзахисту, оскільки нетипові емоції особи у певній ситуації є підставою для аналізу. Розпізнавання емоцій людини за її обличчям реалізується в системах компʼютерного зору. У таких системах послідовно виконується зчитування цифрових зображень (з відеокамер або з графічних файлів), детектування на зображеннях ділянок облич, розпізнавання емоцій на обличчях та візуалізація отриманих результатів. До швидкодіючих методів детектування (виявлення) обличчя належить метод Віоли-Джонса (англ. Viola-Jones Method) [2]. Одними з поширених засобів розпізнавання емоцій є згорткові нейронні мережі (ЗНМ, англ. CNN – Convolutional Neural Networks), які пристосовані для обробки зображень.

До сучасних систем розпізнавання емоцій ставляться вимоги високої точності та швидкодії, тому в даній роботі запропоновано детектувати ділянки облич на зображеннях методом Віоли-Джонса, а розпізнавання емоцій виконувати засобами ЗНМ.  

У багатьох системах комп’ютерного зору для розпізнавання емоцій на зображеннях облич (Facial Emotion Recognition – FER) [1] визначається 7 видів емоцій: 1) Злість (Angry); 2) Огида (Disgust); 3) Страх (Fear); 4) Радість (Happy), 5) Нейтральність (Neutral); 6) Сум (Sad); 7) Здивування (Surprise), які є важливими для аналізу практичних ситуацій. Тому в розробленій системі розпізнаються вищевказані 7 видів емоцій. Зображення для таких же видів емоцій використовуються в наборі даних FER-2013 [3] (рис. 1).




Рис. 1. Приклади зображень набору даних FER-2013; а) б) зображення належать до категорії емоцій «Смуток» (Sad), в) г) зображення належать до категорії «Нейтральність» (Neutral)

Виконано програмну реалізацію системи розпізнавання емоцій на мові Python. Детектування зображень на обличчях реалізовано методом Віоли-Джонса, який використовує для цього каскади Хаара. Як вхідні параметри метод Віоли-Джонса приймає початкові зображення, а його вихідними параметрами є координати прямокутників, в яких знаходяться обличчя [2]. Використано два види каскадів Хаара: для детектування обличчя у фас (рис. 1б, рис. 1г ) та для детектування обличчя у профіль (рис.1а, рис.1в). Орієнтація обличчя (поряд з емоціями) несе інформацію про зосередженість особи, оскільки орієнтація обличчя в профіль свідчить про можливу втрату уваги.

Для розпізнавання емоцій використано ЗНМ, яка містить 6 згорткових шарів та 2 вихідних повнозвʼязних шари [1]. ЗНМ реалізовано на мові Python з використанням бібліотек tensorflow та keras. Нейронна мережа має 7 виходів, кожен з яких показує ймовірність присутності на зображенні певної емоції. На входи ЗНМ подаються зображення розміром 48 × 48 пікселів (такі зображення містяться у наборі даних FER-2013). Зображення інших розмірів масштабуються до заданого розміру методом бікубічної інтерполяції.

В моделі ЗНМ додавання згорткових шарів виконано функцією «Conv2D», а пулінг виконується методом «MaxPooling2D». У згорткових шарах застосовано фільтри розміром 3×3 елементи. Для зменшення перенавчання виконується відсіювання даних методом «Dropout». Навчання моделі ЗНМ виконано на наборі даних FER-2013 (24400 зображень облич) [3] протягом 70 епох. Набір даних розділено на навчальну вибірку (22 968 зображень) та контрольну вибірку (1432 зображень). Навчена ЗНМ точно розпізнала емоції для більшості тестових зображень (рис. 2).




Рис. 2. Приклад розпізнавання емоції «Сум» на тестовому зображенні обличчя №1

Розроблена система комп’ютерного зору може практично застосовуватися для розпізнавання емоцій на обличчях, зокрема, в системах електронного навчання для контролю зосередженості особи. 

Література

1. Chahed M. Human Emotion Detection. 2022. URL: https://www.kaggle.com/code/mohamedchahed/human-emotion-detection.

2. Balovsyak S., Derevyanchuk O., Kovalchuk V., Kravchenko H., Kozhokar M. Face Mask Recognition by the Viola-Jones Method Using Fuzzy Logic. International Journal of Image // Graphics and Signal Processing (IJIGSP). – 2024. – Vol. 16 (3). – P. 39–51. doi: 10.5815/ijigsp.2024.03.04.

3. FER-2013. Learn facial expressions from an image. 2020. URL: https://www.kaggle.com/datasets/msambare/fer2013/data.



Creative Commons Attribution Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
допомога Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter

Another articles in this section

Сonferences

Conference 2025

Conference 2024

Conference 2023

Conference 2022

Conference 2021



Міжнародна інтернет-конференція з економіки, інформаційних систем і технологій, психології та педагогіки

Наукова спільнота - інтернет конференції

:: LEX-LINE :: Юридична лінія

Інформаційне суспільство: технологічні, економічні та технічні аспекти становлення