КЛАСИФІКАЦІЯ ТЕКСТУ НА ОСНОВІ ГЛИБОКОГО НАВЧАННЯ ТА ЕВОЛЮЦІЙНОГО ПІДХОДУ - Наукові конференції
Головна
UA RU EN

Вас вітає Інтернет конференція!

Вітаємо на нашому сайті

Рік заснування видання - 2011

КЛАСИФІКАЦІЯ ТЕКСТУ НА ОСНОВІ ГЛИБОКОГО НАВЧАННЯ ТА ЕВОЛЮЦІЙНОГО ПІДХОДУ

01.12.2024 13:24

[1. Інформаційні системи і технології]

Автор: Кравець Катерина Русланівна, магістр, Західноукраїнський національний університет, м. Тернопіль


Задача класифікації тексту є одним із найбільш важливих і складних завдань у галузі обробки природної мови. З розвитком цифрових технологій та інтернету обсяги текстових даних зростають експоненційно, що створює значні виклики для автоматизації їх обробки та аналізу. Основною метою текстової класифікації є автоматичне сортування текстів за визначеними категоріями, такими як настрої, тематика, рівень важливості тощо. Це завдання є критично важливим для багатьох прикладних задач, зокрема в аналізі соціальних мереж, пошуку схожих документів, інформаційному моніторингу, а також виявленні фейкових новин та спаму.

Успіх класифікації тексту великою мірою залежить від можливості моделі коректно розпізнавати семантичні зв’язки між словами та розуміти контекст тексту. Традиційні методи, такі як методи на основі ключових слів або статистичні підходи, мають обмежену здатність враховувати складну структуру природної мови. З іншого боку, глибинне навчання, а саме нейронні мережі, показали високі результати завдяки здатності до виявлення прихованих патернів у текстових даних. Однак розробка оптимальних архітектур нейронних мереж залишається складним завданням, оскільки ефективність цих моделей залежить від численних параметрів і архітектурних рішень, що потребують налаштування.

Одним із перспективних підходів для вирішення цієї проблеми є використання моделей типу BERT [1], а саме її модифікації Sentence-BERT [2], яка спеціально адаптована для задач, де необхідне порівняння текстових пар чи речень. Sentence-BERT дозволяє представити текст у вигляді векторів, які зберігають семантичне значення речень, що спрощує процес порівняння текстів і забезпечує високоточну класифікацію. Проте навіть за допомогою Sentence-BERT досягнення оптимальної точності вимагає використання спеціалізованих архітектур нейронних мереж, таких як CNN, LSTM або GNN, які можуть ефективно працювати з текстовими даними.

Щоб полегшити створення ефективних нейронних мереж для задач класифікації тексту, актуальним є дослідження методів автоматизації проєктування архітектур. Одним із таких методів є нейроеволюція, яка базується на еволюційних алгоритмах для автоматичного налаштування нейронних мереж. У цьому дослідженні пропонується використовувати підхід Dynamic Structured Grammatical Evolution (DSGE) [3, 4], що дозволяє визначати граматичні правила для автоматичної генерації архітектур нейронних мереж з урахуванням специфіки текстових даних. Такий підхід дозволяє автоматизувати процес налаштування шарів, гіперпараметрів та інших архітектурних характеристик, що сприяє створенню оптимальних моделей для класифікації тексту.

Граматична еволюція – це еволюційний підхід, що дозволяє розвивати програми з використанням довільної мови програмування [5]. DSGE було представлено як покращену версію традиційної граматичної еволюції. Вона пропонує непряме кодування рішень, що впливає на взаємодію граматики та процесу відображення для побудови програм, і є більш ефективною під час процесу пошуку.

Граматична еволюція та її варіанти головним чином визначаються трьома компонентами. По-перше, граматикою, де визначаються шари, параметри та правила структури, які використовуються для опису простору можливих архітектур. Граматика також може включати правила, які допомагають побудувати структуру мережі, і можуть бути доповнені процесом відображення. По-друге, відображення перетворює закодоване рішення, використовуючи граматику, у список компонентів, які описують мережу. Крім того, побудова мережі включає роботу з різними топологіями, шарами та стратегіями з'єднання шарів, що є специфічними для кожної задачі. Нарешті, механізм пошуку, який зазвичай є еволюційним алгоритмом, еволюціонує популяцію випадково згенерованих, відібраних та рекомбінованих рішень до досягнення критерію зупинки, після чого повертає найкраще знайдене рішення. 

Загальний підхід і його компоненти показані на рисунку 1 [54].




Рисунок 1. Загальна схема запропонованого підходу

Література

1. Devlin J., Chang M., Lee K., Toutanova K. BERT: Pre-training of deep bidirectional transformers for language understanding, CoRR. 2018. arXiv:1810.04805. URL http://arxiv.org/abs/1810.04805.

2. Reimers N., Gurevych I. Sentence-BERT: Sentence embeddings using siamese BERT-networks, in: Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing, Association for Computational Linguistics, 2019. URL https://arxiv.org/abs/1908.10084.

3. Assunção F., Lourenço N., Machado P., Ribeiro B. DENSER: Deep evolutionary network structured representation, Genetic Programming and Evolvable Machines. 2019. 20 (1). 5–35.

4. Lourenço N., Assunção F., Pereira F.B., Costa E., Machado P. Structured grammatical evolution: A dynamic approach, in: Handbook of Grammatical Evolution. Springer. 2018. 137–161.

5. Ryan C., Collins J.J., O’Neill M. Grammatical evolution: Evolving programs for an arbitrary language, in: Proceedings of the European Conference on Genetic Programming (EuroGP’98). Springer. 1998. 83–96.

Creative Commons Attribution Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
допомога Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter

Інші наукові праці даної секції

Конференції

Конференції 2024

Конференції 2023

Конференції 2022

Конференції 2021



Міжнародна інтернет-конференція з економіки, інформаційних систем і технологій, психології та педагогіки

Наукова спільнота - інтернет конференції

:: LEX-LINE :: Юридична лінія

Інформаційне суспільство: технологічні, економічні та технічні аспекти становлення