Вас вітає Інтернет конференція!
Вітаємо на нашому сайті
ЗАСТОСУВАННЯ NLP В ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЯХ АНАЛІЗУ КОНТЕКСТУ В СИСТЕМАХ ОЦІНЮВАННЯ ЗНАНЬ
09.10.2023 15:14
[1. Інформаційні системи і технології]
Автор: Денесяк Олександр Іванович, аспірант, Вінницький національний технічний університет, Вінниця; Паламарчук Євген Анатолійович, кандидат технічних наук, доцент, Вінницький національний технічний університет, Вінниця
ORCID: 0000-0002-7443-099X Yevhen Palamarchuk
ORCID: 0000-0001-8997-436X Oleksandr Denesiak
Постановка задачі в загальному вигляді та виділення невирішеної проблеми.
На сьогоднішній день якісний процес оцінювання знань є актуальної та необхідною задачею. В останні роки стрімкого розвитку набув дистанційний режим навчання, що в свою чергу вимагає офлайн оцінювання набутих знань. Один з найпоширеніших підходів перевірки засвоєних знань є онлайн тестування. Тестовий бланк може містити, як прості варіанти наперед визначених пар питання-відповідь, так і короткі текстові відповіді на поставлені питання.
З розвитком технологій з'являються можливості залучення програмної складової для перевірки знань, зменшуючи використання людського ресурсу та збільшуючи швидкість перевірки засвоєної інформації. Автоматизація процесу оцінювання знань дозволяє програмним шляхом при дистанційному тестуванні провести якісну перевірку знань з мінімальним залучення людських ресурсів, аналізуючи індивідуальні дані про кожного з здобувачів.
Процес аналізу тестових бланків, що складаються з питань та відповідними попередньо підготовленими варіантами відповідей простий, та не викликає складностей при реалізації. Складності виникають при аналізу коротких відповідей на питання. Тому що при аналізі коротких відповідей необхідно враховувати синтаксичні особливості мови, побудову речення, послідовність слів, тобто імітувати аналіз тексту так, як це робить людина.
Для реалізації моделі аналізу контексту в системах оцінювання знань виберемо підхід, що базується на технологіях обробки природної мови (NLP). Обробка природної мови може базуватися на технологіях машинного навчання та глибокого навчання, що здійснюються шляхом тренування нейронної моделі.
Для аналізу контексту в системах оцінювання знань можуть широко використовуватися сучасні підходи обробки природної мови, що використовують методику двоспрямованих кодувальних представлень з трансформерів (BERT), технологію без контекстних моделей, таких як word2vec, GloVe.
Використовуючи сучасні моделі обробки природної мови можна досягти достатньо високої точності моделі і в подальшому розширюючи та використовуючи її. Але невирішеною задачею в системах оцінювання знань є врахування при аналізі контексту поведінки здобувача протягом складання тесту. Ми вважаємо, що врахування даних поведінки здобувача під час складання тестування має збільшити ефективність та точність процесу оцінювання знань при фінальному генеруванні оцінки його результатів.
Основні компоненти та їх взаємодія в системі інформаційних технологій аналізу контексту.
Система інформаційних технологій аналізу контексту складається з двох головних модулів: прокторинговий модуль та модуль аналізу контексту. Модуль проктирингової системи має адаптаційну складову та починає працювати з перших секунд процесу тестування. Проктирингова модель виконує моніторинг поведінки здобувача на всьому проміжку складання тесту та формує відповідні правила, щодо продовження процесу тестування. Результатом роботи даної системи є формування звіту щодо порушень під час складання тесту до системи аналізу контексту. Вихідні дані знаходяться на проміжку від 0 до 1.
Система аналізу контексту базується на технологіях обробки природної мови та під час оцінювання короткої відповіді здобувача враховує поведінкові дані від прокторингової моделі (рис.1).
Рис. 1. Структурна схема взаємодії основних компонентів в системі інформаційних технологій аналізу контексту
Опис технічної задачі та алгоритм роботи системи аналізу контексту.
Основною технічною задачею є застосування моделей з технологіями обробки природної мови для аналізу вхідного контексту. Для реалізації поставленої задачі необхідно виділити наступні головні кроки:
-навчання нейронної мережі на завчасно підготовлених наборах даних, а саме питання і розширені текстові відповіді з маркуванням. Коректна відповідь маркірується зі значенням 1.
-навчання нейронної мережі для роботи з даними з прокторингової системи, які включають аналіз індивідуальної поведінки здобувачів під час проходження тестування, що дозволить збільшити точність оцінювання.
Базовий алгоритм роботи системи аналізу контексту:
-Отримання вхідних даних (текстовий результат тестування, поведінкові дані здобувача)
-Класифікація вхідних даних та перенаправлення на відповідні моделі для подальшої обробки
-Аналіз контексту коротких відповідей використовуючи технології обробки природної мови
-Аналіз поведінкових даних здобувача
-Формування результату оцінювання здобувача
-Відправка даних оцінювання здобувачу та викладачу
Формування цілі та постановка задачі дослідження.
Метою дослідження є розробка моделі інформаційних технологій аналізу контексту у системах оцінювання знань, яка при аналізі контексту враховує індивідуальну поведінку кожного з здобувачів. Поведінкову основу людини у цій технології складають нейронні моделі. Дані про поведінку обробляє та надсилає модель прокторингової підсистеми, яка розпочинає свою роботу з моменту складання тесту.
Висновки та рекомендації.
В ході дослідження проаналізовано існуючі рішення аналізу контексту в основі яких використовуються технології обробки природньої мови. Проаналізовано можливість використання технологій NLP для аналізу контексту.
Запропоновано рішення для моделі аналізу контексту в системах оцінювання знань, яке включає поведінку здобувачів під час проходження тестування.
Розглянуто два головних модулі та їх взаємодію в інформаційних технологій аналізу контексту систем оцінювання знань.
Перелік джерел посилання
1.Y. Palamarchuk, “Methods of building microservice architecture of e-learning systems”, ІТКІ, vol. 53, no. 1, pp. 43–54, Feb. 2022.
2.Bisikalo, Oleg, Models of Behavior of Agents in the Learning Management System / Oleg Bisikalo, Olena Kovalenko, Yevgen Palamarchuk // Матеріали XІV-ої Міжнародної науково-технічної конференції “Комп`ютерні науки та інформаційні технології (CSIT -2019)”. Том 3. – Львів, 2019. – С. 222-227.
3.Kuchuk N. Method for calculating of R-learning traffic peakedness / N. Kuchuk; O. Mozhaiev, M. Mozhaiev; H. Kuchuk // 2017 4th International Scientific-Practical Conference Problems of Infocommunications Science and Technology, PIC S and T 2017. – 2017. – Р. 359 – 362. URL:http://dx.doi.org/10.1109/INFOCOMMST.2017.8246416.
4.Bugaychenko, D. Y. MASL: A logic for the specification of multiagent real-time systems. // Proc. 5th International Central and Eastern European Conference on Multi-Agent Systems.- Leipzig (Germany): Springer-Verlag, 2017.- Pp. 183–192.
5.J.-P. Briot, C. Felicíssimo and C. J. de Lucena, «A Norm-Based Approach for the Modeling of Open Multiagent Systems,» in Int. Conf. on Agents and Artificial Intelligence ICAART, Porto, 2009, pp. 540-546.
6.B. S. J. Kapoor, S. M. Nagpure, S. S. Kolhatkar, P. G. Chanore, M. M. Vishwakarma, and R. B. Kokate, “An analysis of automated answer evaluation systems based on machine learning,” in 2020 International Conference on Inventive Computation Technologies (ICICT), Feb. 2020, pp. 439–443, doi: 10.1109/ICICT48043.2020.9112429.
7.A. Sharma and D. B. Jayagopi, “Automated grading of handwritten essays,” in 2018 16th International Conference on Frontiers in Handwriting Recognition (ICFHR), Aug. 2018, pp. 279–284, doi: 10.1109/ICFHR-2018.2018.00056.
8.G. F. Fragulis, M. Papatsimouli, L. Lazaridis, and I. A. Skordas, “An online dynamic examination system (ODES) based on open source software tools,” Software Impacts, vol. 7, Feb. 2021, doi: 10.1016/j.simpa.2020.100046.
9.D. Zhang and X. Yuan, “Intelligent scoring of English composition by machine learning from the perspective of natural language processing,” Mathematical Problems in Engineering, vol. 2022, pp. 1–9, May 2022, doi: 10.1155/2022/9070272.
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter
Інші наукові праці даної секції
-
ОРГАНІЗАЦІЯ САМОСТІЙНОЇ РОБОТИ СТУДЕНТІВ ІЗ НАВЧАЛЬНОЇ ДИСЦИПЛІНИ МЕТОДИКА ПРОФЕСІЙНОГО НАВЧАННЯ
15.10.2023 00:36 -
ВИКОРИСТАННЯ ІНФОРМАЦІЙНИХ ТЕХНОЛОГІЙ У СФЕРІ ДЕРЖАВНОГО УПРАВЛІННЯ
12.10.2023 00:15 -
ХАРАКТЕРИСТИКА ІНТЕРАКТИВНИХ КАРТ ВОДНИХ ОБ’ЄКТІВ ТА МЕТОДІВ ЇХ СТВОРЕННЯ
11.10.2023 22:47 -
УДОСКОНАЛЕННЯ КЛЮЧІВ ЦИФРОВОГО ЕЛЕКТРОННОГО ПІДПИСУ В СИСТЕМАХ ЕЛЕКТРОННОГО ДОКУМЕНТООБІГУ
11.10.2023 21:56 -
ПРОГРАМНЕ ЗАБЕЗПЕЧЕННЯ СИСТЕМИ КЕРУВАННЯ АВТОМАТИЗОВАНОЇ ДРОН-ДОСТАВКИ
11.10.2023 21:32
Конференції
Конференції 2024
Конференції 2023
Конференції 2022
Конференції 2021
