ГІБРИДНИЙ ПІДХІД РЕАЛІЗАЦІЇ СИСТЕМИ АДАПТИВНОГО ТЕСТУВАННЯ ЗНАНЬ ДЛЯ МОБІЛЬНОГО ЗАСТОСУНКУ - Scientific conference
Main page
UA RU EN

Congratulation from Internet Conference!

Hello

Рік заснування видання - 2011

ГІБРИДНИЙ ПІДХІД РЕАЛІЗАЦІЇ СИСТЕМИ АДАПТИВНОГО ТЕСТУВАННЯ ЗНАНЬ ДЛЯ МОБІЛЬНОГО ЗАСТОСУНКУ

29.04.2024 16:18

[1. Information systems and technologies]

Author: Рубель Юрій Богданович, студент, Національний університет "Львівська політехніка", м. Львів, Україна



У дослідженні розглядається гібридний підхід для реалізації системи адаптивного тестування знань. Гібридний підхід відноситься до комбінації різних методів або підходів з метою досягнення кращих результатів або розв'язання складних проблем. У контексті реалізації адаптивної системи тестування знань, гібридний підхід включає поєднання різних моделей, алгоритмів або технологій з метою покращити точність, швидкість або ефективність системи. Тобто у гібридному підході реалізації системи адаптивного тестування комбінуються однопараметрична математична модель Раша та нейронна мережа прямого поширення. Цей гібридний підхід базується на основі процесу комп’ютеризованого адаптивного тестування, проте алгоритм вибору предмета, тобто вибору наступного питання в процесі тестування виконується нейронною мережею прямого поширення з використанням моделі Раша. Використання такого підходу до розроблення системи адаптивного тестування дозволить зробити систему більш гнучкою та ефективною щодо моделювання відповідей учасників на завдання, що в свою чергу надасть можливість більш точно враховувати нелінійні залежності між відповідями та рівнем знань користувачів.

Ключові слова: гібридна система, комп’ютеризоване адаптивне тестування, нейронна мережа, тестування знань, освіта.

Вступ/Introduction

Адаптивне тестування [1] є однією із варіацій тестування, де питання котрі ставляться в процесі тестування, автоматично обираються на основі відповідей користувача на попередні питання. Головна ідея адаптивного тестування [2] полягає в тому, щоб максимально ефективно використовувати час тестування та мінімізувати зусилля користувача при цьому підвищивши точність оцінки рівня знань користувача.

Також використовується такий термін як комп’ютеризоване адаптивне тестування (CAT) [3], котрий означає, що адаптивне тестування використовує комп'ютерні технології для індивідуального вимірювання рівня знань кожного учасника тестування в режимі реального часу та виконується за допомогою відповідного програмного забезпечення.

Слід зазначити, що адаптивна система тестування є актуальною проблемою в сучасному тестуванні та освіті [4-5]. Це пов'язано з тим, що тестування є важливим інструментом для оцінки рівня знань користувачів (учнів), але традиційні методи тестування можуть бути недостатньо ефективними для забезпечення якісного тестування. Проблематика полягає в тому, що традиційні методи тестування не забезпечують індивідуальний підхід до тестування, що може призводити до формування неправильної оцінки рівня знань та навичок користувача. Адаптивна система тестування на основі статистичного аналізу даних з використанням нейронної мережі дозволяє вирішити ці проблеми, надаючи індивідуальний підхід до тестування. Система збирає дані про відповіді користувачів на питання та використовує нейронну мережу для аналізу цих даних. На основі результатів аналізу система здійснює вибір наступних питань, забезпечуючи оптимальний рівень складності тестування для кожного учасника.

Для реалізації системи адаптивного тестування було розглянуто гібридний підхід до розроблення, в котрому застосовується комбінація однопараметричної моделі Раша та нейронної мережі прямого поширення (FNN). У цьому підході передбачається, що оцінку рівня знань забезпечує модель Раша, що аналізує відповіді учасника, тим часом нейронна мережа FNN допомагає визначити оптимальні питання для адаптації тесту під рівень знань учасника тестування [6].

Результати дослідження та їх обговорення/Research results and their discussion

Процес адаптивного тестування зазвичай складається не з одного, а з декількох технічних компонентів [7–8]. Тому для реалізації цього процесу необхідно використовувати комплексне рішення, яке об'єднує різні підходи відповідно до різних етапів адаптивного тестування. Важливим є не лише сама реалізація цих технічних компонентів, але й спосіб їх поєднання. Для системи адаптивного тестування використовується архітектурний підхід на основі програмних агентів [9]. Це архітектурний підхід до розробки програмних систем, де функціональність розподіляється між різними незалежними агентами, які взаємодіють між собою та зовнішнім середовищем. Кожен агент представляє собою окрему логічну одиницю, яка має свої цілі, знання, можливості та поведінку. У такій архітектурі агенти працюють паралельно і самостійно, приймаючи рішення та взаємодіючи один з одним. Кожен агент може мати свої внутрішні стани, моделі знань та алгоритми для вирішення конкретних завдань. Взаємодія між агентами може відбуватися через обмін повідомленнями, спільне використання ресурсів або спільну роботу над завданнями.

Програмні агенти в контексті системи адаптивного тестування є окремими програмними модулями, які виконують конкретні завдання або етапи процесу комп’ютеризованого адаптивного тестування. Кожен програмний агент наслідує загальний програмний інтерфейс та має визначені обов'язки. Приклади таких програмних агентів включають: 

• Програмний агент взаємодії з каліброваним пулом елементів: Цей агент відповідає за комунікацію з банком тестових питань, отримання необхідних даних із пулу та передачу їх для подальшого використання в процесі тестування. 

• Програмний агент визначення початкового рівня для користувача: Цей агент виконує аналіз попередніх відповідей користувача або інших даних, щоб встановити початковий рівень знань та навичок для кожного користувача перед початком тестування. 

• Програмний агент вибору наступного завдання в процесі тестування: Цей агент вирішує, яке завдання або питання надіслати користувачу на основі його попередніх відповідей, залежностей та алгоритмів, що використовуються в системі. 

• Програмний агент здійснення процедури підрахунку балів та визначення критерію припинення тесту: Цей агент відповідає за обробку відповідей користувача, розрахунок балів та прийняття рішення про закінчення тестування на основі заданого критерію. 

Ці агенти є незалежними модулями, які працюють разом у системі адаптивного тестування, виконуючи свої визначені функції та спілкуючись між собою для досягнення цілей процесу CAT. Послідовність виконання програмних агентів для процесу CAT зображено на рис. 1.




Рис. 1. Послідовність виконання програмних агентів для процесу CAT

Тепер детальніше розглянемо програмний агент вибору наступного завдання в процесі тестування. Цей програмний агент виконує функцію алгоритму вибору предмета в процесі CAT. А саме визначає, яке питання буде надане користувачеві в наступному кроці тестування. Основна мета цього агента - забезпечити оптимальний баланс між точністю оцінки знань користувача і ефективністю процесу тестування. В системі адаптивного тестування алгоритм вибору предмета виконується нейронною мережею прямого поширення з використанням однопараметричної моделі Раша, тим самим формуючи гібридний підхід реалізації.

Отже, слід почати з однопараметричної моделі Раша [10]. Вона використовується для визначення складності питань та оцінки рівня знань учасника на основі його відповідей. Модель базується на припущенні, що вірогідність правильної відповіді на питання залежить від рівня знань учасника та складності самого питання. Модель враховує цей взаємозв'язок і дозволяє оцінити рівень знань учасника на основі його відповідей на набір питань. 

А нейронна мережа прямого поширення [11] використовується для адаптації тесту до потреб кожного учасника. Нейронна мережа приймає вхідні дані, такі як відповіді учасника та характеристики питань, і генерує оцінку рівня знань учасника. Ця оцінка в свою чергу використовується для вибору наступного питання, яке найкраще відповідає поточному рівню знань учасника. По мірі проходження тесту, нейронна мережа оновлює свої ваги та параметри, що дозволяє покращити адаптацію тесту до конкретного учасника. 

Головна перевага гібридного підходу полягає в тому, що це поєднання дозволяє об’єднати переваги обох методів. Модель Раша забезпечує оцінку рівня знань на основі відповідей учасника, тоді як нейронна мережа допомагає підібрати оптимальні питання для адаптації тесту. 

Гібридний підхід також має такий ряд переваг: 

• Комбінування сильних сторін: Гібридний підхід дозволяє поєднувати сильні сторони різних методів, моделей або алгоритмів. Це дозволяє отримати комплексну та потужну систему, котра здатна забезпечити кращі результати. 

• Зниження недоліків: Гібридний підхід може допомогти знизити недоліки окремих методів або моделей шляхом використання їх в поєднанні з іншими. 

• Більша адаптивність: Гібридний підхід дозволяє системі бути більш адаптивною до різних умов або вимог шляхом комбінування різних методів і моделей, система може легше адаптуватись до змінних потреб користувачів, різних типів завдань. 

• Покращена точність та надійність: Гібридний підхід може привести до покращення точності оцінки або результатів тестування. Комбінування різних методів може допомогти уникнути односторонніх помилок або залежностей від певних факторів, що призводять до більш точних та надійних результатів. 

Також передбачається, що система адаптивного тестування буде інтегрована у мобільний застосунок "Вир Історії" [12] з використанням інгеграції на базі API (Application Programming Interface). В свою чергу інтеграція через API [13] - це процес з'єднання різних програмних систем, компонентів шляхом використання їх інтерфейсів програмування. Загалом, це дозволить системі адаптивного тестування з легкістю взаємодіяти з мобільним застосунком та надавати можливість користувачам застосунку проходити адаптивні тести.

Висновки/Conclusions

За результатами дослідження було представлено гібридний підхід для реалізації системи адаптивного тестування знань. Пропоноване рішення дозволяє використовувати переваги однопараметричної моделі Раша та нейронної мережі прямого поширення. Це надає можливість зробити систему більш гнучкою та ефективною щодо моделювання відповідей учасників на завдання, що в свою чергу надає можливість більш точно враховувати нелінійні залежності між відповідями та рівнем знань користувачів.

Систему адаптивного тестування реалізовано на базі архітектурного підходу з використанням програмних агентів, в свою чергу гібридний підхід використовується в реалізації одного з програмних агентів, а саме в програмному агенті вибору наступного завдання в процесі тестування. Використання такого архітектурного підходу дозволяє уніфікувати алгоритм вибору предмету та розділити складний процес адаптивного тестування на реалізацію окремих модулів агентів, які можна легко інтегрувати або видалити із загальної послідовності етапів адаптивного тестування.

Крім цього, планується інтеграція системи адаптивного тестування у мобільний застосунок "Вир Історії" за допомогою системної інтеграції на основі API.

Посилання/References

1. Федорук, П. І. Адаптивні тести: загальні положення / П. І. Федорук // Математичні машини і системи. – 2008. – № 1. – С. 115-127. 

2. Федорук, П. І. Використання адаптивних тестів в інтелектуальних системах контролю знань / П. І. Федорук // Штучний інтелект. – 2008. – № 3. – С. 380-387. 

3. Meijer R. R., Nering M. L. Computerized Adaptive Testing: Overview and Introduction. Applied Psychological Measurement. – 1999. – Vol. 23, – no. 3. – P. 187-194. 

4. Войтович І. С. Використання Адаптивного Тестування В Навчальному Процесі Вищого Навчального Закладу / І. С Войтович, А. А. Іващенко // Наукові видання ФМФ ЦДПУ, Наукові записки. – 2014. – Т. 2. – № 6.

5. Лендюк Т. В. Моделювання комп’ютерного адаптивного навчання і тестування / Т. В. Лендюк // Праці Одеського політехнічного університету. – 2013. – № 1. – С. 110-115.

6. Горелов О. Ю. Дослідження методів штучних нейронних мереж для адаптивного тестування знань: магістреська кваліфікаційна робота: 121 / Горелов Олександр Юрійович // Харківський національний університет радіоелектроніки. – Харків. – 2020. – 98 с.

7. Oppl S. A flexible online platform for computerized adaptive testing / Stefan Oppl, Florian Reisinger, Alexander Eckmaier, Christoph Helm. // International Journal of Educational Technology in Higher Education. – 2017. – Т. 14. – № 1.

8. Komarc M. Computerized Adaptive Testing In Kinanthropology: Monte Carlo Simulations Using The Physical Self Description Questionnaire: Extended Summary Of Doctoral Thesis / Komarc Martin // Charles University. – 2017.

9. Zwass V. Software agent | Definition, Examples, & Facts [Електронний ресурс] / Vladimir Zwass // Encyclopedia Britannica. – Режим доступу: https://www.britannica.com/technology/software-agent.

10. Bond T. Rasch Model / Trevor Bond // Corsini Encyclopedia of Psychology. – 2010.

11. Schmidhuber J. Deep learning in neural networks: An overview / Jürgen Schmidhuber // Neural Networks. – 2015. – Vol. 61. – P. 85-117.

12. Вир Історії [Електронний ресурс] // DevKryivka. – Режим доступу: https://play.google.com/store/apps/details?id=com.devkryivka.history_vortex&hl=uk&gl=US.

13. What is API Integration? [Електронний ресурс] // Cleo. – Режим доступу: https://www.cleo.com/blog/what-is-api-integration.

_______________________

Науковий керівник: Фечан Андрій Васильович, доктор технічних наук, професор, Національний університет "Львівська політехніка", м. Львів, Україна




Y. B. Rubel, Lviv Polytechnic National University, Lviv, Ukraine




HYBRID APPROACH TO IMPLEMENTING AN ADAPTIVE KNOWLEDGE TESTING SYSTEM FOR A MOBILE APPLICATION

The research considers a hybrid approach to implementing an adaptive knowledge testing system. A hybrid approach refers to the combination of different methods or approaches to achieve better results or solve complex problems. In the context of implementing an adaptive knowledge testing system, a hybrid approach involves combining different models, algorithms, or technologies to improve the accuracy, speed, or efficiency of the system. That is, a hybrid approach to implementing an adaptive testing system combines a one-parameter Rasch mathematical model and a feedforward neural network. This hybrid approach is based on the process of computerised adaptive testing, but the algorithm for selecting the item, i.e. choosing the next question in the testing process, is performed by a feed-forward neural network using the Rasch model. Using this approach to developing an adaptive testing system will make the system more flexible and effective in modelling participants answers to tasks, which in turn will allow for more accurate consideration of non-linear dependencies between answers and the level of user knowledge.

Keywords: hybrid system, computerized adaptive testing, neural network, knowledge testing, education.



Creative Commons Attribution Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
допомога Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter

Another articles in this section

Сonferences

Conference 2024

Conference 2023

Conference 2022

Conference 2021



Міжнародна інтернет-конференція з економіки, інформаційних систем і технологій, психології та педагогіки

Наукова спільнота - інтернет конференції

:: LEX-LINE :: Юридична лінія

Інформаційне суспільство: технологічні, економічні та технічні аспекти становлення