ОСОБЛИВОСТІ НАВЧАННЯ ГЛИБОКИХ НЕРОННИХ МЕРЕЖ ДЛЯ ОБРОБКИ ТА АНАЛІЗУ ВЕЛИКИХ ДАНИХ
16.11.2022 13:23
[1. Information systems and technologies]
Author: Біблий Олег Сергійович, студент, Західноукраїнський національний університет, м. Тернопіль; Трач Юлія Іванівна, студентка, Західноукраїнський національний університет, м. Тернопіль; Хлібойко Михайло Ярославович, студент, Західноукраїнський національний університет, м. Тернопіль; Цвик Роман Богданович, студент, Західноукраїнський національний університет, м. Тернопіль
Великі дані стають все більш важливими, оскільки багатьом організаціям і компаніям необхідно збирати корисну інформацію з величезних обсягів даних. Традиційні алгоритми машинного навчання були розроблені, щоб змусити машини пізнавати і розуміти реальний світ, а це означає, що комп’ютери можуть самостійно вивчати нові знання та досвід в обмеженому наборі даних за допомогою деяких спеціальних методів машинного навчання.
Однак у середовищі великих даних складно вивчати та аналізувати традиційні алгоритми машинного навчання, тому що великі дані мають велику кількість вибірок даних, складну структуру та широку різноманітність. На щастя, глибоке навчання – дуже перспективний спосіб вирішення аналітичних задач у великих даних. Важливою особливістю глибокого навчання, яке також є ядром аналітики великих даних, є автоматичне вивчення представлень високого рівня та складних структур із величезних обсягів необроблених вхідних даних для отримання значущої інформації. Навчання у великомасштабних мережах глибокого навчання з мільярдами чи навіть більше параметрами може значно підвищити точність глибоких мереж. Але навчання в цих великих глибоких мережах забирає багато часу і потребує величезної кількості обчислювальних ресурсів.
Отже, необхідно прискорити ці великі глибокі мережі за допомогою високопродуктивних обчислювальних ресурсів (наприклад, графічних процесорів, суперкомп’ютерів та розподілених кластерів).
Глибоке навчання здатне виявляти складні структури в багатовимірних даних, що зрештою приносить користь у багатьох сферах життя суспільства. Так, наприклад, рекорд класифікації зображень був побитий в ImageNet Challenge 2012 з використанням глибокої нейронної згорткової мережі (CNN) [1].
Крім того, глибоке навчання значно впливає на вирішення інших проблем комп’ютерного зору, такі як виявлення осіб, сегментація зображень, загальне виявлення об’єктів і оптичне розпізнавання символів. Глибоке навчання також можна використовувати для розпізнавання мови, розуміння природної мови та багатьох інших галузей, таких як системи рекомендацій, фільтрація веб-контенту, прогнозування захворювань та ін. [2].
З покращенням архітектури глибоких мереж, навчальних вибірок та високопродуктивних обчислень глибоке навчання успішно застосовуватиметься у більшій кількості додатків у найближчому майбутньому.
Мережі глибокого навчання хороші для виявлення складних структур багатовимірного набору навчальних даних і добре підходять для вирішення великомасштабних задач. Навчання на великому наборі даних та великомасштабних глибоких мережах, які мають велику кількість шарів та кількість параметрів, може показати хороші результати. Але це також означає, що навчання на таких великих моделях займає набагато більше часу, доводиться чекати дуже довго (кілька місяців або навіть років), щоб отримати добре навчену модель.
Зі швидким розвитком сучасних обчислювальних пристроїв і паралельних методів стало можливим навчати ці великомасштабні моделі за допомогою високопродуктивних обчислювальних методів, таких як розподілені системи з тисячами ядер центрального процесора (CPU), графічних процесорів (GPU) з тисячами обчислювальних потоків та інших паралельних обчислювальних пристроїв.
Література
1. Krizhevsky A., Sutskever I., Hinton G. ImageNet classification with deep convolutional neural networks. In: Proc. Advances in Neural Information Processing Systems. 2012. 25. Pp. 1090–1098.
2. LeCun Y., Bengio Y., Hinton G. Review: Deep learning. Nature. 2015. 521. Pp. 436–444.
____________________
Науковий керівник: Комар Мирослав Петрович; д.т.н., доцент, Західноукраїнський національний університет, м. Тернопіль