СУЧАСНІ ТЕНДЕНЦІЇ ЦИФРОВОЇ ТРАНСФОРМАЦІЇ БАЗ ДАНИХ
07.10.2021 20:18
[1. Информационные системы и технологии]
Автор: Красовська Є.В., к.т.н., Відокремлений структурний підрозділ «Фаховий коледж інженерії та управління НАУ», м. Київ;
Красовський О.Д. студент, Відокремлений структурний підрозділ «Фаховий коледж інженерії та управління НАУ», м. Київ
Світова пандемія, викликана Covid-19, не може вплинути на уповільнення цифрової трансформації. Насправді, якраз навпаки: багато компаній швидко переходять в «хмару» або роблять перші кроки в ІТ-напрямку, машинного навчання та аналізу даних. Фундаментальне питання стосується вибору баз даних, важливості «хмарних» технологій і Graph Data Science, а також нових рольових моделей в компаніях. Тут можна виділити чотири чітких тенденції.
Для цифрової трансформації дані є основною вимогою для всіх процесів і систем. Сьогодні мова йде не стільки про збір даних, скільки про пов’язування даних один з одним. Розрізнені сховища даних руйнуються, і множини даних формують ІТ-ландшафт. Ключова роль мережевих даних повільно, але вірно підриває новаторську роль реляційних баз даних (SQL). Коли справа доходить до використання даних для складних завдань, все частіше використовуються інші типи баз даних – від прогнозної аналітики й оброблення даних до процесів машинного навчання і штучного інтелекту.
Бази даних NoSQL в останні роки не лише подаються як багатообіцяюча альтернатива реляційних баз даних, але також зайняли постійне місце в ІТ-інфраструктурі компаній. Сюди входять бази даних ключових значень, бази даних документів, для мережевих даних, – бази даних графів.
Для майбутнього розвитку графових баз даних з'являються чотири основні тенденції: модель графа з властивостями стає все більш усталеною, розробники все більше переходять на роль рушійних сил інновацій, бази даних переходять в «хмару», а наука про графові бази даних стає ключем до майбутніх додатків.
1. Модель графа з властивостями. Останні роки показали, наскільки насправді важливим є аналіз мережевих даних – від пошуку вакцини проти Covid-19 до забезпечення безперебійних ланцюжків поставок і управління віддаленим робочим простором для клієнтів, співробітників і партнерів. Фактично, більшість моделей даних і предметних областей за своєю природою об'єднані в мережу. На практиці протягом довгого часу робилися спроби інтегрувати таку мережу відносин в реляційні бази даних, що витрачало багато місця для зберігання, великих зусиль з точки зору продуктивності.
Модель графа з властивостями з'являється як логічна альтернатива. Він спеціально розроблений для зберігання, зв'язування і запиту мережевих даних. Це не означає, що він негайно замінить реляційні або інші типи баз даних. Моделі графів з властивостями використовуються на додаток до інших баз даних. Ізоморфна модель гарантує, що дані можуть бути перетворені з однієї моделі в іншу без втрат. Тому компаніям доведеться відповідально підходити до питання, яка модель даних підійде для яких даних і для якого додатка. В цілому, однак, модель графа з властивостями і використання технології графів все частіше прокладають шлях для інноваційних та інтелектуальних проєктів.
2. Розробники як рушійні сили інновацій. У час «хмар», контейнерних додатків стратегія зростання багатьох компаній така: розробники систем та ІТ-фахівці стають важливими особами, які приймають рішення. Саме вони стимулюють цифрову трансформацію в компаніях. Нерідко справжні інновації виходять від сотень або навіть тисяч співробітників, які стикаються з повсякденними завданнями і працюють над новими, ефективними рішеннями, заснованими на даних.
Одна з причин зміни ролей – зростаюча фрагментація середовища розробки, включаючи мови програмування і фреймворки. Ця фрагментація – проблема не тільки для сьогоднішніх розробників. Додатки, які впроваджуються сьогодні, також зажадають підтримки і обслуговування в майбутньому. До мов програмування майбутнього відносяться ті, які підтримують широкий спектр сценаріїв використання і платформ. Сюди входять Java і Python, а також мови, адаптовані для спеціальних типів баз даних.
3. Хмарні додатки і PaaS. Загальнодоступні «хмарні» сервіси повинні нести спільну відповідальність за інновації в області даних і аналітики, компанії повинні стимулювати зміни та інновації на основі даних, щоб мати можливість реагувати на кризи та економічні спади.
Це також стосується і PaaS. Багато компаній спочатку неохоче купували обладнання і програмне забезпечення повністю у одного постачальника і, таким чином, ставали залежними. Тим часом, однак, переваги для багатьох переважують, включаючи значно більш швидку розробку власних програм і зниження витрат. Ще одна важлива причина переходу в «хмару»: високий рівень зручності використання. Розробники можуть зосередитися на програмуванні додатків, не турбуючись про управління інфраструктурою.
На додаток до класичних сервісів баз даних, таких як DBaaS, сховище даних і безсерверні обчислення, графові бази даних також приєднуються до тенденції «як послуга» і переходять в «хмару». Для багатьох компаній це може бути першим випадком застосування графової технології. Той факт, що зараз вони роблять це в «хмарі», показує, наскільки важливо для розробників та ІТ-груп тестувати нові способи вирішення завдань з великим об'ємом даних, зберігаючи при цьому контроль над складною архітектурою графів.
4. Графові бази даних як наука для машинного навчання і штучного інтелекту. Існує ще одна тенденція щодо баз даних: графові технології як основа для сучасної аналітики даних. Наука про дані і роль фахівців з обробки баз даних, в свою чергу, набувають все більшого значення в контексті машинного навчання і штучного інтелекту. Graph Data Science (GDS) об'єднує ці дві розробки.
GDS – це тільки наступний крок в аналізі мережевих структур в складних наборах даних. Прості запити дозволяють фахівцям з обробки даних отримати початковий огляд своїх даних і їх взаємозв'язків. Однак, як правило, вони є лише відправною точкою для більш глибоких і широких досліджень. Насправді нові знахідки, приховані закономірності і невідомі відхилення можуть бути ідентифіковані тільки за допомогою графових алгоритмів. При цьому можна автоматично виявляти структури і взаємозв'язки, які в основному залишаються невикористаними або не виявленими при звичайних запитах. Залежно від пошукового запиту і завдання, алгоритми графа можуть бути згруповані за різними категоріями: пошук шляху, центральність, виявлення спільноти, прогнозування посилань і схожість.
Зазначений підхід йде ще далі з використанням так званих вкладених графів. Цей підхід використовує алгоритми інформаційних технологій, і забезпечує машинозчитувані результати. Процеси машинного навчання працюють на цій основі і оптимізують, наприклад, точність прогнозування. Складна структура графа абстрагується, і його розмірність знижується. Простіше кажучи, Graph Data Science допомагає користувачам легше і швидше будувати прогностичні моделі. Google і Facebook – відомі компанії, які вже успішно використовують вкладені графи. Завдяки інтегрованим вкладенням графів в сучасні бази даних графів (з Neo4j GDS 1.4) процеси машинного навчання графів стають повністю доступними для всіх компаній.
Література:
1. Knowledge Graphs: Data in Context for Responsive Businesses. By Jesús Barrasa, Amy E. Hodler, and Jim Webber – [Електронний ресурс]. – Режим доступу: https://neo4j.com/knowledge-graphs-data-in-context-for-responsive-businesses/ (2021).
2. Graph Data Science For Dummies By Amy Hodler and Mark Needham – [Електронний ресурс]. – Режим доступу: https://neo4j.com/graph-data-science-for-dummies/ (2021).
3. Graph Databases For Dummies By Dr. Jim Webber and Rik Van Bruggen – [Електронний ресурс]. – Режим доступу: https://neo4j.com/graph-databases-for-dummies/ (2021).
4. Graph Algorithms: Practical Examples in Apache Spark and Neo4j By Mark Needham and Amy E. Hodler – [Електронний ресурс]. – Режим доступу: https://neo4j.com/graph-algorithms-book/ (2021).