ОСОБЛИВОСТІ МІГРАЦІЇ КЛАСТЕРНИХ АПЛІКАЦІЙ НА ХМАРНУ ПЛАТФОРМУ
17.01.2024 22:03
[1. Информационные системы и технологии]
Автор: Пашкевич Олексій Олегович, Eleks Software, QA Engineer, м. Івано-Франківськ; Пашкевич Олег Петрович, кандидат технічних наук, доцент, Університет Короля Данила, м. Івано-Франківськ
З часів появи фреймворку Apache Hadoop ринок програмних рішень, що використовували технології розподіленої обробки великих даних (Big Data) стрімко розвивався. Apache Hadoop – вільна програмна платформа і каркас для організації розподіленого зберігання і обробки наборів великих даних з використанням моделі програмування MapReduce, при якій завдання ділиться на багато дрібних відокремлених фрагментів, кожен з яких може бути запущений на окремому вузлі кластера.
Наступним кроком еволюції в цьому напрямку стала поява готових дистрибутивів Apache Hadoop з набором програм, бібліотек та утиліт Apache Software Foundation, адаптованих для великих даних та машинного навчання (Machine Learning). Популярними рішеннями є дистрибутиви від компаній Hortonworks Data Platform (HDP) і Cloudera Data Hub (CDH) [1].
Проте з появою та розвитком хмарних технологій розгортання та підтримка Hadoop кластера почали здаватися невигідними і безперспективними, навіть за участі таких компаній, як Cloudera і Hortonworks [2].
Є кілька причин, чому компанії надають перевагу перенесенню своїх сервісів у хмару [3, 4]:
- скорочення капітальних витрати на ІТ-інфраструктуру;
- гнучкість зміни обсягів споживання обчислювальних ресурсів;
- легкість масштабування;
- робота розподілених команд з доступом до даних із будь-якої точки світу 24/7;
- делегування завдань з обслуговування та адміністрування.
Розглянемо деякі з основних перешкод, з якими часто зіштовхуються організації під час переходу до хмари та дослідимо як їх зменшення сприяє покращенню планування етапів міграції.
1. Несумісність додатків: Деякі додатки або дані можуть бути несумісними з хмарним середовищем.
Приклад: розподілена система запитів SQL Cloudera Impala, що використовується в дистрибутиві CDH відсутня у хмарному рішенні Amazon Web Services (AWS), тому їй слід знайти заміну серед наявних аналогів (Apach Athena, Apache Phoenix, PrestoDB тощо).
Зниження ризиків: Ретельне тестування, щоб визначити сумісність всіх додатків і даних перед міграцією.
2. Залежність додатків: Додатки можуть мати залежності один від одного або від застарілих систем, що ускладнює міграцію.
Приклад: дистрибутив CDH використовує власні драйвера доступу до СУБД Hive, Impala та інших компонентів, які будуть потребувати заміни.
Зниження ризиків: Визначте всі залежності додатків і розробіть план міграції, який враховує ці залежності.
3. Безпека та відповідність вимогам: Організації повинні забезпечити дотримання всіх вимог безпеки та відповідності при міграції до хмари.
Приклад: для захисту даних на кластері CDH часто використовують протокол Kerberos, що пропонує механізм взаємної аутентифікації двох співрозмовників (хостів) перед встановленням зв'язку між ними в умовах незахищеного каналу. Натомість хмарний сервіс AWS Cloud використовує AWS Identity and Access Management (IAM), за допомогою якого можна вказувати хто чи що може отримати доступ до сервісів і ресурсів AWS.
Зниження ризиків: Розробка та впровадження комплексної стратегії безпеки для хмарного середовища. Оцініть свої потреби в сфері відповідності вимогам та реалізуйте необхідні контрольні заходи.
Отже, міграція в хмару життєво важлива для досягнення продуктивності та ефективності, проте є складним процесом із власними проблемами та нюансами, які вимагають особливої уваги [5]. Цей процес вимагає ретельного аналізу, продуманого планування та точного виконання, щоб переконатися, що хмарне рішення гармонійно поєднується з конкретними бізнес-потребами.
Література
1. Cloudera deployment guide. Getting Started with Hadoop Tutorial. URL: https://www.cloudera.com/content/dam/www/marketing/documents/partners/ungated/cloudera-msazure-hadoop-deployment-guide.pdf (дата звернення: 10.01.2024).
2. Пашкевич О.П. Переваги та недоліки розробки програмного забезпечення з використанням безсерверної архітектури / Пашкевич О.П., Мельничук С.І. // Прикладні науково-технічні дослідження: матеріали ІІ міжнар. наук. - практ. конф., – Академія технічних наук України. – Івано-Франківськ: Симфонія форте, 3-5 квітня 2018. – с. 34.
3. Міграція у хмару: перенесення IT-інфраструктури за 7 кроків. Блог компанії Cloudbridge. URL: https://blog.colobridge.net/uk/2023/10/ transferring-it-infrastructure-to-the-cloud-ua/ (дата звернення: 10.01.2024).
4. How-to Guide: Як мігрувати в хмару. Веб-сайт. URL: https://cloudfresh.com/ua/cloud-blog/how-to-guide-yak-mihruvaty-v-khmaru/ (дата звернення: 10.01.2024).
5. Migrate and Modernize with AWS. Веб-сайт. URL: https://aws.amazon.com/cloud-migration/ (дата звернення: 10.01.2024).