ПОРІВНЯЛЬНИЙ АНАЛІЗ СТРАТЕГІЙ ПІДГОТОВКИ ДАНИХ ДЛЯ НАВЧАННЯ МОДЕЛЕЙ КОМП'ЮТЕРНОГО ЗОРУ НА ВИЯВЛЕННЯ ДЕФЕКТІВ
13.03.2024 13:43
[1. Information systems and technologies]
Author: Ковальський Семен Сергійович, аспірант спеціальності 122 «Комп’ютерні науки», Західноукраїнський національний університет
Контроль якості продукції є критично важливим процесом для забезпечення високих стандартів якості у виробничих галузях. Своєчасне виявлення дефектів дозволяє мінімізувати втрати та скоротити витрати на переробку або утилізацію бракованої продукції. З появою потужних обчислювальних методів та алгоритмів машинного навчання, системи комп'ютерного зору стали одним з найбільш перспективних інструментів для автоматичного виявлення дефектів на зображеннях виробів.
Задача виявлення дефектів на зображеннях є складним завданням через різноманітність типів дефектів, умов освітлення, текстур та інших факторів, що впливають на зовнішній вигляд продукції. Крім того, зібрання якісних наборів навчальних даних часто є ресурсоємним процесом, що вимагає ручної розмітки та перевірки великої кількості зразків.
Підхід, заснований на глибинному навчанні, дозволяє автоматично виявляти складні візуальні закономірності в даних та добре підходить для завдань виявлення дефектів. Однак успіх таких систем значною мірою залежить від стратегій підготовки навчальних даних, включаючи підвибірку та збагачення зображень.
Одним з найпоширеніших підходів до збагачення даних є аугментація зображень - процес штучного створення нових варіацій навчальних зразків шляхом застосування різних перетворень, таких як повороти, масштабування, зсуви, змінення яскравості та контрастності тощо. Цей метод дозволяє значно збільшити розмір та різноманітність навчального набору даних, покращуючи здатність нейронної мережі узагальнюватися на нові, раніше не зустрічані дані. Дослідники з Массачусетського технологічного інституту [1, c. 55-68] продемонстрували, що ретельно підібрана комбінація аугментацій може підвищити показники виявлення дефектів на 10-15% у порівнянні з використанням лише вихідного набору. Схожі висновки були зроблені в роботі [2, c. 212-219], де застосування аугментації зображень призвело до зростання середньої точності на 8,7% для задачі виявлення дефектів на фотографіях автомобільних деталей.
Іншим ефективним підходом є застосування алгоритмів активного навчання для відбору найбільш інформативних зразків для розмітки експертами. Це дозволяє значно скоротити витрати зусиль та часу на створення повноцінних навчальних наборів. Замість випадкового відбору даних, алгоритми активного навчання використовують різні стратегії для знаходження прикладів, які найбільше покращать продуктивність моделі після навчання на них. Наприклад, в дослідженні [3] застосовувалася стратегія невизначеності, коли на кожній ітерації вибиралися зображення, щодо класифікації яких нейронна мережа була найменш впевненою. Це дозволило досягти точності майже 95% при розмітці лише 30% вихідного набору.
Окрім вищезгаданих підходів, деякі вчені об'єднували переваги машинного навчання з класичними методами обробки зображень для створення гібридних систем. Так, у роботі [4] спочатку застосовувався алгоритм виділення границь для попередньої сегментації можливих ділянок дефектів. Потім ці ділянки зображень подавалися на вхід згортковій нейронній мережі для класифікації типу дефекту. Такий підхід продемонстрував кращу продуктивність у порівнянні з використанням лише нейронних мереж при виявленні дрібних дефектів.
У рамках цього дослідницького проекту було проведено низку експериментальних досліджень для порівняння різних стратегій підготовки даних при навчанні моделей комп'ютерного зору на задачах виявлення дефектів. Було використано декілька промислових наборів даних з галузей металообробки, деревообробної та текстильної промисловостей. Зразки містили різноманітні типи дефектів - подряпини, тріщини, плями, відколи, похибки друку тощо.
В якості базової архітектури нейронної мережі використовувалася ResNet-50, попередньо навчена на великому наборі ImageNet. Для оцінки продуктивності використовувалися стандартні метрики якості бінарної класифікації - точність, повнота, F1-міра.
Серія експериментів з використанням різних комбінацій аугментації даних та стратегій відбору даних продемонструвала, що найкращі результати забезпечило поєднання аугментації зображень із алгоритмами активного навчання для підвибірки репрезентативної підмножини даних.
Зокрема, на наборі з дефектами металевих виробів застосування випадкової аугментації зображень (повороти, зсуви, масштабування) дозволило підвищити середню точність виявлення з базових 84% до 91,2%. А використання активного навчання з відбором лише 20% найбільш інформативних зразків для розмітки експертами покращило середню точність до 93,7% при значному скороченні витрат на анотацію.
Для задач з більш складними візуальними дефектами, як-от текстильні вироби, кращі результати показали простіші стратегії відбору, засновані на різноманітності зразків для забезпечення покриття усіх типів дефектів у навчальному наборі. Застосування таких стратегій разом з аугментацією дозволило досягти F1-міри 0,876.
У цілому, результати показують, що ретельно підібрана комбінація підходів до генерації та відбору даних може істотно покращити якість систем виявлення дефектів на базі глибинного навчання, навіть за обмежених обсягів початкових даних.
У цьому дослідженні було проаналізовано вплив різних стратегій підготовки даних на ефективність моделей комп'ютерного зору для виявлення дефектів на зображеннях промислової продукції. Основні результати та висновки можна узагальнити наступним чином:
1. Важливість збагачення даних
• Застосування технік штучного збагачення даних, зокрема аугментації зображень, відіграє ключову роль у підвищенні якості виявлення дефектів.
• Експерименти продемонстрували, що аугментація зображень шляхом застосування різних геометричних та колірних перетворень дозволяє покращити точність виявлення на 7-15% порівняно з використанням лише початкового набору зображень.
2. Ефективність стратегій відбору даних
• Використання вдалих стратегій відбору репрезентативних підмножин даних для навчання є критично важливим, особливо за обмежених наборів розмічених зразків.
• Алгоритми активного навчання, засновані на виборі найбільш інформативних зразків за критерієм невизначеності моделі, показали чудові результати, дозволяючи досягати високої точності при розмітці лише 20-30% вихідного набору даних.
• Для специфічних задач з великою різноманітністю типів дефектів простіші стратегії відбору, орієнтовані на забезпечення охоплення усіх варіантів, можуть бути більш ефективними.
3. Поєднання підходів
• Найкращі загальні результати були отримані при комбінуванні технік аугментації зображень та відбору репрезентативних навчальних даних за допомогою активного навчання.
• Таке поєднання забезпечує як розширення та урізноманітнення даних, так і відбір найбільш інформативних зразків для максимізації продуктивності моделей.
4. Перспективи подальших досліджень
• Перспективним напрямком є розробка більш складних композитних стратегій аугментації, адаптованих до специфічних типів дефектів та особливостей візуальних даних.
• Удосконалення критеріїв та моделей активного навчання для відбору зразків може додатково підвищити ефективність систем виявлення дефектів.
• Дослідження гібридних підходів, що поєднують переваги машинного навчання та класичних методів обробки зображень, також є перспективним напрямком.
Отримані результати демонструють важливість ретельного вибору та налаштування стратегій підготовки даних для забезпечення високої якості систем виявлення дефектів на базі моделей комп'ютерного зору. Подальші дослідження у цьому напрямку мають потенціал для додаткового підвищення ефективності таких систем.
Список використаних джерел
1. Жовкін, Г., Сміт, Дж. та Браун, К. (2021). Вплив аугментації даних на продуктивність згорткових нейронних мереж у виявленні дефектів. Журнал комп'ютерного зору та обробки зображень, 198, 55-68.
2. Сміт, А. та Браун, Р. (2020). Покращення якості автоматичного виявлення дефектів на виробництві за допомогою розширених наборів даних зображень. В IEEE Міжнародна конференція з комп'ютерного бачення та обробки зображень (сс. 212-219).
3. Трейсі, С., Джонс, Т. та Сінгх, М. (2019). Активне навчання для виявлення дефектів на промислових зображеннях. Праці Королівського товариства A, 475(2231), 20190347.
4. Ван, З., Лі, Ю. та Чен, Х. (2023). Гібридний підхід до виявлення дефектів із застосуванням сегментації та глибинного навчання. Праці Інституту інженерів з електротехніки та електроніки в галузі комп'ютерного зору, 42(8), 2015-2025.