КВАЛІМЕТРІЯ ІННОВАЦІЙ
31.08.2021 23:34
[1. Information systems and technologies]
Author: Козлов В.Є., канд. техн. наук, доцент, кафедра військового зв’язку та інформатизації, доцент, Національна академія Національної гвардії України, м. Харків, Україна;
Козлов Ю.В., канд. техн. наук, доцент, кафедра метрології та технічної експертизи, доцент, Харківський національний університет радіоелектроніки, м. Харків, Україна;
Метешкін К.О., доктор техн. наук, професор, кафедра земельного адміністрування та геоінформаційних систем, професор, Харківський національний університет міського господарства ім. О.М. Бектова, м. Харків, Україна
Головним завданням кваліметрії є визначення (бажано, в кількісному вигляді) якості виробів, послуг тощо за даними вимірювання та/ або експертного оцінювання характеристик (властивостей, ознак) об’єктів порівняння (ОП) з метою виявлення відповідності їх деяким встановленим вимогам. Кібернетична педагогіка [1] пропонує метод кількісного оцінювання джерел наукової інформації, розуміючи під цим терміном тези доповідей на наукових конференціях, статті, дисертації та інші оприлюднені результати науково-дослідницької роботи (НДР).
У межах метода, на прикладі експертного оцінювання відповідності результатів дисертаційного дослідження вимогам п.п. 9, 11, 12, 13 Порядку присудження наукових ступенів, розглянуто підхід, який враховує такі властивості (ознаки) дисертаційної роботи: актуальність, наукова новизна, практична цінність, реалізація результатів, достовірність тощо.
Оскільки властивості будь-якої роботи, зокрема НДР, мають розмиту структуру, елементи якої зв’язані відношеннями переваги, експерти застосовують шкали порядку (ШП). Наприклад, для оцінювання актуальності дисертації ШП має п’ять рівнів (за убуванням): перспективна, актуальна на сучасному етапі розвитку науки і техніки, актуальна, має сумнівну актуальність, неактуальна. Аналогічним чином оцінюють інші властивості дисертації, окрім наукової новизни; для неї використовують чотири рівні.
Викладене вище формалізовано і покладено в основу програмного виробу, що реалізує методику рейтингового оцінювання результатів роботи науково-педагогічних працівників (НПП) закладу вищої освіти [2]. Методика оцінює три групи суб'єктів: викладачі-початківці, старші викладачі і доценти, професори, включаючи завідувача кафедри. Список показників професійної діяльності НПП і відповідна вагова обробка результатів оцінювання дозволяють побудувати функції корисності для кожного учасника навчального процесу, порівнювати їх між собою і виявити кращих серед груп.
Метод [1] передбачає розширення або скорочення переліку властивостей і використання іншої кількості рівнів оцінювання, наприклад, бінарного розбиття. Спираючись на це, розглянемо підхід, який використовує при експертному оцінюванні уніфіковані твердження і судження із запереченням і чотирибальні шкали порядку [3] – традиційну і удосконалену.
Для прикладу з дисертацією твердження може бути сформульовано таким чином: Відповідає чи ні дисертація вимогам щодо актуальності? Відповідність суджень балам шкали оцінювання наведено в табл. 1.
Введення до застосування удосконаленої чотирибальної шкали (УЧШ), яка передбачає використання так званого ноніуса, дозволяє використовувати прийняті у викладацькій практиці оцінки типу 2+ або 4–, еквівалентом яких в УЧШ будуть оцінки 2,33 та 3,66. У разі утруднень з визначенням відповідного бала (назвемо це “ефектом буріданова віслюка”) експерт виставляє оцінку, що дорівнює середині інтервалу між оцінками або, взагалі, середині шкали.
Отримані від експертів оцінки усереднюють, а потім розраховують метрику (інтегральний показник) як модифікований коефіцієнт конкордації або коефіцієнт відповідності для кожного з об’єктів порівняння для побудови їх ранжируваного списку, або ранжирують ОП за взірцями, як показано на прикладі вибору кращого серед порівнюваних технічних рішень [4]. Відмітимо, що усі три методи оброблення оцінок дають практично однаковий результат, тобто інваріантні.
Таким чином, розглянутий підхід може бути придатним для оцінювання інновацій у будь-якій галузі діяльності людини, що, безумовно, потребує подальшого дослідження.
Література:
1. Метешкин, К.А. Кибернетическая педагогика: теоретические основы управления образованием на базе интегрированного интеллекта. Монография. – Харьков: Международный Славянский университет, 2004. — 400 с.
2. Метешкін, К.О. Модель рейтингового оцінювання результатів роботи викладачів та підрозділів закладу вищої освіти/ К. О. Метешкін, В. М. Русскін// Зб. тез Міжнар. наук. – практ. конференції 15 березня 2021 року, м. Харків. – Харків: Нац. акад. НГ України. – 2021. – С. 60-62.
3. Козлов, В.Є. Метод вирішення завдань педагогічної кваліметрії/ В. Є. Козлов, Ю. В. Козлов// Зб. наук. праць Нац. акад. НГ України. – 2018. – Вип. 2(32). – С. 34-39.
4. Kozlov V., Kozlov Y., Shcherbina O., Novykova O., Iokhov O., Multifunctional antenna device for protection of radio communication channels of units of law enforcement forces (Багатофункціональний антенний пристрій для захисту каналів радіозв’язку підрозділів сил охорони правопорядку)/ В. Є. Козлов, Ю. В. Козлов, О. О. Щербина, О. О. Новикова, О. Ю. Іохов// Advanced Information Systems. 2020. Vol. 4, No. 3, Р.150-155 (Сучасні інформаційні системи. – Харків: НТУ «ХПІ», 2020. – Т. 4, № 3. – С. 150-155).