Вас вітає Інтернет конференція!
Вітаємо на нашому сайті
МЕТОД ОТБРАКОВКИ АНОМАЛЬНЫХ НАБЛЮДЕНИЙ
20.01.2022 22:14
[1. Інформаційні системи і технології]
Автор: Софронова М.С., кандидат фізико-математичних наук, доцент, кафедра вищої математики, доцент, Національний технічний університет «Харківський політехнічний iнститут», м. Харків
В любой сфере человеческой деятельности главная управленческая задача – своевременно принять правильное решение, так как неудачное, плохое решение может иметь непоправимые последствия. Принятие решений в экономических системах – довольно сложный и ответственный процесс, требующий количественной оценки исходов решений. Чтобы найти приемлемое решение следует определить цель решения, возможные варианты достижения цели, просчитать возможные исходы каждого решения и оценить их, выбрать оптимальное, т.е. наилучшее решение – лучший способ достижения цели. Часто при нахождении таких решений моделируются задачи с использованием математических понятий и методов. Нередко информация (наблюдения), на основании которой принимается решение, содержит ошибки – аномальные наблюдения (выбросы). Выявление таких ошибок является актуальным при подготовке результатов статистического процесса, предназначенного для принятия решений. Присутствие выбросов может искажать базовые характеристики совокупности или выборки, поскольку при вычислении оценок параметров вероятностных распределений наличие в выборке аномальных (т.е. значительно увеличивающих доверительный интервал) наблюдений способно исказить результаты статистического исследования, а, следовательно, и основной задачи. Выявление выбросов на разных этапах обработки данных позволяет выявить ошибки наблюдения и даже фиктивные данные, а их устранение – предотвратить неэффективное управленческое решение.
Среди причин появления выбросов можно выделить следующие: ошибки в данных (неточности измерения и т.п.), наличие шумовых объектов (неверно классифицированных объектов), присутствие объектов «других» выборок (например, показаниями сломавшегося датчика) и т.д.
В работе предлагается подход к отбраковке аномальных наблюдений, являющийся комбинацией геометрических и статистических методов. Множеству данных (наблюдений) ставится в соответствие множество точек А п-мерного пространства. На конечном точечном множестве А строится последовательность вложенных выпуклых оболочек [1]. Заметим, что п-мерная выпуклая оболочка – это п-мерный выпуклый политом (п-политоп) согласно теореме McMullen, Shephard [2]. Каждый п-политоп описывается набором ориентированных гиперплоскостей. Согласно процедуре Тьюки [3], исключение аномальных наблюдений соответствует последовательному удалению граничных точек вложенных выпуклых оболочек. Процедура удаления прекращается при выполнении условий, основанных на оценке Гествирта [4].
В результате разработан оперативный метод отбраковки аномальных наблюдений. Предложенный метод не требует больших вычислительных затрат и может широко использоваться при решении как теоретических, так и практических задач, связанных с обработкой многомерных данных.
Главные особенности разработанного метода заключаются в следующем: начальная задача сводится к статистической, которая в свою очередь – к геометрической; нахождение и исключение аномальных вариант происходит через построение последовательности вложенных выпуклых оболочек – п-политопов, которые описываются наборами граничных точек и гиперплоскостей, что уменьшает временную сложность нахождения п-политопа (а значит, и выпуклой оболочки); вычисление оценок параметров вероятностного распределения (т.е. проведение анализа данных) осуществляется на отсортированных вариантах.
Литература:
1. Гиль Н. И., Софронова М. С. Об одном подходе к построению выпуклой оболочки конечного множества точек в // Штучний інтелект. – 2009. – № 4 – С. 30 – 36.
2. McMullen P., Shephard G. Convex Polytopes and the Upper Bound Conjecture. – Cambridge: University Press, 1971.
3. Tukey J. W. A survey of sampling from contaminated distributions. Contributions to probability and statistics. 1960, vol. 2, рр. 448–485.
4. Gastwirth J. On robust procedures. J. Amer. Stat. Assn. 1966, рр. 929–948.
Ця стаття ліцензується відповідно до Creative Commons Attribution-NonCommercial 4.0 International License.
Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License
Знайшли помилку? Виділіть помилковий текст мишкою і натисніть Ctrl + Enter
Інші наукові праці даної секції
-
ПІДХІД ДО ВИКОРИСТАННЯ RFM ТА КЛАСТЕРНОГО АНАЛІЗУ В ЗАДАЧІ ФОРМУВАННЯ НАВЧАЛЬНОЇ ВИБІРКИ ДЛЯ СЕГМЕНТАЦІЇ ОРГАНІЗАТОРІВ ТЕНДЕРІВ
25.01.2022 19:44 -
РОЗУМНІ КОНТРАКТИ ЗА ДОПОМОГОЮ ТЕХНОЛОГІЇ БЛОКЧЕЙН
21.12.2021 19:22 -
ШТУЧНИЙ ІНТЕЛЕКТ - ІНСТРУМЕНТ ЧИ ЗАГРОЗА КІБЕРБЕЗПЕКИ?
19.01.2022 09:30 -
МЕТОДОЛОГІЧНЕ ОБҐРУНТУВАННЯ ВЕЙВЛЕТ АНАЛІЗУ СИГНАЛІВ ЕЛЕКТРОКАРДІОГРАМ
10.02.2022 14:03 -
КОНКУРЕНТНИЙ ДОСТУП У ТАБЛИЧНИХ БЛОКУВАННЯХ MYSQL: ПЕРЕВАГИ ТА НЕДОЛІКИ
09.01.2022 21:43
Конференції
Конференції 2024
Конференції 2023
Конференції 2022
Конференції 2021
