Д. Решение задачи на ЭВМ 1. Структура классов
2. Пример функционирования
Для примера использования нашей библиотеки была использована тестовая кластеризация. Для начальных данных были взяты публичные наборы атрибутов грибов. Набор составлял более 1000 векторов с пропущенными атрибутами. На каждый объект приходилось порядка 25 атрибутов. Задача заключалась в кластеризации данных, определяющей пригоден ли гриб к питанию. В результате приемлемые результаты были получены уже на первой итерации метода CLOPE. Для остановки разделения потребовалось три итерации с параметром repulsion = “2.6”.
Алгоритм BIRCH + k-means хорошо показал себя на тестовых данных об автомобилях. В тестовый набор были включены 1400 наборов данных по 90 атрибутов без пропуска. В результате кластеризации автомобили были разбиты на 5 кластеров в которых можно было проследить соотношение стоимости автомобиля его характеристикам.
Библиотека так же хорошо работает на данных о страховой стоимости, или для выделения групп в маркетинговых исследованиях. Но все же самым главным в реализации кластеризации является правильное понимание области данных экспертом, формирующим исходную выборку. Правильно предоставленные данные могут давать незначительные отклонения при ошибочно выбранных начальных параметров алгоритмов. Представленные алгоритмы хорошо выделяют выбросы и аномалии. Так в случае с кластеризацией грибов, многие объекты имели пропущенный атрибут, но это всё равно не повлияло на результат работы в следствии устройства структуры алгоритма, работающей непосредственно с параметрами кластера, а не самими объектами.
Е. Заключение
В результате дипломного проектирования были рассмотрены методы кластерного анализа, популярные продукты для кластеризации данных и их применение. На основании чего было установлено, что множество систем реализованы под конкретные задачи. Во время разработки библиотеки были рассмотрены методы, применяемые в современных системах, из которых выбрались 3 основных метода из разных групп. Реализация методов была успешно проведена в с применением фреймворка Qt на языке С++. Для меня встала задача не только кластеризации, но и разработки модуля для проведения экспертных оценок на основании пользовательских запросов. Данная задача была решена при помощи введения системы ценовых моделей как в «ручном», так и в «автоматическом» режимах. После применения ценовых моделей формировалась итоговая таблица взвешенных атрибутов непосредственно к которым применялся один из выбранных алгоритмов кластеризации. После успешной кластеризации формируется таблица атрибутов кластеров на основании которой пользователь может делать запросы, в которых предоставляя вектор с полной информацией, мог узнать к какому кластеру наиболее вероятно может быть отнесен данный объект. Либо при введении кластера с неполной информацией, происходит соотнесение его с наиболее вероятным кластером, и на основании содержащихся там элементов происходит прогнозирование неизвестного атрибута на основании среднего значения.
В итоге была реализована библиотека, которую можно применять в больших системах для проведения анализа данных и поиска неочевидных связей.
Ж. Список использованной литературы
1. ССБТ. Ультразвук. Общие требования безопасности. ГОСТ 12.1.001-89
2. Санитарные нормы. Гигиенические нормы инфразвука на рабочих местах. СН № 2274-80
3. ССБТ. Шум. Общие требования безопасности. ГОСТ 12.1.003-83 (1999)
4. ССБТ. Средства ми методы защиты от шума. Классификация ГОСТ 12.1.029-80 (2001)
5. СНиП Защита от шума. СНиП 11-12-77
6. ССБТ. Шум. Допустимые уровни в жилых и общественных зданиях. ГОСТ 12.1.036-81 (2001)
7. ССБТ. Методы измерения шума на рабочих местах ГОСТ 12.1.050-86 (2001)
8. ССБТ. Средства защиты рук от вибрации. ГОСТ 12.4.002-97
9. ССБТ. Вибрация Средства измерения и контроля вибрации на рабочих местах. Технические требования. ГОСТ 12.4.012-83 (1986)
10. Трудовой кодекс Российской Федерации от 30.12.2001 г. 197-ФЗ
11. ССБТ. Общие требования к системе управления охраной труда в организации. ГОСТ Р 12.0.006-2002
12. ССБТ. Опасные и вредные производственные факторы. Термины и определения. ГОСТ 12.0.002-80*
13. ССБТ. Опасные и вредные производственные факторы. Классификация. ГОСТ 12.0.003-74 (99)
14. ССБТ. Электробезопасность. Термины и определения. ГОСТ 12.1.009-76 (1999)
15. ССБТ. Электробезопасность. Предельно допустимые значения напряжений прикосновения и токов. ГОСТ 12.1.038-82
16. ССБТ. Электробезопасность. Защитное заземление. Зануление. ГОСТ 12.1.030-81 (2001)
17. ССБТ. Электробезопасность. Общие требования и номенклатура видов защиты. ГОСТ 12.1.019-96
18. ПУЭ (правила устройства электроустановок), утверждены приказом Минэнерго России от 9.04.2003 г. № 150
19. Санитарные правила и нормы. Гигиенические требования к естественному, искусственному и совмещенному освещению жилых и общественных зданий. СанПиН 2.2.1/2.1.1.1278-03
20. Санитарные правила и нормы. Искусственное освещение. СНиП 11-4-79
21. ССБТ. Лампы электрические. Требования безопасности. ГОСТ 12.2.0ССБТ. Ультразвук. Общие требования безопасности ГОСТ 12.1.001-89 (1999)
22. Правила технической эксплуатации электроустановок потребителей, утверждены Министерством энергетики 13 января 2003 г., №6
23. Санитарные правила и нормы. Гигиенические требования к микроклимату производственных помещений СанПиН 2.2.4.548-96
24. Гигиенические требования к аэроионному составу воздуха производственных и общественных помещений. СанПиН 2.2.4.1294-03
25. ССБТ. Воздух рабочей зоны. Требования к методикам измерения концентрации вредных веществ. ГОСТ 12.1.016-79 (2001)
26. ССБТ. Вредные вещества. Классификация и общие требования безопасности. ГОСТ 12.1.007-82 (1999)
27. ССБТ. Общие санитарно-гигиенические требования к воздуху санитарной зоны. ГОСТ 12.1.005-88 (2001)
28. И. А. Чубукова Data Mining - Интернет-университет информационных технологий, Бином. Лаборатория знаний ISBN 978-5-94774-819-2; 2008 г.
29. Тоби Сегаран (пер. А. Слинкин) Программируем коллективный разум (Programming Collective Intelligence) Символ-Плюс ISBN 978-5-93286-119-6, 5-93286-119-3, 0-596-52932-5; 2008 г.
30. Дюк В., Самойленко А. Data Mining: учебный курс (+CD). - СПб.: Изд. Питер, 2001. - 368 с.
31. Гудков А. А. Известия Пензенского государственного педагогического университета им. В.Г. Белинского 2007
32. Питер Морвиль, Луис Розенфельд (пер. С. Маккавеев, Е. Смогайлов) Информационная архитектура в Интернете (Information Architecture for the World Wide Web) ISBN 978-5-93286-164-6, 978-0-596-52734-1; 2010 г.
33. Х. Марманис, Д. Бабенко (пер. М. Низовец) Алгоритмы интеллектуального Интернета. Передовые методики сбора, анализа и обработки данных (Algorithms of the Intelligent Web) Символ-Плюс, ISBN 978-5-93286-186-8, 978-1-933988-66-5; 2011 г.
34. Sudipto Guha, Rajeev Rastogi, Kyuseok Shim ROCK A Robust Clustering Algorithm for Categorical Attributes 0-7965-0071-4/99 1999 IEEE
35. Н. Паклин. «Кластеризация категорийных данных: масштабируемый алгоритм CLOPE». Ссылка: http://www.basegroup.ru/library/analysis/clusterization/clope/
36. Н. Паклин «Алгоритмы кластеризации на службе Data Mining». Ссылка: http://www.basegroup.ru/clusterization/datamining.htm
37. Tian Zhang, Raghu Ramakrishnan, Miron Livny «BIRCH: An Efficient Data Clustering Method for Very Large Databases». Электронное издание.
38. Daniel Fasulo «An Analysis Of Recent Work on Clustering Algorithms». Электронное издание
39. Фредерик Брукс Мифический человеко-месяц, или Как создаются программные системы Символ-Плюс ISBN 5-93286-005-7, 0-201-83595-9; 2010 г.
40. Dr. Winston W. Rovce ANAGING THE DEVELOPMENT OF LARGE SOFTWARE SYSTEMS http://www.cs.umd.edu/class/spring2003/cmsc838p/Process/waterfall.pdf
41. Критика известных экспертов PMI концепции "водопада" в PMBOK 3 http://www.microsoftproject.ru/articles.phtml?aid=158#agile
|
