Исследование и разработка алгоритмов поиска исключений в системах интеллектуального анализа данных тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат физико-математических наук Петровский, Михаил Игоревич

• Петровский, Михаил Игоревич
• кандидат физико-математических наук
• 2003

Оглавление диссертации кандидат физико-математических наук Петровский, Михаил Игоревич

ВВЕДЕНИЕ.

1. Интеллектуальный анализ данных.

2. Задача поиска исключений.

3. Актуальность.

4. Цель работы.

5. Структура и краткое содержание работы.

ГЛАВА I. СУЩЕСТВУЮЩИЕ МЕТОДЫ ПОИСКА ИСКЛЮЧЕНИЙ.

1.1. Статистический подход.

1.1.1. Методы традиционного статистического подхода.

1.1.2. Методы робастной нечеткой кластеризации.

1.1.3. Методы обнаружение исключений, строящие вероятностную модель данных.

1.2. Метрический подход.

1.2.1. Глобальные метрические алгоритмы.

1.2.2. Локальные метрические алгоритмы.

1.3. Методы анализа отклонений

1.3.1. Алгоритмы последовательного поиска исключений.

1.3.2. Репликаторные нейронные сети.

1.3.3. Подходы на основе кластеризации.

1.4. ВЫВОДЫ.

ГЛАВА II. МЕРА СХОДСТВА ДЛЯ РАЗНОРОДНЫХ

СТРУКТУРИРОВАННЫХ ДАННЫХ.

2.1. Представление данных в системах ИАД.

2.1.1. Типы источников данных.

2.1.2. Реляционная модель с вложенными отношениями.

2.2 мера сходства для вложенных реляционных отношений.

2.2.1. Потенциальная функция как мера сходства.

2.2.2. Определение потенциальной функции для вложенных реляционных отношений.

2.3. Основные свойства предложенной меры сходства. to 2.3.1. Семантика параметров.

2.3.3. Вычислительная сложность.

2.3.3. Предположение о независимости атрибутов.

2.3.4. Пример использования предложенной меры сходства для поиска исключений в реляционных данных.

2.4. Выводы.

ГЛАВА III. НЕЧЕТКИЙ МЕТОД ПОИСКА ИСКЛЮЧЕНИЙ С ИСПОЛЬЗОВАНИЕМ ПОТЕНЦИАЛЬНЫХ ФУНКЦИЙ.

3.1. Обоснование и формулировка метода.

3.1.1. Потенциальные функции в задачах поиска исключений.

3.1.2. Идея метода, определение исключения.

3.1.3. Алгоритм поиска исключений на основе блочного покоординатного спуска.

3.1.4. Исследование сходимости.

3.2. Повышение вычислительной эффективности метода для больших объемов данных.

3.2.1. Оценка сложности алгоритма и применение методов случайной выборки.

I* 3.2.2. Проблема упрощения решающего правила в методах, использующих потенциальные функции.

3.2.3. Алгоритм упрощения решающего правила на основе алгоритма кластеризации Руспини.

3.3. Экспериментальное исследование метода на эталонных наборах данных.

3.3.1. Данные с числовыми атрибутами. Тестовый набор данных НВК.

3.3.2. Данные с бинарными и номинальными атрибутами. Тестовые наборы данных из архива UCI.

И 3.3.3 Реляционные данные. База данных Northwind.

3.5. ВЫВОДЫ.

ГЛАВА IV. АПРОБАЦИЯ НА ПРИКЛАДНОЙ ЗАДАЧЕ ОБНАРУЖЕНИЯ КОМПЬЮТЕРНЫХ АТАК.

4.1. Задача обнаружения атак.

4.1.1. Методы ИАД в системах обнаружения атак.

4.1.2. Методика верификации алгоритмов выявления сетевых атак.

4.2. Экспериментальное исследование метода для задачи выявления сетевых атак.

4.2.1. Постановка эксперимента.

4.2.2. Результаты эксперимента.

4.2.3. Сравнительный анализ.

4.3. Программная реализация.

4.3.1. Реализация модуля поиска исключений, поддерживающего стандарт OLEDB for Data Mining.

4.3.2. Архитектура и функциональность экспериментальной системы обнаружения атак.

4.4.Вывод ы.:.

Введение диссертации (часть автореферата) на тему «Исследование и разработка алгоритмов поиска исключений в системах интеллектуального анализа данных»

1. ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ДАННЫХ

С развитием информационных технологий увеличивается количество, размеры и сложность хранилищ и баз данных. Объем хранимой информации в таких системах может достигать миллионов и даже миллиардов записей. В связи с чем возникает необходимость разработки программных средств автоматизированного анализа данных большого объема с целью извлечения из них содержательной информации. Для этих целей используются системы интеллектуального анализа данных (НАД) [6,10,14,37,56,59,66].

Согласно подходу, представленному в работах [56,59,66], интеллектуальный анализ данных (Data Mining) рассматривается как один из этапов процесса, называемого обнаружение знаний в базах данных (Knowledge Discovery in Databases). Этот термин был впервые введен в работе [59], где определялся следующим образом: «Обнаружение знаний в базах данных это нетривиальный процесс выявления скрытых, значимых, содержательных и потенциально полезных закономерностей в больших объемах данных». Найденные таким образом закономерности затем могут быть использованы экспертом или программными системами при решении задач поддержки принятия решений, информационного поиска, управлении производственными процессами и в других приложениях.

В процессе обнаружения знаний в базах данных принято выделять три взаимосвязанных этапа:

• объединение и предобработка данных;

• интеллектуальный анализ данных;

• проверка, интерпретация и визуализация результатов.

Хранилище данных

Знания» Найденные » закономерности /^Проверка, модели) f^j] интерпретация и визуализация

Интеллектуальный анализ данных (Data Mining)

Базы /""Объединение и данных рзэ предобработка LJ данных

Схема 1. Процесс выявления знаний в базах данных.

Объединение и предобработка данных. На данном этапе происходит консолидация данных из различных источников, удаление некорректных значений и вычисление агрегационных значений. Как правило, после этого этапа данные помещаются в хранилище, использующее либо реляционное представление [40], либо многомерное представление на основе п-мерного информационного куба [16,41].

Интеллектуальный анализ данных. Этот этап подразумевает применение к данным, находящимся в хранилище, специализированных методов ИАД с целью поиска закономерностей и выявления зависимостей. Для этого используется математический аппарат и методы математической статистики, искусственного интеллекта, распознавания образов и другие. Найденные закономерности обычно представляются в виде моделей анализа данных (Data Mining models), конкретный вид и содержание этих моделей зависит от используемого математического аппарата и решаемой задачи анализа данных. Например это может быть система правил или дерево решений для задачи классификации; нейронная сеть или регрессионная модель для задачи прогнозирования, прототипы и параметры кластеров для задачи кластеризации и так далее.

Проверка, интерпретация и визуализация результатов. Данный этап основан на интерактивном взаимодействии с экспертом, проводящим анализ данных. Эксперт должен иметь возможность просмотреть и проверить найденные закономерности. Возможно, заново произвести анализ данных, изменив параметры применяемых алгоритмов. Кроме того, на данном этапе могут К применяться статистические методы [2] и методы теории возможностей [11] для проверки значимости найденных закономерностей и адекватности построенных моделей.

Традиционно выделяют следующие основные задачи интеллектуального анализа данных (Data Mining tasks) [37,66]: поиск ассоциативных правил; классификация; прогнозирование; кластеризация; анализ временных рядов; поиск исключений.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Петровский, Михаил Игоревич

Основные результаты диссертационной работы заключаются в следующем:

1. Предложен метод определения меры сходства для вложенных реляционных отношений. Доказано, что предложенная мера сходства является потенциальной функцией.

2. Разработан новый эффективный метод поиска исключений, основанный на вычислении нечеткой степени «типичности» и использующий потенциальные функции.

3. Исследована возможность применения предложенного метода поиска исключений для прикладной задачи обнаружения сетевых атак. Проведено экспериментальное исследование свойств предложенного метода по методике DARPA Intrusion Detection Evaluation Program и сравнительный анализ с ведущими методами обнаружения сетевых атак.

4. Предложенный метод поиска исключений реализован в программной компоненте анализа данных, поддерживающей промышленный стандарт OLEDB for Data Mining. На базе данной компоненты построена экспериментальная система обнаружения сетевых атак.

Данные результаты опубликованы в 7 печатных работах [104-110].

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования кандидат физико-математических наук Петровский, Михаил Игоревич, 2003 год

1. Аверкин А.Н., Батыршин И.З., Блишун А.Ф., Сипов В.Б., Тарасов В.Б. Нечеткие множества в моделях управления и искусственного интеллекта // Москва, Наука, 1986, 312 с.

2. Айвазян С.А., Енюков И.С., Мешалкин Л Д. Прикладная статистика: Исследование зависимостей // Справочное издание под ред. Айвазяна С.А., Москва, Финансы и статистика, 1985, 471 с.

3. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин // Москва, Наука, 1970, 384 с.

4. Алгоритмы и программы восстановления зависимостей (под ред. В.Н.Вапника) //Москва, Наука, 1983, 816 с.

5. Васильев Ф.П. Численные методы решения экстремальных задач. М.: Наука, 1980.

6. Забежайло М.И. Интеллектуальный анализ данных новое направление развития информационных технологий // НТИ. Сер. 2, 1998, № 8, сс. 6-17.

7. Классификация и кластер // Под ред. Дж. Вэн Райвин; Пер. с англ. под ред. Ю.И. Журавлева. М.: Мир, 1978.

8. Лукацкий А.В. Обнаружение атак. // 2е издание. СПб.: БХВ-Петербург, 2003., 569 с.

9. ПолякБ.Т. Введение в оптимизацию. М.: Наука, 1983, 385 с.

10. Пржиялковский В. В. Сложный анализ данных большого объема: новые перспективы компьютеризации // СУБД, № 4, 1996, сс. 71-83.

11. Пытьев Ю.П. Возможность. Основы теории и применения. // Москва, Эдиториал УРСС, 2000

12. Хьюбер П. Робастность в статистике. // Москва, Мир, 1984, 303 с.

13. Ченцов Н.Н. Оценка неизвестной плотности распределения по наблюдениям //ДАН СССР, т.147, №1, 1962.

14. Щавелёв Л. В. Способы аналитической обработки данных для поддержки принятия решений // СУБД, 1998, № 4-5.

15. Agrawal R., Arning A., Raghavan P. A Linear Method for Deviation Detection in Large Databases // Proc. of the 2nd Int'l Conference on Knowledge Discovery in Databases and Data Mining, Portland, Oregon, August, 1996, pp. 164-169.

16. Agrawal R., Gupta A., Sarawagi A., Modeling Multidimensional Databases // IBM Research Report, 1995, (published in the proceedings of ICDE'97)

17. Agrawal R., Megiddo N., Sarawagi S. Discovery-driven exploration of OLAP data cubes // Proc. of the Sixth International Conference on Extending Database Technology (EDBT), Spain, 1998, pp. 168-182.

18. Arnold A., Eskin E., Prerau M., Portnoy L., Stolfo S. A Geometric Framework for Unsupervised Anomaly Detection: Detecting Intrusions in Unlabeled Data // Kluwer, Applications of Data Mining in Computer Security, 2002, pp.272.

19. Batistakis Y.,Halkidi M., Vazirgiannis M. Clustering Validity Checking Methods: Part II // SIGMOD Record 31(3): 19-27 (2002)

20. Barnett, V. and Lewis, T. Outliers in Statistical Data // Wiley, N. Y., 1994, 365pp.

21. Baxter R., Gu L., Hawkins S., He H., Williams G. A Comparative Study of RNN for Outlier Detection in Data Mining // IEEE ICDM 2002, pp.709-712.

22. Baxter R., Gu L., Hawkins S., He H., Williams G. Outlier Detection Using Replicator Neural Networks // Proceedings of DaWaK 2002, pp. 170-180.

23. Ben-Hur A., Horn D., Siegelmann H., Vapnik V. Support Vector Clustering // Journal of Machine Learning Research, 2001, 2:125-137.

24. Bezdek, J.C. Fuzzy Mathematics for Pattern Classification // PhD Thesis, 1973, Cornell University, Ithaca, NY.

25. Bezdek, J.C. Pattern Recognition with Fuzzy Objective Function Algorithms // Plenum Press, New York, 1981.

26. Bezdek, J.C., Hathaway R.J. Some Notes on Alternating Optimization //Springer-Verlag, 2002, pp. 288-300.

27. Bezdek, J.C., Hathaway R.J., Howard R.E., Wilson C.A., and M.P. Windham. Local convergence analysis of a grouped variable version of coordinate descent // Journal of Optimization Theory and Applications, 1987, v. 54, pp.471-477.

28. Bolton, R. J., Hand D. J. Statistical Fraud Detection: A Review (with discussion). // Statistical Science, 2002, 17(3), pp. 235-255.

29. Bradley P., Fayyad U., Reina C. Scaling EM (Expectation-Maximization) Clustering to Large Databases // Microsoft Technical Report MSR-TR-98-35, February 1999.

30. Bradu D., Hawkins D. M, Kass G. V. Location of several outliers in multiple regression data using elemental sets // Technometrics, 1984, 26:197-208.

31. Breunig S., Kriegel H.-P., Ng R., Sander J. LOF: Identifying Density-Based Local Outliers // ACM SIGMOD Int. Conf. on Management of Data, 2000, pp. 93-104.

32. Breunig M. M., Kriegel H.-P., Ng R., Sander J. OPTICS-OF: Identifying Local Outliers III Proceedings Conf. on Principles of Data Mining and Knowledge Discovery, Prague, 1999, pp. 262-270.

33. В urge, P. and J. Shawe-Taylor. Frameworks for fraud detection in mobile telecommunications networks // Proceedings of the Fourth Annual Mobile and Personal Communications Seminar, University of Limerick, 1996,

34. Burges С. Simplified Support Vector Decision Rules //13th International Conference on Machine Learning, 1996, pp. 71-79.

35. Burges C., Knirsch P., Mika S., Mtiller K.-R., Ratsch G., Scholkopf В., Smola A.J. Input space versus feature space in kernel-based methods //IEEE Transactions On Neural Networks 10(5), 1000-1017(1999)

36. Chan P., Eskin E., Fan IV., Hershkop S., Lee W., Miller M., Stolfo S., Zhang, J. Real Time Data Mining-based Intrusion Detection // Proceedings of DISCEX II. (2001), 12p.

37. Chen M-S., Han J., Yu P. S. Data Mining: An Overview from Database Perspective // IEEE Transactions on Knowledge and Data Engineering, 1996, №6, pp. 866-883.

38. Cheng G., Liu, X., Wu, J. Analyzing outliers cautiously. I I IEEE Transactions on Knowledge and Data Engineering, 2002, 14(2):432-437.

39. Choi Y., Krishnapuram R. Fuzzy and robust formulation of maximum-likelihood-based Gaussian mixture decomposition //In IEEE Conference on Fuzzy Systems, pages 1899-1905, New Orleans, Sep. 1996.

40. Codd E.F. The Relational Model for Database Management: Version 2 // Addison-Wesley Pub Co, Addison-Wesley, 1990, 538pp.

41. Codd E.F. Providing OLAP (on-line analytical processing) to user-analysts: an IT mandate // Technical Report, E.F. Codd and Associates, 1993, 31pp.

42. Cohen W. W. Fast effective rule induction. //Machine Learning: the 12th International Conference, Lake Taho, CA, 1995. Morgan Kaufmann. Pp. 115123.

43. Cristianini N., Lodhi H., Shawe-Taylor J., Watkins C. Text classification using string kernels // MIT Press, 2001, Advances in Neural Information Processing Systems 13, pp. 563—569.

44. Dave R. N. Krishnapuram R. Robust clustering methods: A unified view. // IEEE Trans. Fuzzy Syst., 5(2):270-293, 1997.

45. Dave R. N. Kim J., Krishnapuram R. On robustifying the c-means algorithms 7/ In NAFIPS/ISUMA, pp. 630-635, College Park, MD, Sep. 1995.

46. Deng S., He Z, Xu X. Discovering cluster-based local outliers // Pattern Recognition Letters 2003, 24(9-10): 1641-1650.

47. Denning D.E.: An intrusion detection model // IEEE Transactions on Software Engineering, SE-13 (1987), 222-232

48. Dodd, T.J. and C.J. Harris. Identification of Nonlinear Time Series via Kernels // International Journal of Systems Science 2002 , 33(9), 737-750.

49. Dokas P., Ertoz L., Kumar V., Lazarevic A. Srivastava, J., Tan, P. Data Mining for Network Intrusion Detection // Proceedings NSF Workshop on Next Generation Data Mining, Baltimore, MD, November 2002.

50. Ertoz, L., Kumar V., Steinbach, M. Finding clusters of different sizes, shapes, and densities in noisy, high dimensional data, Technical Report, 2002, p. 12.

51. Eskin E. Anomaly Detection over Noisy Data using Learned Probability Distributions // In Proceedings of the International Conference on Machine Learning, 2000, pp. 255-262. '

52. Eskin E., Leslie C., Stafford W. The spectrum kernel: A string kernel for SVM protein classification // Proceedings of the Pacific Symposium on Biocomputing, 2002, pp. 564-575.

53. Eskin E., Portnoy L. Intrusion Detection with Unlabeled Data using Clustering I I Proceedings of ACM CSS Workshop on Data Mining Applied to Security, DMSA-2001.

54. Fayyad U., Piatetski-Shapiro G. Advances in Knowledge Discovery and Data Mining // MIT Press, 1996, 560pp.

55. Filev D. P., Yager R. R. Approximate clustering via the mountain method // SMC 1994, 24(8): 1279-1284.

56. Frigui H., Krishnapuram R. A robust clustering algorithm based on the m-estimator // In Neural, Parallel and Scientific Computations, Atlanta, Georgia, May 1995.

57. Frawley W., Piatetsky-Shapiro G. Knowledge Discovery in Databases // MIT Press, 1991, 539pp.

58. Gaede, V., Gnther, O. Multidimensional Access Methods // ACM Computing Surveys, 30(2), 1998.

59. Gammerman A., Stitson M. O., Vapnik V., Vovk V., Watkins C., Weston J. Density estimation using support vector machines // Technical report, Royal Holloway College, Report number CSD-TR-97-23, 1997,12 pp.

60. Getoor L., Freedman N., Koller D., Taskar B. Learning Probabilistic Models of Relational Structure // Journal of Machine Learning Research, 3:679-707,2002.

61. Girolami, M., He, C. Probability Density Estimation from Optimally Condensed Data Samples //Computing & Information Systems Technical Reports, 2002, 25 pp.

62. Gunn S.R. and Kandola, J.S. Structural modelling with sparse kernels // Machine Learning, 2002, 48(1): 137-163.

63. Han J. OLAP mining: An integration of OLAP with data mining // Proc. of the 7th IFIP 2.6 Working Conference on Database Semantics (DS-7), 1997, pp. 1-9.

64. Han J., Kamber M. Data Mining: Concepts and Techniques I I Morgan Kaufmann, 2000, 500pp.

65. Han J., Tung K., Wen J. Mining top-n local outliers in large databases // KDD, 2001, pp. 293-298.

66. Haussler D. Convolution Kernels on Discrete Structures // Technical Report UCSC-CRL-99-10, CS Department, University of California at Santa Cruze, 1999, 38 pp.

67. Hiirsalmi M, Abnormality detection using SOM modelling // VTT Information Technology RESEARCH REPORT TTE1-2001-16, 2001, p.54.

68. Keller, J. M., Krishnapuram, R. A Possibilistic Approach to Clustering // IEEE Trans. Fuzzy Systems. Vol. 1. № 1, 1993, pp. 98-110.

69. Knorr E., Ng R. Algorithms for Mining Distance-Based Outliers in Large Datasets // VLDB 1998, pp. 392-403.

70. Knorr E., Ng R. A Unified Notion of Outliers: Properties and Computation // Proceedings of KDD 1997, pp. 219-222.

71. Knorr E., Ng R., and Tucakov V. Distance-Based Outliers: Algorithms and Applications // VLDB Journal, 2000, 8(3-4):237~253.

72. Knorr E., Ng R, Zamar R. Robust Space Transformations for Distance-Based Operations // Proceedings of the 7th ACM SIGKDD Conference on Knowledge Discovery and Data Mining, San Francisco, August 25-29, 2001, pp. 126-135.

73. Krishnapuram R, Nasraoui O. A robust estimator based on density and scale optimization, and its application to clustering // IEEE International Conference on Fuzzy Systems, 1996, pp. 1031-1035.

74. Krishnapuram R, Nasraoui O. Crisp interpretation of fuzzy and possibilistic clustering algorithms. // 3rd European Congress on Intelligent Techniques and Soft Computing, 1995, vol. 3, pp. 1312-1318.

75. Kumar V. Data Mining for Network Intrusion Detection // Presentation at NSF Workshop on Next Generation Data Mining, Nov 1-3, 2002.

76. Kumar S., Spafford E. An Application of Pattern Matching in Intrusion Detection // Technical Report 94-013, Department of Computer Sciences, Purdue University, March 1994, p.55

77. Lee W. A Data Mining Framework for Constructing Features and Models for Intrusion Detection Systems // PhD thesis, Computer Science Department, Columbia University, 1999.

78. Leroy A. M., Rousseeuw P. J. Robust Regression & Outlier Detection // Wiley, 1987, pp.352.

79. Levene M., Loizou G. A Fully Precise Null Extended Nested Relational Algebra // Fundamenta Informaticae, 1993, 19, pp. 303-343.

80. Marichal, J.-L. On Sugeno integral as an aggregation function I I Fuzzy Sets and Systems, 2000,114, pp. 347-365.

81. Merz C.J., Murphy P.M. UCI repository of machine learning databases, 1998. www.ics.uci.edu/mlearn/MLRepository.html

82. MIT Lincoln Lab Intrusion Detection Evaluation Program http://www.ll.mit.edu/IST/ideval

83. Moon T. The Expectation-Maximization algorithm // IEEE Signal Processing Magazine, pp. 47-60, Nov. 1996.

84. Mtiller K.-R., Scholkopf В., Smola A.J. Kernel principal component analysis // MIT Press, Cambridge, MA (1999), Advances in Kernel Methods Support Vector Learning, pp. 327-352.

85. Northcutt S., Novak J. Network Intrusion Detection. 3rd edition // Que, 2002, 512pp.

86. Northwind Traders Sample Database. Microsoft Corporation, (2003) http://office.microsoft.com/downloads/9798/Nwind.aspx

87. Ohashi Y. Fuzzy clustering and robust estimation // Presentation at the 9th meeting of SAS Users Group International, 1984.

88. OLE DB for Data Mining Specification. Version 1.0. Microsoft Corporation, 2000. http://www.microsoft.com/data/oledb/dm.html

89. Parzen E. On the estimation of a probability density function and the mode // Ann. Math. Statistics, vol. 33, pp. 1065-1076, 1962.

90. Petrovic P.B. A Fast One-Pass Algorithm for Data-Driven Fuzzy Pattern Recognition // International Journal of Fuzzy Systems, Vol. 4, No. 2, June 20026 pp. 680-689.

91. Piatt J., Scholkopf В., Smola A., Shawe-Taylor J., Williamson R. Support Vector Method for Novelty Detection // Advances in Neural Information Processing Systems 2000, 12, pp. 582-588.

92. Scholkopf В., Smola A. J. Learning with Kernels //MIT Press, Cambridge, 2002, 625 p.

93. Ramaswamy S., Rastogi R., Shim K. Efficient Algorithms for Mining Outliers from Large Data Sets // Proc. of ACM SIGMOD Intl. Conf. On Management of Data, 2000, pp 427 438.

94. Rocke D. A Perspective on Statistical Tools for Data Mining Applications // Proceedings of the Second International Conference on Practical Application of Knowledge Discovery and Data Mining, 1998, pp. 313-318.

95. Rosenblatt, M. On Some Nonparametric Estimates of a Density Function // The Annals of Mathematical Statistics, 1956, 27, pp. 832-837.

96. Ruspini, E.H. Recent developments in fuzzy clustering. // Fuzzy Set and Possibility Theory: Recent Developments. Pergamon Press, New York, 133-147 (1982)

97. Sykacek P. Outliers and Bayesian Inference // Proc. of the International ICSC/IFAC Symposium on Neural Computation, 1998, pp. 973-978.

98. Takeuchi J., Williams G., Yamanishi K. On-line unsupervised outlier detection using finite mixtures with discounting learning algorithms // Proceedings of ACM SIGKDD International Conference on Knowledge Discovery and Data Mining 2000, pp. 320-324.

99. Watkins C. Dynamic alignment kernels. //MIT Press, Cambridge, Advances in Large Margin Classifiers, 2000, pp. 39-50.

100. Yianolos. Data Structures and Algorithms for Nearest Neighbor Search in General Metric Spaces //Proceedings of 4th ACM-SIAM Symposium on Discrete Algorithms, 1993, pp. 311 -321.

101. Машечкин И.В., Петровский М.И. Об одном методе классификации данных для многомерной модели // Журнал НАН Украины «Искусственный Интеллект», Донецк, 2002, №2, сс. 188-196.

102. I.V. Mashechkin, M.I. Petrovskiy, The Fuzzy Metrics in Classification Problem for N-dimensional Cube-based Model // Proceedings of the Fifth International Symposium «Intelligent Systems», Moscow, BMSTU, 2002, p 369.

103. М.И. Петровский, Мера сходства для сравнения прецедентов в системах анализа данных, поддерживающих стандарт OLEDB for DM // Тематический сборник «Программные системы и инструменты», Издательский отдел ВМиК МГУ, 2002, №3, сс. 33-43.

104. М.И. Петровский. Алгоритмы выявления исключений в системах интеллектуального анализа данных. // Журнал РАН «Программирование», 2003, №4, сс. 66-80.

105. Mikhail Petrovskiy. A Hybrid Method for Patterns Mining and Outliers Detection in the Web Usage Log. // Springer-Verlag, Lecture Notes in Artificial Intelligence, 2003, vol. 2663, pp. 318-328.

106. Mikhail Petrovskiy. Convolution Kernels for Outliers Detection in Relational Data. // Springer-Verlag, Lecture Notes in Computer Science, 2003, vol. 2690, pp. 661-668.

107. Mikhail Petrovskiy. Fuzzy Kernel-based Method for Real-time Network Intrusion Detection // Springer-Verlag, Lecture Notes in Computer Science, 2003, vol. 2887, (12pages) (в печати).