Создание компьютерной системы интеллектуального анализа фармакологических данных тема диссертации и автореферата по ВАК РФ 05.25.05, кандидат технических наук Максин, Михаил Владиславович

• Максин, Михаил Владиславович
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Максин, Михаил Владиславович

ОГЛАВЛЕНИЕ.

ВВЕДЕНИЕ.

ГЛАВА 1. ИНТЕЛЛЕКТУАЛЬНЫЙ АНАЛИЗ ДАННЫХ В НАУКАХ О ЖИЗНИ.

1.1 Немного о терминологии.

1.2 Задачи, цели и инс i румен i ы ИАД.

1.2.1 Язык примеров.

1.2.2 Язык гипотез.

1.2.3 Алгоритм обучения.

1.3 Примеры задач для ИАД в науках о жизни.

1.3.1 Исследование канцерогенности веществ (токсикоюгия).

1.3.2 Медицина.

1.4 выводы.

ГЛАВА 2. КОМБИНИРОВАННОЕ ИСПОЛЬЗОВАНИЕ ЛОГИЧЕСКИХ И ЧИСЛЕННЫХ МЕТОДОВ В ИНТЕЛЛЕКТУАЛЬНОМ АНАЛИЗЕ ДАННЫХ: ДСМ + ХЮККЕЛЬ.

2.1 ДСМ-мг/год АПГ.

2.2 ДСМ-сис1ема прогнозирования контрпродуктивых свойс1в химичгских соединений.

2.3 квантово-механическии модуль сис1емы.

2.4 модуль ДСМ-анализа числовых характеристик (мыод интервалов).

2.5 Числовая величина как ДСМ-оьъг.к1.

2.6 Эксперименты.

2.7 Итоги.

ГЛАВА 3. АРХИТЕКТУРА ИНТЕГРИРОВАННОЙ ДСМ-СИСТЕМЫ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА ГИБРИДНЫХ ДАННЫХ.

3.1 Обобщгнип понятия сходства.

3.2 Архи i еюура программной сис i емы.

3.2 1 Структуры данных.

3.2 2 Компоненты ядра системы.

3.2.3 Компоненты настройки системы.

3.2.4 Алгоритм построения решетки сходств для ДСМ-гипотез 11-го типа.

3.2.5 Алгоритм доопределения объектов с помощью решетки сходств.

3.3 ФКСП и регрессия (реализация и экспсримеш).

3.3.1 Линейная регрессия как сходство числовых величин.

3.3.2 Эксперименты.

Введение диссертации (часть автореферата) на тему «Создание компьютерной системы интеллектуального анализа фармакологических данных»

По данным Национальной токсикологической программы США (U.S. National Toxicology Program, NTP), в настоящее время зарегистрировано около 100,000 химических веществ, используемых в производстве, и ежегодно в этот список добавляется около 1,000 соединений. Влияние на человеческий организм известно лишь для 15% из них, хотя человек может быть подвержен их воздействию во время производства, использования продуктов и утилизации отходов, и все они, так или иначе, становятся частью окружающей нас среды -воздуха, воды и почвы. Ещё меньше известно о канцерогенности этих веществ, так как экспериментальные исследования в данной области являются весьма дорогостоящими и времяёмкими: стандартный тест на канцерогенность одного химического вещества в рамках NTP включает в себя 2 года биопроб на грызунах и стоит около 2 миллионов долларов. Компьютерные системы анализа кон1рпродуктивных свойств химических соединений, предоставляющие прогноз этих свойств, позволили бы значительно сократить время и стоимость таких исследований. Особое место среди этих систем занимают системы интеллектуального анализа данных (ИАД), характеризующиеся способностью использовать существующие знания и приводить обоснование сделанного прогноза.

В настоящее время повышенный интерес вызывают методы ИАД, интегрирующие познавательные (логико-комбинаторные) процедуры со статистическими (вычислительными) процедурами. Такие интегрированные методы позволяют учитывать в анализе как структурные, так и числовые характеристики изучаемых объектов (т.е. проводить анализ гибридных данных), а также подкрепить сравнительно молодой, но чрезвычайно перспективный аппарат формального логического анализа многолетним опытом разработок в области статистического анализа. При этом числовые характеристики и числовые модели, отражающие «физику» изучаемых явлений и процессов (как, например, энергия активации в задаче «структура химического соединения - проявляемая активность») могут являться важным элементом настройки интеллектуальной системы анализа на конкретную предметную область.

Целыо диссертационных исследований являлось создание интегрированной системы интеллектуального анализа гибридных данных, и её апробация в прогнозировании контрпродуктивных свойств классов химических соединений.

Выбор данной цели привёл к постановке следующих задач:

1. Разработка архитектуры интегрированной системы интеллектуального анализа гибридных данных, с учётом следующих технических требований:

• возможность распараллеливания вычислительно-сложных этапов работы системы с целью снижения времени работы и требований к аппаратному обеспечению

• возможность работы в условиях, когда не все данные могут быть размещены в оперативной памяти - для масштабируемости системы в зависимости от объёма анализируемых данных

• возможность сохранения результатов работы системы (в том числе и промежуточных) перманентно

2. Исследование возможных путей учёта числовых характеристик в рамках логико-комбинаторного анализа

3. Систематизация числовых характеристик химических соединений, релевантных решаемым задачам прогноза, а также методов вычислений этих характеристик

4. Апробация системы в решении задач прогнозирования контрпродуктивных свойств выделенного класса химических соединений

Актуальность работы определяется тем, что для качественного изучения объекта необходимо использование наукоемких его моделей и моделей процессов, в которых он участвует, и численные модели исторически являются наиболее широким классом таких моделей. Гибридное (структурно-числовое) описание объекта является более информативным, а интегрированные методы должны сделать анализ более полным и точным. Разработанная интеллектуальная система позволяет обогащать имеющиеся данные о контрпродуктивных свойствах химических соединений числовыми характеристиками этих соединений (которые вычисляются автоматически или предоставляются экспертом), а затем проводить анализ с целью выявления причин наличия таких свойств и прогнозирования. Архитектура же, в которой выполнена система, делают её легко расширяемой в смысле используемых методов анализа и легко масштабируемой в смысле применимости для решения практических задач разного объёма данных.

Разработанная в диссертации система прогнозирования контрпродуктивных свойств химических соединений является интеллектуальной системой типа ДСМ (ИнтС-ДСМ) [12].

Интеллектуальные системы типа ДСМ основаны на ДСМ-методе автоматического порождения гипотез (АПГ), реализующем автоматизированные правдоподобные рассуждения (порождение гипотез о причинах свойств, вывод по аналогии, процедуры объяснения начального состояния БД) [84].

ИнтС-ДСМ представляет собой интерактивную систему, в которой на базе развитого логико-математического обеспечения, реализующего ДСМ-метод АПГ, осуществляется интеллектуальный анализ данных из БД с неполной информацией (БДНИ). ИнтС-ДСМ применяются для прогнозирования свойств структурированных объектов в БДНИ для задач фармакологии, медицины, технической диагностики и социологии.

В процессе работы над диссертацией автором получены следующие научные результаты:

1. Разработана архитектура интегрированной системы типа ДСМ интеллектуального анализа гибридных данных

2. Предложенная архитектура реализована в экспериментальной версии интеллектуальной системы прогнозирования контрпродуктивных свойств химических соединений

3. Задачи анализа гибридных данных сведены к классу задач, решаемых ДСМ-методом

4. Спроектирована и реализована расширяемая, масштабируемая и распараллеливаемая версия ДСМ-решателя, включая модель данных и алгоритмы работы на разных этапах.

5. Реализован модуль для квантово-механического расчёта числовых характеристик класса химических соединений

При разработке ИнтС-ДСМ использовались:

- принципы гибридного представления химических соединений, предложенные в статьях Маневича С.И. [75,79];

- модель канцерогенности ПАУ, разработанная в ПИИ экологии человека и гигиены окружающей среды;

- версия решателя задач для ИнтС-ДСМ, представленная в диссертации Панкратова Д.В. [87];

- версия ФКСП-кодировщика структур химических соединений, разработанная в ходе диссертационных исследований Добрыниным Д.А. [55];

Следующие особенности работы определяют ее научную новизну:

1. Разработана архитектура интегрированной системы интеллектуального анализа гибридных данных, которая делает возможным расширение новыми методами и стратегиями анализа

2. Разработан распараллеливаемый алгоритм поуровневого построения решётки ДСМ-гинотез, оптимизированный для применения в задачах с трудоёмкими операциями нахождения сходства

3. Создана интеллектуальная система прогнозирования контрпродуктивных свойств химических соединений, совместно использующая логико-комбинаторные и численные методы для анализа структурно-числовых данных

Практическая значимость работы заключается в создании интеллектуальной партнерской системы для анализа экспериментальных данных, которая:

1. Позволяет осуществлять внеэкспериментальный прогноз контрпродуктивных свойств химических соединений с учётом их структурных и числовых характеристик

2. Реализует важные элементы ДСМ-рассуждения - итерационное применение правил правдоподобного вывода (шага ДСМ-рассуждения) и стратегии ДСМ-рассуждения

3. Позволяет использовать статистический (вычислительный) анализ в сочетании с ДСМ-анализом

4. Предоставляет интерфейс доступа к данным, позволяющий работать с данными безотносительно тою, где эти данные фактически находятся (в оперативной памяти, на диске, в базе данных и т.д.)

5. Является основой для создания ДСМ-систем НАД промышленного масштаба

По теме диссертации в настоящее время опубликовано 6 статей и 2 тезисов докладов.

Структура работы. Диссертация состоит из введения, трёх глав и заключения, приложений и списка литературы.

Заключение диссертации по теме «Информационные системы и процессы, правовые аспекты информатики», Максин, Михаил Владиславович

Основные результаты работы.

1. Сделан обзор, классификация и анализ существующих методов интеллектуального анализа данных, а также анализ тенденций и потребностей в их развитии

2. Разработана архитектура интегрированной системы интеллектуального анализа гибридных данных.

3. Разработан распараллеливаемый алгоритм иоуровневого построения решётки ДСМ-гииотез, оптимизированный для применения в задачах с трудоёмкими операциями нахождения сходства

4. Реализован ДСМ-решатель со встроенной возможностью расширения набора проверяемых эмпирических зависимостей и определения операции локального сходства множества объектов, а также выполняющий итерационное применение правил правдоподобного вывода.

5. Реализован модуль для квантовомеханического расчёта числовых характеристик класса химических соединений

6. Создана интеллектуальная система прогнозирования контрпродуктивных свойств химических соединений, совместно использующая логико-комбинаторные и численные методы для анализа структурно-числовых данных

Заключение

В результате работы над диссертацией разработана и апробирована система интеллектуального анализа данных о контриродуктивных свойствах (класса) химических соединений, позволяющая совместно использовать логико-комбинаторные и численные (статистические) методы для анализа гибридных структурно-числовых данных.

Частью системы является квантовомеханический модуль, позволяющий (для класса химических соединений) вычислять энергетические характеристики соединения и строить структуру его метаболита; этот шаг реализует идею «обогащения» исходных данных перед последующим шагом поиска закономерностей (data mining). Надо заметить, что в данном случае происходит именно «обогащение» данных (а не просто их клонирование/проецирование), так как при этом используется содержательная модель некоей части изучаемого явления (а именно, процесса метаболизма как составляющей процесса проявления канцерогенных свойств вещества).

Другой идеей, нашедшей воплощение в данной системе, является идея контролирования комбинаторной «лавины» порождения гипотез статистическими «поглотителями»-фильтрами, в качестве примера которых выступает используемый регрессионный фильтр.

Разработанная программная ДСМ-система также претворила в жизнь важные элементы ДСМ-рассуждения, не реализовывавшиеся ранее -итерационное применение правил правдоподобного вывода (шага ДСМ-рассуждения) и стратегии ДСМ-рассуждения. Кроме того, лежащая в основе её архитектура обладает следующими важными свойствами:

• Стабильное высокопроизводительное ядро с элементами распараллеливания наиболее трудоёмких операций

• Гибкий механизм настройки на задачи предметной области - без ущерба для производительности системы в целом

• Чёткий интерфейс доступа к данным, позволяющий работать с данными безотносительно того, где эти данные фактически находятся (в оперативной памяти, на диске, в базе данных и т.д.)

• «Поуровневый» алгоритм построения решетки гипотез, предъявляющий минимальные требования к объему «одновременно» доступных данных и тем самым позволяющий эффективное кэширование данных.

Дальнейшее развитие системы видится как раз в реализации заложенного в её архитектуре потенциала - как в области программного воплощения достижений ДСМ-науки, так и в придании ей характеристик программной системы промышленного масштаба. Среди таких характеристик видятся следующие:

• Использование базы данных для хранения как исходных данных, так и результатов работы системы. Наличие унифицированной базы данных значительно упрощает обмен данными между различными компонентами комплексного решения, ввод и подготовку данных, представление результатов, а также проведение многоэтапных экспериментов.

• Удобный пользовательский интерфейс как важный элемент человеко-машинной системы. Интуитивный графический интерфейс превращает программную систему в настоящею помощника исследователя.

• Интеграция с современными системами квантовомеханических расчётов и моделей изучаемых процессов с целыо повышения содержательности входных данных.

• Интеграция с современными системами статистического анализа данных с целыо расширения доступных системе инструментов анализа.

Список литературы диссертационного исследования кандидат технических наук Максин, Михаил Владиславович, 2006 год

1. Bristol, D.W., Wachsman, J.T., Greenwell, Л. "1.troduction: The NIEIIS Predictive-

2. Toxicology Evaluation Project" // Environmental Health Perspectives, 104 (Supplement 5): 1001-1010, 1996.

3. Srinivasan, A., King, R.D., Muggleton, S.H., Sternberg, M.J.E. "'I he predictivetoxicology evaluation challenge" // Proceedings of the Fifteenth International Joint Conference on Artificial Intelligence, 1 -6, Morgan-Kaufmann, 1997.

4. Tennant, R.W., Spalding, J., Stasiewicz, S., Ashby, J. "Prediction of the outcome ofrodent carcinogenicity bioassays currently being conducted on 44 chemicals by the National Toxicology Program" // Mutagenesis, 5:3-14, 1990.

5. Bahler, D., Bristol, D.W. "The induction of rules for predicting chemicalcarcinogenesis in rodents" // Intelligent Systems for Molecular Biology, 29-37 / Eds. L. Hunter, D. Searls, and J. Shavlick, Menlo Park, CA: AAAI/MIT Press, 1993.

6. Srinivasan, A., King, R.D., Muggleton, S., Sternberg, M.J.E. "Carcinogenesis

7. Predictions Using ILP" // Proceedings of the 7th International Workshop on Inductive Logic Programming, 1297:273-287, 1997.

8. Kramer, S., Pfahringer, В., Helma, C. "Mining for Causes of Cancer: Machine1.arning Experiments at Various Levels of Detail" // Proceedings of the Third International Conference on Knowledge Discovery and Data Mining (KDD-97), AAAI Press, 1997.

9. Quinlan, J.R. C4.5 Programs for Machine Learning, Morgan Kaufmann, 1993.

10. Kramer, S. "Structural Regression Trees" // Proceedings of the Thirteenth National

11. Conference on Artificial Intelligence (AAAI-96), 812-819, AAAI Press/MIT Press, 1996.

12. Fayyad, U. M., Piatetsky-Shapiro, G., Smyth, P. "From Data Mining to Knowledge

13. Discovery in Databases" IIA1 Magazine 17(3): 37-54, 1996.

14. Codd, E. F. Providing OLAP (On-Line Analytical Processing) to User-Analysts: An IT Mandate, E. F. Codd and Associates, 1993.

15. Lavrac, N., Keravnou, E., Zupan B. "Intelligent Data Analysis in Medicine" // Encyclopedia of Computer Science and Technology 42:113-157 / Eds. A. Kent et al, Dekker, New York, 2000.

16. Финн В. К. «Об особенностях ДСМ-метода как средства интеллектуального анализа данных» // НТИ. Сер. 2 2001 - № 5 - стр. 1 -3.

17. Компания RuleQuest Research, http://wwvv.rulequest.com/

18. Muggleton, S. "Inverse Entailment and Progol" // New Generation Computing, Special issue on Inductive Logic Programming 13(3-4): 245 286, Ohmsha, 1995.

19. Финн В. К. «Правдоподобные выводы и правдоподобные рассуждения» // Ито1и науки и техники. Сер. Теория вероятностей. Математическая статистика. Теоретическая кибернетика. Т. 28. М.: ВИНИТИ, 1988 - С. 3 -84.

20. Desjardins, М., Gordon D. F. "Evaluation and selection of biases in machine learning" // Machine Learning Journal 5:1—17, 1995.

21. Rissanen, J. "Modeling by shortest data description" // Automatica 14:465 471,1978.

22. Srinivasan, A., King, R.D., Bristol, D.W. "An assessment of submissions made to the Predictive Toxicology Evaluation Challenge" // Proceedings of the 16th International Joint Conference on Artificial Intelligence, Morgan Kaufmann, 1999.

23. Sebag, M. "Delaying the Choice of Bias: A Disjunctive Version Space Approach" // Proceedings of International Conference on Machine Learning 444 452, 1996.

24. Sebag, M., Rouvcirol, С. "Tractable induction and classification in first-order logicvia stochastic matching" // Proceedings of the 15 th International Joint Conference on Artificial Intelligence 888-893, Morgan Kaufmann, 1997.

25. Mitchell, T. Machine Learning, McGrow I Iill, 1997.

26. King, R. D., Srinivasan, A., Dehaspe L. "WARMR: A Data Mining Iool for Chemical Data"

27. Ileima, C., Gottmann, I:., Kramer, S. "Knowledge Discover}' and Data Mining in Toxicology" // Statistical Methods in Medical Research 9: 329 358, 2000.

28. De Raedt, L., Van Laer, W. "Inductive Constraint Logic" // Proceedings of the 5th Workshop on Algorithmic Learning Theory, Lecture Notes in Artificial Intelligence, Springer Verlag, 1995.

29. Mannila, H., Toivonen, II. "Levelwise Search and Borders of Theories in Knowledge Discovery" // Data Mining and Knowledge Discovery 1(3): 241 258, 1997.

30. Алгоритм поиска глобального сходства в системах типа ДСМ.

31. Han, П.Н., Kumar, V., Shekhar, S., Ganesh, M., Srivastava, J. "Search framework for mining classification decision trees" // Technical Report TR-96-023, Department of Computer Science, University of Minnesota, Minneapolis, 1996.

32. Provost, F., Aronis, J., Buchanan, B. "Rule-space search for knowledge-based discovery" // CIIO Working Paper IS 99-012, New York University, 1999.

33. Korf, R. II. "Artificial Intelligence Search Algorithms" // Algorithms and Theory of Computation Handbook, CRC Press, 1999

34. Кузнецов С. О. «ДСМ-метод как система автоматического обучения» // Итогинауки и техники. Сер. Информатика.-М.: ВИНИТИ, 1991 Вып. 15

35. Финн В. К. «Правдоподобные рассуждения в интеллектуальных системах типа

36. ДСМ» // Итоги науки и техники. Сер. Информатика. М.: ВИНИТИ, 1991 -Вып. 15

37. Виноградов Д. В. «Формализация правдоподобных рассуждений в логике предикатов» // НТИ. Сер. 2. 2000. - № 11. - С. 17-20.

38. De Raedt, L., Van Laer, W. "How to Upgrade Propositional Learners to First Order Logic: Л Case Study" // Machine Learning and Its Applications 102-126, 2001.

39. Clark, P., Niblett, T. "The CN2 Induction Algorithm" // Machine Learning, 3(4):261 -283, 1989.

40. Dehaspe, L. "Maximum Entropy Modeling with Clausal Constraints" // Proceedings of the 7th International Workshop on Inductive Logic Programming, 1297:109-124, 1997.

41. Dehaspe, L., De Raedt, L. "Mining Association Rules in Multiple Relations" // Proceedings of the 7th International Workshop on Inductive Logic Programming, 1297:125-132, 1997.

42. Plotkin, G. "A note on inductive generalization" // Machine Intelligence, 5:153 -163 / Eds. B. Meltzer and D. Mitchie, Edinburgh University Press, 1970.

43. Agrawal, R., Srikant, R. "Fast Algorithms for Mining Association Rules" // Proceedings of the 20th International Conference on Very Large Databases, 487 -499, 1994.

44. Michalski, R. S., "A Theory and Methodology of Inductive Learning," // Machine Learning: An Artificial Intelligence Approach / Eds. R. S. Michalski, J. Carbonell and T. Mitchell, TIOGA Publishing Co., Palo Alto, pp. 83-134, 1983.

45. Provost, I7. J., Fawcett, T. "Robust Classification Systems for Imprecise Environments" // Machine Learning Journal, 42 (3), March 2001.

46. Woo, Y.-T. "Predictive Toxicology Challenge (PTC) 2000-2001: Л Toxicologist's View and Evaluation" // Proceedings of PTC Workshop at the 5th European Conference on Principles and Practice of Knowledge Discovery in Databases (PKDD2001), 2001.

47. Blinova, V., Dobrynin, D.A. "Languages for Representing Chemical Compounds for1.telligent Systems of Chemical Design" // Automated Documentation and Mathematical Linguistics, 3, 2000.

48. Blockeel, II., De Raedt, L. 'Top-Down Induction of First-Order Logical Decision Trees" // Artificial Intelligence, 101(1 -2): 285 297, 1998.

49. Blockeel, II. et al "First order models for the Predictive Toxicology Challenge 2001" // Proceedings of PTC Workshop at the 5th European Conference on Principles and Practice of Knowledge Discoveiy in Databases (PKDD 2001), 2001.

50. Pfahringer, В. "('I he Futility of) Trying to Predict Carcinogenicity of Chemical Compounds" // Proceedings of PTC Workshop at the 5th European Conference on Principles and Practice of Knowledge Discovery in Databases (PKDD 2001), 2001.

51. Gonzalez, J. A., Holder, L. В., Cook, D. J. "Predictive Toxicology Challenge: Modelof Toxicology Prediction for Male Rats" // http://www.informatik.uni-freiburg.de/~ml/ptc/comprehensiblemodels/uta.pdf

52. Cook, D. J., Holder, L. B. "Substructure Discovery Using Minimum Description Length and Background Knowledge" // Journal of Artificial Intelligence Research, 1:231-255, 1994.

53. Bunke, II., Allermann, G. "Inexact graph matching for structural pattern recognition" // Pattern Reognition Letters, 1(4): 245 253, 1983.

54. Burch, R. W. "Semeiotic Data Fusion" // Proceeding of 3rd International Conference of Information Fusion (Fusion-2000)

55. Финн В. К. «Правдоподобные выводы и проблемы автоматическою порождения теорий из базы фактов» // Интенсиональные логики и логическая структура теорий: Тезисы докладов IV советско-финского копоквиума по логике, Телави, 1985. С. 108 - 114.

56. Аншаков О. М., Скворцов Д. П., Финн В. К. «Логические средства экспертныхсистем типа ДСМ» // Семиотика и информатика. 1986 - Вып. 28. - С. 65 -101.

57. Лейбов А. Е. «Автоматическое кодирование химических структур кодом ФКСП» // Итоги науки и техники.

58. Блинова В. Г., Добрынин Д. А. «Язык ФКСП описания химической структуры соединения» //1ГГИ. Сер. 2. 2001. - № 6. - С. 14-21.

59. Gamberger, D., Lavrac, N., Groselj, С. "Diagnostic Rules of Increased Reliability for Critical Medical Applications" // AIMDM, 361 365, 1999.

60. Datta, P., Kibler, D. F. "Learning Prototypical Concept Descriptions" // Machine Learning • Proceedings of the 12th International Conference ICML-95, 158 166 / Eds. A. Prieditis and S. Russell, Morgan Kaufmann, 1995.

61. Lavrac, N. "Data Mining in Medicine: Selected Techniques and Applications"

62. Quinlan, R. J. "Induction of decision trees" // Machine Learning, 1: 81 106, 1986.

63. Newell, A., Simon, II. A. Human problem solving Prentice-Hall, Englewood Cliffs, NJ, 1972.

64. Quinlan, J. R., Cameron-Jones, R. M. "FOIL: A Midterm Report" // Proceedings of the 6th European Conference on Machine Learning 667: 3 20, Springer-Verlag, 1993.

65. S. Muggleton, S., Feng, C. "Efficient induction of logic programs" // Proceedings of the 1st Conference on Algorithmic Learning Theory, 368 -381, 1990.

66. Вирт H. Алгоритмы + Структуры данных = Программы. М.: Мир. 1985

67. Langley, P., Simon, Н., Bradshaw, G. "Heuristics for empirical discovery" // Computational Models of Learning. / Ed. Bole, L., Springer, Berlin, 1987

68. Morin, J. "Learning relational cliches with contextual generalization", PhD thesis, School of Information Technology and Engineering, University of Ottawa, Ontario, Canada, 1999.

69. Забежайло М. И. «Формальные модели рассуждений в принятии решений: приложение ДСМ-метода в системах интеллектуального управления и автоматизации научных исследований» // НТИ. Сер. 2. 1996. - № 5-6. - С. 20 -33.

70. Aha, D.W. "Case-Based Learning Algorithms" // Proceedings of Case-Based Reasoning Workshop, 147 158 / Ed. Ray Bareiss, Morgan Kaufmann, 1991

71. Miller, G. A. "'I he magical number seven, plus minus two: Some limits on our capacity for processing information", Psychological Review, 63, 81-97, 1956.

72. Григорьев П. A. «Sword-системы или ДСМ-системы для цепочек, использующие статистические соображения» // НТИ. Сер. 2. 1996. - № 5-6. -С. 45-51.

73. Маневич С. И., Харчевникова Н. В., Дьячков Г1. II. «Прогнозирование контрпродуктивных свойств химических соединений при комбинированном использовании структурных формул и численных энергетических параметров» // НТИ. Сер.2. 2000. - Вып.5.

74. Маневич С. И. «Расчет дескрипторов соединений органической химии» // НТИ. Сер.2, 1996.-Вып.5-6.

75. Аншаков О. М. Об одной интерпретации ДСМ-метода автоматического порождения гипотез. // НТИ. Сер. 2. 1999. - № 1-2. - С. 45-53.

76. Воеводин В.В., Кузнецов Ю.А. Матрицы и вычисления. М: Наука, 1984. 312с. Решение полной проблемы собственных значений методом вращений.

77. Дьячков II.II., Маневич С.И. Автоматизированная система прогнозирования канцерогенности полициклических углеводородов и их производных методом Хюккеля //ИТИ. Сер.2. 1996. - Вып.7.

78. Маневич С.И., Н.В. Харчевникова, II.H. Дьячков. Прогнозирование контриродуктивных свойств химических соединений при комбинированном использовании структурных формул и численных энергетических параметров //НГИ. Сер.2. 2000. - Вып.5.

79. М. В. Базилевский. Метод молекулярных орбит и реакционная способность органических молекул. М.: Химия, 1969

80. Путрин А.В. Диссертация на соискание степени кандидата технических наук. ВИНИТИ, 2000

81. Kuznetsov, S., Obiedkov, S. Comparing performance of algorithms for generating concept lattices. Journal of Experimental and Theoretical Artificial Intelligence, 14 (2-3): pp. 189-216,2002.

82. Объедков C.A. "Алгоритмы и методы теории решеток и их применение в машинном обучении" // Автореферат диссертации на соискание учёной степени кандидата технических наук, Москва, 2003

83. Финн В. К. Синтез познавательных процедур и проблема индукции. // НТИ. Сер. 2.- 1999.-№ 1-2.-С. 8-45.

84. Дьячков П.Н. Квантово-химические расчеты в изучении механизма действия и прогнозе токсичности чужеродных соединений. // Итоги науки и техники. Сер. Токсикология. Т. 16. М.: ВИНИТИ, 1990.

85. Von Szentpaly, L. Carcinogenesis by polycyclic aromatic hydrocarbons: a multilinear regression on new type PMO indexes II J Am Chemo. Soc. 1984. -Vol. 106 (20).-6021-6028.

86. Панкратов Д.В. Логические и программные средства качественного анализа социологических данных. Автореферат диссертации на соискание ученой степени к. т. н. М. 2001