Разработка методов квалиметрии баз знаний промышленных экспертных систем на основе теории неаксиоматической логики и графоаналитического моделирования тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Жиров, Владимир Валерьевич

• Жиров, Владимир Валерьевич
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Жиров, Владимир Валерьевич

Введение.

1 Анализ объектов и методов автоматизированной квалиметрии знаний. Анализ моделей качества знаний.

1.1 Анализ положений общей квалиметрии, существенных при проведении квалиметрии знаний.

1.2 Анализ методов квалиметрии знаний в различных предметных областях

1.2.1 Выделение предметных областей.

1.2.2 Сфера технической диагностики.

1.2.3 Сфера контроля качества программных систем.

1.2.4 Сфера образования.

1.2.5 Сфера управления персоналом.

1.2.6 Сравнение методов квалиметрии знаний в рассмотренных предметных областях.

1.3 Анализ специфики квалиметрии знаний в базах знаний экспертных систем.

1.3.1 Структурный анализ систем, основанных на знаниях.

1.3.2 Выбор системы оценок качества знаний.

1.4 Выводы.

2 Разработка модели качества знаний на основе теории неаксиоматической логики и графоаналитического моделирования.

2.1 Формулировка требований к модели.

2.2 Графовая интерпретация модели качества знаний.

2.3 Нейросетевая интерпретация модели качества знаний.

2.4 Сравнение модели качества знаний с традиционной моделью представления квалиметрических оценок.

2.5 Описание методики квалиметрии баз знаний экспертных систем с использованием модели качества знаний.

2.6 Выводы.

3 Разработка методов сокращения затрат на проведение квалиметрии с помощью оптимизации набора проводимых тестов.

3.1 Классификация методов сокращения затрат на проведение квалиметрии знаний.

3.2 Описание метода уменьшения числа проводимых тестов, основанного на интервальном прогнозировании значений комплексных оценок.

3.3 Описание метода уменьшения числа проводимых тестов, основанного на использовании нетаксономических связей между тестами.

3.4 Описание комбинированного метода оптимизации процесса квалиметрии знаний с использованием жадного алгоритма выбора очередного теста.

3.5 Выводы.

4 Программная реализация, оценка эффективности и практическое применение системы квалиметрии баз знаний.

4.1 Программная реализация системы квалиметрии баз знаний.

4.2 Оценка эффективности системы квалиметрии баз знаний.

4.3 Практическое применение системы квалиметрии баз знаний.

4.4 Выводы.

Введение диссертации (часть автореферата) на тему «Разработка методов квалиметрии баз знаний промышленных экспертных систем на основе теории неаксиоматической логики и графоаналитического моделирования»

Управление предприятием в современных условиях связано с контролем постоянно возрастающего числа внутренних и внешних показателей, на изменение которых необходимо своевременно реагировать принятием соответствующих решений. Именно поэтому важным элементом системы управления предприятием являются' автоматизированные системы поддержки принятия решений. Высокая сложность и комплексный характер задач управления' предприятием требуют использования знаний экспертов из различных предметных областей, что приводит к необходимости применения интеллектуальных систем поддержки принятия решений, построенных на основе технологии экспертных систем (ЭС), и использующих для своего функционирования базы.знаний (БЗ).

Высокая скорость изменения среды, в которой функционирует предприятие, и возрастающий объём информации, необходимой для принятия решений, приводят к формированию новых требований к используемым ЭС. Во-первых, ЭС должны"обеспечиватьаюуальность принимаемых решений в быстро меняющихся условиях, для этого необходимо повышение частоты обновления БЗ. Во-вторых, ЭС должны сохранять способность к функционированию в критических ситуациях, вызванных выходом наблюдаемых показателей за предусмотренные значения. Для этого требуется увеличение объёма БЗ за счёт знаний, необходимых для реализации логического вывода в условиях большого разброса значений показателей.

С другой стороны, актуальной задачей остаётся оценка соответствия ЭС предъявляемым требованиям. Поскольку соответствие предъявляемым требованиям является основным критерием качества ЭС, указанная задача представляет собой задачу оценки качества, или квалиметрии, ЭС. Новые требования к ЭС порождают новые требования к системам квалиметрии ЭС. Увеличение частоты обновления баз знаний требует более частого проведения квалиметрии, что приводит к необходимости автоматизации процесса квалиметрии. Увеличение объёма баз знаний требует использования методов квалиметрии, эффективных с точки зрения временных затрат на её проведение. Кроме того, направленность новых требований на базы знаний как на ключевой компонент ЭС требует использования методов квалиметрии, учитывающих особенности баз знаний как объекта квалиметрии.

В качестве методологической основы квалиметрии баз знаний ЭС можно рассматривать известные исследования по нескольким направлениям. Первым из таких направлений является общая теория квалиметрии, подробно рассмотренная в работах Г. Г. Азгальдова, А. Г. Варжапетяна, М. М. Калейчика. Юг П. Адлер, В. Г. Велик, 3. Н. Крапивенского, Ю. П. Кураченко, Г. Н. Бобров-никова, А. В. Гличева, В. В. Кочетова, Г. Н. Солод, А. В: Субето, А. Г. Суслова, М. В. Федорова, И'. Ф: Шишкина, Д. М. Шпектрова и др. Общая квалиметрияг выделяет основные принципы квалиметрии, справедливые при оценке качества любых объектов, и предлагает обобщённый алгоритм численной оценки качества. Однако, особенности оценки качества баз знаний и вопросы автоматизации оценки качества остаются за пределами рассмотрения общей квалиметрии. Вторым направлением является оценка качества знаний специалистов, используемая* в сфере образования и в сфере управления кадрами. Это направление включает работы А.И. Субетто, А. Н. Майорова, В. С. Аванесова, Д. №. Шмелёва, М. Б. Челышковой, Л. М. Спенсер, С. М. Спенсер, С. Уидцет, С. Холлифорд, и др. В рамках квалиметрии знаний специалистов рассматриваются важные особенности знаний как объекта квалиметрии, а также методы автоматизации квалиметрии знаний. Однако, специфика этого направления заключается в том, что единственным рассматриваемым носителем знаний является человек. В результате, методы квалиметрии знаний специалистов не могут быть использованы в неизменном виде для оценки качества знаний в технических системах, каковыми являются БЗ ЭС. Третьим направлением является тестирование программного обеспечения, которому посвящены работы Дж. Макгрегора, Д. Сайкса, С. Канера, Дж. Фолка, Е. Нгуена, Э. Брауде, Л. Тамре, и др. В рамках этого направления рассматриваются методы квалиметрии программных систем, в том числе методы автоматизации такой квалиметрии. Однако, исследования в сфере тестирования программного обеспечения не учитывают специфику систем, основанных на использовании баз знаний, в результате чего методы тестирования программного обеспечения невозможно использовать в неизменном виде для квалиметрии БЗ ЭС. Таким образом, ни одно из рассмотренных направлений не предлагает готовых к использованию методов оценки качества баз знаний ЭС.

Вместе с тем, исследования в области квалиметрии знаний специалистов показывают, что в сложных предметных областях существует проблема увеличения числа тестов, необходимых для-проведения квалиметрии знаний; Увеличение числа тестов, в свою очередь, приводит к увеличению затрат времени и вычислительных, ресурсов^ задействованных в. процессе квалиметрии; Для1 сокращения« таких затрат необходима; оптимизация набора проводимых тестов, что требует построения соответствующей модели качества знаний. Перспективными методами, которые можно использовать при; построении такой модели^ являются методы теории неаксиоматической логики П. Вана, а также методы, графоаналитического моделирования;.

В связи с вышесказанным/' представляется актуальной разработка формальных методов автоматизированной квалиметрии баз знаний ЭС, с одной стороны, основанных на положениях общей теории квалиметрии, теории квалиметрии знаний специалистов; и теории тестирования программного обеспечения, и с другой стороны, учитывающих специфику оценки качества БЗ ЭС. Также представляется актуальным решение комплекса задач, связанных с сокращением- затрат на проведение квалиметрии БЗ ЭС на основе оптимизации набора проводимых тестов.

Целью настоящей диссертационной работы является разработка методов автоматизированной' квалиметрии баз знаний экспертных систем, а также методов сокращения затрат на, проведение такой:; квалиметрии путём оптимизации набора проводимых тестов;

Для достижения поставленной цели в работе решаются следующие задачи:

1) Проводится анализ положений общей квалиметрии, обобщённого алгоритма численной оценки, качества и общих проблем: их применения к оценке БЗ ЭС;

2) Проводится анализ методов квалиметрии, используемых в смежных предметных областях (технической диагностике, контроле качества программного обеспечения, профессиональном образовании, управлении персоналом) с целью выявления способов решения общих проблем, обнаруженных при оценке БЗ ЭС;

3) Проводится анализ специфики квалиметрии БЗ ЭС и выявляются частные проблемы - неоднозначность при выборе интерфейса взаимодействия с ЭС, а также необходимость сокращения временных и вычислительных затрат на проведение квалиметрии с помощью оптимизации набора проводимых тестов;

4) Проводится морфологический анализ ЭС с целью поиска интерфейсов. взаимодействиям системой и сравнительный анализ найденных интерфейсов с точки зрения возможности-их применения для квалиметрии БЗ;

5) Формулируются требования к информационному обеспечению' процесса квалиметрии БЗ, необходимому для оптимизации набора проводимых тестов;

6) Разрабатывается модель качества знаний, соответствующая информационным потребностям задачи оптимизации состава проводимых тестов;

7) Предлагается» методика квалиметрии БЗ ЭС с использованием модели качества знаний, основанная на сравнении- результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами;

8) Предлагаются методы сокращения затрат на-проведение квалиметрии БЗ ЭС на основе интервального прогнозирования значений комплексных оценок, а также на основе выявления и- использования нетаксономических связей между тестами;

9) На основе предложенных методов сокращения затрат разрабатывается комбинированный алгоритм оптимизации набора проводимых тестов;

10) Рассматривается программная реализация предложенных методов.

Основными методами исследования являются методы системного анализа, графоаналитические методы, методы теории множеств, теории неаксиоматической логики, интервального анализа, «жадные» алгоритмы, метод ветвей и границ, методы объектно-ориентированного программирования.

Научная новизна:

1) Предложена методика квалиметрии баз знаний экспертных систем, основанная на сравнении результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами, в отличие от существующих, позволяющая проводить автоматизированную оценку качества баз знаний независимо от способа представления знаний внутри системы.

2) Разработана модель качества знаний, отличающаяся от известных моделей использованием направленного графа суждений с представлением истинностных значений суждений с помощью теоретического аппарата неаксиоматической логики П. Вана, позволяющая прогнозировать значения комплексных оценок, качества на основе общего числа тестов и результатов проведённых тестов.

3) Предложены методы уменьшения числа проводимых тестов при квалиметрии БЗ; ЭС, отличающиеся от известных интервальным прогнозированием' значений, комплексных оценок, а также выявлением и использованием нетаксономических связей между тестами, позволяющие сократить временные и вычислительные затраты на проведение квалиметрии знаний.

4)- Предложен комбинированный метод оптимизации набора проводимых тестов, отличающийся от известных комплексным использованием нескольких методов уменьшения числа проводимых тестов, а также метода ветвей и границ в сочетании с «жадным» алгоритмом оптимизации, позволяющий сократить временные и вычислительные затраты ,на проведение квалиметрии знаний.

Практическая значимость заключается в возможности применения« полученных методов при решении' задач квалиметрии баз знаний промышленных экспертных систем с целью повышения ^ качества разработки« таких систем и оценки их применимости для решения новых классов задач.

Положения, выносимые на защиту:

1) Методика квалиметрии баз знаний экспертных систем, основанная на сравнении результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами.

2) Модель качества знаний, основанная на направленном графе суждений с представлением истинностных значений суждений с помощью теоретического аппарата неаксиоматической логики П. Вана.

3) Методы уменьшения числа проводимых тестов при квалиметрии БЗ ЭС, основанные на интервальном прогнозировании значений комплексных оценок, а также на выявлении и использовании нетаксономических связей между тестами.

4) Комбинированный метод оптимизации набора проводимых тестов, отличающийся от известных комплексным использованием нескольких методов уменьшения числа проводимых тестов, а также метода ветвей и границ в сочетании с «жадным» алгоритмом оптимизации.

Апробация работы. Основные положения работы и результаты исследований докладывались и обсуждались на конференциях: Международная научно-техническая конференция «Радиоэлектроника, электротехника и энергетика» (Москва; 2005), Международная научно-техническая конференция «Современные информационные технологии». Весенняя сессия (Пенза, 2005), научные сессии Московского инженерно-физического института (Москва, 2006, 2007, 2008, 2010; 2011), V и VIII Всероссийские научные конференции с международным участием «Математическое моделирование и краевые задачи» (Самара, 2008, 2011), XI Симпозиум «Квалиметрия в образовании: методология, методика, практика» (Москва, 2006), Десятая Всероссийская конференция-семинар «Проектирование, контроль и управление качеством продукции и образовательных услуг» (Москва-Тольятти-Сызрань, 2007), Международная научно-техническая конференции «Синергетика природных, технических и социально-экономических систем» (Тольятти, 2007); Всероссийская научно-методическая конференция «Роль гуманитарных наук в системе современного высшего образования» (Самара, 2008), Всероссийская научно-практическая конференция ученых и педагогов-практиков «Актуальные проблемы развития высшего и среднего образования на современном этапе» (Самара, 2008), Международная научно-практическая конференция «Инновация-2010» (Ташкент, 2010).

Публикации. По теме диссертации опубликовано 20 печатных работ, в том числе 1 статья в журнале из перечня, рекомендованного ВАК РФ, а также получено три свидетельства об официальной регистрации программы для ЭВМ.

Объем и структура диссертационной работы. Диссертация состоит из введения, 4 глав, заключения и выводов, списка использованных источников из 100 наименований, приложений. Работа изложена на 108 страницах, содержит 8 таблиц и 21 рисунок.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Жиров, Владимир Валерьевич

4.4 Выводы

1) Для проверки работоспособности, оценки эффективности и практического применения, предложенных модели качества знаний, методики автоматизированной квалиметрии' БЗ ЭС и методов сокращения затрат на проведения квалиметрии выполнена программная реализация указанных модели и методов.

2) Выделены факторы, определяющие эффективность предложенных методов и условия повышения такой эффективности.

3) С использованием программной реализации проведены эксперименты, подтверждающие эффективность предлагаемых методики, модели и методов.

Заключение

В диссертационной работе была поставлена и решена задача разработки методов автоматизированной квалиметрии баз знаний промышленных экспертных систем, а также задача сокращения временных и вычислительных затрат на проведение такой квалиметрии. Были получены следующие основные результаты:

1) На- основе анализа положений общей квалиметрии и обобщённого алгоритма численной оценюг качества выявлены общие проблемы их применения.к оценке знаний в БЗ ЭС;

2)1 На основе анализа методов квалиметрии, используемых в смежных предметных областях (профессиональном образовании, управлении персоналом, технической диагностике и контроле качества программного обеспечения) выявлены способы решения общих проблем, связанных с применением общей квалиметрии и обобщённого алгоритма численной оценки качества к оценке знаний в БЗ ЭС;

3) На основе анализа; специфики квалиметрии знаний в БЗ ЭС выявлены частные проблемы, возникающие в процессе квалиметрии - неоднозначность при* выборе интерфейса взаимодействия с ЭС, а также необходимость сокращения временных и вычислительных затрат на проведение оценки знаний с помощью оптимизации набора проводимых тестов;

4) На основе морфологического анализа ЭС и сравнительного анализа найденных интерфейсов» взаимодействия сформулированы критерии выбора интерфейса для организации взаимодействия-' с системой в процессе оценки знаний;

5) Сформулированы требования к информационному обеспечению процесса квалиметрии БЗ, необходимому для оптимизации! набора проводимых тестов;

6) Разработана модель качества знаний, соответствующая информационным потребностям задачи оптимизации набора проводимых тестов;

7) Предложена методика квалиметрии БЗ ЭС с использованием модели качества знаний, основанная на сравнении результатов обработки системой пользовательских запросов с экспертно заданными эталонными результатами;

8) Предложены методы сокращения затрат на проведение квалиметрии БЗ ЭС на основе прогнозирования значений комплексных оценок, а также на основе выявления и использования нетаксономических связей между тестами;

9) На основе предложенных методов сокращения затрат разработан комбинированный метод оптимизации набора проводимых тестов;

10) Рассмотрена программная реализации предложенных методов.

Список литературы диссертационного исследования кандидат технических наук Жиров, Владимир Валерьевич, 2011 год

1. Азгальдов, Г.Г. О квалиметрии Текст. / Г.Г. Азгальдов, Э.П. Райхман . -М.: Изд-во стандартов, 1973 . 172 с.

2. Алефельд, Г. Введение в интервальные вычисления Текст. /

3. Г. Алефельд, Ю. Хердбергер ; пер. с англ. Г.Е. Минца, А.Г. Яковлева, под ред. Ю.В. Матиясевича . М.: Мир, 1987 . - 360 с.

4. Барский, А.Б. Нейронные сети: распознавание, управление, принятие решений Текст. / А.Б. Барский . -М.: Финансы и статистика, 2004 . 176 с.

5. Биргер, И.А. Техническая диагностика Текст. / И.А. Биргер . — М.: «Машиностроение», 1978 . -240 с.

6. Брауде, Э. Технология разработки программного обеспечения Текст. / Э. Брауде ; пер. с англ. Е. Бочкарева, Д. Солнышков . СПб.: Питер, 2004*. -655 с.

7. Буканов, Ф.Ф. Квалиметрия профессиональных знаний

8. Текст. / Ф.Ф. Буканов, А.Н. Меркушев, Е.В. Погорелова; Самар.гос.техн.ун-т.-Самара, 1996.-99 с.

9. Буч, Г. Язык UML. Руководство пользователя. 2-е изд. Текст. / Г. Буч, Д. Рамбо, И. Якобсон ; пер. с англ. Н. Мухин . М.: ДМК Пресс, 2006 . - 496 с.

10. Вагин, В.Н. Достоверный и правдоподобный вывод в интеллектуальных системах Текст. / В.Н. Вагин, Е.Ю. Головина, A.A. Загорянская, М.В. Фомина ; под ред. В.Н. Вагина, Д.А. Поспелова . -М.: ФИЗМАТЛИТ, 2004 . 704 с.

11. Варжапетян, А.Г. Квалиметрия: Учебное пособие Текст. / А.Г. Варжа-петян . СПб.: СПбГУАП, 2005 . - 176 с.

12. Гаврилова, Т.А. Базы знаний интеллектуальных систем Текст. / Т.А. Гаврилова, В.Ф. Хорошевский . СПб.: Питер, 2000 . - 384 с.

13. Гончаров, E.H. Исследование операций. Примеры и задачи. Учебное пособие Текст. / E.H. Гончаров, А.И. Ерзин, В.В. Залюбовский . — Новосибирск: Новосибирский государственный университет, 2005 . — 78 с.

14. Горностаев, С. Проблемы использования метода экспертной оценки в процедурах оценки персонала Текст. / С. Горностаев // Управление персоналом . 2006. - №3 . - С.44-47

15. Губанов,,Н;Г. Структура, модели и анализ системы формирования базы профессиональных знаний специалистов промышленного производства Текст. : Дис. канд. техн. наук: 05.13.01 / Самар.гос.техн.ун-т. — Защищена 28.04.03. -Самара, 2003-. 124 с.

16. Дастин, Э. Автоматизированное тестирование программного обеспечения. Внедрение, управление и эксплуатация Текст. / Элфрид Дастин; Джефф Рэшка, Джон Пол ; пер. с англ. Е. Молодцова, М: Павлов . — М.: Издательство «ЛОРИ», 2003 . 592 с.

17. Джарратано, Д. Экспертные системы: принципы разработки и программирование Текст. / Джозеф Джарратано, Гари Райли, пер. с англ. К.А. Птицына . М.: ООО «И.Д. Вильяме», 2007 . - 1152 с.

18. Джексон, П. Введение в экспертные системы Текст. / Питер Д жексон . -М.: Издательский дом «Вильяме», 2001 . 624 с.

19. Жиров, В.В. Автоматизация решения задачи расстановки кадров предприятия на основе системы компетенций Текст. /В.В. Жиров // Вестн. Сам. гос. техн. ун-та. Сер.: Технические науки . Самара, 2010. - №2 (26) . - С.74-79

20. Жиров, В.Г. Объединение баз знаний Текст. /

21. B.Г. Жиров, В.В. Жиров // Научная сессия МИФИ-2008. Сб. научных трудов . — М.: МИФИ, 2008. Т.10: Интеллектуальные системы и технологии . - С.107-108

22. Жиров, В.Г. Проектирование системы оценки знаний с нечетким представлением информации Текст. / В.Г. Жиров, В.В. Жиров // Научная сессия1 МИФИ-2007. Сб. научных трудов . -М.: МИФИ, 2007. Т.З: Интеллектуальные системы и технологии . - С.90-91

23. Жиров, В.Г.,Система оценки знаний с использованием нечетких представлений Текст. / В.Г. Жиров, В.В. Жиров // Научная сессия МИФИ-2006. Сб. научных трудов . М.: МИФИ, 2006. - Т.З: Интеллектуальные системы и технологии .-С.148-149

24. Зыкову A.Ai Основы теории графов-Текст. / A.A. Зыков . М.: Наука, 1987.-384 с.

25. Калейчик, М.М; Квалиметрия: Учебное пособие. 5-е изд., стереотипное Текст. / М.М. Калейчик . - М.: МГИУ, 2007 . - 200 с.

26. Калмыков, С.А. Методы интервального анализа Текст. /

27. C.А. Калмыков, Ю.И. Шокин, З.Х. Юлдашев . Новосибирск: Наука, 1986 . -222 с.

28. Канер, С. Тестирование программного обеспечения. Фундаментальные концепции менеджмента бизнес-приложений Текст. / Сэм Канер, Джек Фолк, Енг Кек Нгуен ; пер. с англ . К.: Издательство «ДиаСофт», 2001 . - 544 с.

29. Кормен, Т.Х. Алгоритмы: построение и анализ

30. Текст. / Томас X. Кормен, Чарльз И. Лейзерсон, Рональд JI. Ривест, Клиффорд Штайн ; пер. с англ. Н. Орехова, В. Романов, И. Красиков . М.: Издательский дом «Вильяме», 2011 . - 1296 с.I

31. Краснов, Ä.H. Некоторые проблемы разработки традиционной > тестовой технологии-для диагностики качества теоретической подготовки* студентов медицинского вуза по клиническим дисциплинам Текст. /

32. Краснов, А.Н. Понятийный подход к управлению качеством образовательного процесса в медицинском университете Текст. / А.Н. Краснов,

33. Краснов, А.Н1 Способы организации адаптивного тестирования в автоматизированной системе оценки качества знаний Текст. / А.Н. Краснов,

34. В.В. Жиров // Международная научно-практическая' конференция «Инновация-2010». Сборник научных статей . Ташкент, 2010ч - С.283-284

35. Краснов, А.Н: Формирование стандартной языковой, картины-предметной области как основа-теоретической подготовки студентов Текст. /

36. A.Н. Краснов; О.Н. Моисеева, Е.А. Слоева, А.Н. Меркушев; С.А. Никаев,

37. Краснов, А.Н. ЭС «ГАЛАТЕЯ» как прототип технологии.контроля теоретических знаний-ближайшего будущего Текст. / А.Н. Краснов,

38. Кристофидес, Н. Теория графов. Алгоритмический подход / Пер. с англ. Текст. / Н. Кристофидес . М.: Мир, 1978 . - 432 с.

39. Круглов, В.В. Искусственные нейронные сети. Теория и практика Текст. /В.В. Круглов, В.В. Борисов . М.: Горячая линия — Телеком, 2002 . -382 с.

40. Кузин, Л.Т. Основы кибернетики: В 2-х т. Т.2. Основы кибернетических моделей Текст. / Л.Т. Кузин . М.: Энергия, 1979 . - 584 с.

41. Проект требований к результатам освоения основной образовательной программы основного общего образования Электронный ресурс. /

42. A.A. Кузнецов, O.E. Лебедев. — Режим доступа: http://standart.edu.ru/catalog.aspx7CatalogkH238.

43. Майоров, А.Н. Теория и практика создания тестов для системы образо вания Текст. / А.Н. Майоров . М.: «Интеллект-центр», 2001'. - 296 с.

44. Макгрегор, Дж. Тестирование объектно-ориентированного программного обеспечения. Практическое пособие' Текст. / Джон Макгрегор, Девид Сайке ; пер. с англ . К.: ООО «ТИД «ДС», 2002 . - 432 с.

45. Мишин, В:М. Управление-качеством: учебник для студентов вузов, обучающихся по специальности «Менеджмент организации» (061100) Текст. / В.М. Мишин . М.: ЮНИТИ-ДАНА, 2005 . - 463 с.

46. Ope, О. Теория графов Текст. / О. Ope ; пер. с англ. И.Н. Врублевской, под ред. H.H. Воробьева . М.: Наука, 1980 . - 336 с.

47. Осовский, С. Нейронные сети для обработки информации Текст. / С. Осовский ; Пер. с польского И.Д. Рудинского . М.: Финансы и статистика, 2002 . - 344 с.

48. Погорелова, Е.В. Система автоматизированного формирования и квалиметрического анализа профессиональной базы знаний Текст.1: Дис. канд. техн. наук: 05.11.16; 05.25.05 / Самар. политехи, ин-т им. В.В.Куйбышева. — Защищена 22.12.92. Самара, 1992. - 223 с.

49. Попов Э.В. Статические'и динамические экспертные системы: Учеб. пособие Текст. / Э:В. Попов, И?Б. Фоминых, Е.Б. Кисель, М.Д; Шапот . М:: Финансы и статистика; 1996 . - 320 с.

50. Рутковская, Д: Нейронные сети, генетические алгоритмы и нечеткие системы Текст. / Д. Рутковская, М. Пилиньский, Л. Рутковский ; пер. с польск. И.Д. Рудинского . — М.: Горячая линия Телеком, 2006 . — 452 с.

51. Рыбина, Г.В. Введение в интеллектуальные системы: учебное пособие Текст. / Г.В: Рыбина . М.: МИФИ; 2006 . - 140' с.

52. Рыбина, Г.В. Основы построения интеллектуальных систем: учебное пособие Текст. / Г.В. Рыбина . М.: Финансы и статистика; ИНФРА-М, 2010 . — 432 с.

53. Рыбина, Г.В. Основы теории и технологии построения интеллектуальных диалоговых систем: курс лекций Текст. / Г.В. Рыбина . М.: МИФИ, 2005 . - 132 с.

54. Самылкина, Н.Н. Современные средства оценивания, результатов обучения Текст. /Н.Н. Самылкина . -М.: БИНОМ. Лаборатория знаний; 2007.- 172 с.

55. Сергеев, А.Г. Метрология: Учебник Текст. / А.Г. Сергеев . -М.: Логос, 2005 . 272 с.

56. Спенсер, JI.M. Компетенции на работе Текст. / JIM. Спенсер, С.М. Спенсер ; пер. с англ. А. Яковенко . М.: ЩРРО, 2005 . - 384 с.

57. Субетто, А.И. Квалиметрия человека и,образования: генезис, становление, развитие, проблемы и» перспективы // Материалы XI симпозиума «Квалиметрия в образовании: методология, методика и практика»-Текст. /

58. А.И. Субетто . — М.: Исследовательский центр проблем качества подготовки специалистов, 2006 . — 97 с.

59. Тамре, JI. Введение в тестирование программного обеспечения Текст. / Луиза Тамре ; пер.- с англ. В.В. Марченко . М.: Издательский дом «Вильяме», 2003 . - 368 с.

60. Тартаковский, Д.Ф. Метрология, стандартизация и технические средства измерений: Учеб. для вузов Текст. / Д.Ф. Тартаковский, A.C. Ястребов-. — М.: Высшая.школа, 2001 . 205 с.

61. Татт, У Теория графов / Пер. с англ. Текст. / У. Татт . М.: Мир, 1988 .-426 с.

62. Уиддет, С. Руководство по компетенциям Текст. / Стив Уиддет, Сара Холлифорд . М.: ШРРО, 2003'. - 228 с.

63. Фаулер, М. UML. Основы Текст. / М. Фаулер, К. Скотт ; пер. с англ . — СПб.: Символ-Плюс, 2002 . 192 с.

64. Финн, В.К. Об интеллектуальном анализе данных Текст. / В.К. Финн // Новости искусственного интеллекта . 2004. — №3 . — С.3-18

65. Фомин, В.Н. Квалиметрия. Управление качеством. Сертификация Текст. / В.Н. Фомин . -М.: Ассоциация авторов и издателей «ТАНДЕМ». Издательство «ЭКМОС», 2000 . 320 с.

66. Хайкин, С. Нейронные сети: полный курс, 2-е издание / Пер. с англ. Текст. / Саймон Хайкин . -М.: Издательский дом «Вильяме», 2006 . 1104 с.

67. Челышкова, М.Б. Теория и практика конструирования педагогических тестов: Учебное пособие Текст. / М.Б. Челышкова . — М.: Логос, 2002 . 432 с.

68. Чемеков, В.П. Трейдинг: технология-построения системы управления персоналом Текст.*/В:П. Чемеков . -М.: Вершина, 2007 . 208 с.

69. Конечномерный интервальный анализ Электронный ресурс. / С.П. Шарый. Режим доступа:http://www.nsc.ru/interval/LibraryДnteBooks/SharyBook.pdf.

70. Шокин, Ю.И. Интервальный анализ Текст. / Ю.И. Шокин . — Новосибирск: Наука, 1981 . 112 с.

71. Введение в практическое тестирование Электронный ресурс. / В.М'. Казиев. — Режим доступа: http://www.intuit.ru/department/informatics/practest/.

72. МИ 2365-96. ГСИ. Шкалы измерений. Основные положения. Термины и определения Электронный ресурс. — Режим доступа: http://www.complexdoc.ru/ntdtext/538554/.

73. Дискретная математика: алгоритмы. Жадные алгоритмы Электронный ресурс. / Дмитрий Белешко. — Режим доступа: http://rain.ifino.ru/cat/view.php/theoiy/algorithm-analysis/greedy-2004.

74. Оценка качества. Структура квалитологии Электронный ресурс. -Режим доступа: Ь«р://з1ага1е1.сотЛ5оЛ809000/А1йс1е^иа1Соп^т.

75. Проблемы адаптивного тестирования и адаптации тестов к национальным и личностным особенностям тестируемых Электронный ресурс. / Н.М. Румянцева. Режим доступа:http://www.testor.ru/files/Conferens/problsovtesi/Probladapttest.doc.

76. ГОСТ Р ИСО 9000-2008. Системы менеджмента качества. Основные положения и словарь Электронный ресурс. — Режим доступа: http://protect.gost.ru/docmnent.aspx?control=7&id=l 74284.

77. Теоретический анализ проблемы количественной оценки качества обучения Электронный ресурс.// Методическая информ. система Севера. -Режим доступа:http://www.gmcit.muimansk.iWtex method/theoreticalanalysis.htm.

78. Теория и методика педагогических измерений Электронный ресурс. / B.C. Аванесов. Режим доступа: http://www.ustu.ru/ %D0%90%D0%B2%D0%B0%D0%BD%D0%B5%D 1 %81 %D0%BE %D0%B2%20%D0%92.%D0%A 1 .pdf?id=2421&j f-yes.

79. ГОСТ 15467-79.' Управление качеством продукции. Основные понятия, термины и определения Электронный ресурс. Режим доступа: http://www.complexdoc.ru/lib/%D0%93%D0%9E%D0%A1 %D0%A2%2015467-79.

80. Электронный словарь «Мультитран» Электронный ресурс. Режим доступа: http://multitran.ru/.

81. A Defect in Dempster-Shafer Theory Электронный ресурс. / Pei Wang. — Режим доступа: http://www.cis.temple.edu/%7Epwang/Publication/D-S.pdf.

82. A New Approach for Induction: From a Non-Axiomatic Logical Point of View Электронный ресурс. / Pei Wang. Режим доступа: http://www.cis.temple.edu/%7Epwang/Publication/induction.pdf.

83. Experience-Grounded Semantics: A theory for intelligent systems Электронный ресурс. / Pei Wang. Режим доступа: http://www.cis.temple.edu/ %7Epwang/Publication/semantics.pdf.

84. Formalization of Evidence: A Comparative Study Электронный ресурс. / Pei Wang. Режим доступа: http://www.cis.temple.edu/ %7Epwang/Publication/FormalEvidence.pdf.

85. From Inheritance Relation to Non-Axiomatic Logic Электронный ресурс. / Pei Wang. Режим доступа: http://www.cis.temple.edu/ %7Epwang/Publication/inheritancenal.pdf.

86. Non-Axiomatic Logic (NAL) Specification Электронный ресурс. / Pei Wang. Режим доступа: http://www.cis.temple.edu/%7Epwang/Writing/NAL-Specification.pdf.

87. Схема алгоритма уменьшения числа проводимых тестов на основе интервального прогнозирования значений комплексных оценок1.^^ .11------.24

88. Начало ) ( Начало В1 ) Г Начало Р1 ) ( Начало Р2 )1. Г-21. В11. Ввод1. ОРЮ1. Г—з

89. Проведение очередного теста Т.1. Р11. Расчёт1. УУ1. Г—51. Р21. Расчёт {<2СА,}г—6

90. Расчёт вСАР по формулам (3.9)1. Ввод ОСПА131 ,<20*161. Вводесл;161,0с1у1.171. X"201. Расчёт1. ОТ упо формулам (2.21)fQy.VGR25г—261. Расчётес4„по формулам (3.7)1. Г-2723,- 28.1. Г Конец Р1 ) Г Конец Р2 )

91. Схема алгоритма уменьшения числа проводимых тестов на основе выявления и использования частичных связей между результатами тестов1. Г'-\1. Начало )1. Г-21. В2

92. Ввод икформации о частичных связяхг—3

93. Переход к очередному тесту Туг—10

94. Расчёт ТЛЛГ(У) по формуле (3.16)г—5г-12

95. Принятие ТИУ= ТИА{У) с расчётом по формуле (3.17)1. Дакачества и/иликласса качестваг 8-

96. Вывод оценок качества ' и/или класса у качества1. Г -\1. Г Конец В2 )1. Г"—-\1. Конец )

97. Схема комбинированного алгоритма оптимизации набора проводимых тестов-\ -\ -N

98. Начало 1 I Начало РЗ 1 1 Начало Р4 )1. В11. Вводшею1. Г-31. В2

99. Ввод информации о частичных связях1.41. РЗ

100. Выявление связей между тестами и комплексными оценками1.51. АРТ-.= ТЯ1.61. Р4

101. Поиск очередного теста 77Уг-7

102. Проведение очередного теста TN111. УТуВЛРТг-12

103. Формирование множества по формуле 3.19г—13v Туе АРТг—ч\1. Конец РЗ )1. Г18

104. Определенне множеств оценок и (¿СЯг191. Р5

105. Исключение из АРТ тестов с известными результатамиг201. Р6

106. Исключение из АРТ неактуальных тестовг 21 1. Р7

107. Выделение из АРТ приоритетных тестов СРТг 221. Р8

108. Поиск очередного теста среди приоритетных1. Г-N1. Г Конец Р4 )1. Начало Р51. Ту<=АРТ26 Г«,, \ Даизвестен?1. Нет1. Да 27'1. УА(У) = 011. Нет

109. Расчёт ТКЛГ(У) по формуле (3.16)1. Нет 29г-30

110. Исключение теста Г, из множества АРТг-31v АРТ1. Г-л1. Конец Р5 )1. Гьг1. Г Начало Р8 )1. Г53т.= ту:1. Ту^РТ-54-

111. Расчёт Г5СС(77У) и тясм(т1у) по формулам (3.27)55

112. Расчёт 75СС(ГК) и тбсм{т^ по формулам (3.27)г 57

113. Присвоение тм := тр(тк, т,) по формуле (3.28)1. Г58у/т^еврт1. Г -Л1. Конец Р8 )