Методы оценки эффективности функционирования автоматизированных систем тема диссертации и автореферата по ВАК РФ 05.25.05, кандидат технических наук Ершов, Дмитрий Николаевич

• Ершов, Дмитрий Николаевич
• кандидат технических наук
• 1998

Оглавление диссертации кандидат технических наук Ершов, Дмитрий Николаевич

СОДЕРЖАНИЕ

36

37

Введение

Общая характеристика задачи оценки показателей

эффективности функционирования автоматизированных информационных систем

1.1. Автоматизированные информационные системы и 10 требования к эффективности их функционирования

1.2. Общая характеристика проблемы оценивания Д9 эффективности функционирования АИС

1.3. Обзор работ по проблематике оценки эффектов-ности технических систем. Постановка задачи исследования

Выводы

2. Нижние оценки для показателей эффективности АИС при стареющей функции распределения результатов функционирования

2.1. Некоторые сведения о классе стареющих распределений и о "проблеме моментов"

2.2. Нижние оценки эффективности при известной функции распределения требований к результатам функционирования

2.3. Нижние оценки эффективности при произвольном распределении требований к результатам функционирования

2.4. Нижние оценки эффективности при стареющем распределении требований к результатам функционирования

Выводы „

63

37

48

55

60

3. Нижние оценки при стареющей функции распре- 65 деления требований к результатам функционирования

3.1. Нижние оценки эффективности при известной 65 функции распределения результатов функционирования

3.2. Нижние оценки эффективности при произвольном распределении результатов функционирования

3.3. Нижние оценки эффективности при стареющем распределении результатов функционирования Выводы

4. Практические вопросы использования методов оценки эффективности функционирования АИС

4.1. Методики оценки показателей эффективности при стареющей функции распределения результатов функционирования

4.2. Методики оценки показателей эффективности при стареющей функции распределения требований к результатам функционирования

4.3.Достоверность методов оценки показателей эффективности функционирования АИС Выводы Заключение Литература Приложения

76

80

82

84

104

121

127

128 131

Введение диссертации (часть автореферата) на тему «Методы оценки эффективности функционирования автоматизированных систем»

ВВЕДЕНИЕ

Развитие автоматизированных информационных систем (АИС) характеризуется значительным увеличением их сложности и возрастанием важности решаемых функциональных задач. Важность решаемых задач АИС порождает ряд проблемы, связанных с оценкой их параметров. Круг таких параметров весьма широк: параметры назначения, надежности, защиты информации, экономические параметры и т.д. Среди этих параметров параметры или показатели эффективности в силу их общности и интегральности занимают особое место. Широкое использование АИС во всех сферах народного хозяйства и всех сферах человеческой деятельности приводит к необходимости совершенствования методов оценки эффективности их функционирования.

Актуальность разработки методов оценки функционирования АИС определяется следующими основными обстоятельствами.

Во-первых, процессы функционирования АИС определяются многими объективными и субъективными факторами. Выделяют три группы факторов определяющих эффективность функционирования технических систем: качества технических систем, условия функционирования, способы использования. Учет факторов этих групп в рамках одной модели не представляется и возможным. Это может привести к недостоверным оценкам показателей эффективности в рамках традиционных подходов, основанных на применении моделей классических методов теории вероятностей и математической статистики.

Во-вторых, так как функционирование АИС определяется, во многом, воздействием на АИС большого количества факторов внешнего и внутреннего происхождения, то процесс смены различных со-

стояний или процесс функционирования может быть в общем случае представлен некоторым случайным процессом. Вероятностные характеристики этого случайного процесса для этапа опытной эксплуатации или испытаний АИС не полностью неизвестны, что вызывает необходимость применения таких методов оценки эффективности функционирования АИС, чтобы были исключены ошибочные результаты при оценке показателей эффективности.

В-третьих, высокая цена ошибок оценки показателей эффективности функционирования АИС; отсутствие методов оценки показателей эффективности функционирования АИС в условиях неполных данных; необходимость использования в практике эксплуатации АИС методов оценки показателей эффективности функционирования АИС для принятия обоснованных решений по организации и обеспечению проектирования, разработки и эксплуатации АИС требует разработки соответствующих методов.

Степень научной разработанности проблемы оценки эффективности функционирования АИС в условиях неполных данных. Неполнота исходных данных о процессах функционирования требует использования принципа гарантированного результата при оценке эффективности АИС. Это объясняется стремлением совместить в рамках единого подхода реально существующую неопределенность (неполноту) в исходных данных с требованием исключения ошибочных выводов о значениях показателей эффективности. Получаемая оценка показателя эффективности функционирования АИС должна быть гарантированной или нижней оценкой при заданных исходных данных.

В настоящей работе под эффективностью функционирования АИС понимается степень соответствия реального результата функционирования АИС требуемому. В качестве показателя эффективности функционирования АИС рассматривается вероятностный функционал, определяемый соотношением

XV = Р(А) = Р{ у > Утр }, (1) в котором случайная величина у характеризует процесс функционирования АИС, а случайная величина у^ характеризует требования к результатам функционирования.

, Применительно к вероятностному функционалу вида (1) отдельные экстремальные оценки получены в работах Андреева В.И. [6,7], Гермейера Ю.Б. [37,38], Каштанова В.А., [59], Коваленко И.Н. [62,63 ], КрейнаМ.Г. [67], Ломакина М.Щ72-75], ПетуховаГ.Б. [88,89], БарлоуР. и Прошана Ф. [ 16,17] и др.. Однако общего решения задачи определения нижних оценок вероятностного функционала вида (1), а соответственно и общего решения задачи оценки эффективности функционирования АИС, для случаев, когда функции распределения результатов функционирования и требований к ним являются стареющими и известны до моментов распределения не получено.

Актуальность, недостаточная научная разработанность и практическая значимость задачи оценки эффективности функционирования АИС обусловили выбор темы диссертации.

Объектом исследования в диссертации являются процессы функционирования АИС, а предметом исследования явились теоретические, методические и практические вопросы гарантированного оценивания эффективности функционирования АИС.

Пелью диссертации является разработка методического обеспечения оценки эффективности функционирования АИС.

Цель диссертации определила основные задачи исследования: 1. Анализ процессов функционирования АИС, определение и учет основных особенностей при оценке эффективности функционирования.

2. Разработка методов оценки эффективности функционирования АИС при стареющей функции распределения результатов функционирования, известной до моментов.

3. Разработка методов оценки эффективности функционирования АИС при стареющей функции распределения требований к результатам функционирования, известной до моментов.

4. Разработка методик оценки показателей эффективности АИС в условиях неполных данных.

Общетеоретическую и методологическую основу диссертационного исследования составили труды отечественных и зарубежных ученых, посвященные проблеме оценивания вероятностных функционалов.

Научная новизна диссертационного исследования заключается в следующем:

1. Разработаны методы определения нижних оценок показателей эффективности функционирования АИС при условии, что стареющие функции распределения результатов функционирования известны до моментов для случаев:

функция распределения требований к результатам функционирования известна полностью;

функция распределения требований к результатам функционирования является произвольной и известна до моментов.

2. Разработаны методы определения нижних оценок показателей эффективности функционирования АИС при условии, что стареющие функций распределения требований к результатам функционирования известны до моментов для случаев:

функция распределения результатов функционирования известна полностью;

функция распределения результатов функционирования является произвольной и известна до моментов;

функции распределения результатов функционирования является стареющей и известна до моментов.

По итогам диссертационного исследования на защиту выносятся следующие положения:

1. Методы определение нижних оценок показателей эффективности функционирования АИС при стареющих функциях распределения результатов функционирования, известных до моментов.

2. Методы определения нижних оценок показателей эффективности функционирования АИС при стареющих функциях распределения требований к результатам функционирования, известных до моментов.

3. Методики определения нижних оценок показателей эффективности функционирования АИС.

Практическая значимость исследования состоит в том, что полученные научные результаты позволяют разработать единую методическую и универсальную алгоритмическую базу для оценки эффективности функционирования АИС в условиях неполных данных.

Эти результаты позволили:

1. Разработать методическое, алгоритмическое и программное обеспечение определения нижних оценок показателей эффективности функционирования АИС при стареющих функциях распределения результатов функционирования , известных до моментов.

2. Разработать методическое, алгоритмическое и программное обеспечение определения нижних оценок показателей эффективности функционирования АИС при стареющих функциях распределения требований к результатам функционирования , известных до моментов.

Апробация работы. Основные теоретические положения и выводы диссертации получили свое отражение в публикациях автора общим объемом 9.1 пл.. а также предоставлены диссертантом в на-

учных сообщениях на заседаниях кафедры Информационных систем управления и вычислительной техники Академии труда и социальных отношений, а также докладывались на ряде научных конференций и семинаров.

Публикации по теме диссертации, основные результаты диссертации опубликованы в одиннадцати статьях.

Структура диссертации: Работа состоит из введения, четырех разделов, заключения, списка литературы.

1. Общая характеристика задачи оценки показателей эффективности функционирования автоматизированных информационных систем

1.1. Автоматизированные информационные системы и требования к эффективности их функционирования

Достижения в области вычислительной техники, техники связи, программных средств уже сегодня позволяют принципиально по-новому подойти к совершенствованию управления во всех звеньях и на всех уровнях народного хозяйства. Наблюдается тенденция перехода от локальной автоматизации отдельных технологических операций, процедур, задач управления к созданию комплексных, интегрированных систем, обеспечивающих существенное повышение эффективности разнообразных сторон человеческой деятельности. Речь идет о переходе на новые технологии сбора, хранения, передачи и обработки информации во всех звеньях социально-экономической системы. Такой переход предполагает широкое внедрение наряду с локальными техническими средствами работы с информацией, автоматизированных информационных систем (АИС), осуществляющих распределенную обработку информации.

В общем случае в теории систем под АИС принято понимать такую "информационную систему, у которой приведение в действие ее основных компонентов осуществляется автоматическим устройством, действия которого поддаются математическому описанию" [15,53,70,105].

Информационную систему в самом широком смысле принято рассматривать как средство, обеспечивающее коммуникацию между

людьми в виде вопросов и ответов за счет сбора, передачи, хранения и обработки информации.

В практической реализации АИС - это человеко-машинная система, функционирование которой предполагает наличие таких ее элементов, как персонал, техническое обеспечение и программное обеспечение.

Основными целями создания АИС является автоматизация основных технологических процессов деятельности организации и всех ее структурных подразделений. Внедрение АИС в организации позволяет обеспечить повышение оперативности и качества сбора, хранения, передачи, обработки и представления разнообразной информации.

Так например, внедрение АИС Государственной налоговой инспекции (ГНИ) по г. Москве должно обеспечить решение следующих задач [106] :

повышение оперативности работы и производительности труда налоговых инспекторов;

повышение достоверности данных по учету налогоплательщиков и эффективности контроля над соблюдением налогового законодательства;

оперативное получение данных о поступлении налогов (по каждому налогоплательщику или группе налогоплательщиков, по каждому виду налогов или группе налогов) на заданную дату учета;

повышение качества и оперативности работы с налогоплательщиками;

интеграция с создаваемой автоматизированной информационной системой ГНС;

информационный обмен с автоматизированными системами Департамента финансов и Департамента экономической политики и развития Правительства г. Москвы;

взаимодействие с муниципальными органами г. Москвы; анализ динамики поступления налогов с возможностью ее прогноза;

обеспечение своевременной информированности налоговых инспекций о текущем состоянии и изменениях налогового законодательства;

своевременное информирование органов власти о поступлении налогов и соблюдении налогового законодательства;

сокращение объема бумажного документооборота; повышение оперативности и качества принимаемых решений по управлению системой налогообложения с целью повышения эффективности ее функционирования.

Создаваемые АИС должны учитывать специфические особенности областей их применения, но при этом должны они должны удовлетворять общим следующим требованиям [5255,79,84,91,98,100,102,105,106]:

комплексный подход к автоматизации задач всех уровней в организации;

функциональная полнота АИС;

сочетание преемственности способов построения, методологии и организации существующих АИС и современных принципов построения АИС;

рациональная организация распределенной обработки данных, обусловленная особенностями выполняемых АИС задач;

обеспечение выполнения требований, предъявляемых к открытым системам, с учетом принципов функциональной достаточности и безопасности данных.

Кроме общих требований АИС должна удовлетворять ряду частных, но весьма важных требований. Это требования к структуре и функционированию системы. В число этих требований входят, как правило, требования к задачам решаемым системой, требования к информационному обмену в системе, требования к режимам функционирования (включающие установку системы, ввод информации, хранение информации, обработку информации, передачу информации, работа с внешними устройствами, работа с архивами, обслуживание и сопровождение системы при эксплуатации, обеспечение документирования информации и другие), требования к показателям назначения, требования к численности и квалификации персонала ; требования к информационному обеспечению; требования к техническому обеспечению; требованию к программному обеспечению; требования к математическому обеспечению; требования к надежности; требования к эргономике и технической эстетике; требования к эксплуатации; требования по защите информации от несанкционированного доступа и другие [1,2,102,105,106].

Не рассматривая всех возможных вариантов требований укажем только некоторые требования к современным АИС. Это требования к прикладному программному обеспечению серверов баз данных и требования к техническому обеспечению.

Серверы баз данных должен поддерживать работу с мощными многопроцессорными и кластерными компьютерами и отличаться высокой степенью интеграции программных средств, ориентированные на различные области компьютерной обработки

больших объемов информации; при этом серверы баз данных должны поддерживать следующие возможности [105,106]:

распределенную обработку информации с производством записи информации на несколько баз данных, распложенных на серверах в различных узлах сети;

параллельную обработку для поддержки слабосвязанной архитектуры;

распараллеливание запросов на несколько процессов, которые могут выполняться одновременно несколькими процессорами на одном компьютере, так и на нескольких компьютерах;

симметричные репликации для асинхронной обработки реплик данных с разрешением конфликтов на различных серверах в локальных и/или глобальных сетях;

большое число клиентов, использующих короткие транзакции, изменяющие базу дынных;

работу с хранилищами данных в режиме просмотра больших объемов данных и отбора нужной информации;

запись, хранение и быстрое извлечение больших объемов неструктурированной текстовой информации с возможностью хранения и выборки информации;

управление симметричными репликациями в распределенной среде для конфигурирования, планирования и создания прикладных систем, использующих репликации данных.

В общем случае следует указать на то, что современные АИС должны удовлетворять большому количеству требований, носящий как качественный, так и количественный характер. В ходе испытаний и/или опытной эксплуатации АИС должна быть проведена проверка выполнения всех требований к АИС и ее составным частям. Основной задачей опытной эксплуатации или испытаний АИС

является экспериментальная проверка соответствия реальных характеристик АИС, заданным в техническом задании, и определение возможности принятия АИС в эксплуатацию. Решение о приеме АИС в эксплуатации принимает комиссия (Государственная комиссия) на основании оценки соответствия характеристик АИС требования технического задания заказчика. Оценка характеристик АИС по данным опытной эксплуатации и/или испытаний проводится на основе разрабатываемых программ и методик испытаний. На этапе завершения опытной эксплуатации и/или испытаний в наличии приемной комиссии имеются неполные данные о процессах функционирования АИС, представленные выборками, характеризующими те или иные процессы и режимы функционирования АИС. На основе этой неполной информации необходимо принять решение о приеме или не приеме АИС в эксплуатации. Ошибки в оценках характеристик в конечном итоге могут привести к принятию неоптимальных или нерациональных решений, а это, в свою очередь, может привести к большим экономическим потерям.

Чтобы исключить это, необходимо, прежде всего располагать методами оценки показателей эффективности функционирования АИС в условиях неполных данных, являющихся результатами опытной эксплуатации и/или испытаний.

Задача оценки показателей эффективности функционирования АИС и ее элементов имеет место на всех этапах жизненного цикла ИБС.. Оценки показателей эффективности являются основной информация для принятия решений по совершенствованию процессов эксплуатации АИС, ее модернизации. Прежде чем перейти к рассмотрению собственно показателей эффективности функционирования АИС, представляется целесообразным в рамках

общесистемных понятий уточнить используемые в данной работе некоторые термины и определения.

Начнем с наиболее используемого понятия системы (автор в отношении вводимых ниже системных понятий придерживается точки зрения близкой к точке зрения авторов работы [82]). Под системой будем понимать множество составляющих единство элементов, отношений и связей между ними и окружающей средой, образующие присущую данной системе качественную определенность.

Данное понятие определяет систему на установленном уровне ее деления на элементы, так как любой элемент может в свою очередь, рассматриваться как система, состоящая из отдельных элементов, которые также могут подвергаться дальнейшему делению.

Элемент - неделимая часть, лежащая в основе построения системы. Неделимость элемента рассматривается как

нецелесообразность учета в пределах системы его внутреннего строения, сам элемент характеризуется только его внешними проявлениями в ходе отношений и взаимодействий с остальными элементами и окружающей средой. Элемент с течением времени может изменяться, переходить в различные состояния. Элементом в настоящем рассмотрении может выступать интегральная микросхема, системный блок, процессор, дисковод, канал связи, компьютер, а в других случаях они могут рассматриваться как системы АИС.

Состояние элемента - это пространственная упорядоченная субстанция элемента в определенный момент времени, проявляющаяся в его отношениях и взаимодействиях с окружающей средой. Можно сказать, что состояние - это элемент в определенный момент времени. Состояние элемента можно определять с помощью набора величин, характеризующих его свойства, пространственное

расположение и внешние проявления в данном состоянии. Иногда состояние определяют как набор этих величин (параметров). В общем случае из-за неисчерпаемости субстанции любого материального элемента число таких величин может быть очень велико, поэтому целесообразно ограничиться наборе отдельных из них. характеризующих наиболее существенное влияние элемента на систему. Элементы системы зависят друг от друга, т. е. состоянию одного элемента должно соответствовать состояние другого, находящегося с первым в определенных отношениях. Отношения -совокупность соответствий состояний элементом системы друг другу, определяющая необходимость и характер взаимодействий между ними.

Установить отношение между элементами - это значит определить степень влияния их друг на друга, относительное расположение в пространстве, изменение субстанции одного элемента в зависимости от изменения субстанции другого с течением времени. Связи - совокупность условий, обеспечивающая возможность взаимодействий элементов системы между собой и окружающей средой.

Установить связь между двумя элементами - это значит выявить наличие таких свойств, которые обеспечивают формирование воздействий, передачу их от одного элемента к другому и восприятие воздействий. Так же, как и отношения, связи устанавливаются между определёнными элементами системы.

Отношения и связи определяют порядок, возможность и характер взаимодействий между элементами системы, а также между системой и окружающей средой. В ходе взаимодействий возникают различные изменения в системе, связанные с изменением состояний, отмиранием и возникновением новых элементов, отношений и связей.

Система постоянно испытывает входные воздействия со стороны окружающей среды и, в свою очередь, отвечает воздействиями (реакциями) на окружающую среду. Аналогично элементы системы, имеющие связи и отношения, также воздействуют друг на друга. Входные воздействия подаются на входы системы, которые представляют собой отдельные элементы, или части системы, обеспечивающие восприятие этих воздействий. Воздействия системы на окружающую среду передаются с отдельных элементов системы, называемых её выходами.

Таким образом, взаимодействия - процессы взаимного влияния (воздействий) элементов, системы и окружающей среды друг на друга.

Структура системы - совокупность элементов, связей и структурных отношений между ними. Структурные отношения включают: пространственные отношения, характеризующие расположение элементов относительно друг друга, задаваемое, как правило, координатами каждого элемента или графической пространственной конфигурацией системы; отношения включения или отношения "входить в состав", имеющие место в процессе иерархического деления или объединения элементов системы: отношения подчинения, имеющие место в многоуровневых структурах общественных систем. Учет структурных отношений является необходимым условием правильного определения качественных показателей ИВС. Структура характеризует строение системы и не учитывает состояний элементов, взаимодействий и причинно-следственных временных отношений между ними. Для оценки всех свойств системы в каждый момент времени используется понятие состояния системы. Состояние системы - совокупность состояний её элементов, отношений, связей и взаимодействий между ними и окружающей средой в определенный момент времени.

Состояние системы, как и рассмотренное ранее состояние элемента, можно определять с помощью набора величин (параметров), характеризующих свойства, пространственное расположение и внешние проявления системы. Поэтому в некоторых случаях под состоянием системы понимают упорядоченную совокупность значений параметров, определяющих зависимость входа от выхода, либо "поведение" системы [1,55]. Можно сказать, что состояние -это система в определенный момент времени.

С течением времени система переходит из одного состояния в другое, т.е. совершает движение. Функционирования системы -процесс изменения ей состояний с течением времени. Функционирования идентичны понятия: поведение, движение , жизнь системы.

Процессы функционирования системы (АИС) оцениваются с помощью системы показателей, характеризующих эффективность функционирования [1,2,10,29,33-36,53,105,106] и используемых для принятия обоснованных организационно-технических решений по совершенствованию эксплуатации системы.

1.2. Общая характеристика проблемы оценки эффективности функционирования АИС

Современный этап развития АИС характеризуется расширением числа и важности решаемых задач АИС в различных областях человеческой деятельности; увеличением числа используемых АИС; возрастанием требованием к эффективности их целевого функционирования.

Тенденции эти во многом являются противоречивыми и требующими принятия обоснованных решений, связанных с разработкой, испытаниями и эксплуатацией АИС.

Исходной информацией для принятия обоснованных научно-технических решений по совершенствованию процессов эксплуатации АИС является оценка эффективности их функционирования .

Объектом настоящей диссертации являются процессы функционирования АИС.

Процессы функционирования АИС оцениваются с помощью в общем случае векторного показателя эффективности

где 1 = 1,т есть частные показатели эффективности

функционирования АИС.

В теории эффективности [1,53,64,72,80,82-86] под эффективностью понимают наиболее общее, определяющее свойство любой целенаправленной деятельности, которое с познавательной точки зрения раскрывается через категорию цели и объективно выражается степенью достижения цели с учетом затрат ресурсов и времени.

Под целью понимается идеальное представление желаемого (требуемого) результата, достижимого в пределах некоторого интервала времени.

Цель считается достигнутой, если в итоге предпринятых действий получен результат соответствующий этой цели. Следовательно, чтобы проверить достигнута цель или нет, ее необходимо формализовать. В теории эффективности вопрос формализации цели имеет принципиальное значение и решается обычно путем введения множества параметров целеполагания Утр, задающих желаемый (требуемый) результат. Такая форма задания целей отвечает требования четкости и конкретности их формулировок.

Требуемый (желаемый) результат может быть получен лишь

путем преобразования некоторых ресурсов, т.е. за счет совокупности определенных действий, в процессе которых ресурсы преобразуются в требуемый результат, соответствующий поставленной цели. Такую совокупность действий принято называть операцией. Причем с содержательной точки зрения эти действия могут быть самой различной природы, главное - они должны быть целенаправленными.

Таким образом, операция - это упорядоченная совокупность взаимосвязанных действий, объединенных общим замыслом и направленных на достижение вполне определенной цели.

Процесс функционирования АИС без каких-либо ограничений может рассматриваться как операция с точки зрения теории эффективности. Далее по тексту, где это не вызывает разночтений процесс функционирования АИС будем называть операцией.

Реальный результат У операции (фактический или ожидаемый) есть тот результат, который может быть получен при проведении операции. В силу действия различного рода факторов реальный результат У операции может отличаться от требуемого результата Утр . Об успешности операции судят по степени различия между реальным результатом У и требуемым Уф, т.е. по степени достижения цели операции. Чем меньше различие между реальным и требуемым результатом, тем успешнее проведена операция или тем она эффективнее.

Эффективность операции есть степень соответствия реального (фактического или ожидаемого) результата операции требуемому (желаемому) или, иными словами, степень достижения цели операции [ 80,82 ].

Применительно к процессу функционирования АИС это определение можно выразить следующим образом. Эффективность функционирования АИС есть степень соответствия реального результата функционирования АИС требуемому.

Эффективность - это свойство действия, точнее целенаправленного действия (процесса функционирования, операции) давать эффект (результат), а с другой стороны эффективность операции может оцениваться как после проведения (по фактическому результату), так и до начала проведения (по ожидаемому результату, получаемому на основе его моделирования).

Для количественного описания соответствия реального результата требуемому в теории эффективности используют формально вводимую числовую функцию

11 = К(У,¥тр),

которую называют функцией соответствия [80 ]. Эта функция в некоторой метрической шкале характеризует степень достижения цели операции.

Показатель эффективности операции есть мера соответствия реального результата операции требуемому. Показатель эффективности XV вводится формально [ 80,82 ] как математическое ожидание общей функции соответствия, т. е.

\У = М[Я( ¥,¥.,.„)]. (1.1)

Задачи исследования эффективности функционирования АИС связаны с изучением основных закономерностей процессов применения АИС в различных условиях. Прагматика этих задач заключается в выработке научно-обоснованного суждения о эффективности функционирования АИС, условиях и способах применения АИС с целью последующего принятия организационно-технических решений, связанных с созданием и применением АИС.

Наибольший практический интерес представляет исследование эффективности операций до их проведения, что требует использования метода математического моделирования, как

основного средства исследования эффективности, что непосредственно имеет прямое отношение к задаче оценки эффективности АИС.

Для того чтобы числовая функция (1.1) могла рассматриваться в качестве показателя эффективности, помимо требования соответствия цели операции она должна удовлетворять следующим требованиям: содержательности и интерпретируемости, измеримости, соответствия системе предпочтений лица, принимающего решения (ЛПР).

Последнее из этих требований означает, что показатель эффективности должен учитывать психологические особенности ЛПР, отражающие его отношение к различным ситуациям в условиях неопределенности (например, склонность или безразличие к риску).

Формально психологические особенности ЛПР можно учесть введением специальной оценочной функции отражающей

отношение ЛПР к риску [ 82 ].

С учетом этого показатель эффективности есть

математическое ожидание оценочной функции:

\У = М[Г(11(У,Утр))]. (1.2)

Показатель эффективности в форме (1.2) является наиболее общим. В зависимости от вида оценочной функции 1^.) и функции соответствия W(.) из соотношения (1.2) можно получить различные показатели эффективности.

Показатели, построенные по правилу (1.1) часто называют "объективными", а по правилу (1.2) - "субъективными". Последние показатели применительно к процессам функционирования АИС используются очень редко.

Если результат У операции может быть описан единственной величиной у, то соотношения (1.1) и (1.2) определяют скалярный показатель эффективности. В противном случае вводят векторный

показатель эффективности

Введение векторного показателя эффективности накладывает дополнительные требования минимальности числа частных показателей и полноты.

Обычно векторный показатель эффективности вводят в случаях, когда единственная цель операции достигается решением нескольких задач, эффективность решения каждой из которых оценивается соответствующим частным показателем, но свернуть эти показатели в один обобщенный показатель не удается.

Рассмотрим различные формы показателя эффективности.

Пусть цель операции - процесса функционирования АИС, описывается случайным событием А, наступление которого является желательным результатом операции. Например, восстановление работоспособности АИС в течение некоторого заданного времени I. Комплекс условий, а следовательно, и вероятность Р(А) наступления этого события зависит от некоторой стратегии (стратегии ремонта, восстановления).

Функцию соответствия в этом случае вводят следующим образом:

Утр) =

1 , если событие А наступило; О в противном случае.

Вероятность события А есть математическое ожидание бернуллиевой переменной и эффективность есть вероятность наступления события А.

= Р(А) (1.3)

Часто событие А выражается отношением между реальным

результатом у и требуемым ухр. Например,

А = { У > Утр } или А = { у < у^ }.

Функция соответствия для этих событий вводится следующим образом:

с

1 , если у > утр О в противном случае.

К(У> УтР)

_ <

К(у, Утр)

<

1 , если у < уТр О в противном случае.

Функцию соответствия, определяемую последними двумя соотношениями используют в случаях, когда требуемый результат задачи и его достижение является непременным условием выполнения поставленной задачи. При этом показатель эффективности

=.Р(А) = Р{ у > ухр} (1.4)

в отдельных случаях трактуется как вероятностная гарантия (или степень гарантии) выполнения поставленной задачи.

Применительно к процессу функционирования АИС подобный показатель эффективности может рассматриваться как вероятность того, что срок службы у будет не ниже требуемого утр или время автоматического восстановления данных при аппаратно-программных сбоях (отказах) у будет не больше требуемого ух и т.д.

Цель операции в этом случае - организация такой системы эксплуатации АИС, чтобы срок службы у был не меньше требуемого Утр.

Кроме того, такой показатель эффективности может рассматриваться в качестве большинства показателей надежности АИС [1,2] например, как вероятность безотказной работы,

вероятность восстановления работоспособности АИС в течение времени не меньше заданного и т.д. Во всех этих случаях утр рассматривается как детерминированная величина.

Однако, в практике оценки эффективности утр часто рассматривается как случайная величина, т.е. требуемый результат носит случайный характер. Применительно к процессам функционирования АИС, цель операции или функционирования АИС может состоять в требовании безотказного функционирования в течение некоторого "ответственного" интервала, длительность которого случайна. Например, при передаче важной информации через сетевую структуру АИС в течении определенного времени необходимо обеспечить безотказную работу сетевой структуры АИС в течение всего времени передачи информации, продолжительность которого заранее неизвестна.

Другой пример, ряд АИС предназначены для управления ответственными технологическими процессами или операциями, нарушение нормального протекания которых может привести к необратимым негативным последствиям, если нормальное протекание технологических процессов или операций не будет восстановлено в течение некоторого времени [1,8,9,15,36,52]. Для таких АИС время восстановления их нормального функционирования при аппаратно-программных сбоях (отказах) у должно быть не больше некоторого случайного безопасного времени у^.

1.3. Обзор работ по проблематике оценки эффективности технических систем. Постановка задачи исследования

В настоящем разделе проведем обзор не всех работ, в которых рассматривается проблематика оценки эффективности технических систем, а только работ, в которых решаются задачи оценки

эффективности в условиях неполных данных.

Неполнота исходных данных о процессах функционирования технических систем требует использования принципа гарантированного результата при оценке эффективности АИС. Это объясняется стремлением совместить в рамках единого подхода реально существующую неопределенность (неполноту) в исходных данных с требованием исключения ошибочных ^рыводов о значениях показателей эффективности. Получаемая оценка показателя эффективности функционирования АИС должна быть гарантированной оценкой при заданных исходных данных. То есть данная оценка должна определяться на основании принципа гарантированного результата [69-83], согласно которому всякий недостаток информации дополняется наихудшими предположениями для оперирующей стороны.

В настоящей работе будет развиваться подход к задаче гарантированной оценки показателей эффективности функционирования АИС близкий к методу функционалов [48,57,69 -83] и базирующийся на проблеме моментов [67,72] как на теоретическом базисе.

Перспективность такого подхода к задачам оценки показателей эффективности (вероятностных функционалов) функционирования подчеркивалась в ряде работ [72,75,58,59]. Однако детального исследования этот подход, в особенности применительно к задачам оценки эффективности функционирования технических систем не получил.

Пусть Х= (Хь Х2,...,ХП) е Яп есть случайный вектор результатов, характеризующий процесс функционирования АИС, Я" -п-мерное евклидово пространство. Случайные величины Х! определены на некотором вероятностном пространстве (П,Р,Р) и принимают значения на некотором вероятностном пространстве Ъ с

выделенной в нем Б—алгеброй измеримых подмножеств В(2). Здесь О. - пространство элементарных событий, Б- -8 —алгебра событий, Р -вероятностная мера, определенного для каждого события А е Б, Р (П) = 1 [3,23,24]. Необходимо по результатам функционирования X найти оценку показателя эффективности W процесса функционирования АИС, который является вероятностным функционалом.

Существует ряд методов [1,2,5,6,7,10,11,26], позволяющих находить оценки показателя по данным X при некоторых определенных предположениях относительно результатов X и показателя

В настоящей работе предполагается, что функция распределения результатов функционирования Р(Ч) и функция распределения требований к результатам функционирования АИС 0(1:) известны не полностью а до моментов распределения.

Функции распределения принадлежат множеству функций распределения с заданными моментами

РфеЕ^, <ЭД е 0„

где множество функций распределения , определяется следующим образом:

Вг={Р(1): №(г) = тип = 0,к}, (1.5)

Е

0§={0(1): №<Ю(г) = т18;1 = 0,к}> (1.6)

Е

здесь тоь то§> п%>—>ткя - моменты распределения,

гг^ = 1; П1оё = 1 в соответствии со свойствами функции распределения.

В качестве оценок моментов распределения могут быть использованы, например, их точечные оценки, получаемые по

простым расчетным соотношениям [23]

п

mi = S Xj'; i = 0,к (1.7)

j = i

В последнем соотношении индексы f, g опущены.

В отдельных случаях вместо точечных оценок моментов можно использовать доверительные (нижние или верхние) оценки моментов.

То есть на основе реальных данных о процессах функционирования АИС определяются наиболее простые вероятностные характеристики функции распределения ( с точностью до параметров распределения) если это возможно на основе полученных данных о процессе функционирования или моменты распределения (которые могут быть определены в любом случае, даже по выборке из двух результатов), а затем на основе найденных характеристик определяются интегральные показатели эффективности.

Приведем анализ результатов, полученных в научном направлении, связанном с оценкой эффективности в условиях неполных данных о процессах функционирования сложных технических систем.

Когда функции распределения заданы до моментов распределения, решение задачи оценки эффективности системы сводится к решению некоторой экстремальной задачи:

Wr= extr W, (1.8)

F(t) e Df G(t) s Dg

Для показателей эффективности, определяемых соотношением (1.3) задача нахождения гарантированной оценки в целом решена для различных классов распределений[72-75].

В [67] доказан следующий результат: минимум функционала

J(F) = Jc (t)dF(t)

на множестве функций распределения с заданными моментами при непрерывной подинтегральной функции c(t), имеющей п+1 неотрицательную производную, достигается в классе ступенчатых функций распределения, определяемых следующим образом: при п = 2п - функция распределения имеет п точек роста 0 < ti < t2 < ...< tn <ос, причем для величин rjtjj=l,n справедливо соотношение

п _

Z t^n = mj; j = 0,n; r0 = 0 (1.9)

i=0

при n = 2n функция распределения имеет n+1 точку роста 0 = tj< t2<...< tn < oo, для величин ijtj, j=l,n справедливо соотношение (1.9).

В [59] этот результат обобщен на кусочно-непрерывные подинтегральные функции c(t).

В работе [72] получен следующий результат.

Нижние и верхние оценки функции распределения на множестве распределений с заданными моментами находятся следующим образом:

нижние и верхние оценки функции распределения F(t) на множестве распределений с заданными фиксированными моментами mi т.2, ,mn, т.е. при F(t) е D достигаются на единственном ступенчатом распределении F(t), при котором среди точек роста ti,t2,...,tn имеется точка t; при п нечетном число точек роста функции распределения F(t) определяется соотношением п = (п+3)/2, причем, ti=0 <t2<...<tn < oo; при четном п число точек роста функции распределения F(t) определяется соотношением п = k/2+l, причем, 0<t[<...<tn < oo ; числа ij tjj=l,n удовлетворяют системе уравнений

I гМ = т3; ] = 0,п; г0 = 0.

¡=о

Последний результат позволяет непосредственно находить оценки для функции распределения по малым выборкам объемом от двух измерений.

Для показателя эффективности, определяемого соотношением (1.4), когда не делается никаких предположений о исходных распределениях результатов функционирования и требуемых результатов отдельные решения задачи оценки показателя эффективности вида (1.4) при функциях распределения известных до моментов получены в работе [76 ,77].

Для случая, когда функция распределения результатов функционирования известна до моментов, а функция распределения требований известна полностью гарантированная оценка показателя эффективности будет определяться соотношением

V

Заключение диссертации по теме «Информационные системы и процессы, правовые аспекты информатики», Ершов, Дмитрий Николаевич

ВЫВОДЫ

1. В настоящем разделе представлены методики и алгоритмы определения нижних оценок показателей эффективности функционирования АИС: методика определения нижней оценки показателей эффективности при известной функции распределения требований к результатам функционирования; методика определения нижней оценки показателей эффективности при произвольной функции распределения требований к результатам функционирования, известной до моментов; методика определения нижней оценки показателей эффективности при известной функции распределения результатов функционирования; методика определения нижней оценки показателей эффективности при произвольной функции распределения результатов функционирования, известной до моментов; методика определения нижней оценки показателей эффективности при стареющих функциях распределения результатов функционирования и требований к ним. При этом для случаев, когда известны первые моменты распределений нижние оценки получены в аналитическом виде, для остальных случаев предложена вычислительная схема для нахождения нижних оценок показателей эффективности функционирования АИС.

2. В результате вычислительного эксперимента на модельных данных установлено, что разработанные методы оценки показателей эффективности имеют достаточно высокую достоверность, получаемые с помощью данных методов оценки всегда ниже истинных оценок. Они являются гарантированными оценками в случае малых выборок и обеспечивают приемлемую для практики точность в оценках в пределах пяти процентов.

ЗАКЛЮЧЕНИЕ

В ходе выполненного диссертационного исследования поставлена и решена научная задача разработки методов оценки эффективности функционирования АИС при этом получены следующие основные теоретические и практические результаты:

1. Процессы функционирования АИС определяются большим количеством факторов. При этом большая доля этих факторов не контролируется. Это приводит к тому, что задача оценивания эффективности функционирования АИС является задачей с неполной информацией, для решения которой использование классических методов теории надежности, эксплуатации и эффективности нецелесообразно.

Анализ научной литературы по проблематике оценивания эффективности сложных систем показал, что общего законченного решения научной задачи для случаев, когда функции распределения результатов функционирования и требований к ним являются стареющими и известны до моментов, нет.

2. Разработаны методы определения нижних оценок показателей эффективности функционирования АИС при стареющих функциях распределения результатов функционирования, известных до моментов. При этом рассмотрены случаи, когда функция распределения требований к результатам функционирования известна полностью и неизвестна, но известны ее моменты распределения. Для случаев, когда известны первые моменты функции распределения результатов функционирования нижние оценки найдены в аналитическом виде, для остальных случаев предложена общая схема нахождения нижних оценок.

3. Разработаны методы определения нижних оценок показателей эффективности функционирования АИС при стареющих функциях распределения требований к результатам функционирования, известных до моментов. При этом рассмотрены случаи, когда функция распределения результатов функционирования известна полностью, является произвольной, известной до моментов и стареющей, известной до моментов. Для случаев, когда известны первые моменты функции распределения результатов функционирования нижние оценки найдены в аналитическом виде, для остальных случаев предложена общая схема нахождения нижних оценок.

4. Разработаны методики определения нижних оценок показателей эффективности функционирования АИС: методика определения нижней оценки показателей эффективности при известной функции распределения требований к результатам функционирования; методика определения нижней оценки показателей эффективности при произвольной функции распределения требований к результатам функционирования, известной до моментов; методика определения нижней оценки показателей эффективности при известной функции распределения результатов функционирования; методика определения нижней оценки показателей эффективности при произвольной функции распределения результатов функционирования, известной до моментов; методика определения нижней оценки показателей эффективности при стареющих функциях распределения результатов функционирования и требований к ним. При этом для случаев, когда известны первые моменты распределений нижние оценки получены в аналитическом виде, для остальных случаев предложена вычислительная схема для нахождения нижних оценок показателей эффективности функционирования АИС.

5. Проведен вычислительный эксперимент на модельных данных, который позволил установить, что разработанные методы оценки показателей эффективности имеют достаточно высокую достоверность, получаемые с помощью данных методов оценки всегда ниже истинных оценок. Они являются гарантированными оценками в случае малых выборок и обеспечивают приемлемую для практики точность в оценках в пределах пяти процентов.

Список литературы диссертационного исследования кандидат технических наук Ершов, Дмитрий Николаевич, 1998 год

ЛИТЕРАТУРА

1. Абраменко Б.С., МасловА.Я., НемудрукЛ.Н. Эксплуатация автоматизированных систем управления.- Л.:МО СССР, 1984.

2. Абросимов Л.И. Методология анализа вероятностно-временных характеристик вычислительных сетей на основе аналитического моделирования. - М.: МЭИ, Дисс.докт. техн.наук, 1996.

3. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Основы моделирования и первичная обработка данных.-М. : Финансы и статистика, 1983.

4. Алексеев В.М., Тихомиров В.М., Фомин C.B. Оптимальное управление.-М.: Наука, 1979.

5. Андерсон Т. Введение в многомерный статистический анализ.-М.: Физматгиз, 1963.

6. Андреев В.И. Метод получения неравенства типа неравенства Че-бышева// Автоматика и телемеханика. 1981, №5.

7. Андреев В.И. Метод получения числовых характеристик случайных величин// Автоматика и телемеханика. 1989, №8.

8. Андросов В.А., Кутахов В.П. Архитектура аппаратно-интегрированного радиоэлектронного комплекса//Радиотехника, 1996, №9.

9. Андросов В.А., Пешко A.C. Система управления радиоэлектронного комплекса//Радиотехника, 1996, №9.

10. Антушев Г.С. Методы параметрического синтеза сложных технических систем. — М.: Наука, 1989.

11. Аронов И.З., Бурдасов Е.И. Оценка надежности по результатам сокращенных испытаний. — М.: Издательство стандартов, 1987.

12. Астафьев A.B. Окружающая среда и надежность радиоэлектронной аппаратуры. — М.: Энергия, 1965.

13. Ахиезер Н.И. Классическая проблема моментов. —Гос. изд-во физ.-мат.литературы, 1961.

14. Бабурин A.B. Особенности имитационного моделирования в задачах оценки эффективности технических средств поиска-обнаружения целей//Радиотехника, 1996, №6, с.3,4.

15. Баранюк В.А. и др. Основы больших АСУ. - М.: Сов.радио, 1979.

16. БарлоуР., Прошан Ф. Математическая теория надежности.-М.: Сов.радио, 1969.

17. Барлоу Р., Прошан Ф. Статистическая теория надежности и испытания на безотказность. — М.: Наука, 1985.

18. Батурин Ю.О., Линник В.А. Чикин М.Г. Динамическая модель функционирования системы связи в условиях информационного конфлик-та//Радиотехника, 1996, №6,

19. Беляев Ю.К. Простые доверительные оценки квантилей стареющих распределений продолжительности безотказной работы// Изв. АН СССР. Техн. кибернетика, 1981, № 1.

20. Беляев Ю.К. Статистические методы обработки неполных данных о надежности изделий. — М.: Знание, 1987.

21. Беляев Ю.К. Статистические методы обработки результатов испытаний на надежность. — М.: Знание, 1981.

22. Беляев Ю.К., Макаров А.П. Модель оценивания абсолютно гарантированного времени безотказной работы// Изв. АН СССР. Техн. кибернетика, 1986, №6.

23. Боровков A.A. Математическая статистика. — М.: Наука, 1984.

24. Боровков A.A. Теория вероятностей. — М.: Наука, 1976.-352с.

25. Васильев Б.В. Прогнозирование надежности и эффективности радиоэлектронных устройств. — М.: Сов. радио, 1970.

26. Васильев Б.В., Козлов Б.В., Ткаченко Л.Г. Надежность и эффек-

тивность радиоэлектронных устройств. — М.: Сов. радио, 1964.

27. Васильев Ф.П. Методы решения экстремальных задач. —М.: Наука, 1981.

28. Верещак А.П., Федорович O.E. Моделирование и оценка системных характеристик проектируемых сложных радиотехнических комплек-сов//Радиотехника, 1996, №8.

29. Вероятностные методы оценки эффективности вооружения/ Чер-воный A.A., Чобанян В.А. и др. —Воениздат, 1979.

30. Виноградов О.П. Неравенство для одного функционала от стареющих функций распределения// Математические заметки.-1974.- Вып. 16.

31. Виноградов О.П. Определение стареющих функций распределения в терминах преобразования Лапласса// Теория вероятностей и ее применение.—1973. — Т. 18, №4.

32. ВиттихВ.А., ЦыботовВ.А. Оптимизация бортовых систем сбора и обработки данных. — М.: Наука, 1985.

33. Волков Е.Б., Судаков P.C., Сырицин Т.А. Основы теории надежности ракетных двигателей. М.: Машиностроение, 1974.

34. Вопросы математической теории надежности/ Е.Ю.Барзилович и др.: Под ред. Б.В.Гнеденко,- М.: Радио и связь, 1983.

35. Гадасин В.А., Ушаков И.А. Надежность сложных информационно-управляющих систем. - М.: Сов. радио, 1975.

36. Герасименко В.А. Защита информации в автоматизированных системах обработки данных. - М.: Энергоатомиздат, 1994.

37. Гермейер Ю.Б. Введение в теорию исследования операций.-М.: Наука, 1971.

38. Гермейер Ю.Б., Иргер Д.С., Калабухова Е.П. О гарантированных оценках надежности системы при неполных сведениях о надежности эле-

ментов// ЖВМ и МФ, 1966, т.6, №4.

39. Гнеденко Б.В., Беляев Ю.К., Соловьев А.Д. Математические методы в теории надежности. — М.: Наука, 1965.

40. Голодников А.Н., Стойкова J1.C. Определение оптимального периода предупредительной замены на основе информации о математическом ожидании и дисперсии времени безотказной работы// Кибернетика, 1978, №3.

41. Голодников А.Н., Стойкова JT.С. Численный метод оценки некоторых функционалов, характеризующих надежность// Кибернетика, 1978, №2.

42. Давыдов Э.Г. О применении стильтьесовских моментов// ЖВМ и МФ, 1967, т.7, №5.

43. Даниленко E.J1. Вероятные модели оперативного контроля дискретной системы// Автоматика и вычислительная техника, 1983, № 1.

44. Дедков В.К;, Северцев H.A. Основные вопросы эксплуатации сложных систем.- М.: Высшая школа, 1976.

45. Диаконис П., Эфрон Б. Статистические методы с интенсивным использованием ЭВМ// В мире науки, 1983, №7.

46. Ермаков С.М. Метод Монте-Карло и смежные вопросы. —М.: Наука, 1975.

47. Ермольев Ю.М. О некоторых проблемах стохастического программирования//Кибернетика, 1970, №1.

48. Железнов И.Г. Сложные технические системы / оценка характеристик/. -М. Высшая школа, 1984.

49. Жиглявский A.A. Математическая теория глобального случаного поиска. — Л.: Изд-во ЛГУ, 1985.

50. Жиглявский A.A., Красовский А.Е. Обнаружение разладки случайных процессов в задачах радиотехники. — Л.: ЛГУ, 1988.

51. Закс Ш. Теория статистических выводов. — М.: Мир, 1975.

52. Защита информации в персональных ЭВМ/ А.В.Спесивцев и др. -М.: Радио и связь - Веста, 1992.

53. Информационные системы в экономике/Под ред. В.В.Дика. - М.: Финансы и статистика, 1996.

54. Каган Б.М. Электронные вычислительные машины и системы. -М.: Энергоатомиздат, 1991.

55. Калинин В.Н., Резников Б.А., Варакин Е.И. Теория систем и оптимального управления. Основные понятия, математические модели и методы анализа систем. — Л.: ВИИ им. А.Ф.Можайского, 1979.

56. Камышанский В.И. Оценка эффективности цифровых сотовых сетей радиосвязи с подвижными объектами//Радиотехника, 1996, №5.

57. Капур К., Ламберсон Л. Надежность и проектирование систем. — М.: Мир, 1980.

58. Карлин С., Стадден В. Чебышевские системы и их применение в анализе и статистике. — М.: Наука, 1976.

59. Каштанов В.А. О минимаксных стратегиях при ограничениях на моменты распределений// В кн. Основные вопросы теории и практики надежности. Сов. радио, 1980.

60. Кейн Э. Экономическая статистика и Эконометрия: Введение в количественный и экономический анализ. — М.: Статистика, 1977..

61. Кендалл М.Дж., СтьюартА. Статистические выводы и связи. — М.: наука, 1973.

62. Коваленко И.Н. Исследования по анализу надежности сложных систем. —Киев: Наукова думка, 1975.

63. Коваленко И.Н. Расчет вероятностных характеристик систем. — Киев: Техника, 1982.

64. Козлов Б.А., Ушаков И.А. Краткий справочник по расчету надеж-

ности радиоэлектронной аппаратуры. — М.: Сов.Радио, 1966.

65. Колмогоров А.Н., Фомин C.B. Элементы теории функций и функционального анализа.- М.: Наука, 1981.

66. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. — М.: Наука, 1978.

67. Крейн М.Г., Нудельман A.A. Проблема моментов Маркова и экстремальные задачи. — М.: Наука, 1973.

68. Кудрявцев JI.Д. Курс математического анализа. —М.: Высшая школа, 1981,

69. Кушаева И.Г. Технико-экономическая оценка информационно-вычислительных систем. - M .: МДНТП, 1982.

70. Ларионов A.M., Майоров С.А., Новиков Г.Н. Вычислительные комплексы, системы и сети. - Л.: Энергоатомиздат, 1987.

71. Липаев В.В. Надежность программного обеспечения АСУ. - М.: Энергоиздат, 1981.

72. Ломакин М.И. Теория и методы непараметрического гарантированного оценивания показателей качества процессов функционирования сложных систем.- Л.: ВИКА, Дисс.докт.техн.наук, 1992.

73. Ломакин М.И. Гарантированные оценки вероятности безотказной работы в классе распределений с фиксированными момента-ми//Автоматика и телемеханика. —1991, № 1.

74. Ломакин М.И. Определение гарантированной величины вероятности безотказной работы системы при неполных исходных дан-ных//Надежность и контроль качества. —1988. №9.

75. Ломакин М.И. Экстремальные оценки показателей качества технических систем в классе распределений с заданными моментами. —М.: МО, 1989.

76. Лысов Р.Н. Метод оценки показателей безотказности технических

средств автоматизированных систем. - М.: МИГТБ, Дисс. канд. техн. наук, 1998.

77. Мамонов Г.А. Гарантированное оценивание эффективности функционирования радиоэлетронной аппаратуры. - М. МО РФ, Дисс. канд. техн. наук., 1998.

78. Маслов А.Я., Немудрук Л.Н., Гуца А.Г. Оптимизация радиоэлектронной аппаратуры. — М.: Радио и связь, 1982.

79. Мельников В.В. Защита информации в компьютерных системах. -М.: Финансы и статистика, 1997.

80. Морозов Л.М., Петухов Г.Б., Сидоров В.Н. Методологические основы теории эффективности. —Л.: МО СССР, 1982.

81. Мырова Л.О. Методы обеспечения стойкости систем связи к воздействию ионизирующих электромагнитных излучений/УЭлектросвязь, 1996, №8.

82. Надежность и эффективность в технике: Справочник: BIO т./Ред. совет: В.С.Авдуевский (пред) и др.-М.: Машиностроение, 1988. Т.З. Эффективность технических систем/Под общ. ред. В.Ф.Уткина, Ю.В.Крючкова.

83. Надежность технических систем: Справочник/Р.Барлоу, Ю.К.Беляев, В.А.Богатырев и др.. — М. Радио и связь, 1985.

84. Организация локальных сетей на базе персональных компьютеров. - М.: ИВК-СОФТ, 1991.

85. Основы эксплуатации радиоэлектронной аппратуры/ Под ред. В.Ю. Лавриненко. — М.: Высшая школа, 1978.

86. Острейковский В.А. Многофакторные испытания на надежность. -М.: Энергия, 1978.

87. Петров В.В. Одно неравенство для моментов случайной величины// Теория вероятностей и ее применения, 1975,т.20, №4.

88. Петухов Г.Б. Теоретические основы и методы исследования эффективности оперативных целенаправленных процессов. —JL: МО СССР, 1979.

89. Петухов Г.Б., Никитин C.B., Якунин В.И. Методологический подход к комплексному исследованию качества военно-технических систем и эффективности их целевого применения// Стандартизация военной техники, 1988.

90. Попов Э.В., Фоминых И.Б., Кисель Е.Б. Статические и динамические экспертные системы. - М.: Финансы и статистика, 1996.

91. Построение сетей ЭВМ: Пер. с япон./Като M и др. - М.: Мир, 1988.

92. Пугачев B.C. Теория вероятностей и математическая статистика.

— М.: Наука, 1979.

93. Райншке К., Ушаков И.А. Оценка надежности систем с использованием графов . - М.: Радио и связь, 1988.

94. Растригин JI.A. Статистические методы поиска. —М.:Наука,

1968.

95. Реклейтис Г., Рейвиндран А., Регсдел К., Оптимизация в технике.

— М.: Мир, 1986.

96. РунионР. Справочник по непараметрической статистике. Современный подход. —• М.: Финансы и статистика, 1982.

97. Рябинин И.А. Основы теории и расчета надежности судовых электроэнергетических систем. — М.: Судостроение, 1967.

98. Селезнев M.JI. Информационно-вычислительные системы и их эффективность. - М.: Радио и связь, 1986.

99. Семисошенко М.А. Оценка эффективности системы радиосвязи в сложной помеховой обстановке//Радиотехника, 1966, №5.

100. Стрельченко Ю.А. Обеспечение информационной безопасности

банков. - М.: ИНКИР, 1994.

101. Харитонова Г.Г. Байесовская оценка вероятности безотказной работы в условиях неопределенности исходных данных//Надежность и контроль качества.- 1986. №11.

102. Шураков В.В. Надежность программного обеспечения систем обработки данных. - М.: Статистика, 1987.

103. Элементы теории испытаний и контроля технических систем/ Под ред. Р.М.Юсупова. — Л.: Энергия, 1978.

104. Эффективность и надежность сложных технических систем. Материалы семинара.- М.: 1985, Ротапринт МДНТ.

105. Якубайтис Э.А. Информационные сети и системы. Справочная книга. - М.: Финансы и статистика, 1996.

106. Техническое задание на единую автоматизированную информационную систему Государственной налоговой инспекции по г.Москве "Налог-2-Москва". - М.: ГНИ, 1998.