Комплексирование модулей прикладного программного обеспечения на основе метрических оценок эффективности тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Губайдуллин, Ильдар Ирекович

• Губайдуллин, Ильдар Ирекович
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Губайдуллин, Ильдар Ирекович

введение

1 анализ методов; повышения эффективности прш<ладного программного обеспечения

1.1 Анализ нормативных документов

1.2 Выявление связи свойств алгоритмов и эффективности программного: обеспечения

1.3 Анализ известных методов оценки эффективности ПО

1.4 Анализ известных методов обеспечения эффективности ПО

1.5 Анализ эффективности прикладного ПО на примере задачи определения кинетических параметров каталитических реакций; 37 Выводы по главе

2 разработка метода и алгоритма управления эффективностью прикладного программного обеспечения на основе комплексирования программных модулей

2.1 Модель метода управления эффективностью ПО

2.2 Разработка метода оценки эффективности ПО с учетом законов распределения исходных данных

2.3 Пример получения оценки эффективности программы по моделированию кинетических параметров каталитических реакций

2.4 Разработка метода и алгоритма управления эффективностью

ПО путем комплексирования программных модулей'

2^5 Пример применения разработанного метода управления эффективностью ПО

Выводы по главе 2 '

3 подготовка исходных данных в методе управления эффективностью

3.1 Методика поиска максимального уровня эффективности выполнения программы в заданной области изменения данных

3.2 Методика оптимизации вложенных циклов

3.3 Методика проектирования прикладного ПО с заданной эффективностью

3.4 База'данных для расчетов вычислительных экспериментов 90 ,3.5 Особенности реализации методов в среде MATLAB 93 3.6 Методика подготовки данных в методе управления эффективностью на основе комплексирования 95 Выводы по главе 3 96,

4 ПРИМЕНЕНИЕ МЕТОДА УПРАВЛЕНИЯ ЭФФЕКТИВНОСТЬЮ ПРИКЛАДНОГО ПО К ПРОГРАММЕ ПОИСКА СКОРОСТНЫХ КОЭФФИЦИЕНТОВ ХИМИЧЕСКОЙ РЕАКЦИИ

4.1 Задача поиска скоростных коэффициентов химической реакции

4.2 Описание алгоритма существующей версии программы поиска скоростных коэффициентов химической реакции

4.3 Проектирование версии программы поиска скоростных коэффициентов на основе комплексирования программных модулей 106 4.4' Определение погрешности полученной оценки эффективности для рассматриваемой программы 116 Выводы по главе

Введение диссертации (часть автореферата) на тему «Комплексирование модулей прикладного программного обеспечения на основе метрических оценок эффективности»

Актуальность работы

Согласно стандартам в области проектирования программного обеспечения (ПО) вычислительных машин, комплексов и компьютерных сетей, одной из основных характеристик качества ПО является эффективность. Под эффективностью ПО понимают набор атрибутов, относящихся к соотношению между уровнем качества функционирования ПО и объемом используемых ресурсов при установленных условиях.

В настоящее время сложными промышленными процессами управляют вычислительные машины, характеризуемые как программной, так и аппаратной составляющей. Эффективность управления процессом, решением прикладной задачи, во многом определяется эффективностью ПО. Обеспечение эффективности ПО основано на оценке качества и оптимальном управлении. Несмотря на бурное развитие техники, увеличение роста производительности и доступности ресурсов, проблема повышения эффективности ПО остается актуальной. Отсутствие универсальных методов оценки эффективности программ, учет специфики прикладной задачи, различные требования к уровню качества функционирования программ приводят к необходимости разработки новых методов оценки и обеспечения эффективности ПО.

В работах как российских, так и зарубежных авторов приведено множество различных методов и моделей качества и метрик ПО. При этом нередко отмечаются проблемы в их использовании. Во многих имеющихся методах обеспечения и оценки эффективности ПО не учитывается влияние исходных данных на результаты работы программы. Например, модели Липова, Джелинского-Моранды, Шика-Волвертона, Литтлвуда-Верралла, Миллса, Шумана и др. [88, 89, 91, 92, 95, 100, 101] основываются на данных, полученных в процессе проектирования ПО. Сложность использования этих моделей заключается в том, что они построены на основе известных опытных данных о процессах разработки и не учитывают работу ПО в динамике. Универсальных метрик качества ПО не существует. В настоящее время их насчитывается более 200. При этом для некоторых специфичных программ метрики ПО разработаны недостаточно. Например, имеется целый класс программ, в которых заметную роль играет не только эффективность технологии программирования, но и эффективность математического обеспечения. В таких программах необходим метод оценки, учитывающий специфику прикладной задачи и возможные качественные особенности, связанные, например, с плохой обусловленностью, с неустойчивостью полученных результатов при изменении входных данных. К примеру, в химической промышленности проблема повышения эффективности ПО приобретает особую актуальность в программе определения кинетических параметров каталитических реакций. Обнаружено, что в существующей версии программного модуля, как правило, в 30% запусков происходит останов дальнейших вычислений, причина которых является невысокая эффективность используемого ПО. При работе в реальных системах остановы могут приводить к огромным экономическим потерям, что связано с потерей дорогостоящих реагентов и катализаторов.

Для специфических задач особую 4 актуальность приобретают динамические метрики, характеризующие такие параметры ПО, как вероятность достижения цели программой, время выполнения, объем занимаемой памяти. Как правило, эти метрики приобретают разные значения в зависимости от законов распределения исходных данных. Поэтому изучение вопроса изменения метрик в зависимости от законов распределения исходных данных с последующей организацией управления этими метриками в ходе выполнения программного модуля, в частности, на основе идей комплексирования, является актуальной задачей. Хотя комплексирование при проектировании ПО используется, например, в работах Андреевой Е. В., Аникина А. А., Зинченко В. П. [5, 6, 31], однако комплексирование здесь рассмотрено с точки зрения прикладной области, и особенности внутренних свойств алгоритмов не учитываются. Механизм реализации идей комплексирования на основе оценивания метрик ПО не разработан.

Выявленные недостатки в существующих методах' требуют разработки новых методов и алгоритмов, учитывающих специфику рассматриваемой программы и обеспечивающих требуемый уровень эффективности. В связи с этим, особую актуальность, приобретает метод оценки эффективности ПО* в зависимости от законов распределения исходных данных. На основе него в диссертационной работе предлагается метод управления эффективностью прикладного ПО путем комплексирования программных модулей.

Объектом исследования является эффективность прикладного ПО.

Предмет исследования - алгоритмы комплексирования-программных модулей вычислительных машин на основе оценки эффективности программного обеспечения.

Целью работы является повышение эффективности прикладного ПО на основе комплексирования программных модулей.

Задачи исследования

Для достижения поставленной цели в работе сформулированы и решены следующие задачи:

1. Разработка метода оценки эффективности ПО в зависимости от законов распределения исходных данных.

2. Разработка метода и алгоритма управления эффективностью прикладного ПО на основе комплексирования программных модулей.

3. Разработка алгоритмического и программного обеспечения для оценки эффективности прикладного ПО.

4. Разработка алгоритма и методики проектирования программ с заданным уровнем эффективности.

5. Экспериментальное обоснование полученных результатов, проведение вычислительных экспериментов на примере задачи: определения кинетических параметров каталитических реакций.

Методика исследованиям

Поставленные в диссертационной;, работе задачи решены с использованием методов теории' информации, системного анализа,, вычислительной математики; моделирования сложных» объектов, объектно-ориентированного: программирования, теории алгоритмов, принципов и методов алгоритмизации.

Результаты, выносимые на защиту

1. Метод оценки эффективности; программного обеспечения в зависимости: от законов ^распределения исходных данных.

2. Метод и алгоритм управления эффективностью ПО на; основе комплексирования программных модулей в зависимости от законов распределения .-исходных данных.

3. Алгоритм и методика проектирования программ с заданным, уровнем эффективности.

4. Программный комплекс по оценке и управлению эффективностью ПО в зависимости от законов распределения исходных данных.

5. Результаты: вычислительных экспериментов на примере задачи определения кинетических параметров каталитических реакций;

Научная новизна

Г. Метод оценки эффективности прикладного ПО, основанный на статистических данных, полученных в ходе моделирования работы' ПО, отличающийся тем, что используя, аппроксимацию законов распределения исходных данных, на основе предлагаемого метода получают статистические зависимости, характеризующие вероятность достижения цели программой.

2. Алгоритм и методика проектирования программ с заданным уровнем эффективности, отличающиеся тем, что на основе выбранных метрик позволяют определить области, характеризующие эффективность ПО в зависимости от законов распределения исходных данных.

3. Метод и алгоритм управления эффективностью ПО на основе комплексирования альтернативных программных модулей, эффективность которых зависит от законов распределения исходных данных, отличающиеся использованием метода оценки эффективности ПО с учетом законов распределения исходных данных при реализации алгоритма комплексирования, и позволяющие повысить эффективность прикладного ПО в целом.

Практическая значимость

1. Разработанный метод оценки эффективности программных продуктов и программного комплекса с учетом законов распределения исходных данных позволяет количественно оценить эффективность прикладного ПО и организовать процесс комплексирования.

2. Разработанные метод и алгоритм управления эффективностью ПО на основе комплексирования программных модулей в зависимости от законов распределения исходных данных позволяют увеличить вероятность достижения цели программы.

3. Разработанные алгоритм и методика проектирования прикладных программ с заданным уровнем эффективности позволяют определить диапазоны распределения параметров исходных данных, при которых прикладное ПО работает с заданным уровнем эффективности.

Внедрение результатов

Практическая значимость результатов подтверждается их использованием в Институте нефтехимии и катализа (ИНК) РАН, г. Уфа. Разработанный программный продукт по расчету кинетических параметров каталитических реакций ЯеОрйт внедрен в практику работу лабораторий ИНК РАН и применяется для построения кинетических моделей промышленно значимых реакций.

Связь с плановыми исследованиями'

Работа поддержана грантом РФФИ № 08-08-00357 «Методы проектирования отказоустойчивых программно-аппаратных вычислительных комплексов для систем управления сложными техническими объектами с -использованием средств * искусственного интеллекта» и грантом Президента Российской Федерации для» государственной, поддержки ведущих научных школ Российской Федерации № НШ-65497.2010.9.

Апробация и публикации

Основные положения и результаты работы докладывались и обсуждались на следующих научных конференциях и семинарах: XVII Международная конференция по химическим реакторам CHEMREACTOR (Афины-Крит, 2006); Всероссийская молодежная научная конференция «Мавлютовские чтения» (Уфа, 2008); III, IV, V Всероссийская зимняя школа-семинар аспирантов и молодых ученых (Уфа, 2008-2010); 9-я, 10-я и 12-я Международная конференция «Компьютерные науки и информационные технологии» (Уфа, 2007, Анталия, 2008, Москва-Санкт-Петербург, 2010); IX Молодежная научная конференция «Королёвские чтения» (Самара, 2007); научные конференции УГАТУ (Уфа, 2006-2010); научные семинары лаборатории математической химии ИНК РАН.

В 2009-2010 гг. диссертант являлся стипендиатом Президента РБ.

Основные положения и результаты исследований по теме диссертации опубликованы в 13 работах, включая 3 статьи в научных изданиях из списка ВАК, 10 публикаций в центральных журналах, материалах Всероссийских и Международных конференций.

Структура работы

Диссертация состоит из введения, четырех глав основного материала, заключения, трех приложений, библиографического списка из 110 наименований, всего на 150 страниц.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Губайдуллин, Ильдар Ирекович

Выводы по главе 4

1. Решая прикладную задачу по моделированию кинетических параметров каталитических реакций на основе предложенного метода оценки эффективности ПО и метода управления ею, были получены области входных данных, в- которых вероятность достижения цели программой составляет более 0,7 (против 0,3 без использования результатов данной работы). При отсутствии ограничений (4.6), можно определить такие области, в которых вероятность достижения цели программой близка к 1.

2. Для задачи моделирования кинетических параметров химической кинетики получена интервальная оценка» точности определения вероятности недостижения цели программой Ртп. Для рассмотренного примера максимальный интервал, в который можно с вероятностью Р=0,80 гарантировать попадание величины вероятности недостижения цели программой, составил (Рвдц - 0,1775; Ртп + 0,1775), для Р=0,95 - (Рнлц -0,3214; Рццц + 0,3214).

3. Метод управления эффективностью ПО на основе комплексирования программных модулей реализован в > виде отдельного блока для информационно-аналитической системы решения обратных задач химической кинетики Института нефтехимии и катализа РАН, что позволило:

1) уменьшить общее количество остановов при решении задачи;

2) определить области распределения исходных данных с заданной вероятностью достижения цели, при которых программа выполняется наиболее эффективно.

Заключение ^

Г. В диссертации проведен анализ существующих;моделей и методов оценки эффективности ПО. Анализ показал, что существующие модели имеют следующие недостатки:

- для;использования;моделей необходима первоначальная статистика работы коллектива; исходные данные программы и непосредственно код программы не являются первоначальными данными самих.моделей; сложность применения моделей , при сравнении эффективности идентичных программ;

- не учитывается влияние исходных данных.

2. Предложен метод оценки эффективности прикладного ПО, основанный на стохастическом моделировании, отличающийся тем, что используя знание законов распределения исходных: данных, получают * • статистические: зависимости, характеризующие вероятность достижения цели, программой; При. разработке метода были проанализированы два; метода; расчета: аналитический и* метод непосредственного подсчета. Несмотря на то, что аналитические методы являются наиболее точными и эффективными; в реальных программах, обладающих большой сложностью и взаимозависимостью используемых переменных, метод непосредственного подсчета; становится, единственно возможным. В итоге, разработанный метод основан; на статистической информации о функционировании программы, когда на, ее вход поступают данные согласно определенному закону распределения.

3. Разработаны алгоритм и методика проектирования программ с заданным уровнем эффективности, основанные на предложенном методе, и позволяющие определить параметры законов распределения исходных данных, при которых программа, будет обладать заданным уровнем эффективности. Предлагаемая методика состоит из 4 этапов:

1) определение законов распределения исходных данных;

120

2) формулирование целей программы и определение событий, препятствующих этому;

3) моделирование программы с определенными законами распределения исходных данных, оценка эффективности ПО;

4) определение допустимых параметров законов распределения, при которых программа будет обладать заданной эффективностью.

Применение алгоритма и методики проиллюстрировано на конкретных примерах.

4. Разработаны метод и алгоритм управления эффективностью ПО на основе комплексирования программных модулей, отличающиеся использованием статистической информацией о работе каждого модуля в зависимости от законов распределения исходных данных, и позволяющие повысить эффективность исследуемого прикладного ПО. На примере задачи моделирования кинетических параметров химической реакции показано применение метода доверительных интервалов для оценки точности полученных результатов.

5. Разработано ПО для оценки эффективности исследуемых программ и реализации предложенного метода управления.

6. Разработанный программный продукт, реализующий предложенные методы оценки эффективности ПО и алгоритмы управления эффективностью на основе комплексирования, внедрен в практику работы лабораторий Института нефтехимии и катализа РАН и применяется для построения кинетических моделей промышленно значимых реакций.

Список литературы диссертационного исследования кандидат технических наук Губайдуллин, Ильдар Ирекович, 2010 год

1. ГОСТ 19.781-90. Обеспечение систем обработки информации программное. Термины и определения. Госстандарт России.

2. ГОСТ 26553-85. Обслуживание средств вычислительной техники централизованное комплексное. Термины и определения.

3. ГОСТ 28195-89. Оценка качества программных средств. Общие положения. Государственный комитет СССР по стандартам. 1 •

4. ГОСТ Р ИСО/МЭК 9126-93. Оценка программной продукции. Характеристики качества и руководства по их применению. Госстандарт России.

5. Аникин A.A. Комплексирование спутниковых и инерциальных систем // Тезисы докладов XXXVIII научно-технической конференции УлГТУ «Вузовская наука в современных условиях», 26 января 1 февраля 2004. Ч. 1, С. - 107.

6. Ануфриев И. Е., Смирнов А. Б., Смирнова Е. Н. MATLAB 7. -СПб.: БХВ-Петербург, 2005. 1104 с.

7. Аоки М. Введение в методы оптимизации: Основы и приложения нелинейного программирования. М.: Наука. Гл. ред. физ.-мат. лит., 1977. - 344 с.

8. Аттетков А. В. и др. Методы оптимизации. М.: МГТУ, 2001.440 с.

9. Батунер Л. М., Позин М. Е. Математические методы в химической технике. СПб.: Государственное научно-техническое издательство химической литературы, 1963. - 640 с.

10. Бек К. Экстремальное программирование. СПб.: Питер, 2002. -224 е.: ил.

11. Брандт 3. Анализ данных. Статистические и вычислительные мето-ды для научных работников и инженеров. М.: Мир, 2003. - 686 с.

12. Васильев Ф. П. Численные методы решения экстремальных задач. М.: Наука. Гл. ред. физ.-мат. лит., 1988. 552 с.

13. Васин В. В., Агеев А. J1. Катастрофы и парадоксы при решении неустойчивых задач на ЭВМ // Математика и кибернетика, № 10, 1991, С. 11-26.16 . Вентцель Е. С. Теория вероятностей: Учеб. для вузов. 6-е изд. - М.: Высш. шк., 2003. - 576 с.

14. Гагарин С. Г., Колбановский Ю.А., Полак Л.С. В кн.: Применение вычислительной математики в химической и физической кинетике. - М.: Наука, 1969. - С. 82-178.

15. Гаршин И. Стандарты в информационных технологиях // Стандарты, методологии и правила в ИТ. 2010. URL: http://www.garshin.m/it/htm/standards/it-standards.htm

16. Губайдуллин И. И., Губайдуллин И. М. Реализация ALвариантности для обратных задач кинетики механизмов цикло- и гидроалюминирования олефинов // Обозрение прикладной и промышленной математики. М.: ТВП, 2006. Т.13, №4. С. 629-631.

17. Губайдуллин И. И. Об одном методе оценки надежности программного обеспечения // Международная научная конференция «Королевские чтения», Самара, 2007 84 с.

18. Губайдуллин И. И., Фрид А. И. Метод экспериментальной оценки надежности программного обеспечения // Информационные технологии, №5, 2009.-С. 47-51.

19. Губайдуллин И. И., Фрид А. И. Методика оценки надежности программного обеспечения в зависимости от распределения исходных данных // Естественные и технические науки, 2007, № 3, С. 194-197.

20. Губайдуллин И. И., Фрид А. И. Оценка точности расчета вероятности отказа одной программы // Мавлютовские чтения: Всероссийская молодежная конференция: сб. тр. в 5 т. Том 3 / Уфимск. гос. авиац. техн. ун-т. Уфа: УГАТУ - 2008. С. 122-123.

21. Губайдуллин И. М., Спивак С. И. Информационно-аналитическая система обратных задач химической кинетики // Системы управления и информационные технологии. 2008. -№1.1(31). - С. 150-153.

22. Деккер К., Вервер Я. Устойчивость методов Рунге-Кутты для жёстких нелинейных дифференциальных уравнений. — М.: Мир, 1998. -334 с.

23. Джонсон К. Численные методы в химии: Пер. с англ. М.: Мир, 1983.-504 с.

24. Заварыкин В. М., Житомирский В. Г., Лапчик М. П. Численные методы. Учеб. пособие для физ.-мат. спец. пед. институтов. М.: Просвещенно, 1990. - 176 с.

25. Захаров А. Ю. Некоторые результаты сравнения эффективности решения систем обыкновенных дифференциальных уравнений // Препринт ИПМ. М, 1979. - № 125. - 24 с.

26. Зинченко В. П. и др. Процедуры комплексирования компонент информационных технологий экспериментальных исследований моделей летательных аппаратов // Компьютерные средства, сети и системы, 2002, №1, С. 92-100.

27. Иванов В. В. Методы вычислений на ЭВМ. Справочное пособие. Киев: Наукова думка, 1986. - 583 с.

28. Изосимов A.B., Рыжко A.JI. Метрическая оценка качества программ. М.: Изд-во МАИ, 1989. - 96 с.

29. Иыуду К. А. Надежность, контроль и диагностика вычислительных машин и систем. М.: Высш. шк., 1989. - 216 с.

30. Клибанов М.В., Спивак С.И., Тимошенко В.И., Слинько М.Г. О числе независимых параметров стационарной кинетической модели // ДАН СССР. 1973. - Т. 208. - № 6. - С. 1387-1390.

31. Кнут Д. Э. Искусство программирования, том 1, Зе изд., 2001.682 с.

32. Коварцев А. Н. Автоматизация разработки и тестирования программных средств: Самар. гос. аэрокосм. ун-т. Самара, 1999. 150 с.

33. Колмогоров А. Н. О понятии алгоритма // Математика и кибернетика, № 1, 1991, С. 5-23.

34. Копченова Н. В., Марон И. А. Вычислительная математика в примерах и задачах. М.: Главная редакция физико-математической литературы изд-ва «Наука», 2008. - 368 с.

35. Кулаков А. Ф. Оценка качества программ ЭВМ. К.: Техника, 1984.- 167 е., ил.

36. Кулямин В. В., Петренко О. Л. Место тестирования среди методов оценки качества ПО. Труды ИСП РАН, 2003, № 4, С. 163-176.

37. Левицкий A.A. Исследование кинетики и механизмов некоторых химических реакций методом математического моделирования // Диссертация на соискание ученой степени кандидата химических наук. -М.: ИНХС АН СССР, 1978. 166 с.

38. Липаев В.В. Качество программного обеспечения. М.: Финансы и статистика, 1983. - 263 с.

39. Липаев В.В. О проблемах оценивания качества программных средств // Информационные технологии, 2000, № 4, С. 19-23.

40. Липаев В. В. Тестирование программ. М.: Радио и связь, 1986.296 с.

41. Майерс Г. Искусство тестирования программ. Пер. с англ. М.: Финансы и статистика, 1982. - 176 с.

42. Майерс Г. Надежность программного обеспечения. М.: Мир, 1980.-360 с.

43. Марков А. А., Нагорный Н. М. Теория алгорифмов. М.: Наука. Главная редакция физико-математической литературы, 1984. - 432 с.

44. Марчук, Г.И. Методы вычислительной математики. М.: Наука,1989. 608 с.

45. Павлов Б. В., Брин Э. Ф. Обратные задачи химической кинетики // Химическая физика. 1984. - Т.З. - №3. - С. 393-404.

46. Пальчун Б. П., Юсупов Р. М. Оценка надежности программного обеспечения. СПб.: Наука, 1994. - 84 с.

47. Полак Л. С., Гольденберг М. Я., Левицкий A.A. Вычислительные методы в химической кинетике. М.: Наука, 1984. - 280 с.

48. Программные средства вычислительной техники: Толковый терминологический словарь-справочник. М.: Издательство стандартов,1990.-е. 368.

49. Ракитский Ю. В., Устинов С. М., Черноруцкий И. Г. Численные методы решения жестких систем. М.: Наука. Гл. ред. физ.-мат. лит, 1979. -208 с.

50. Растригин Л.А. Статистические методы поиска минимума. М.: Наука. Гл. ред. физ.-мат. лит., 1968. - 376 с.

51. Розенброк X., Стори С. Вычислительные методы для инженеров-химиков. М.: Мир, 1968. 443 с.

52. Романюк С.Г. Оценка надежности программного обеспечения // Открытые системы, 1994, № 4, С. 36-41.

53. Рудерман С.Ю. Теория вероятностей. Книга 1 Уфа: Изд-во Башкирского университета, 2001. - 178с.

54. Самарский А. А., Гулин А. В. Численные методы: Учеб. пособие для вузов. М.: Наука. Гл. ред. физ-мат. лит., 1989. - 432 с.

55. Слинько М. Г. Основы и принципы математического моделирования каталитических процессов. Новосибирск, Ин-т катализа им. Борескова СО РАН, 2004.-488 с.

56. Современные численные методы решения обыкновенных дифференциальных уравнений. Под ред. Дж. Холла и Дж. Уатта. М.: Мир, 1979.-312 с.

57. Спивак С.И., Горский В.Г. Неединственность решения задачи восстановления кинетических констант // ДАН СССР. 1981. - Т. 257. - № 2.-С. 412-415.

58. Спивак С.И., Губайдуллин И.М., Вайман Е.В. Обратные задачи химической кинетики. Уфа: РИО БашГУ, 2003. - 110 с.

59. Степанченко И. В. Методы тестирования программного обеспечения: Учеб. пособие Волгоград: ВолгГТУ, 2006. - 74 с.

60. Тассел В. Д. Стиль, разработка, эффективность, отладка иIиспытание программ. Пер с англ. М.: Мир, 1985 - 332 с.

61. Тихонов А. Н., Арсенин В. Я. Методы решения некорректных задач М.: Наука, 1979. - 142 с.

62. Тихонов А. Н., Костомаров Д.П. Вводные лекции по прикладной математике М.: Наука, 1984. - 192 с.

63. Тойберт П. Оценка точности результатов измерений: Пер. с нем. М.: Энергоатомиздат, 1988. - 88 с.

64. Тоценко В. Г., Александров А. В., Парамонов Н. Б. Корректность, устойчивость, точность программного обеспечения. Отв. ред. Сафонов И. В.; АН УССР. Ин-т проблем регистрации информации. Киев: Наук, думка, 1900.-200 с. ,

65. Уайлд Д.Дж. Методы поиска экстремума. М.: Наука, 1967.268 с.

66. Успенский В. А., Верещагин Н.К., Плиско В.Е. Вводный курс математической логики. 2-е изд. - М.: ФИЗМАТЛИТ, 2007. - 128 с.

67. Успенский В. А. Машина Поста М.: Наука, 1979. - 96 с.

68. Хайрер Э. и др. Решение обыкновенных дифференциальных уравнений. Нежесткие задачи: Пер. с англ. М.: Мир, 1990. - 512 с.

69. Черкесов Г. Н. Надежность аппаратно-программных комплексов. Учебное пособие. СПб.: Питер, 2005. - 479 с!

70. Яблонский Г.С., Спивак С.И. Математические модели химической кинетики. -М.: Знание, 1977. 64 с.

71. Augustin S.C. Modified Merson's investigation algorithm with saves two evaluation at each step // Simulation. -1974. V.22. - № 3. - P. 90-92.

72. Bishop P. G., Bloomfield R. E. Using a Log-normal Failure Rate Distribution for Worst Case Bound Reliability Prediction. Proc. of the 14th International Symposium on Software Reliability Engineering, 2003.

73. Bishop P. G. MC/DC based estimation and detection of residual faults in PLC logic networks. PG Bishop, ISSRE 2003, Fast Abstracts, Supplementary Proc., pp. 297-298, 17-20 November, Denver, Colorado, USA, 2003.

74. Clarke L. A System to generate test data and symbolically execute programs. IEEE Transactions on Software Engineering, 1976, vol 2, pp. 215222.

75. Frid A. I., Gubaydullin 1.1. About One Approach to Software Reliability Estimation. In: Proc. of 10th International Workshop on Computer

76. Science and Information Technologies (CSIT'2007), Vol. 1. Ufa, Russia, 2007, pp. 153-157. (style for Paper in a Proceedings).

77. Frid A. I., Gubaydullin 1.1. The System Reliability of Computational Methods (CSIT'2010), Vol. 1. Moscow St. Petersburg, Russia, 2010, pp. 158162. (style for Paper in a Proceedings).

78. Froment G.F. Single event kinetic modeling of complex catalytic processes // Catal. Rev. Sci. Eng. - 2005. - V.74. - №1. - P. 83-124.

79. Galin D. Software Quality Assurance: From Theory to Implementation. 2003. 616 p.

80. Glover F.W., Laguna M. Tabu search. Springer. - 1998. - 408 p.

81. Grady R. Practical Software Metrics For Project Management And Process Improvement, 1992, 282 p.

82. Jelinski J., MorandaP. B. Applications of a Probability // Based Model to a Code Reading Experiment, April 30 May 2, 1973. - P. 78-83.

83. Kan H. Metrics and Models in Software Quality Engineering. 2002.560 p.

84. King J. A new approach to program testing. In Proceedings of the International Conference on Reliable Software: ACM Press, 1975, pp. 228-233.

85. Lanza M., Marinescu R., Ducasse S. Object-Oriented Metrics in Practice: Using Software Metrics to Characterize, Evaluate, and Improve the Design of Object-Oriented Systems, 2006, 206 p.

86. Lipov M. Some variation of a Model for Software Time-to-Failure // TRW Systems Group. Correspondence ML-74-2260, 19-21 Aug, 1974. '

87. Lorens M., Kidd J. Object-Oriented Software Metrics, 1994, 146 p

88. Lyu R. Handbook of Software Reliability Engineering. 1996. 819 p.

89. MorandaP. В., Jelinski J. Software Reliability Research // Statistical Computer Peiformance Evaluation / Ed. by W. Freiberger. N. Y.: Academic, 1972.

90. Nicolescu В., Velazco R. A Software Fault Tolerance Method for Safety-Critical Systems: Effectiveness and Drawbacks. SBCCI: 15th IEEE Symposium on Integrated Circuits and Systems Design, Porto Alegre (Brasil), Septempber 2002, pp. 101-106.

91. Pan J. Software Reliability // Carnegie Mellon University. 1999. URL: http://www.ece.cmu.edu/~koopman/dess99/swreliability/ (дата обращения: 22.09.2010).

92. Rebaudengo M., Sonza Reorda M. Soft-error Detection through Software Fault-Tolerance techniques. DFT99: IEEE International Symposium on Defect and Fault Tolerance in VLSI Systems, November 1-3 1999 -Albuquerque, USA, pp. 210-218

93. Shick C. J., Wolverton R. W. Assessment of Software Reliability // Proc. 11-th Annual Meeting of the German Operation Research Society. Hamburg, Germany, 6-8 Sept., 1972.

94. Shooman M. L. Probabilistic models for software reliability prediction // International Symp. Fault Tolerant Computing. Newton, Mass.; N. Y., 1972.

95. Sukert C. A. An investigation of software reliability models // Pioc. Annual Reliability and Maintainability Symp. 1977. - P. 478-484.

96. TianJ, Software Quality Engineering: Testing, Quality Assurance, and Quantifiable improvement. 2005. 440 p.

97. Tom DeMarko. Controlling software projects: management, measurement and estimation. Yourdon Press, 1982, p. 284.

98. Tracey N. A Search-Based Automated Test-Data Generation Framework for Safety Critical Software. PhD thesis, University of York, 2000.

99. Wall J. K., Ferguson P. A. Pragmatic software reliability prediction // Proc. 1977 Annual Reliability and Maintainability Symp. 1977. - P. 485-488.

100. Walston C., Felix C. A method of programming measurement and estimation // IBM Systems Journal, vol. 16, № 1, 1977, pp. 54-73.

101. Wasserman PL, Blum M. Software Reliability via Run-Time Result-Checking. Proc. 35th IEEE Symp. Foundations of Computer Science, 1994, pp. 382-392.

102. Wilfredo Torres-Pomales. Software Fault Tolerance: A Tutorial. NASA Langley Research Center, Washington, USA, p. 66.

103. Zeiss B., Vega D., Schieferdecker I., Neukirchen H., Grabowski J. Applying the ISO 9126 Quality Model to Test Specifications Exemplified for TTCN-3 Test Specifications. Software Engineering 2007 // Lecture Notes in Informatics. Bonn, 2007, pp 231-242.