Структурно-статистические методы обеспечения контролепригодности программных систем тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Зеленский, Владимир Павлович

• Зеленский, Владимир Павлович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Зеленский, Владимир Павлович

ВВЕДЕНИЕ.

ГЛАВА 1 ОБЗОР СУЩЕСТВУЮЩИХ МЕТОДОВ ОБЕСПЕЧЕНИЯ КАЧЕСТВА ПРОГРАММНЫХ СИСТЕМ И ПОСТАНОВКА ЗАДАЧИ ИССЛЕДОВАНИЯ.

1.1 ЖИЗНЕННЫЙ ЦИКЛ ПС.

1.2 МОДЕЛИ ЖИЗНЕННОГО ЦИКЛА ПО.

1.3 ОСНОВНЫЕ ИСТОЧНИКИ ОШИБОК.

1.4 ПОСТАНОВКА ЗАДАЧИ ТЕСТИРОВАНИЯ ПРОГРАММНЫХ СИСТЕМ.

1.5 ОСОБЕННОСТИ ТЕСТОВОГО ДИАГНОСТИРОВАНИЯ ПС.

1.6 МЕТОДЫ ПОСТРОЕНИЯ ТЕСТОВ.

1.7 ПОСТАНОВКА ЗАДАЧИ ИССЛЕДОВАНИЯ.

ГЛАВА 2 МАТЕМАТИЧЕСКАЯ МОДЕЛЬ И СТРАТЕГИИ ОПРЕДЕЛЕНИЯ СОСТОЯНИЯ ПРОГРАММНЫХ СИСТЕМ.

2.1 ОРИЕНТИРОВАННЫЙ УПОРЯДОЧЕННЫЙ ГРАФ.

2.2 МАТРИЧНАЯ МОДЕЛЬ.

2.3 ОБОБЩЁННАЯ ВЕРОЯТНОСТНО-СТРУКТУРНАЯ МОДЕЛЬ.

2.4 СТРАТЕГИЯ ОПРЕДЕЛЕНИЯ СОСТОЯНИЯ СИСТЕМЫ.

2.5 ВЫВОДЫ.

ГЛАВА 3 МЕТОДЫ И АЛГОРИТМЫ ОБЕСПЕЧЕНИЯ КОНТРОЛЕПРИГОДНОСТИ ПРОГРАММНЫХ СИСТЕМ.

3.1 ОПТИМИЗАЦИЯ ПРИНЯТИЯ РЕШЕНИЯ О СОСТОЯНИИ ПС.

3.2 ОПТИМИЗАЦИЯ ВЫБОРА МНОЖЕСТВА ТЕСТОВ.

3.3 ОРГАНИЗАЦИЯ ВИРТУАЛЬНЫХ ПРОГРАММНЫХ МОДУЛЕЙ (ВПМ).

3.4 ВЫВОДЫ.

ГЛАВА 4 ПРАКТИЧЕСКИЕ АСПЕКТЫ ПРОБЛЕМЫ ОБЕСПЕЧЕНИЯ КОНТРОЛЕПРИГОДНОСТИ ПРОГРАММНОГО

КОМПЛЕКСА.

4.1 ИМИТАЦИОННАЯ МОДЕЛЬ N-КАНАЛЬНОЙ СИСТЕМЫ МАССОВОГО ОБСЛУЖИВАНИЯ.

4.2 ВЫВОДЫ.

Введение диссертации (часть автореферата) на тему «Структурно-статистические методы обеспечения контролепригодности программных систем»

Создание программных систем (ПС) с постоянно расширяющимся составом программных модулей, приводит к необходимости правильного и своевременного решения проблемы обеспечения их надежной и эффективной работы.

В обеспечении требуемого уровня надежности и качества функционирования ПС особая роль принадлежит диагностированию, по результатам которого определяется их действительное состояние. Эффективность диагностирования ПС в свою очередь во многом определяется их контролепригодностью. Разработка ПС без учета требований контролепригодности приводит к большим затратам на тестирование, которые в среднем составляют 40-50% общих затрат на разработку программ, а в отдельных случаях и более.

Основной вклад в решение проблемы диагностирования ПС внесли П.П.Пархоменко, П.А.Правильщиков, В.А.Гуляев, В.В. Липаев, В.И.Сагунов, С.И.Беляева, Р.Гласс, Т.Тайер, Г.Майерс, C.V. Ramamoorthy и другие российские и зарубежные ученые. Тем не менее, остается еще обширная область нерешенных вопросов и проблем, например, не решена в общем виде задача локализации ошибок произвольной кратности. Кроме этого, на пути реализации известных алгоритмов возникают сложности, связанные с большим объемом вычислений.

Таким образом, проблема разработки методов и алгоритмов обеспечения контролепригодности ПС является актуальной.

В диссертационной работе обосновывается целесообразность применения информационного подхода для решения данной проблемы и включение статистического моделирования в процесс диагностирования, что позволяет обойти трудности реализации, связанные с большим объемом вычислений.

Диссертационная работа выполнялась по межвузовской научно-технической программе «Диагностические и информационно-поисковые системы».

Актуальность проблемы определяется важностью решения задачи обеспечения контролепригодности программных систем с целью повышения безопасности, надежности, эффективности и качества их функционирования.

Цель работы. Разработка диагностической модели программных систем (ПС) и методов локализации ошибок по информационному критерию.

Задачи работы. Достижение намеченной цели требует решения следующих задач: разработка математической модели для диагностирования программных систем на основе их структурных свойств;

- разработка оптимальных методов принятия решения о состоянии ПС по результатам тестового контроля;

- выбор оптимального множества тестов и последовательности их выполнения; иерархическая организация программных модулей с целью повышения эффективности локализации ошибок.

Методы исследования. Для теоретических исследований применялись методы теории множеств, теории графов, теории информации, теории булевых функций, теории вероятностей.

Научная новизна работы. Разработаны диагностическая модель и методы локализации ошибок. Новым в предлагаемых методах является:

- использование информационного критерия качества локализации ошибок как универсального по отношению к различным классам систем; локализация ошибок произвольной кратности с учетом вероятностей отказов программных модулей;

- включение статистического моделирования ошибок в процесс выбора оптимального набора тестов;

- объединение программных модулей в виртуальные программные модули (ВПМ) с целью повышения эффективности локализации ошибок за счет соответствующей иерархической организации ПС.

Обоснованность и достоверность результатов обеспечена корректностью используемого математического аппарата и представленными результатами статистического моделирования.

Практическая ценность работы. Разработанные в диссертационной работе методы и алгоритмы выбора оптимального набора тестов позволили повысить эффективность обслуживания ПС и сократить время поиска ошибок.

Реализация результатов работы. Разработанные в диссертационной работе методы и алгоритмы используются в Информационно-вычислительном центре Нижегородского государственного технического университета и в учебном процессе в виде фрагментов лекций по курсам «Прикладная теория информации», «Проектирование вычислительных систем и устройств» и пакета прикладных программ для проведения лабораторных работ.

Апробация работы. Материалы диссертационной работы докладывались на следующих научных конференциях:

- V Международной конференции «НТИ-2000. Информационные технологии и телекоммуникации» (Москва, ВИНИТИ, 2000);

- VI Международной конференции «НТИ-2002. Информационное общество. Интеллектуальная обработка информации. Информационные технологии» (Москва, ВИНИТИ, 2002);

- Международной научно-технической конференции «Современные информационные технологии» (Пенза, ПТИ, 2004);

14-ой Международной научно-практической конференции по графическим информационным технологиям и системам. КОГРАФ-2004. (Нижний Новгород, НГТУ, 2004);

Региональной научно-технической конференции «Актуальные вопросы построения систем управления сложным распределенным оборудованием и предоставлением услуг» (Нижний Новгород, «ТЕКОМ», 2004).

Публикации. По теме диссертационного исследования опубликовано 12 работ.

Структура работы. Диссертационная работа состоит из введения, четырёх глав, заключения, библиографического списка и приложений.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Зеленский, Владимир Павлович

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Бурное развитие программных систем поставило много проблем перед их диагностикой и тот опыт, который был накоплен при разработке методов диагностирования технических объектов, оказался чрезвычайно полезным и был перенесен в соответствующей интерпретации на ПС.

1. Предложено строить систему тестирования на основе спецификаций всех уровней описания ПС

2. Разработана математическая модель программных систем на основе их структурных свойств, которая дает возможность использовать системные законы.

3. Установлены свойства информационного канала связи между состояниями ПС и результатами тестирования, на основании которых разработана стратегия определения состояния ПС.

4. Разработан алгоритм определения состояния системы по максимуму апостериорной вероятности при заданных результатах тестового контроля.

5. Обоснован выбор информационного критерия качества локализации ошибок произвольной кратности, который позволяет учитывать априорные сведения о структуре системы и о ее вероятностном описании.

6. На основе информационного критерия разработаны следующие алгоритмы:

-выбор минимального количества тестов для обеспечения заданной глубины диагностирования;

- определение максимальной глубины диагностирования при заданном количестве тестов.

7. Разработан алгоритм структурно-иерархической организации программных модулей в виртуальные программные модули (ВПМ) с целью повышения эффективности локализации ошибок в ПС.

Список литературы диссертационного исследования кандидат технических наук Зеленский, Владимир Павлович, 2005 год

1. Альсведе Р., Вегенер И. Задачи поиска: пер. с нем. М. Мир, 1982

2. Андерсон Р. Доказательство правильности программ: Пер. с англ. М.: Мир, 1982

3. Арженко А.Ю., Чугаев Б.Н. Оптимальные бинарные вопросники. М.Энергоатомиздат, 1989.

4. Блау С.А., Липаев В.В., Позин Б.А. Эффективность тетсирования структуры программных модулей // АиТ, 1984 №4. С. 139 148.

5. Блау С.А., Позин Б.А. Анализ планов тестирования программных модулей с учетом нереализуемых маршрутов //Программирование.-1988.-№4.-С. 26-34.

6. Боэм Б., Браун Дж., Каспар X. Характеристики качества программного обеспечения: Пер. с англ. М.: Мир, 1981.

7. А.А.Байбулатов, К.В.Семенков, С.И.Масолкин, О.А.Промыслова «Разведочный анализ качества сложного программного обеспечения», Институт проблем управления им. В.А.Трапезникова РАН, 2003г.

8. Бардзинь Я.М., Бичевский Я.Я., Калнынш А.А. Построение полной системы примеров для проверки корректности программ //Ученые записки. Латв. Гос.ун-та.-1974.-т.210.-С. 17-34.

9. Бичевский Я.Я., Борзов Ю.В. Развитие методов символического тестирования программ // Автоматика и телемеханика.-1982.-№2.-С.93-102.

10. Борзов Ю.В. Тестирование программ с использованием символического исполнения //Программирование.-1980.-№1.-С.51-59.

11. Борзов Ю.В., Дишлерс Г.Э., Медведис И.Э., Уртанс Г.Б. Система символического тестировании ПЛ/1 -программ //УСиМ .-1986.-№6.-С.75-79.

12. Безбородов Ю.М. Индивидуальная отладка программ.-М.: Наука, 1982.-192с.

13. Борисов А.Н., Осис Я.Я. Поиск наибольшей разделимости размытых множеств // Кибернетика и диагностика. Вып.З. Рига: Зинатне, 1969. -с. 79 - 88.

14. Велешенков В.А., Волков А.Ф., Тюрин А.В. Подход к обеспечению заданной диагностируемости дискретных устройств // Тезисы докладов III Всесоюзного совещания по технической диагностике. М.: Наука. -1975. - с. 16 -17.

15. Вознесенская Н.Л., Жирабок А.Н. Структурный подход к решению задачи функционального диагностирования нелинейных дискретных систем // Автоматика и телемеханика. 2000. - № 3. - с. 173-182.

16. Гаркавенко С.И., Бердникова (Ломакина) Л.С. Определение всех путей в ориентированном ациклическом графе// Кибернетика, №4, С.49-52, 1979.

17. Глас Р. Руководство по надежному программированию // М.: Финансы и статистика, 1982.

18. Глушков В.М., Вельбицкий И.В. Технология программирования и проблемы ее автоматизации. //Управляющие системы и машины, №6, С.81-86, 1976.

19. Гаганов П.Г., Липаев В.В., Просвирин В.Н. Динамика процесса отладки больших управляющих систем // Управляющие системы и машины, №1, С.19-28, 1975. \

20. Гаганов П.Г., Липаев В.В. Характеристики ошибок в процессе разработки комплексов программ.// Программирование, №2, С.36-41, 1975.

21. Гаганов П.Г., Липаев В.В., Просвирин В.Н., Волков В.Н. Анализ ошибок в сложных программах систем управления объектами. // Управляющие системы и мшины, №3, С.31-38, 1973.

22. Дал У., Дейкстра Э., Хоор К. Структурное программирование // «Мир», 1975.

23. Дробушевич Л.Ф. Оценка структурной сложности программ //Программирование.-1987.-№1.- С.81-90.

24. Дробушевич Л.Ф. Метод оценки топологической сложности программ //УСиМ.-1988.-№4.-С. 69-74.

25. Долбак Л.В. Методика отладки и испытаний управляющих алгоритмов и программ АСУ//Программирование.- 1984.-№3.-С.62-69.

26. Ермаков Г.В. Тестирование MIXAL программ с помощью символического исполнения //Программирование.- 1988.-№5.-С.12-18.

27. Ершов A.M. Средства, расширяющие возможности отладки программ на языке КОБОЛ ОС ЕС//УСиМ.-1988.-№2.-С.45-48.

28. Е.А. Жоголев. Введение в технологию программирования (конспект лекций). М.: "ДИАЛОГ-МГУ", 1994.

29. Е.Ф.Жарко «Проблемы управления качеством программного обеспечения», Институт проблем управления им. В.А.Трапезникова РАН, 2003г.

30. Закревский А.Д., Островский В.И. Оптимизация поиска кратчайшего покрытия //Сб."Проблемы синтеза цифровых автоматов. -М.: Наука, 1967,- С.84-85.

31. М. Зелковец, А. Шоу, Дж. Гэннон. Принципы разработки программного обеспечения. М.: Мир, 1982. - С. 11.

32. К. Зиглер. Методы проектирования программных систем. М.: Мир,1985. С. 15-23.

33. Иыуду К.А.,Арипов Н.М. Тестирование программы на основе минимального покрытия ее графа /УСиМ.//985.-М.-С.69-71.

34. Иыуду К.А.,Арииов М.М. Автоматизация генерации путей для тестирования программ, записанных на Фортране //Программирование.-1986.-№2.-С. 24-31.

35. Кашков В.Л., ШимаровВ.А. Средства поддержки структурного тестирования программ //УСиМ.-1986.-№2.-С.54-59.

36. Катков В.Л., Ермаков Г.В. Система автоматизации тестирования MIXAL -программ //Программирование.- 1985.-№3.-С.50-58.

37. Косяченко С.А., Дульба В.В., Мамиконов Л.Г., Соколова Е.Б. Использование сетей Петри для локализации ошибок в процессе системной отладки комплексов программ //Автоматика и телемеханика,- 1988.-№5.-С. 165-177.

38. Коростиль Ю.М., Гуляев В.А. Комплекс программ для диагностирования программных модулей микропроцессорных систем //УСиМ.-1988.-№3.-С. 55-58.

39. Колякин Ю.Д. Отладка программного обеспечения в диалоговой многотерминальной системе// УСиМ.-1983.-№2.-С.56-60.

40. Липаев В.В., Гаганов П.Г., Просвирин В.Н. Прогнозирование рациональной длительности отладки больших управляющих систем // Управляющие системы и машины, №4, С.8-14, 1975.

41. Липаев В.В. «Проектирование математического обеспечения АСУ», М., «Сов. радио», 1977.

42. Липаев В.В. Обеспечение качества программных средств. Методы и стандарты. М.:СИНТЕГ,2001.

43. Липаев В.В. Обеспечение качества крупномасштабных программных средств. Методы и стандарты. М.:СИНТЕГ,2003.

44. Липаев В.В. Тестирование программ. М.: Радио и связь, 1986.

45. В.В. Липаев. Качество программного обеспечения. М.: Финансы и статистика, 1983. - С. 18-30.

46. Липаев В.В. Надежность программных средств. М.: СИНТЕГ, 1998.

47. Липаев Б.Н. Отладка систем управляющих алгоритмов ЦВМ реального времени // Сов. радио, 1974.

48. Г. Майерс. Надежность программного обеспечения. М.: Мир, 1980. С. 32 - 48.

49. Майерс Г. Искусство, тестирования лрограмм.-М.:Финансы и статистика ,1982.-178с.

50. Месарович М., Мако Д., Такахара И. Теория иерархических систем: Пер. с англ. М.: Мир, 1973.

51. Масолкин С.И.,Байбулатов А.А., Полетыкин А.Г. Методика обеспечения качества ПО при разработке сложных систем// Институт проблем управления им. В.А. Трапезникова РАН

52. Отладка систем управляющих алгоритмов ЦВМ реального времени /Под редакцией В.В.Липаева.-М.: -Сов.радио, 1974, 326 с.

53. Основы технической диагностики / Под ред. П.П. Пархоменко. М.: Энергия, 1976. - 464 с.

54. Пархоменко П.П. Теория впросников (обзор) // АиТ, 1970 №4. С. 140 152.

55. Пархоменко П.П., Сагомонян Е.С. Основы технической диагностики. М.: Энергоатомиздат, 1981.

56. Пархоменко П.П.Правильщиков П.А. Диагностирование программного обеспечения //Автоматика и телемеханика.-1980.-JH.-C.II7-I4I.

57. Пальчун Б.П., Юсупов P.M. Оценка надежности программного обеспечения. СПб.: Наука, 1994.

58. Правильщиков П.А. Построение тестов для программ.// АиТ. , №5, С.147-161, 1977.

59. Праворотова Е.Н., Казакова О.Г. Адаптивный алгоритм оптимального поиска неисправностей радиотехнических изделий // Автоматизация производственных процессов и управления качеством. М.: МИЭМ. 1986. С 46.

60. Правильщиков П.А. Построение тестов для программ //Автоматика и телемеханика. -1977. -№5. -С. I47-I6I.

61. Пойа Д. Как решать задачу. М.: Наука, 1961.

62. Позин Б.А. Метод структурного построения тестов для отладки управляющих программ//Программирование.- 1980.-№2.-С.62-68.

63. Просвирин В.Н. Статистическая процедура определения продолжительности тестовых испытаний управляющих программ // Управляющие системы и машины, №5, С.54-57, 1977.

64. Риндфлайт Д. Отладка программ в системах 360/370 на основе дампов памяти ОС.-М.: Машиностроение,1982.-144 с.

65. Средства отладки программ в ОС ЕС ЭВМ / В.И.Ерофеев и др.-М.: Статистика, 1979.- 245 с.

66. Сагунов В.И. Диагностирование кратных ошибок в программных модулях //Программирование.- 1988,-№4.-С.34-38.

67. Тейлер Т., Лилов М., Нельсон Э. Надежность программного обеспечения. М.: Мир, 1981.

68. Торопов Д.И. 0 построении тестирующих маршрутов программы, //УСиМ. -1987. -№6.-С. 74-77.

69. Уртанс Г.Б. Функции путей программы //Программирование.-1987.-№4.-С.69-78.

70. Дж. Фокс. Программное обеспечение и его разработка. М.: Мир, 1985. - С. 53-67, 125-130.

71. Шварц Дж.Т. Обзор ошибок. В кн. «Средства отладки больших систем», под ред. Р.Растина, С. 17-27, «Статистика», 1977.

72. Шимаров В.А. Об одном методе тестирования программы на основе минимального покрытия ее графа //УСиМ .-1988.-№5.-С.51-53.

73. Шимаров В.А. Средства поддержки структурного тестирования программ //УСиМ,- 1988. -№2. -С. 54-59.

74. Б. Шнейдерман. Психология программирования. М.: Радио и связь, 1984. - С. 99-103.

75. ГОСТ 28195-89. Оценка качества программных средств. Общие положения.

76. ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции — характеристики качества и руководства по их применению.

77. ИСО 8402-94. Управление качеством и обеспечение качества. Словарь.

78. ГОСТ 15467-79. Управление качеством продукции. Основные понятия. Термины и определения.

79. ГОСТ Р ИСО/МЭК 12007-99. Информационная технология. Процессы жизненного цикла программных средств.

80. ГОСТ 19.102-77 Стадии разработки программ и программной документации.

81. ISO 9126, 1991 ИТ Оценка программного продукта. Характеристики качества и руководство по их применению.

82. Alfotd M.W. A requirements engineering methodology for real-time processing requirements.// IEEE Trans. Software Engng, v.3, №1, pp.60-69, 1977.

83. Panzl D J. Automatic software test drivers.// Computer, №4, p.44-50, apr.1978.

84. Gruemberger F. Program testing end validation.// Datamation, v. 14, №7, pp.39-47, 1968.

85. Goodenough J.B. Toward a theory of test data selection// IEEE Trans. Software Engng, v.SE-1, №2, pp.156-173, June 1975.

86. Akiyama F. An Example of Software System Debugging.// IFIP Conference Proceeding, pp.31-42, Ljubljana TA-3, Yugoslavia, August 1971.

87. Boehm B.W. McClean R.K., Urfrig D.B. Some experience with automated aids to the design of larg-scale reliable software.// IEEE Trans. Software Engng, v.l, №2, pp.125-153, 1975.

88. Schneidewind N.F. Analysis of error processis in computer software. // Proc. Int. Conf. Reliable Software, Los Angeles, Calif., pp.337-376, 1975.

89. Shoomon M.L., Bolsky M.I. Types, distribution end test end correction times for programming errors. // Proc. Int. Conf. Reliable Software, Los Angeles, Calif., pp.347-357, 1975.

90. Endres A. An analysis of errors and their causes in system programs. // Proc. Int. Conf. Reliable Software, Los Angeles, Calif., pp.327-336, 1975.

91. Youngs E.A. Human errors in programming.// Int. J. Man-Mach. Stud., v.6, №3, pp.361-376, 1974.

92. Thayer R.H., Hinton E.S. Software reliability a method that works. // AFIPS Conf. Proc., v.44, Montvale, N.Y., pp.877-883, 1975.

93. Rubey R.J., Dana J.A., Biche P.W. A equatitative aspect of software validation.// IEEE Trans. Software Engng, v.SE-1, №2, pp.150-155, June 1975.

94. Nelson E.C. Software reliability FPC-5.// Int. Symp. Fault-Toler. Comput., Paris, pp.24-28, 1975.

95. Gerhart S.L., Yelowitz L. Observations of Fallibility in Applications of Modern Programming Methodologies.// IEEE Trans. Software Engng, v.SE-2, №3, pp.195-207, 1976.

96. Howden W.E. Reliability of the path analysis testing strategy.// IEEE Trans. Software Engng, v.SE-2, №3, pp.208-215, 1976.

97. Howden W.E. Symbolic Testing and the DISSECT Symbolic Evolution System.// IEEE Trans. Software Engng, v.SE-2, №3, pp.266-279, 1977.

98. De Millo R.A. Hints on test data selection: help for the practicing programmer.// Computer, №4, pp.34-41, Apr. 1978.

99. Miller W., Spooner D.L. Automatic Generation of floating-point test data.// IEEE Trans. Software Engng, v.SE-2, №3, pp.208-215, 1976.

100. Ian Sommerville. Software Engineering. Addison-Wesley Publishing Company, 1992. - P. 5-10.

101. Criteria for Evaluation of Software. ISO TC97/SC7 #383.

102. Revised version of DP9126 Criteria of the Evaluation of Software Quality Characteristics. ISO TC97/SC7 #610. - Part 6.

103. Ibramsha M. Rairman V. Detection off logical errors in detection table programs // CACM. 1978. Vol. 21. № 12. P. 1016:1024.

104. Miller G. The Psychological review. 1956.

105. Watson A.H., McCabe T.J. Structured Testing: A Testing Methodology Using the Cyclomatic Complexity Metric // NIST Special Publication 500-235. / Ed. by Wallace D.R. Gaithersburg, National Institute of Standards and Technology, 1996. 123 p.

106. Parasoft Homepage, http://www.parasoft.com/isp/home.isp.

107. HISSA. http://hissa.ncsl.nist.gov.

108. С and С++ editor reverse engineering, code navigation and automatic documentation, http ://www. scitools.com/ucpp .html.

109. Software considerations in airborne system and equipment certification. RTCA/EROCAE, 1992. p. 94.

110. Brohl A.-P. und Droschel, W. Das V-Modell. Oldenbourg. 1995. S. 232

111. Ould M.A. Strategies for Software Engineering: The Management of Risk and Quality. Chichester: Wiley, 1990.

112. Boehm B. et al. Characteristics of Software Quality. New York: American Elsevier, 1978.

113. Boehm B.W. Software Engineering Economics. Englewood Cliffs: Prentice Hall, 1981. 767 p.

114. Ramamoorthy C.V., Sin Bun F. Ho.,Chang W.T. On the automated generation of program test data // IEEE Trans. Software Eng.-1976.-v.SE-2, №4.-p.293-300.

115. Ломакина Л.С., Зеленский В.П. Оптимизация глубины диагностирования систем программного обеспечения // Системный анализ и моделирование социально-экономических и технологических процессов. Сб. научн. Тр. Вып.4- Н. Новгород, ВВАГС, 2004. с.4-8.

116. Зеленский В.П., Ломакина Л.С., Ломакин Д.В. Стратегия определения состояния сложных систем // Модели и анализ систем. Материалы семинара. Вып. 5. Н. Новгород, ВВАГС, 2004. - с.34-40.

117. Ломакина Л.С., Зеленский В.П. Методы синтеза контролепригодных программных комплексов // Радиоэлектронные и телекоммуникационные системы и устройства. Тр. НГТУ. Т.44 вып.9 Н Новгород: НГТУ, 2004.-е. 126-129.

118. Зеленский В.П., Ломакина Л.С. Модели и методы диагностики сложных систем // Современные информационные технологии. Тр. Межд. научн.-практ. конф.-Пенза: ПТИ, 2004,-с. 108-112.

119. Зеленский В.П. Оптимизация структуры системы для обеспечения контролепригодности // Современные информационныетехнологии. Тр. Межд. научн.-практ. конф.-Пенза: ПТИ, 2004,-с. 192193.

120. Зеленский В.П. Диагностическая модель программных комплексов //. КОГРАФ-2004. Материалы 14-ой Международной научно-практической конференции по графическим информационным технологиям и системам. -Н. Новгород: НГТУ, 2004. с.

121. Кочешков А.А. Зеленский В.П., Стратегии сбора информации в динамических системах // Материалы 5-ой международной конференции «НТИ-2000. Информационные ресурсы и технологии. Телекоммуникации».- М.: ВИНИТИ, 2000. с.167-168.