Моделирование оценки характеристик надежности банковских тиражных программных систем на основе нейросетевых технологий тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Никольский, Святослав Олегович

• Никольский, Святослав Олегович
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Никольский, Святослав Олегович

Введение.

Глава 1 Анализ существующих моделей надежности программного обеспечения.

1.1. Основные положения теории надежности программного обеспечения .•.

1.2. Особенности применения теории надежности для банковских тиражных программных систем.

1.3. Классификация моделей надежности.

1.4. Анализ моделей типа «черный ящик».

1.4.1. Экспоненциальный класс моделей.

1.4.2. Гамма- и Вебула-классы моделей.

1.4.3. Модели категории бесконечных отказов.

1.5. Анализ моделей типа «белый ящик».

1.6. Анализ статических моделей надежности.

1.7. Обзор используемых в исследовании технологий.

1.7.1. Метрики кода программного обеспечения.

1.7.2. Инструментирование исходного кода.

1.7.3. Обнаружение дефектов с помощью анализа исходных кодов.

1.7.4. Тестирование программного обеспечения.

1.8. Выводы по главе.

Глава 2 Построение модели надежности на основе нейросетей.

2.1. Основные принципы модели.

2.2. Методы реализации предложенных принципов.

2.2.1. Общий вид разрабатываемой модели.

2.2.2. Структурный взгляд на программную систему.

2.2.3. Функциональный граф и иерархия системы.

2.2.4. Мера связи функций в функциональном графе.

2.2.5. Меры связи функций с функциональными блоками.

2.2.6. Меры связи блоков высшего уровня в иерархии системы.

2.2.7. Нейросеть изменения.

2.2.8. Сложность функций.

2.2.9. Адаптация модели.

2.2.10. Требования к процессу разработки.

2.3. Архитектура нейросети изменений.

2.3.1. Модель искусственного нейрона.

2.3.2. Выбор архитектуры нейронной сети.

2.3.3. Выбор алгоритма обучения нейронной сети.

2.3.4. Выбор числа скрытых слоев и нейронов в них.

2.4. Простейшая модель отказов для единичного изменения.

2.4.1. Структура системы.

2.4.2. Разработка системы.

2.4.3. Оценка внесенного изменения.

2.4.4. Распространения отказов по функциональному графу.

2.4.5. Распространение отказов верх по иерархии.

2.5. Расширение модели для многих изменений.

2.5.1. Цепочка отказов.

2.5.2. Добавление новых входов к нейросети изменений.

2.5.3. Раздвоение модели.

2.5.4. Реализация новых функций.i.

2.7. Выводы по главе.:.

Глава 3 Разработка программного комплекса «Reliability Calculator».

3.1. Этапы применения комплекса «Reliability Calculator».

3.2. Архитектура комплекса «Reliability Calculator».

3.2. Сущности и отношения в предметной области.

3.3. Функции программного комплекса.

3.3.1. Редактирование данных системы.

3.3.2. Инструментирование исходного кода исследуемой программной системы.

3.3.3. Загрузка результатов выполнения инструментированного кода.

3.3.4. Измерение сложности функций.

3.3.5. Загрузка результатов измерения сложности функций.

3.3.6. Загрузка сведений о запросах.

3.3.7. Обучение нейросети изменения.

3.3.8. Прогнозирование отказов по функциям.

3.3.9. Прогнозирование отказов по функциональным блокам.

3.3.10. Просмотр функционального графа.

3.4. Выводы по главе.

Глава 4 Применение ПК «RelCalc» для моделирования надежности крупной банковской тиражной программной системы.

4.1. Характеристики исследуемой программной системы.

4.2. Допущенные упрощения.

4.3. Обучение модели.

4.3. Тестирование модели.

4.3.1. Применение первого класса нейросетей.

4.3.2. Применение второго класса нейросетей.

4.3.3. Применение третьего класса нейросетей.

4.3.4. Прогнозирование числа отказов в функциональных блоках системы.

4.4. Варианты внедре'ния модели.;.

4.4.1. Внедрение модели в начале разработки.

2.6.2. Внедрение модели в устоявшийся процесс разработки.

4.4. Выводы по главе.

Введение диссертации (часть автореферата) на тему «Моделирование оценки характеристик надежности банковских тиражных программных систем на основе нейросетевых технологий»

В последние десятилетия наблюдается значительный рост сложности программного обеспечения (ПО). Так, если в начале 1990-х годов программа, состоящая из ЮО'ООО строк представляла собой серьезную разработку, то сейчас часто встречаются программные продукты, состоящие из нескольких тысяч исходных файлов и сотен тысяч функций. При этом файл из ЮО'ООО строк, зачастую, не самый большой и сложный в проекте.

Сложные программные продукты разрабатываются теперь не группой из двух-трех человек, а сотнями программистов, возможно находящихся на значительном расстоянии друг от друга. При этом каждый из них, как правило, занимается только своей частью проекта. Человека, который бы хорошо ориентировался во всем проекте, не существует. Но любому программисту, работающему в крупной команде, приходится иногда заниматься доработкой чужого кода. Этот, а также и многие другие факторы, приводят к тому, что разработать абсолютно надежное программное обеспечение невозможно - отказы программ встречаются часто и, порой, очень мешают работе пользователя.

В качестве примера, как одна ошибка, допущенная программистом или проектировщиком на этапе разработки, может усложнить жизнь множеству людей, можно привести следующие случаи:

• американский космический аппарат Mariner 1 отправился 22 июля 1962 по направлению к Венере. Вследствие аппаратного отказа средств связи с ЦУП, корабль перешел на собственную программную систему пилотирования, содержащую дефект. В результате Mariner 1 сбился с курса, и его пришлось затопить в Атлантическом океане. Расследование показало, что в процессе системе навигации была совершена опечатка — при вводе одной из формул был пропущен символ [1];

• в 1988-96 гг. генератор случайных чисел Kerberos широко использовался в различных системах шифрования. Предполагалось, что программа должна выбирать ключ случайным образом из многих миллиардов чисел, но генератор случайных чисел выбирал из гораздо меньшего набора численностью примерно в миллион. Как результат, в течение восьми лет любой пользователь мог без труда проникнуть в компьютерную систему, которая использовала модуль Kerberos [2];

• 1985-87 гг. Несколько человек получили смертельную дозу облучения во время сеансов радиационной терапии с медицинским ускорителем Therac-25. Основанная на предыдущей версии ускорителя, "улучшенная" модель Therac-25 могла генерировать два вида излучения: слабое электронное бета-излучение и нормальное рентгеновское излучение. Еще одно "улучшение" состояло в том, что вместо электромеханической защиты пациента в устройстве была реализована новая программная защита. Обе функции были некорректно реализованы неопытным программистом, результатом чего стали как минимум шесть смертей и огромное количество несмертельных случаев переоблучения [3];

• 15 января 1990 г. Ошибка в новой версии прошивки междугородних коммутаторов телефонной сети AT&T привела к тому, что коммутатор перезагружался, .если получал специфический сигнал от соседнего коммутатора. Данный сигнал генерировался в тот момент, когда коммутатор восстанавливал свою работу после сбоя. 15 января 1990 один из коммутаторов подал тот подобный сигнал. Это привело к тому, что через некоторое время уже 114 соседних коммутаторов непрерывно перезагружались каждые 6 секунд, а 60 тыс. человек остались без междугородней связи на 9 часов, пока инженеры не установили на коммутаторы предыдущую версию прошивки [4].

Понятно, что оценка параметров надежности программных систем -необходимость. Такие оценки нужны как пользователям, так и разработчикам.

Особенно остро вопрос надежности встает в условиях разработки банковского тиражного программного обеспечения. Отличительной особенностью подобных программных комплексов является то, что они одновременно разрабатываются множеством программистов, каждая сборка программного продукта должна быть разработана и протестирована в сжатые сроки, а любой отказ может привести к потере средств и репутации банком.

Целыо диссертационной работы является разработка и программная реализация математической модели, позволяющей прогнозировать характеристики надежности банковских тиражных программных систем и обладающей свойствами адаптивности, детализации и конкретизации.

При разработке модели были использованы основные положения теории надежности программного обеспечения; математический аппарат и методы теории искусственных нейронных сетей; основные положения и методы теории графов. При разработке программного модуля использовались основные положения теории реляционных баз данных, методы объектно-ориентированного программирования.

Научная новизна работы состоит в использовании качественно нового подхода к моделированию процесса оценки характеристик надежности банковского тиражного программного обеспечения, основанного на использовании нейросетевого аппарата для построения зависимости характеристик надежности от параметров внесенных в очередную сборку исследуемой системы изменений.

Практическую ценность работы составляют:

1. Методология моделирования оценки характеристик надежности банковского тиражного программного обеспечения.

2. Программный комплекс «Reliability Calculator», автоматизирующий все этапы применения модели.

3. Методика применения данного программного комплекса, полученные в результате практического его применения для моделирования оценки характеристик надежности крупной тиражной автоматизированной банковской системы.

Цель и поставленые задачи определили следующую структуру работы:

В первой главе рассматриваются основные положения и определения теории надежности программного обеспечения. Классифицируются, рассматриваются и анализируются некоторые существующие модели надежности программного обеспечения. При анализе моделей, основное внимание уделяется выделению их достоинств и недостатков. Отдельно рассматриваются некоторые смежные с теорией надежности области течения.

Во второй главе, на основании выводов из первой главы, ставится задача разработать новую модель надежности банковского тиражного программного обеспечения. Описываются основные принципы модели и предлагаются методы их реализации. Рассматривается простейший пример применения модели для прогнозирования числа отказов в программной системе, в которую вносится одно изменение.

Третья глава посвящена описанию разработанного программного комплекса (ПК) «Reliability Calculator», автоматизирующего применение модели. Описывается внутренняя архитектура ПО, использованные при разработке технологии. Рассматриваются все этапы применения ПО для моделирования характеристик надежности банковской тиражной программной системы.

В четвертой главе показываются результаты практического применения разработанного ПО и модели для прогнозирования числа отказов в очередной сборке крупной банковской тиражной программной системы. Делаются выводы о корректности заложенных в модель принципов и работоспособности разработанного ПО. Рассматриваются проблемы, которые могут возникнуть при внедрении модели и программного комплекса.

Результаты исследований позволили сформулировать следующие принципы, выносимые на защиту:

1. Математическая модель оценки характеристик надежности банковских тиражных программных систем на основе нейросетевых технологий.

2. Методика прогнозирования характеристик надежности банковского тиражного программного об'еспечения, основанная на вычислении числа отказов очередной сборки программы путем анализа внесенных в исходный код изменений.

3. Алгоритм и структура программного комплекса, автоматизирующего все этапы применения разработанной модели надежности.

4. Результаты практического применения разработанного программного комплекса и модели для прогнозирования числа отказов в очередной сборке крупной банковской тиражной программной системы.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Никольский, Святослав Олегович

4.4. Выводы по главе

Проведенные исследования показали, что предложенная модель и программа, реализующая ее принципы, может успешно применяться для моделирования надежностных характеристик банковских тиражных программных систем. Сделанные в результате исследований выводы, помогут разобраться с возникающими в ходе начальных этапов применения модели, проблемами.

ЗАКЛЮЧЕНИЕ

При проведении научных исследований, связанных с темой диссертационной работы, и решении поставленных задач были достигнуты следующие результаты:

1. На основании проведенного анализа существующих моделей надежности ПО и исследований в области банковского ПО сделаны выводы о необходимости разработки новых подходов к моделированию оценки надежности банковского тиражного ПО.

2. Предложена методика прогнозирования характеристик надежности банковского тиражного программного обеспечения, позволяющая развивать и совершенствовать теорию надежности программного обеспечения.

3. Разработана модель прогнозирования характеристик надежности банковских тиражных программных систем на основе нейросетевых технологий, обладающая свойствами адаптивности, детализации, конкретизации. Благодаря этим качествам, модель не только позволяет оценить число отказов в очередной сборке тиражной программной системы еще до ее сборки, но и правильно распределить усилия тестировщиков, направив их на тестирование тех функциональных блоков, в которых ожидается наибольшее число отказов.

4. Применение в качестве ядра модели нейросети, позволило существенно повысить степень автоматизации оценки показателей надежности банковского тиражного программного обеспечения, за счет, в основном, отсутствия необходимости вычислять взаимные зависимости параметров модели.

5. Разработан программный комплекс «Reliability Calculator», позволяющий автоматизировать все этапы применения модели для прогнозирования числа отказов в очередной сборке тиражной программной системы.

6. Исследованы возможности применения нейросетей различной мощности для решения поставленной задачи. Проведены исследования быстродействия различных алгоритмов обучения нейросети, в результате которых выбран наиболее подходящий.

7. На основании результатов практического применения программного комплекса и модели, сделаны выводы о корректности модели и разработанного программного комплекса.

Список литературы диссертационного исследования кандидат технических наук Никольский, Святослав Олегович, 2006 год

1. Mariner 1 - Wikipedia, the free encyclopaedia Электронный ресурс.. Режим доступа: http://en.wikipedia.org/wiki/Mariner 1, свободный.

2. Dole В. Misplaced trust: Kerberos 4 session keys / B. Dole, S. Lodin, E. H. Spafford // Proceedings of 4th Symposium on Network and Distributed System Security, IEEE Press. 1997. pp. 60-71.

3. Porrello A. M. Death and Denial: The Failure of the THERAC-25, A Medical Linear Accelerator / Anne Marie Porrello. Режим доступа: http://www.csc.calnolv.edu/4dalbev/SWE/Papers/THERAC25.html, свободный.

4. Borisov N. AT&T Failure of January 15, 1990 / Nikita Borisov. Режим доступа: http://www.cs.berkeley.edu/~nikitab/courses/cs294-8/hwl.html, свободный.5. ГОСТ 28806-90.- 1990.

5. IEEE Standard Glossary of Software Engineering Terminology // IEEE Std 610.12-1990, IEEE Press. 1991.

6. Lyu Michael R. Handbook of Software Reliability Engineering / Michael R. Lyu // McGraw-Hill, 1976. 850 p.

7. Grottke Michael. Software Reliability Model Study / Michael Grottke // University of Erlangen-Nuremberg. 2001.-41 p.

8. Gokhale Swapna S. Important Milestones in Software Reliability Modeling / Swapna S. Gokhale, Peter N. Marinos, Kishor S. Trivedi // Proceedings of Software Engineering and Knowledge Engineering (SEKE), IEEE Press. 1996.

9. Myers Glenford J. Software Reliability: Principles and Practices / Glenford J. Myers // New York: John Wiley & Sons, Inc. 1976. -360 p.

10. Myers Glenford J. The Art of Software Testing / Glenford J. Myers // New York: John Wiley & Sons, Inc. 1979. - 192 p.

11. H.Jelinski Z. Software Reliability Research / Z. Jelinski, P.B. Moranda // Proceedings of Statistical Methods for the Evaluation of Computer System Performance, Academic Press. 1972. - pp. 465-484.

12. Littlewood B. A Bayesian Reliability Growth Model for Computer Software / B. Littlewood, J. Verrall // Journal of the Royal Statistical Society, series C. 1973. - vol. 22 (No. 3). - pp. 332-346.

13. Липаев B.B. Надежность программного обеспечения АСУ / В.В. Липаев. -М: Энергоиздат, 1981. 239 с.

14. Липаев В.В. Обеспечение качества программных средств. Методы и стандарты / В.В. Липаев. -М: СИНТЕГ, 2001. 380 с.

15. Липаев В.В. Документирование сложных программных средств /

16. B.В. Липаев. М: СИНТЕГ, 2005. 216 с.

17. Липаев В.В. Тестирование программ / В.В. Липаев. -М: Радио и Связь, 1986. 296 с.

18. Ромашок С.Г. Оценка надежности программного обеспечения /

19. C.Г. Романюк // Открытые системы. 1994. №4.

20. Борисенков С.В. Модель надежности программного обеспечения на базе геометрического закона распределения случайной величины / С.В. Борисенков, А.П. Воропаев, А.Н. Лукашкин // Двойные технологии. 1999. №3.

21. Борисенков С.В. О точностных характеристиках некоторых моделей надежности программного обеспечения / С.В.

22. Борисенков, А.П. Воропаев, В.А. Семенов, А.Н. Лукашкин // Двойные технологии. 1999. №3. 23.Dalai S.R. Software Reliability / S.R. Dalai, Michael R. Lyu, C.L.

23. Okumoto K. Optimum Release Time for Software Systems Based on Reliability and Other Performance Measures / K. Okumoto, A.L. Goel // The Journal of Systems and Software. 1980. - vol. 1 (No. 4). - pp. 315-318.

24. Schneidewind N.F. Analysis of Error Processes in Computer Software / N.F. Schneidewind // Sigplan Note. 1975. - vol. 10 (No. 6). - pp. 337-346.

25. Musa J.D. A theory of Software Reliability and Its Applications / J.D. Musa // IEEE Transactions on Software Engineering. 1975. - vol. SE-1 (No. 3).-pp. 312-327. 29.0hba M. Software Reliability Analysis Models / M. Ohba // IBM J.

26. Schick G.J. Assessment of Software Reliability / G.J. Schick, R.W. Wolverton // Proceedings of the Operations Research, Physica-Verlag, Wurzburg-Wien. 1973. - pp. 395-122.

27. Yamada S. S-Shaped Reliability Growth Modeling for Software Error Detection / S. Yamada, M. Ohba, S. Osaki // IEEE Transactions on Reliability. December 1983. - vol. R-32 (No. 5). - pp. 475-478.

28. Duane J.T. Learning Curve Approach to Reliability Monitoring / J.T. Duane // IEEE Transactions on Aerospace. 1964. - vol. 2. - pp. 563566.

29. Musa J.D. A Logarithmic Poisson Execution Time Model for Software Reliability Measurement / J.D. Musa, K. Okumoto // Proceedings Seventh International Conference on Software Engineering, Orlando, Florida. pp. 230-238.

30. Gaffney J.D. Ann Approach to Estimating Software Errors and Availability / J.D. Gaffney, C.F. Davis // Proceedings of the 11th Minnowbrook Workshop on Software Reliability. July 1998.

31. Agresti W.W. Projecting Software Defects From Analyzing Ada Designs / W.M. Evanco, W.W. Agresti // IEEE Transactions on Software Engineering. November 1992. - vol. 18 (No. 11). - pp. 988-997.

32. Methodology for Software Prediction and Assessment // Rome Laboratory, Technical Report RL-TR-92-52. 1992. - vol. 1 and 2.

33. Mills H.D. On the Statistical Validation of Computer Programs / H.D. Mills // IBM Federal Syst. Div., Gaithesburg, MD, Rep. 72-6015. -1972.

34. Brown J.R. Testing for Software Reliability / J.R. Brown, M. Lipow // Proc Int'l Conf. Reliable Software, Los Angeles, CA. April 1975. pp. 518-527.

35. Метрики Электронный ресурс. Режим доступа: http://met-rix.narod.ru/, свободный.

36. McCabe T.J. A Complexity Measure / T.J. McCabe // IEEE Transactions on Software Engineering. 1976. - vol. l.SE-2 (No. 4). -pp.308-320.

37. Tester's Edge Электронный ресурс. Режим доступа: http://www.testersedge.eom/glassiartoolkit.htm#e. свободный.

38. How Test Coverage Tools Work Электронный ресурс. Режим доступа: http://www.patersontech.com/TestCoverage/Operation.aspx, свободный.

39. Li Shengying. A Survey on Tools for Binary Code Analysis / Shengying Li // Stony Brook University. 2004. - 39 p.

40. Bison GNU Project - Free Software Foundation (FSF) Электронный ресурс. Режим доступа: http://www.gnu.org/software/bison/bison.html, свободный.

41. The LEX & YACC Page Электронный ресурс. Режим доступа: http://dinosaur.compilertools.net/#overview, свободный.

42. ANTLR Parser Generator Электронный ресурс. Режим доступа: http://www.antlr.org/, свободный.

43. Grammar List Электронный ресурс. Режим доступа: http://www.antlr.org/grammar/list, свободный

44. Comp.compilers: New С++ grammar release Электронный ресурс. Режим доступа: http://c0mpilers.iecc.c0m/c01r1parch/article/91 -07037, свободный.

45. Exuberant Ctags Электронный ресурс. Режим доступа: http://ctags.sourceforge.net/, свободный.

46. CSE Ноте Электронный ресурс. Режим доступа: http://www.microsoft.com/Windows/CSE/default.mspx, свободный.

47. Program Analysis Projects Электронный ресурс. Режим доступа: http://www.microsoft.com/cse/pa/pa projects.mspx, свободный.

48. Das Manuvir. ESP: Path-Sensitive Program Verification in Polynomial Time / Manuvir Das, Sorin Lerner, Mark Seigke // Conference on Programming Language Design and Implementation, Berlin, Germany. 2002. - pp. 57-68.

49. Serena PVCS Products Электронный ресурс. Режим доступа: http://www.svnergex.com/solutions/pvcs/products/, свободный

50. GNU cflow Электронный ресурс. Режим доступа: http://www.gnu.org/software/cflow/, свободный.

51. Fast Artificial Neural Network Library Электронный ресурс. Режим доступа: http://fann.sourceforge.net, свободный.

52. SourceForge.net: The Netron Project Электронный ресурс. Режим доступа: http://sourceforge.net/proiects/netron, свободный.

53. MSDN Home Page Электронный ресурс. Режим доступа: http://msdn.microsoft.coin, свободный.

54. Страуструп Бьерн. Язык программирования С++. Специальное издание. -М.: БИНОМ, 2004. 1098 с.

55. Ярушкина Н.Г. Основы теории нечетких и гибридных систем: Учеб. пособие. М.: Финансы и статистика, 2004. - 320 с.:ил.

56. Riedmiller Braun. A direct adaptive method for faster backpropagation learning: The RPROP algorithm / Braun Riedmiller. -1993

57. Тиражные решения Электронный ресурс. Режим доступа: www.trisoftrus.com/DesktopDefault.aspx?tabid-147&Mnu=4.108.14 7, свободный.

58. Некрасова Е. Вне тиража / Е. Некрасова // СЮ. 2006. - №8. - с. 143.

59. Решения R-Style Softlab Электронный ресурс. Режим доступа: http://www.softlab.ru/solutions/, свободный.

60. Решения DiaSoft Электронный ресурс. Режим доступа: http://www.diasoft.ru/live/page/qsp/id/10853/, свободный.

61. Интегрированная банковская система «БИСквит» Электронный ресурс. Режим доступа: http://www.bis.ru/index.htm, свободный.

62. Искусственные нейронные сети Электронный ресурс. Режим доступа: http://victoria.lviv.ua/html/oio/html/theme5 rus.htm, свободный.

63. Преимущества нейронных сетей Электронный ресурс. Режим доступа: http://www.neuropro.ru/neu3.shtml, свободный.

64. Популярные нейросетевые архитектуры Электронный ресурс. Режим доступа: http://cgm.graphicon.ru:8080/issue5/Paper vap/, свободный.

65. Деталыюе описание компонентов и работы нейросетей Электронный ресурс. Режим доступа: http://www.victoria.lviv.ua/html/oio/html/theme6 rus.htm, свободный.

66. Тарков М.С. Нейрокомпьютерные системы Электронный ресурс. / М.С. Тарков. Режим доступа: http://www.intuit.ru/department/expert/neuro/index.htm, свободный.

67. Sylvain Berlemont. Neural Networks: Multi-Layer Perceptron and Hopfield Network / Berlemont Sylvain, Nicolas Burrus, David Lesage, Francis Maes, Jean-Baptiste Mouret, Benoit Perrot, Maxime Rey, Nicolas Tisserand, Astrid Wang // CSI. 2004.

68. Silva F. Speeding up backpropagation / F. Silva, L. Almeida // Advanced Neural Computers, North Holland. 1990. - pp. 151-158.

69. Tollenaere T. SuperSAB: fast adaptive back-propagation with good scaling properties / T. Tollenaere // Neural Networks. 1990. - pp. 561-573.

70. A. Jacobs R. Increased rates of convergence through learning rate adaption / Jacobs R. A. // Neural Networks. 1988. - pp. 295-307.

71. A Feed Forward Neural Network. Understanding Back Propagation Электронный ресурс. Режим доступа: http://www.heat0nresearcli.c0m/articles/5/page2.html, свободный.