Информационная технология анализа производительности в процессе разработки программного обеспечения тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Дубаков, Сергей Анатольевич

• Дубаков, Сергей Анатольевич
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Дубаков, Сергей Анатольевич

Введение

1 Производительность в процессе разработки программного обеспечения

1.1 Производительность программного обеспечения.

1.1.1 Понятие производительности.

1.1.2 Метрики производительности.

1.1.3 Методы оценки производительности.

1.1.4 Значение производительности.15 •

1.2 Интеграция анализа производительности в жизненный цикл разработки программного обеспечения

1.2.1 Производительность и процесс разработки ПО

1.2.2 Требования к интеграции.

1.2.3 Существующие технологии анализа производительности в процессе разработки ПО.

1.2.4 Необходимость разработки технологии. 1.3 Использование моделей иМЬ для анализа производительности

1.3.1 Анализ производительности на основе модели проектирования .-.

1.3.2 Существующие подходы к использованию моделей 11МЬ для анализа производительности.

1.4 Оценка средств построения и анализа модели производительности

1.4.1 Сети массового обслуживания.

1.4.2 Сети Петри.

1.4.3 Алгебры процессов.

1.4.4 Имитационное моделирование.

1.4.5 Сравнительная характеристика и выбор средства моделирования

Введение диссертации (часть автореферата) на тему «Информационная технология анализа производительности в процессе разработки программного обеспечения»

Актуальность работы. Одной из ключевых характеристик современного программного обеспечения (ПО) является производительность. Низкая производительность может обуславливать неэффективность работы пользователей и, как следствие, негативную реакцию на программный' продукт, потерю прибыли и клиентуры, доли рынка; перерасход средств вследствие затрат на модификации и перепроектирование. Более того, переработка кода с целью увеличения производительности с большой вероятностью может разрушить первоначальную структуру системы, сводя на нет преимущества от использования объектно-ориентированного подхода. Наконец, маловероятно, что переработанный код сможет довести производительность системы до уровня, на котором она могла бы быть в случае изначального проектирования с учетом вопроса производительности. В худшем случае, будет невозможно достичь поставленных целей простой модификацией исходного кода системы, что обусловит необходимость полного перепроектирования или остановки проекта. В литературе рассмотрены случаи, когда руководство было вынуждено инициировать полное переписывание системы [92] или, например, отложить запуск космического спутника [27]. В последнем случае программное обеспечение реализовывалось Национальным Аэрокосмическим Агентством США (NASA), и задержки, вызванные проблемами с производительностью, заставили Конгресс США рассматривать вопрос о способности NASA выполнять проект.

Очевидно, что большинство серьезных проблем с производительностью программного обеспечения вызвано недооценкой этого вопроса на ранних стадиях процесса разработки, в частности на этапе проектирования. Низкая производительность чаще всего обусловлена недостатками проектирования, а не 4 реализации. Однако в объектно-ориентированном сообществе распространена тенденция откладывать рассмотрение вопроса производительности до момента, когда система реализована. Типичной является следующая формулировка классиков объектно-ориентированного программирования Ауэра и Бека: "Игнорируйте эффективность в течение всего цикла разработки. Выполняйте необходимые настройки производительности, когда программа работает корректно и структура системы выражает ваше понимание о том, как оптимально должен быть организован исходный код. Необходимые изменения будут ограничены соответствующими границами или выявят возможности для улучшения проектирования "[7]. Аналогичных взглядов придерживается и еще один признанный специалист в объектно-ориентированном подходе к разработке программного обеспечения Айвар Якобсон: "Изменения в архитектуре системы, вносимые для улучшения производительности, должны, как правило, откладываться до момента, когда система (хотя бы частично) построена. Практика показывает, что при принятии решений о местах системы, критичных по производительности, часто делают ошибки. Для того чтобы сделать правильную оценку, в большинстве случаев, необходимо иметь что-то, что можно измерить. Поскольку нам нечего измерять до момента построения системы, мы не можем выполнять подобную оптимизацию на ранних этапах" [41].

Подобные взгляды базируются на представлении о том, что производительность программного обеспечения трудно спрогнозировать, и модели, необходимые для прогнозирования производительности разрабатываемой системы, слишком сложны и требуют значительных затрат. Функциональность объектно-ориентированной системы децентрализована. Выполнение некоторой функции с большой вероятностью вовлекает в этот процесс много объектов различных классов. Эти взаимодействия могут быть множественными и очень сложными, а использование приемов объектно-ориентированного проектирования (например, полиморфизма) и таких широкораспространенных ныне подходов, как применение паттернов или распределенной архитектуры системы, затрудняет процесс моделирования.

Помимо этого, сложившаяся практика такова, что область проектирования программного обеспечения с одной стороны и анализа производительности с другой - являются достаточно удаленными, практически изолированными, друг от друга. С точки зрения архитекторов и проектировщиков программных систем методики прогнозирования производительности видятся достаточно сложными математическими формализмами, которые если и возможно применять в процессе проектирования, то только при крайней необходимости (например, при разработке систем реального времени) и в тесном взаимодействии с экспертами в данных методиках.

Еще одним фактором, обуславливающим игнорирование вопросов производительности на ранних стадиях процесса разработки, является нежелание менеджеров ставить под угрозу сроки и бюджет проекта ради стратегических целей, таких как безусловное достижение всех установленных требований к производительности.

Несмотря на указанные проблемы, многие эксперты считают, что спроектировать программную систему с учетом вопросов производительностью практически возможно. Этой задаче посвящены работы таких авторов, как Смит К., Уильяме JL, Петриу Д., Вудсайд М., Хиллстон Дж., Ролиа Дж., Фрэнке Р. Регулярно проводятся международные конференции, посвященные вопросам анализа производительности программного обеспечения, в частности International Workshop on Software and Performance (WOSP).

Слабым местом существующих решений по анализу производительности программного обеспечения является необходимость создания и поддержки отдельной модели производительности в дополнение к уже существующим моделям (таким как модель проектирования, модель данных и т.д.). Кроме того, большинство подобных подходов рассчитано на непосредственное использование специализированных математических моделей, что повышает требование к подготовке участников команды разработки и, тем самым, снижает эффективность внедрения.

Таким образом, несмотря на активные разработки в данной области, проблема создания эффективного подхода к анализу производительности в процессе разработки программного обеспечения до конца не решена. Для того чтобы было возможно учитывать вопросы производительности в течение всего процесса разработки, начиная с ранних стадий, должна быть создана технология, позволяющая, не нарушая сложившийся подход к проектированию программного обеспечения, оценивать те или иные архитектурные решения с точки зрения производительности. При этом должны быть минимизированы издержки использования подобной технологии, для чего она должна опираться в основном на уже существующие артефакты проектирования и не требовать математической подготовки от участников коллектива разработчиков. Под артефактами проектирования понимаются данные моделирования, управления проектами, системной конфигурации, т. е. компоненты информационных систем, которые описывают информационные системы [118].

Цель работы: разработка информационной технологии анализа производительности в процессе разработки программного обеспечения, обеспечивающей повышение качества и снижение затрат на его создание.

Для достижения поставленной цели были поставлены и решены следующие задачи:

1. Формирование требований к интеграции анализа производительности в процесс разработки программного обеспечения.

2. Исследование существующих технологий анализа производительности в процессе разработки программного обеспечения, обоснование необходимости разработки информационной технологии, удовлетворяющей поставленным требованиям.

3. Анализ существующих средств моделирования производительности программного обеспечения.

4. Разработка информационной технологии анализа производительности в процессе разработки программного обеспечения.

5. Разработка программного комплекса, реализующего предложенный подход.

Методы исследования. В ходе диссертационного исследования были использованы метод экспертных оценок, объектно-ориентированное проектирование и программирование, математическое моделирование, аппарат многоуровневых сетей массового обслуживания, методы математической статистики.

Научная новизна. Получены следующие основные результаты, обладающие научной новизной:

1. Разработана новая информационная технология, позволяющая внедрить анализ производительности в процесс разработки программного обеспечения с ранних стадий без необходимости привлечения специализированных моделей и средств.

2. Предложен алгоритм автоматической генерации модели производительности на основе диаграмм 1ШЬ.

3. Модифицирован алгоритм анализа многоуровневых сетей массового обслуживания для эффективной поддержки моделей, полученных на основе диаграмм имь.

Практическая значимость. Разработанная информационная технология позволяет внедрить превентивный подход к вопросам производительности в процесс разработки программного обеспечения без необходимости привлечения специализированных моделей и средств, обеспечивая повышение качества и снижение затрат на создание ПО.

Реализовано программное решение, автоматизирующее формирование и анализ модели производительности на основе уже существующих артефактов проектирования. Применение продукта не требует от участников команды разработки каких-либо дополнительных знаний в области моделирования производительности.

Реализация результатов и их внедрение. Разработанная информационная технология и поддерживающее ее программное решение внедрены в процессе разработки ПО в ООО "ТВ-Система"(г. Томск), ООО "Интрайс"(г. Томск), Томском Политехническом Университете (г. Томск).

Апробация работы. Основные положения диссертации докладывались и обсуждались на научных семинарах кафедры оптимизации систем управления АВТФ ТПУ; конференции Ассоциации научных и учебных организаций-пользователей сетей передачи данных "RELARN"(Нижний Новгород, 1997); всероссийской научно-методической конференции "Телематика" (Санкт-Петербург, 1998); международной научно-практической конференции "Актуальные проблемы информатики и информационных технологий"(Тамбов, 2004); международном симпозиуме "KORUS" (Новосибирск, 1999; Томск, 2004); международной научной конференции "Инновации в науке и образовании "(Калининград, 2004); всероссийской научно-практической конференции "Системы и средства автоматизации"(Томск, 2004); всероссийской научно-технической конференции "Проблемы информатики в образовании, управлении, экономике и технике"(Пенза, 2005).

Публикации. По результатам выполненных исследований опубликовано 11 работ.

Структура и объем работы. Диссертация состоит из введения, 3 глав и заключения. Объем диссертации составляет 135 страниц текста, 45 рисунков, 3 таблиц, список литературы из 117 наименований.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Дубаков, Сергей Анатольевич

Основные результаты и выводы к главе 3

1. Рассмотрено разработанное автоматизированное средство поддержки информационной технологии анализа производительности в процессе разработки программного обеспечения. Бизнес-логика выделена в отдельный модуль системы, поэтому разработанная функциональность может быть интегрирована в уже существующие программные средства, привычные для команды разработчиков, что позволит сделать интеграцию анализа производительности в процесс разработки программного обеспечения более простой и менее затратной.

Вариант использования Время отклика (миллисекунды)

Результат измерения) Результат анализа

Доверительный Среднее интервал (Р=0,95)

Бизнес-логика

Вход в систему 105,86-108,14 107 110

Просмотр объявления 85,01-86,99 86 85

Поиск объявлений 123,62-126,37 125 120

Представление HTML

Вход в систему 123,59-126,41 125 130

Просмотр объявления 98,87-101,13 100 105

Поиск объявлений 134,36-137,64 136 140

Веб-сервис

Вход в систему 115,58-118,42 117 125

Просмотр объявления 103,76-106,24 105 100

Поиск объявлений 130,47-133,53 132 135

Заключение

В диссертационной работе рассмотрена разработанная автором информационная технология анализа производительности в процессе разработки программного обеспечения. Эта технология позволяет внедрить превентивный подход к рассмотрению вопросов производительности в процесс разработки программного обеспечения, позволяющий выявлять и решать проблемы с производительностью на ранних этапах жизненного цикла. Реализовано программное средство поддержки данной информационной технологии, позволяющее выполнять построение и анализ модели производительности, минимизируя тем самым дополнительную подготовку и затраты участников команды разработки программного обеспечения.

Перечислим основные результаты и выводы, в которых отражена научная новизна и практическая ценность данной работы:

1. Сформулированы требования к интеграции анализа производительности в процесс разработки программного обеспечения, позволяющей эффективно решать вопросы производительности на протяжении всего жизненного цикла.

2. Проведен анализ существующих технологий анализа производительности в процессе разработки программного обеспечения, таких как Software Performance Engineering (SPE), Performance Design & Engineering (PDE), Structure Sz Performance Specification (SP), Hierarchical Evaluation Tool (HIT). Сделан вывод о том, что в настоящее время подобной информационной технологии, которая бы опиралась на уже существующие артефакты и не требовала бы значительных дополнительных затрат от участников команды, не существует.

3. В рамках анализа требований к информационной технологии анализа ripo

115 изводительности в процессе разработки программного обеспечения, рассмотрены существующие средства моделирования производительности программного обеспечения, такие как сети Петри, сети очередей массового обслуживания, алгебры процессов и имитационное моделирование. Обоснован выбор многоуровневых сетей очередей массового обслуживания для построения и анализа модели производительности в рамках разрабатываемой информационной технологии.

4. Предложена информационная технология анализа производительности в процессе разработки программного обеспечения, использующая в качестве исходных данных модель UML. Выбор этой нотации связан с тем, что она является признанным стандартом для моделирования объектно-ориентированных программных систем и уже используется в процессе разработки в большом количестве команд и фирм-производителей.

Информационная технология содержит ряд дополнений к стандартной нотации, позволяющих включить в модель UML информацию, необходимую для построения модели производительности, такую как время выполнения метода или пропускная способность сетевого канала. Такой подход позволяет иметь централизованное хранилище информации, относящейся к архитектуре системы, которое может использоваться как в процессе основных видов деятельности (проектирование, реализация, тестирование и т.д.), так и при анализе производительности.

Предложенный подход может использоваться с различными методологиями разработки программного обеспечения, включая модель водопада, итеративные и гибкие методологии. Основным требованием является поддержка в течение жизненного цикла процесса разработки моделей системы в нотации UML и наличие автоматизированного средства анализа производительности.

5. Предложен алгоритм автоматической генерации модели производительности в виде многоуровневой сети очередей массового обслуживания на основе диаграмм UML.

6. Модифицирован алгоритм анализа многоуровневых сетей массового обслуживания для эффективной поддержки моделей, полученных на основе диаграмм UML. Предложены алгоритм редукции модели и правила интерпретации результатов анализа для получения метрик производительности.

7. Разработано программное решение поддержки информационной технологии анализа производительности в процессе разработки программного обеспечения. Программное средство позволяет загружать модели UML, аннотированные в соответствии с предложенными в данной работе расширениями, из файлов в формате XMI. Таким образом, он может использоваться практически с любыми средствами моделирования, включая такие широкораспространенные системы как Rational XDE или Together.

8. Проведено исследование, показавшего, что метрики производительности, получаемые с помощью реализованного программного решения адекватны данным, получаемым при измерении производительности реальной системы.

9. По результатам исследования можно очертить пути дальнейшего развития информационной технологии, предложенной в данной работе. Прежде всего, необходимо расширить использование выразительных возможностей языка UML, в частности новой версии UML 2.0 [24], в которой появилась поддержка фрагментов. Фрагменты в частности позволяют отобразить такие структурные блоки программы, как условие или цикл, в диаграмме последовательности. Кроме того, стоит рассмотреть возможность моделирования асинхронных взаимодействий с помощью сообщений (которое применяется например в JMS или MSMQ). Что касается разработанного программного решения, необходимо интегрировать его функциональность в инструменты, уже используемые командами разработки, такие как средства моделирования.

Список литературы диссертационного исследования кандидат технических наук Дубаков, Сергей Анатольевич, 2005 год

1. A toolset for Performance Engineering and Software Design of Client-Server Systems / Franks, G. et al] // Performance Evaluation. - 1995. - Vol. 24, 1.sue 1-2. - p. 117-136.

2. Agility Counts // The Economist. 2001. - September, 20. - p.ll.

3. Agrawal S.C. The Aggregate Server Method for Analyzing Serialization Delays in Computer Systems / Agrawal S.C., Buzen J.P. // ACM Transactions on Computer Systems. 1983. - Vol.1, No. 2. - pp. 116-143.

4. Allen A. Probability, Statistics and Queueing Theory with Computer Science Applications / Allen A. San Diego: Academic Press, 1990. - 740 p.

5. Amer H. Software Performance Evaluation: Graph Grammar-based Transformation of UML Design Models into Performance Models / Amer H., Petriu D. Carleton: Carleton University, 2002. - 33 p.

6. Arief L.B. A UML Tool for an Automatic Generation of Simulation Programs / Arief L.B., Speirs N.A. // Proc. 2nd International Workshop on Software and Performance, WOSP2ÛOO, Ottawa, Canada, 2000. New York: ACM Press, 2000. - p. 71-76.

7. Auer K. Lazy Optimization: Patterns for Efficient Smalltalk Programming / Auer K., Beck K. // Pattern Languages of Program Design, Volume 2 (J.Vlissides et al, ed.). Boston: Addison-Wesley, 1996. - p. 19-42.

8. Beilner H. Concepts and Techniques of the Performance Modeling Tool HIT / Beilner H., Stewing F.-J. // Proc. European Simulation Multiconference. -Vienna: CSC Europe, 1987. p. 84-89.

9. Bernardo M. A Tutorial on EMPA: A Theory of Concurrent Processes with Nondeterminism, Priorities, Probabilities and Time / Bernardo M., Gorrieri R. // Theoretical Computer Science. 1998. - 202. - p. 1-54.

10. Birtwistle G.M. A System for Discrete Event Modeling on Simula / Birtwistle G.M. Oxford: Macmillan, 1979. - 214 p.

11. Boehm B. A Spiral Model of Software Development and Enhancement / Boehm B. // ACM SIGSOFT Software Engineering Notes (SEN). 1986. - Volume 11, Issue 4. - p. 14-24.

12. Clarke E.M. Model Checking / Clarke E.M., Grumberg O., Peled D.A. -Cambridge: MIT Press, 2000. 330 p.

13. Cortellessa V. Deriving a Queueing Network based Performance Model from UML Diagrams / Cortellessa V., Mirandola R. // Proc. 2nd International Workshop on Software and Performance, WOSP2000, Ottawa, Canada, 2000. New York: ACM Press, 2000. - p. 58-70.

14. Createasoft Inc. Home Page. Электронный ресурс]. Электрон, дан. -Naperville, 2002. - Режим доступа: http://www.createasoft.com/.

15. Custom Simulations Home Page. Электронный ресурс]. Электрон, дан. -Berkeley, 2004. - Режим доступа: http://www.customsimulations.com/.

16. Donatelli S. A comparison of Performance Evaluation Process Algebra and Generalized Stochastic Petri Nets / Donatelli S., Hillston J., Ribaudo M. // Proc. 6th International Workshop on Petri Nets and Performance Models. -Durham: 1995. p. 158.

17. Dubakov S. Performance Evaluation Integration into Object-Oriented Design Process / Dubakov S. // Proc. 8th Korea-Russia International Symposium on Science and Technology KORUS 2004. Tomsk. 2004. - p. 22-24.

18. Elswijk, P. van. Performance Design & Engineering, Volume II: Performance Modeling Tool, version 0.1 / Elswijk, P. van. Maynard: Digital Equipment Corporation, 1994. - 359 p.

19. Fowler M. The New Methodology / Fowler M. Электронный ресурс] Электрон, дан. - Chicago, 2003. - Режим доступа: http://www.martinfowler.com/articles/newMethodology.html.

20. Franks R.G. Performance Analysis of Distributed Server Systems. PhD Thesis / Franks R.G. Ottawa: Carleton Institute for Electrical and Computer Engineering, 1999. - 294 p.

21. Grassle P. UML 2.0 in Action: A project-based tutorial / Grassle P., Baumann H., Baumann P. Birmingham: Packt Publishing, 2005. - 229 p.

22. Grose Т.Л. Mastering XMI: Java Programming with XMI, XML and UML / Grose T.J., Doney G.C., Brodsky S.A. West Sussex: Wiley, 2002. - 480 p.

23. Gu G. XSLT transformation from UML models to LQN performance models / Gu G., Petriu D. // Proc. 3rd international workshop on Software and performance. Rome: 2002. - p. 227-234.

24. Harreld H. NASA Delays Satellite Launch After Finding Bugs in Software Program / Harreld H. // Federal Computer Week. April 20, 1998. - p. 12.

25. Harrison P. Performance Modelling of Communication Networks and Computer Architectures / Harrison P., Patel N. Boston: Addison-Wesley, 1993. - 472 p.

26. Hillston J. A Compositional Approach to Performance Modeling / Hillston J. -Cambridge: Cambridge University Press, 1996. 170 p.

27. Hillston J. Performance Investigation of an On-Line Auction System / Hillston J., Kloul L. // Concurrency and Computation: Practice and Experience. 2001. - N. 13. - p. 23-41.

28. Hoare C.A.R. Communicating Sequential Processes / Hoare C.A.R. Upper Saddle River: Prentice-Hall, 1985. - 238 p.

29. Hoeben F. Using UML Models for Performance Calculation / Hoeben F. // Proc. 2nd International Workshop on Software and Performance, WOSP2000, Ottawa, Canada, 2000. New York: ACM Press, 2000. - p. 77-82.

30. Hoeben F. Performance in Distributed Object Systems / Hoeben F., Sterk M. -Utrecht: Software Engineering Resource Center, 1998. 229 p.

31. Hrischuk C. The Automatic Generation of Software Performance Models From a Prototype / Hrischuk C. Ottawa: Carleton Institute for Electrical Engineering, 1994.- 84 p.

32. Hutton P. Performance Prediction: An Industry Perspective / Hutton P., Hill B. // Proc. 9th International Conference on Computer Performance Evaluation: Modelling Techniques and Tools. London: 1997. - p. 1-5.

33. Hutton P. Further Experiences with Software Performance Modelling / Hutton P., Martin G. // Proc. 1st International Workshop on Software and Performance, WOSP98. Santa Fe: 1998. - p. 14-15.

34. IEEE Std 610.12-1990. IEEE Standard Glossary of Software Engineering Terminology. New York: Institute of Electrical and Electronic Engineers, 1993.- 96 p.

35. Ibe O. Performance Evaluation of Client-Server Systems / Ibe O., Choi H., Trivedi K. // IEEE Transactions on Parallel and Distributed Systems. 1993. -Volume 4, Issue 11. - p. 1217-1229.

36. Jackson J.R. Jobshop-like queueing systems / Jackson J.R. // Management Science. 1963. - Volume 10, Issue 1. - p. 131-142.

37. Jacobson I. Object-Oriented Software Engineering A Use Case Driven Approach / Jacobson I. - Boston: Addison-Wesley, 1994. - 552 p.

38. Jacobson P.A. Analyzing queueing networks with simultaneous resource possession / Jacobson P.A., Lazowska E.D. // Communications of the ACM.- 1982. Volume 25, Issue 2. - p. 142-151.

39. Jain R. The Art of Computer Systems Performance Analysis Techniques for Experimental Design, Measurement, Simulation, and Modeling / Jain R. - New York: Wiley and Sons, 1991. - 720 p.

40. Jou C.-C. Equivalences, Congruences and Complete Axiomatizations of Probabilistic Processes / Jou C.-C., Smolka S.A. // CONCUR. 1990. - Volume 458. - p. 367-383.

41. Kabajunga C. Simulating UML sequence diagrams / Kabajunga C., Pooley R. // Proc. UK Performance Engineering Workshop, July 1998. Edinburgh: 1998. - p. 198-207.

42. Lavenberg S.S. A perspective on queueing models of computer performance / Lavenberg S.S. // Performance Evaluation. 1989. - Volume 10, Issue 1. - p. 53-76.

43. Lisowski W. Performance Design & Engineering, Volume I: Methodology, version AX0.2 / Lisowski W. Maynard: Digital Equipment Corporation, 1992. - 374 p,

44. Manardt D. Applications Optimization Methodology An Approach / Manardt D. // Proc. 1st International Workshop on Software and Performance. - Santa Fe: ACM Press, 1998. - pp. 93-100.

45. Mani Chandy K. Linearizer: A heuristic algorithm for queueing network models of computing systems / Mani Chandy K., Neuse D. // Communications of the ACM. 1982. - Volume 25, Issue 2. - p. 126-134.

46. Mania D. Framework for predicting the performance of component-based systems / Mania D., Murphy J. // Proc. IEEE 10th International Conference on Software, Telecommunications and Computer Networks. Venice: 2002. - p. 46-50.

47. McNab R. Using Java for Discrete Event Simulation / McNab R., Howell F.W. // Proc. 12th UK Computer and Telecommunications Performance Engineering Workshop (UKPEW). Edinburgh: University of Edinburgh, 1996. - p. 219-228.

48. Milner R. Communication and Concurrency / Milner R. Upper Saddle River: Prentice-Hall, 1989. - 260 p.

49. Mirandola R. UML-based Performance Modeling of Distributed Systems / Mirandola R., Cortellessa V. // Proc. 3rd International Conference on UML.-York: 2000. p.178-193.

50. Modelling with Generalized Stochastic Petri Nets / Marsan M. et al]. West Sussex: Wiley, 1995. - 324 p.

51. Non-Functional Requirements in Software Engineering / Chung L. et al] -Boston: Kluwer, 2000. 472 p.

52. JavaSim Home Page. Электронный ресурс]. Электрон, дан. - New Castle, 2004. - Режим доступа: http://javasim.ncl.ac.uk/.

53. JiST: Embedding Simulation Time into a Virtual Machine // Proc. EuroSim Congress on Modelling and Simulation, September 2004. Paris: EUROSIM-FRANCOSIM-ARGESIM, 2004. - p. 54-57.

54. MacDougall M.H. Simulating Computer Systems : Techniques and Tools / MacDougall M.H. Cambridge: MIT Press, 1987. - 290 p.

55. Manifesto for Agile Software Development. Электронный ресурс]. Электрон, дан. - Snowbird, 2001. - Режим доступа: http://agilemanifesto.org/.

56. Meta Object Facility. Электронный ресурс]. Электрон. дан. - Needham: 2005. - Режим доступа: http: / / www.omg.org/technology/documents/formal/mof.htm.

57. Micro Analysis & Design Inc. Home Page. Электронный ресурс]. Электрон, дан. - Boulder, 2003. - Режим доступа: http://www.maad.com/.

58. Muller К. Advanced systems simulation capabilities in SimPy / Muller K. // Proc. EuroPython 2004, Gothenburg, Sweden. Gothenburg: EuroPython Conference Team, 2004. - p. 43-48.

59. Performance Analysis of Time-enhanced UML Diagrams Based on Stochastic Processes / Lindemann C. et al] // Proc. 3rd International Workshop on Software and Performance. Rome: 2002. - p. 24-34.

60. Petriu D. Applying the SPT Profile for Performance Analysis / Petriu D. Электронный ресурс]. Электрон, дан. - Ottawa, 2002. - Режим доступа: http://www.ensieta.fr/mda/ecoleMDA2002/presentations/PetriuTalk2.ppt.

61. Petriu D. Deriving Performance Models from UML Models by Graph Transformations / Petriu D. // Proc. 2nd International Workshop on Software and Performance, WOSP2000, Ottawa, Canada, 2000. New York: ACM Press, 2000. - p. 31-43.

62. Quantitative System Performance: Computer System Analysis Using Queueing Network Models / Lazowska E.D. et al] Englewood Cliffs: Prentice-Hall, 1984.- 417 p.

63. Rolia J.A. Predicting the Performance of Software Systems. PhD Thesis / Rolia J.A. Toronto: University of Toronto, 1992. - 315 p.

64. Rolia, J.A. The Method of Layers / Rolia, J.A., Sevcik, K.C. // IEEE Transactions on Software Engineering. 1995. - Volume 21, Issue 8. - p. 689-700.

65. Royce W.W. Managing the development of large software systems: concepts and techniques / Royce W.W. // 1970 WESCON Technical Papers. Vol. 14. - pp. 1-9.

66. Rüssel E. Building Simulation Models with Simscript II.5 / Rüssel E. -Arlington: CACI Marketing Systems, 1990. 500 p.

67. Sauer C. A Language for Extended Queueing Network Models / Sauer C., MacNair E., Salza S. // IBM Journal of Research and Development. 1980.- Volume 24, No 6. p. 747-755.

68. Schriber T. An Introduction to Simulation Using GPSS/H / Schriber T. New York: John Wiley and Sons, 1991. - 464 p.

69. Schweitzer P. Approximate analysis of multiclass closed networks of queues / Schweitzer P. // Proc. International Conference on Stochastic Control and Optimization. Amsterdam: North Holland, 1979. - p. 25-29.

70. Schwetman H. CSIM: A C-based, Process-Oriented Simulation Language / Schwetman H. // Proc. 1986 Winter Simulation Multiconference. Washington: Winter Summer Conference, 1986. - p. 387-396.

71. Scollo G. On the specification in LOTOS of OSI Protocols / Scollo G., Minissale F. // Proc. Computing 85. Amsterdam: North Holland, 1985. - p.101-114.

72. Simkit Home Page. Электронный ресурс]. Электрон, дан. - Monterey: 2005.- Режим доступа: http://diana.gl.nps.navy.mil/Simkit/.

73. Simulink Home Page. Электронный ресурс]. Электрон, дан. - Natick, 2004.- Режим доступа: http://www.mathworks.com/products/simulink/.

74. Smith С.U. Performance Engineering of Software Systems / Smith C.U. -Boston: Addison-Wesley, 1990. 570 p.

75. Stuck B.W. A Computer and Communications Network Performance Analysis Primer / Stuck B.W., Arthurs E. Upper Saddle River: Prentice-Hall, 1984. -593 p.

76. TOMASWEB Home Page. Электронный ресурс]. Электрон, дан. - Delft, 1999. - Режим доступа: http://www.tomasweb.com/.

77. The Stochastic Rendezvous Network Model for Performance of Synchronous Client-Server-like Distributed Software / Woodside, C.M et al] // IEEE Transactions on Computers. 1995. - Volume 44, Issue 1. - p. 20-34.

78. UML Profile for Schedulability, Performance and Time Specification. Version 1.0. Электронный ресурс]. Электрон, дан. - Needham: 2003. - Режим доступа: http: / / www.omg.org/technology / documents / formal/schedulability.htm.

79. UML Resource Page. Электронный ресурс]. Электрон, дан. - Needham, 2004- Режим доступа: http://www.omg.org/uml/.

80. Vetland V. Measurement-Based Composite Computational Work Modeling of Software. PhD Thesis / Vetland V. University of TYondheim: 1993. - 221 p.

81. Williams L.G. Five Steps to Solving Software Performance Problems / Williams L.G., Smith C.U. Santa Fe: Performance Engineering Services, 2002. - 8 p.

82. Williams L.G. Performance Evaluation of Software Architectures / Williams L.G., Smith C.U. // Proc. 1st International Workshop on Software and Performance. New York: ACM Press, 1998. - pp. 164-177.

83. Williams L.G. The Business Case for Software Performance Engineering / Williams L.G., Smith C.U. Santa Fe: Performance Engineering Services, 2002. -8 p.

84. Woodside C.M. Throughput Calculation for Basic Stochastic Rendezvous Networks / Woodside C.M. // Performance Evaluation. 1989. - Volume 9, Issue 2. - p. 143-160.

85. Zeichick A. UML Adoption Making Strong Progress / Zeichick A. // Software Development Times. 2004. - August 15. - p. 5.

86. Буч Г. Язык UML. Руководство пользователя / Буч Г., Рамбо Д., Якобсон А. СПб: Питер, 2003 г. - 429 с.

87. Дубаков С.А. Автоматическая генерация модели производительности на основе диаграмм UML / Дубаков С.А., Силич В.А. // Материалы 5 всероссийской научно-практической конференции «Системы и средства автоматизации» Томск: Элеси, 2004 - с. 10.

88. Дубаков С.А. Безопасность интернет-магазина / Дубаков С.А., Мещеряков Р.В. // Интеллектуальные системы в управлении, конструировании и образовании. Томск: STT, 2001. - с. 51-56.

89. Дубаков С.А. Интеграция оценки производительности в процесс объектно-ориентированного преоктирования / Дубаков С.А., Силич В.А. // Материалы международной научной конференции «Инновации в науке и образовании-2004» Калининград: УОП КГТУ, 2004 - с. 184.

90. Дубаков С.А. Использование набора диаграмм UML для построения моделей производительности / Дубаков С.А., Силич В.А. // Известия ТПУ. -2005. Т.308. - N. 3 - с. 154-159.

91. Дубаков С.А. Создание и направления развития региональной информационной системы "Электронная биржа образовательных услуг"/ Дубаков С.А., Александров A.A. // Кибернетика и ВУЗ. 1999. - вып. 29. - с. 17-20.

92. Ивницкий В.А. Теория сетей массового обслуживания / Ивницкий В.А. -М.: Физматлит, 2004. 770 с.

93. Котов В.Е. Сети Петри / Котов В.Е. М., Наука, 1984. - 160 с.

94. Кузин Л.Т. Основы кибернетики: В 2-х т. Т. 2. Основы кибернетических моделей. Учеб. пособие для вузов / Кузин Л.Т. М.: Энергия, 1979. - 584 с.

95. Леффингуэлл Д. Приципы работы с требованиями к программноу обеспечению. Унифицированный подход / Леффингуэлл Д., Уидриг Д. -М.:Вильямс, 2002 448 с.

96. Лоу А. Имитационное моделирование / Лоу А., Кельтон Д. СПб: BHV, 2004. - 848 с.

97. Менаске Д., Алмейда В. Производительность веб-служб. Анализ и планирование СПб.: ДиаСофтЮП, 2003. - 480 с.

98. Питерсон Дж. Теория сетей Петри и моделирование систем / Питерсон Дж. М.: Мир, 1984. - 264 с.

99. Рыжиков Ю.И. Имитационное моделирование: теория и технологии / Рыжиков Ю.И. СПб: Корона, 2004. - 384 с.

100. Саймон А. Репозитории и управление метаданными / Саймон А. // СУБД. 1996. - 5-6. - стр. 154-162.

101. Силич М.П. Системная технология: объектно-ориентированный подход / Силич М.П. Томск: Томский государственный университет систем управления и радиоэлектроники, 2002. - 224 с.

102. Томашевский В. Имитационное моделирование в среде GPSS / Томашев-ский В., Жданова Е. М.: Бестселлер, 2003. - 416 с.

103. Управление проектами: технология MSF. Электронный ресурс]. Электрон, дан. - Redmond, 2005. - Режим доступа: http: / / www.microsoft.com/rus / msdn / msf/.

104. Фаулер М. UML в кратком изложении. Применение стандартного языка объектного моделирования / Фаулер М., Скотт К. М.: Мир, 1999. - 191 с.

105. Феррари Д. Оценка производительности вычислительных систем / Ферра-ри Д. М.: Мир, 1981. - 576 с.

106. Французов Д. Оценка производительности вычислительных систем / Французов Д. // Открытые системы. 1996. - N. 02. - с. 17-19.

107. Якобсон А. Унифицированный процесс разработки программного обеспечения / Якобсон А., Буч Г., Рамбо Дж. СПб: Питер, 2002. - 496 с.