Разработка методов и алгоритмов многокритериальной оптимизации решения задач реинжиниринга программного обеспечения тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Алексеев, Александр Сергеевич

• Алексеев, Александр Сергеевич
• кандидат технических наук
• 1999

Оглавление диссертации кандидат технических наук Алексеев, Александр Сергеевич

Введение.

1 .АНАЛИЗ ПРОЦЕССОВ ПРОЕКТИРОВАНИЯ И МОДЕРНИЗАЦИИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ.

1Л .Анализ жизненного цикла программного обеспечения.

1,2.Анализ основных подходов к реинжинирингу программного обеспечения.

1.З.Основные направления совершенствования методов реинжиниринга.

Выводы по главе 1.

2. РАЗРАБОТКА МОДЕЛИ РЕИНЖИНИРИНГА

ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ.

2.1 .Разработка нового подхода к реинжинирингу программного обеспечения.

2.2.Разработка модели синтеза системы реинжиниринга.

2.3.Разработка модели интеграции спецификации исходной программы с заданием на ее изменение.

2.4.Разработка методики оценки вариантов реинжиниринга.

Выводы по главе 2.

3. РАЗРАБОТКА МЕТОДА ОПТИМИЗАЦИИ РЕШЕНИЯ ЗАДАЧ

РЕИНЖИНИРИНГА ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ.

3.1 Обзор методов многокритериальной оптимизации.

3.2.Выбор класса методов и архитектуры систем принятая решений.

3.2. Модель сравнения вариантов реинжиниринга.

Выводы по главе 3.

РЕАЛИЗАЦИЯ СИСТЕМЫ РЕИНЖИНИРИНГА

ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ.

4.1 .Разработка структуры реинжиниринга ПО.

4.2. Алгоритм многокритериальной оптимизации реинжиниринга.

4.3. Анализ результатов решения задачи реинжиниринга ПО.

Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Разработка методов и алгоритмов многокритериальной оптимизации решения задач реинжиниринга программного обеспечения»

В результате информационного взрыва конца XX века в мире сложилась ситуация, при которой поток возникающих данных стал заметно превышать человеческие возможности по его переработке и рациональному использованию.

Попытки решить эту проблему экстенсивным путем, за счет увеличения расходов субъектов рыночной экономики на управление, за счет разрастания аппарата управления, не привели к повышению эффективности принимаемых решений.

Логика развития информационных процессов привела к тому, что в качестве основного направления выхода из создавшегося положения была выбрана стратегия автоматизации на основе применения средств вычислительной техники (ВТ).

Для сегодняшнего этапа автоматизации всех сфер созидательной деятельности характерна ситуация, при которой разрабатывают средства автоматизации одни специалисты, выбирают — другие, а эксплуатируют — третьи.

В данных условиях состав и структура средств автоматизации имеют значение только для разработчиков. Для конечного пользователя намного важнее особые механизмы и процедуры, которые обеспечивают отчуждаемость рассматриваемых средств от их производителей. Непременным условием этого отчуждения является возможность работы по принципу "черного ящика" и гарантированное качество решения задач, не уступающее заказным разработкам. Механизмы и процедуры, отвечающие перечисленным требованиям, в современной специальной литературе называются "компьютерными технологиями" (КТ).

Достижения в области развития ВТ и КТ позволило на несколько порядков увеличить объемы перерабатываемой информации и за счет этого повысить качество и оперативность принимаемых решений. При этом человек был избавлен от необходимости выполнения большей части рутинных процедур и получил возможность применения для решения своих задач таких мегодов, которые ранее находились за пределами его интеллектуальных, вычислительных и временных возможностей.

Платой за эти возможности служит все возрастающая зависимость экономики от правильности функционирования программно-технических средств.

При этом технические средства в массе своей имеют универсальные назначение, а программное обеспечение (ПО), как правило, имеет специализированный характер. Широкая область применения и универсальные закономерности функционирования позволили достичь в области аппаратного обеспечения (АО) высокой степени стандартизации и унификации. Все это вместе взятое позволяет в любой момент времени проводить модернизацию, которая называется UPGRADE.

Существенно большая многопрофильность областей применения прикладного ПО, специфичность решаемых задач и частая сменяемость инструментальных средств не позволили добиться в области разработки и эксплуатации программ сколь-нибудь существенной стандартизации. На сегодняшний день накопленные объемы прикладого ПО характеризуются следующими свойствами: огромные объемы; слабая управляемость; стихийность развития; фрагментарность; быстрое устаревание.

Попытки повысить эффективность ПО реализуются через схемы его перепроектирования. Но на этом пути лежат объективные трудности: огромные объемы подлежащего перепроектированию ПО, определяют неприемлемую трудоемкость предстоящих работ; не унифицированность проектных решений делает процесс перепроектирования ПО нетривиальной процедурой; низкое качество кода осложняет его модификацию (а в ряде случаев приводит к потере его работоспособности) ; необходимость проводить перепроектирование в сжатые сроки, так как процесс эксплуатации ПО в общем случае не может быть остановлен.

Указанные проблемы перепроектирования ПО могут быть частично решены с помощью методов формализации этого процесса, которые получили называние реинжиниринга ПО.

Однако анализ практики реинжиниринга программного обеспечения показывает, что большинство практических результатов этого направления не идут дальше автоматизации тривиальных процедур. Более мощные методы реинжиниринга слабо исследованы и имеют органиченную программную реализацию.

Комплексному исследованию и развитию методов реинжиниринга, обеспечивающих расширение функциональных возможностей программного обеспечения на базе использования методов теории принятия решений, посвящено настоящее исследование. Предлагается подход к плавной модернизации прикладных систем, который подобен процессу UPGRADE аппаратных средств.

Актуальность темы. Процесс модернизации программного обеспечения является основным "узким местом" при сопровождении прикладных систем.

Особую остроту решение проблемы модернизации программного обеспечения приобретает именно сейчас в силу огромных объемов накопленного ПО и частой смены информационных технологий. Периодически возникают дополнительные причины реинжиниринга, диктуемые внешней средой, такие как деноминация российского рубля в 1998 г., наступление 2000 г. и т.д.

Все это вместе взятое порождает десятки разновидностей запросов на модернизацию, которые необходимо поддерживать на десятках различных программных и аппаратных платформ.

Цель работы — разработка универсальных автоматизированных средств модернизации программного обеспечения, позволяющих согласованно решать задачи проектирования, реализации и модернизации программного обеспечения, гибко учитывающих требования пользователей.

Для достижения поставленной цели решаются следующие задачи: —исследование функциональных возможностей и внутренней архитектуры инструментальных средств реинжиниринга; —исследование существующих подходов к реинжинирингу програмного обеспечения с целью выявлениях их недостатков; —разработка нового подхода, обеспечивающего комплексный автоматизированный реинжиниринг программного обеспечения; — разработка моделей и эффективных алгоритмов многокритериальной оптимизации решения задач реинжиниринга программного обеспечения; разработка программного инструментария, реализующего предложенный подход и модели; моделирование решения реальных задач реинжиниринга.

Идея работы — использовать средства реинжиниринга программного обеспечения в качестве метода проектирования, реализации и модернизации прикладных систем, применяя их совместно со средствами поддержки жизненного цикла прикладных систем, под управлением единой модели многокритериальной оптимизации.

Научные положения, выносимые на защиту:

1.Новый подход к реинжинирингу программного обеспечения, в отличие от существующих аналогов обеспечивает инвариантность от применяемых инструментальных средств, этапов жизненного цикла программного обеспечения и модернизируемых элементов прикладных систем.

2.Модель реинжиниринга программного обеспечения, которая отлича^--~^ется от существующих тем, что позволяет формировать альтернативные варианты модификации исходной системы и проводить их многокритериальную оптимизацию.

3.Модель интеграции спецификации исходной программы с заданием на ее изменение, в отличие от существующих аналогов дает возможность расширять функциональные возможности программного обеспечения и обеспечивает работоспособность, целостность и непротиворечивость результирующей системы.

4.Методика оценки вариантов реинжиниринга, которая отличается от существующих аналогов тем, что позволяет получать оценки качества будущих программ на стадии их проектирования или молепнизаиии.

5. Модель многокритериального сравнения вариантов реинжиниринга программного обеспечения позволяет отказаться от построения матриц компонент сравниваемых вариантов и их динамического переупорядочивания в процессе сравнения, благодаря чему удается упростить алгоритм сравнения. б.Разработанный алгоритм многокритериального сравнения вариантов реинжиниринга программного обеспечения для общего случая позволяет сократить не менее чем в два раза время реализации по сравнению с лучшими аналогами, и это соотношение имеет тенденцию к улучшению с ростом размерности моделей.

Обоснованность и достоверность научных положений, выводов и рекомендаций подтверждается корректным использованием методов многокритериальной оптимизации и результатами промышленной апробации предлагаемых моделей и обеспечивающих их инструментальных средств.

Научная новизна работы состоит в обосновании и разработке нового подхода к реинжинирингу программного обеспечения, основанного на использовании средств многокритериальной оптимизации.

Теоретическая ценность диссертации состоит в разработке модели реинжиниринга программного обеспечения и совершенствовании дискретных моделей многокритериальной оптимизации.

Практическая ценность работы состоит в разработке инструментальных средств решения задачи реинжиниринга.

Разработанная система реинжиниринга программного обеспечения использована ООО "Компьютерные технологии — экономика" в качестве средства разработки и реализации проектов автоматизации.

Апробация. Основные результаты диссертации и ее отдельные положения докладывались на Всесоюзной научной конференции "Компьютеризация информационных процессов в управлении народным хозяйством" (Москва, 1988); Всероссийской конференции "Спорт. Политика.Компьютер" (Москва, 1992); Научно-практической конференции "Теория, методология и практика научного и технического творчества"(Одесса. 1993)¡Международной научно-практической конференции " Анализ систем на рубеже тысячелетий: теория и практика" (ИПУ РАН, 1998); в рамках "Недели горняка" (МГГУ, 1999).

Публикации. По теме исследования опубликовано 6 научных работ.

Структура н объем работа. Работа состоит из введения, четырех глав, заключения, приложений, содержит 5 рисунков, 2 таблицы, список использованный литературы из 107 наименований.

Автор выражает глубокую благодарность Т.Г.Заболотской за участие во всех стадиях создания этой работы.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Алексеев, Александр Сергеевич

Выводы по главе 4

Реализация системы реинжиниринга программного обеспечения позволила достичь следующих результатов.

1 .Разработана архитектура системы поддержки реинжиниринга программного обеспечения, позволяющая проводить комплексный автоматизированный реинжиниринг программного обеспечения.

2.Реализована система поддержки комплексного реинжиниринга программного обеспечения на базе методов многокритериальной оптимизации.

3.Решена задача реинжиниринга форматизатора текстов, позволившая на 75 % расширить функциональные возможности программного продукта.

Реализованный подход обеспечивают альтернативность выбора проектных решений в многокритериальном пространстве произвольной размерности.

Заключение

В диссертационной работе решена актуальная научная задача по разработке методов проектирования, реализации и модернизации прикладного программного обеспечения на базе средств реинжиниринга.

В работе предложен комплекс математических, алгоритмических и программных решений, позволяющий при решении задач реинжиниринга программного обеспечения осуществлять перепроектирование ПО в реальном масштабе времени, на основе унифицированных проектных решений, с параллельным улучшением качества программного кода. Предлагаемые средства позволяют преодолеть многолетнюю тенденцию стихийности в разработке программного обеспечения.

Основные научные выводы и практические результаты выполнененных исследований заключаются в следующем. 1 .Создан новый подход к реинжинирингу программного обеспечения, обеспечивающий универсальный комплексный автоматизированный реинжиниринг.

2.Разработана модель реинжиниринга программного обеспечения, обеспечивающая многокритериальную оптимизацию решения задачи реинжиниринга.

3.Разработана модель сравнения вариантов реинжиниринга программного обеспечения по отношению предпочтения для общего случая.

4. Разработаны эффективные алгоритмы дискретной оптимизации выбора вариантов реинжиниринга.

5.Разработана архитектура системы реинжиниринга программного обеспечения, отвечающая требованиям типизации, универсальности, гибкости и открытости.

На основе выполненных исследований решена задача реинжиниринга форматизатора текстов, позволившая на 75 % расширить функциональные возможности программного продукта.

Список литературы диссертационного исследования кандидат технических наук Алексеев, Александр Сергеевич, 1999 год

1. Липаев В.В.,Филинов E.H. Мобильность программ и данных воткрытых информационных системах. М.: РФФИ, 1997

2. Шнейдерман Б. Психология программирования. Человеческие факторы в вычислительных и информационных системах. М.: Радио и связь, 1984

3. Моргунов Е.Б. Человеческий фактор в компьютерных системах. М,:Тривола,1994

4. Ousterhout John K.B XXI век — с языками описания сценариев. CW, 16 июля 1998 N25

5. Фуксман А.Л.Технологические аспекты создания программных систем. М.:Статистика,1979

6. Фокс Дж. Программное обеспечение и его разработка. М.: Мир, 1985

7. Горбунов-Посадов М.М. Конфигурации программ. Рецепты безболезненных изменений М.: Малип,1993

8. Бутаков Е.А. Методы создания качественного программного обеспечения ЭВМ. М.:Энергоатомиздат, 1984

9. Волховер В.Г.,Иванов Л.А. Производственные методы разработки программ. М.: Финансы и статистика, 1983

10. Ю.Турский В. Методология программирования. /Пер. с англ. под ред. А.П.Ершова. М.:Мир,1981

11. Бахманн П.,Френцель М.,Ханцшман К. и др. Программныесистемы. Применение. Разработка. Обоснование. /Пер. с нем. под ред.И.В.Поттосина. М.: Мир, 1988

12. Zimmermann G. Qualitatsmerkmale der Standardsoftware und Möglichkeiten ihrer Beurteilung 4,5,6 Online-odl-nachrichten 1978

13. Давиденко К.Я. Технология программирования АСУ ТГ1. М.: Энергоатомиздат, 1986

14. Heinemann J.,Twiehaus J. Software Engineering Sicherung und Kontrolle der Software - Qualität. Data Report 1977 N 3

15. ЛиПаев B.B. Качество программного обеспечения. M.: Финансы и статистика 198316.3ыбарев В.М.Качество программного обеспечения.М.: МАИ, 1985

16. Геберт К.,Ритцшель 3.,Томас Ю. Оценка качества программного обеспечения. ВТ соц. стран, Вып.20 1986

17. Громов Г.Р. Очерки информационной технологии. Изд.2, перераб. и доп. М.: Инфоарт, 1993

18. Марков А.С.,Милов М.П.,Пеледов Г.В. Программное обеспечение ЭВМ. Под ред. проф. Ю.М.Смирнова. М.: Высшая школа, 1990

19. Вельбицкий И.В.,Ходаковский В.Н.,Шолмов Л.И. Технологический комплекс производства программ на машинах ЕС ЭВМ, БЭСМ-6. М. '.Статистика, 1980

20. Майерс Г. Надежность программного обеспечения. Пер. с англ. под ред. В.Ш.Кауфмана. М.: Мир 1980

21. Тейер Т., Липов М., Нельсон Э. Надежность программного обеспечения. М.: Мир, 1981

22. Жабеев В.П. Надежность фондируемых программных средств АСУТП. УСиМ, январь-февраль 1988 N 1(93)

23. Шураков В.В. Надежность программного обеспечения систем обработки данных. М.: Статистика, 1987

24. Коганов А.В.,Романкж С.Г. Экономический подход к понятию надежности программы. Открытые системы 1995 N 3(11)

25. Липаев B.B. Надежность программного обеспечения АСУ. М.: Энергоатомиздат, 1981

26. Вендров A.M. Один из подходов к выбору средств проектирования баз даннных и приложений. СУБД 1995N3

27. Чижов С.А.,Шаруненко Н.М. Вопросы надежности программ в аспекте программного сервиса ЭВМ. ВТ соц. стран. Вып. 20, 1986

28. Белкин А.Р.,Левин М.Ш. Принятие решений: комбинаторные модели апроксимации информации. М.:Наука, 1990

29. Ойхман Е.Г., Попов Э.В. Реинжиниринг бизнеса: реинжиниринг организаций и информационные технологии. М.:Финансы и статистика, 1997

30. Коган Б.И. Экспериментальные исследования программ. М.: Наука, 1988

31. Нуралиев Сергей. Две грани автоматизации торговли. Мир IIK, 1998 N8

32. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998

33. Саркисян A.A. Машиннонезависимая оптимизация исходных программ. М.: Радио и связь, 1985

34. Кожевникова Г.П. Структуры данных и проектирование эффективной вычислительной среды Львов: Вища школа, 1986

35. Иванников В.П. В программировании идет очень интересный процесс. PC week/RE, 11 августа 1998 N 30-31

36. Георгиев В.О. Обзор методов и средств построения формальных моделей диалоговых систем. УСиМ, 1991N 5

37. Успенский В.А.,Семенов A.JI. Теория алгоритмов: основные открытия и приложения. М.: Наука, 1987

38. Бегелин Б.В. Системы автоматизации труда программиста.М.: Наука, 1990

39. Цаленко М.Ш. Моделирование семантики в базах данных ML: Наука, 1989

40. Lee John A.N. The Anatomy of a complier. N.Y., Van Nostrand Reinhold Company, 1974

41. Логистика. Под ред.проф.Б.А.Аникина. M.: Инфра-М, 1997

42. McCabe Т. A complexity measure. vol.SE-2 IEEE Trans.Software Eng.,dec. 1976

43. Halstead M.H. Elements of software science. N.Y.-Oxf-Ams: ELSEVIER, 1977

44. Романюк С. Оценка надежности программного обеспечения. Открытые Системы, осень 1994 N 4(8)

45. Боэм Б., Браун Дж., Каспар X. и др. Характеристики качества программного обеспечения. М.: Мир, 1981

46. Калниньш A.A., Борзов Ю.В. Инвентаризация идей тестирования программ. Рига, 1981

47. Кречетов Н. Технологии оценки качества программных продуктов. CW, 4-10 июля 1996 N 25(231)

48. Тассел Ван Д. Стиль, разработка, эффективность »отладка и испытание программ. М.: Мир, 1985

49. Саркисян A.A. Оптимизация программ на уровне исходного языка. Промышленность Армении 1979 N 4

50. Касьянов В.Н. Введение в теорию оптимизации программ. Оптимизирующие преобразования программ и их обоснование. Новосибирск, 1985

51. Касьянов В.Н.Методы анализа программ.Новосибирск: НГУД982

52. Бертзисс А. Структуры данных. М.: Статистика, 1974

53. Балыбердин В.А. Оценка и оптимизация характеристик систем обработки данных. М.: Радио и связь, 1987

54. Гисин В.Г.Даленко М.Ш. Алгебраическая теория систем и ее приложения. — в сб.Системные исслдования. М.: Наука, 1984

55. Каляев A.B.и др. Автоматизация проектирования вычислительных структур. Ростов н/Д, 1983

56. Кожевникова Г.П.Достав О.В.,Олейник В.М. К обоснованию автоматического выбора эффективных структур хранения данных. Часть I. Оптимизация и преобразование программ 1983

57. Замулин A.B. Отношения между типами данных. Программирование. 1987 N4

58. Инмон У.,Фридман Л. Методология экспертной оценки проектных решений для систем с базами данных. Пер. с англ. М.: Финансы и статистика, 1986

59. Калянов Г.Н. Анализ потоков данных для программ параллельных вычислительных систем с общим управлением. Программирование, 1987 N 4

60. Галкин И.М. Использование семантических сетей для моделирования и анализа программ. УСиМ, 1991 N 5

61. Макаров И.М.,Виноградская Т.М.,Рыбчинский A.A. и др. Теория выбора и принятия решений. М.: Наука, 1987

62. Герасимов Б.М.,Тарасов В.А.,Токарев И.В. Человеко-машинные системы принятия решений с элементами искусственного интеллекта. Киев: Наукова думка, 1993

63. Гридин А.Н.,Горбачев Ю.В. Многокритериальный выбор на конечном множестве альтернатив. М., 1995

64. Подиновский В.В. О построении множества эффективных стратегий в многокритериальных задачах с упорядоченными по важности критериями. ЖВМ и МФ 1978 N 4

65. Ларичев О.И., Поляков O.A. Человеко-машинные процедуры решения многокритериальных задач математического программирования. Экономика и математические методы,т.ХУ1, 1980 N 1

66. Поспелов Г.С.,Ириков В.А. Программнно-целевое планирование и управление. М.: Сов.радио, 1976

67. Ириков В.А. Прикладные проблемы разработки математических моделей и методов для человеко-машинных систем формирования решений. — в сб.Проблемы и мет.прин.реш. М.: ВНИИСИ, 1982

68. Ларичев О.И., Никифоров А.Д. Аналитический обзор процедур решения многокритериальных задач математического программирования. Экономика и математические методы,т.ХХП 1986 N 3

69. Льюис Р.,Райфа X. Игры и решения. М.: ИЛ, 1961

70. Multiple Criteria Decision Making. Kyoto. 1975 Berlin, 1976

71. Глушков В.М.,Олеарш Г.Б. Вопросы построения диалоговой системы планированияи производства ДИСПЛАН. Киев: ИК АН УССР, Препринт 77-36, 1977

72. Поляков O.A. Утилитарный подход к оптимизации планирования гтотвояства на ппегггтоиятии. Ппибопы и системы угтпакления. 1978 N7

73. Judgement under Uncertainty: Heuristics and Biases. Cambr.Mass. 1982

74. Slovic P.,Lichtenstein S. Compasion of Bayesian and Regression Approaches to Study of Information Processind in Judgement Organisation Bahav. and Human Perform. 1971 N 3

75. Slovic P.,Fischhoff B.,Lichtenstein S. Behavioural Decision Theory. Ann. Psych. Rev. 1977 N28

76. Stewart T.R.,Ely D.W. Range Sensitivity: a Necessary Condition and a Test for the Validity of Weights. Cliveland,1984

77. Ларичев О.И.,Мошкович E.M. О возможности получения непротиворечивых оценок многокритериальных альтернатив. — сб. тр. ВНИИСИ Вып.9 М.: ВНИИСИ, 1980

78. Процедуры оценивания многокритериальных альтернатив. Сб.статей. М.: ВНИИСИ, 1979

79. Евсюков К.Н.,Симаков О.В. Общая методика оценки и выбора систем управления базами данных. Прикладная информатика. 1986 Вып. 2(11)

80. Диакону М.М.,Мадан В.И. Многокритериальный анализ качества программ. Математические исследования. Вып.93, Кишинев: Штиинца, 1986

81. Айзерман М.А., Малишевский А.В. Некоторые аспекты общей теории выбора лучших вариантов М.: ИПУ АН СССР, препринт, 1980

82. Вопросы анализа и процедуры принятия решений. Сб.переводов М.: Мир, 1976

83. Нефедов В.Н. Методы регуляризации многокритериальных задач оптимизации М.: МАИ, 1984

84. Полищук Л.И.,Миркин Б.Г. Многокритериальные задачи экономико-математического моделирования и методы их решения.— в сб. Модели анализа данных и принятия решений. Новосибирск: ИЭ ОПП СО АН СССР, 1980

85. Multiple Criteria Decision Making. Colambia,SC,1973

86. Multiple Criteria Decision Making. Juey-en-Josas Berlin, 1976

87. Подиновский B.B. Многокритериальные задачи с упорядоченными по важности критериями. Автоматика и телемеханика 1976 N 11

88. Ващенко В.А., Шигимага А.Ф., Ланин Ю.А. Опыт применения экономико-математического моделирования для оптизации выбора мероприятий по новой технике на предприятиях химической промышленности. Экономика и математические методы 1986N3

89. Подиновский В.В. Коэффициенты важности критериев в задачах принятия решений. Порядковые или ординарные коэффициенты важности. //Автоматика и телемеханика, 1978 № 10

90. Подиновский В.В. Аксиоматическое решение проблемы оценки важности критериев в многокритериальных задачах. — в кн. Современное состояние теории исследования операций. М.-.Наука, 1976

91. Абрамов В.Г., Трифонов Н.Г., Трифонова Г.Н. Введение в язык паскаль. М.: Наука, 1988

92. Гуков Л.И.,Ломако Е.И,,Морозова A.B. и др. Макетирование, проектирование и реализация диалоговых информационных систем. М.: Финансы и статистика, 1993

93. Кречетов Н. Технологии оценки качества программных продуктов. CW, 4-10 июля 1996 N 25(231)

94. Кречетов Н. Автоматизированное тестирование приложений клиент/сервер. CW, 19-25 сентября 1996 N 33(239)

95. Вендров А.М.Один из подходов к выбору средств проектирования баз даннных и приложений. СУБД, 1995 N 3

96. ЮО.Лавршцева Е.М. Модель процесса разработки программных средств. УСиМ, сентябрь-октябрь 1988 N 5(97)

97. ЮЗ.Иванченко М.Б. Некоторые вопросы автоматизации современного банка. Взгляд со стороны. Бухгалтерия и банки. 1996 N2

98. Ю4.Акопянц Андрей. Изобретать ли велосипед, или Почему не стоит разрабатывать собственное программное обеспечение. PC week/RE, 13 февраля 1996N 6