Инструментальные средства оценки потребительского качества экономических информационных систем: разработка и исследование тема диссертации и автореферата по ВАК РФ 08.00.13, кандидат экономических наук Победённый, Алексей Владимирович

• Победённый, Алексей Владимирович
• кандидат экономических наук
• 2009

Оглавление диссертации кандидат экономических наук Победённый, Алексей Владимирович

Введение

1 Сравнительный анализ методик оценки качества экономических 11 информационных систем

1.1 Характеристики потребительского качества экономических 11 информационных систем

1.2 Подходы к оценке отдельных показателей потребительского 30 качества экономических информационных систем

1.3 Сравнительный анализ существующих методик оценки 35 потребительского качества экономических информационных систем

2 Автоматизация процессов оценки потребительского качества 46 экономических информационных систем

2.1 Оценка потребительского качества ЭИС с использованием 46 статистических методов планирования экстремальных экспериментов

2.2 Особенности процедуры оценки характеристик потребительского 59 качества ЭИС

3 Разработка и анализ инструментальных средств оценки 64 характеристик потребительского качества экономических информационных систем

3.1 Постановка задачи проектирования инструментальных средств 64 оценки характеристик потребительского качества ЭИС

3.2 Особенности проектирования системы оценки качества ЭИС, 66 ориентированных на использование СУБД

3.3 Проектирование инструментальных средств оценки 74 потребительского качества ЭИС

3.4 Программная реализация модуля оценки потребительского качества 76 ЭИС «Ep.DB»

3.5 Описание модуля оценки потребительского качества ЭИС «Ep.DB»

3.6 Программная реализация модуля оценки потребительского качества 88 ЭИС «Ер.РР»

3.7 Сравнение разработанных инструментальных средств оценки 92 потребительского качества ЭИС

4 Экстремальные эксперименты и построение регрессионных моделей 98 для оценки потребительского качества рыночных ЭИС

4.1 Описание выбранных для проведения экстремальных 98 экспериментов систем

4.2 Проведение экстремальных экспериментов с экономической 102 информационной системой «Compier ERP/CRM»

4.3 Проведение экстремальных экспериментов с экономической 106 информационной системой «Ананас»

4.4 Проведение экстремальных экспериментов с экономической 109 информационной системой «Plazma CRM»

4.5 Проведение экстремальных экспериментов с экономической 111 информационной системой «1С Торговля и склад»

Введение диссертации (часть автореферата) на тему «Инструментальные средства оценки потребительского качества экономических информационных систем: разработка и исследование»

За последние десятилетия информационные технологии сделали большой рывок вперед. Применение компьютеров привело к существенному росту рынка экономических информационных систем (ЭИС), к быстрой смене его наполнения, появлению и внедрению новых технологий сбора и обработки информации. Важным моментом является тот факт, что аналогичные по своему назначению и функциям ЭИС имеют разную стоимость и могут обладать разными возможностями. В сложившейся ситуации важно адекватно оценивать потребительское качество ЭИС - степень ее соответствия требованиям пользователя. [53].

Ряд научных публикаций посвящен рассмотрению и сравнению различных методик оценки качества ЭИС [6, 20, 21, 35]. Эти методики позволяют проанализировать выполнимость требований заказчика, оценить потенциальные угрозы безопасности информации, оценить качество работы ЭИС в процессе испытаний и эксплуатации, выявить условия эффективной эксплуатации, соотнести потребности конечного пользователя с представленными на рынке системами и т.д. Большинство методик требуют значительного количества вычислений, что делает необходимой автоматизацию процесса оценки потребительского качества ЭИС.

Отличительной особенностью оценки качества ЭИС является отсутствие четкого набора показателей качества, состав которого определяется функциональным назначением системы и зависит от целей конечного пользователя. При этом процесс измерения большинства показателей качества неформализован, а количество факторов; участвующих в оценке настолько велико, что в большинстве случаев необходима целая команда специалистов. Все это значительно повышает расходы на оценку качества ЭИС, и приводит к тому, что большинство систем выбираются исходя из личного опыта или рекомендации коллег. Ые стоит забывать, что затраты на модернизацию уже действующей ЭИС (изменение структуры хранения данных, базовой платформы реализации функционала и т.д.) зачастую многократно превышают ее первоначальную стоимость. А это значит, что выбор программного продукта без определения степени его соответствия предъявленным пользователем требованиям, может привести к непредвиденным затратам и значительно снизить экономический эффект от внедрения информационной системы.

В данном исследовании предпринята попытка ответить на поставленные выше вопросы и разрешить часть описанных проблем, связанных с процедурой оценки качества информационных систем.

Степень изученности исследуемой проблемы. В настоящее время разработаны стандарты в области оценки качества программных продуктов (□□□□ Q28195-89, ISO/IEC 9126:1991), формализующие процесс обеспечения качества на всем протяжении жизненного цикла программного продукта, и описывающие основные показатели качества. Проблема оценки качества рассматривается в работах Агафонова В.Н., Безкоровайного М.М., Гличева А.В., Кривошеевой М.А., Коган Б.И:, Костогрызова А.И., Липаева В.В., Львова В.М., Майерса Г., Тамре Л., Хубаева Г.Н., Hashagen Ulf, Kit Е., Erdogmus Н.

Тем не менее, многие проблемы оценки потребительского качества ЭИС изучены недостаточно, и в современных условиях требуют дальнейшего исследования, что и обусловило выбор темы диссертационного исследования, предопределило его цель, задачи и структуру.

Целью диссертационного исследования является разработка и исследование инструментальных средств (ИС) для автоматизированной оценки характеристик потребительского качества экономических информационных систем; исследование функциональных возможностей разработанного инструментария анализе рыночных ЭИС.

Для достижения цели в диссертационном исследовании поставлены следующие задачи:

- разработать инструментальные средства для оценки характеристик потребительского качества ЭИС,

- разработать алгоритм измерения времени исполнения функциональных операций ЭИС,

- разработать алгоритмы заполнения СУБД случайными данными который обеспечивал бы высокую скорость заполнения при относительно низком уровне ошибок, и не требовал от пользователя знания технических деталей исследуемого продукта,

- провести активные эксперименты с несколькими рыночными ЭИС, по полученным данным построить регрессионные модели, описывающие влияние внешних факторов на скорость выполнения функциональных операций и выполнить сравнение исследуемых ЭИС между собой.

Объектом исследования являются экономические информационные системы, используемые предприятиями всех форм собственности. Предметом исследования являются социально-экономические отношения, связанные с использованием экономических информационных систем на предприятиях всех форм собственности.

Инструментарий исследования составили методы научного познания, методы математической статистики, системного анализа, теория баз данных, методы планирования экстремальных экспериментов, методики оценки потребительского качества ЭИС по различным критериям, методы формализованного анализа информационных характеристик ЭИС, современное программное обеспечение общего и специального назначения: Microsoft Windows 2000 Professional, Linux, Oracle 9i, MySQL 4.1, Java 5 Software Development Kit, DBMonster 2.3.

Теоретическую базу исследования составили труды ведущих российских и зарубежных ученых по проблемам оценки и обеспечения качества экономических информационных систем.

Информационно-эмпирическую базу исследования составили данные, характеризующие процессы функционирования и потребительское качество ЭИС, полученные в результате планирования и реализации активных экспериментов.

Работа выполнена в соответствии с пунктом «2.6. Развитие теоретических основ методологии и инструментария проектирования, разработки и сопровождения информационных систем субъектов экономической деятельности: методы формализованного представления предметной области, программные средства, базы данных, корпоративные хранилища данных, базы знаний, коммуникационные технологии» паспорта специальности 08.00.13 - «Математические и инструментальные методы экономики».

Положения, выносимые на защиту:

1. Разработанные инструментальные средства оценки потребительского качества экономических информационных систем, которые обеспечивают возможность проведения активных экспериментов с различными рыночными ЭИС, строить регрессионные модели по данным экстремальных экспериментов, и позволяющие определять характеристики потребительского качества и сравнивать по этим критериям ЭИС между собой.

2. Алгоритм оценки времени выполнения функциональных операций, позволяющий выполнять автоматический запуск и хронометраж исследуемых операций без применения специальных программно-аппаратных средств или модификации программного кода.

3. Алгоритмы наполнения СУБД данными, в том числе, алгоритм, ориентированный на использование непрерывных областей определения значений данных, анализатор типов данных и настраиваемый параметрический генератор случайных величин с возможностью определения допустимых диапазонов числовых данных.

4. Функции контроля вносимых в ЭИС данных, использующие анализатор шаблонов реакции ЭИС на ввод данных для оценки задержек отклика ЭИС.

5. Построенные по данным активных экспериментов с четырьмя рыночными ЭИС статистически значимые регрессионные модели, позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выполнения функциональных операций исследуемыми ЭИС.

Научная новизна результатов исследования. Элементы новизны содержат следующие результаты:

1. Разработаны инструментальные средства оценки потребительского качества экономических информационных систем, отличающиеся наличием программных модулей, обеспечивающих возможность проводить активные эксперименты с анализируемыми ЭИС, в том числе с системами, использующими СУБД в качестве источника данных, строить регрессионные модели по данным экстремальных экспериментов, и позволяющие измерять время выполнения базовых операций, пропускную способность (число операций за единицу времени, число операций за единицу времени в расчете на пользователя), процент ошибок и время доступности системы, «отзывчивость» пользовательского интерфейса; проводить хронометраж выполнения базовых операций в автоматизированном режиме; представлять результаты эксперимента по двум и более системам в удобном графическом виде и сравнивать ЭИС по характеристикам потребительского качества.

2. Разработан алгоритм измерения времени выполнения функциональных операций, отличающийся наличием функций автоматического запуска исследуемой операции и контроля процесса её выполнения, позволяющий повысить точность оценки, проводить хронометраж без применения специальных программно-аппаратных средств или модификации программного кода.

3. Разработаны оригинальные алгоритмы наполнения СУБД данными, отличающиеся использованием непрерывных областей определения значений данных, наличием анализатора типов данных и настраиваемых генераторов случайных величин, возможностью определения допустимых диапазонов числовых данных, и позволяющие снизить уровень ошибок во время заполнения СУБД, полностью автоматизировать внесение данных различной сложности в ЭИС.

4. Предложены и реализованы функции контроля вносимых данных, отличающиеся наличием процедуры анализа шаблонов реакции ЭИС на ввод данных, адаптивными задержками между операциями и позволяющие оценить правильность заполнения полей при вводе данных, учесть и измерить задержки отклика ЭИС.

5. Построены (по данным активных экспериментов с четырьмя рыночными ЭИС: 1С «Бухгалтерия», «Ананас», «Compier ERP/CRM», «Plazma») статистически значимые регрессионные модели, отличающиеся структурой (оцениваются линейные эффекты) и составом факторов (включены факторы: «Движение товара по складу», «Отгрузка со склада», «Поступление на склад» «Ввод остатков по складу», «Поступление материальных ресурсов», «Списание материальных ресурсов» и др.) и позволяющие делать обоснованные выводы о влиянии анализируемых факторов на время выполнения функциональных операций исследуемыми ЭИС, оценивать основные параметры потребительского качества ЭИС на различных наборах значений факторов (без повторного проведения активного эксперимента), существенно снизить затраты на оценку характеристик потребительского качества ЭИС в целом.

Практическая ценность результатов исследования. Разработанные инструментальные средства оценки позволяет в автоматизированном режиме проводить оценку потребительского качества

ЭИС; минимизировать время, затрачиваемое на проведение активного эксперимента; получать прогноз времени выполнения функциональных операций, реализованных оцениваемой ЭИС в зависимости от объема обрабатываемой системой информации.

Апробация результатов исследования. Результаты диссертационного исследования внедрены и используются в учебных целях при чтении курсов «Проектирование информационных систем» и «Теория экономических информационных систем» в РГЭУ «РИНХ».

По теме диссертации опубликовано 4 печатных работы общим объемом 1,5 п. л. и получено 4 Свидетельства РОСПАТЕНТ о государственной регистрации программ для ЭВМ.

Структура и объем диссертации. Диссертация состоит из введения, четырех глав, заключения, списка использованной литературы и 4 приложений. Основной текст занимает 142 страницы, включает в себя 9 таблиц и 20 рисунков. Список использованной литературы состоит из 87 источников.

Заключение диссертации по теме «Математические и инструментальные методы экономики», Победённый, Алексей Владимирович

Основные выводы и практические результаты диссертационного исследования:

- созданы два инструментальных средства оценки характеристик потребительского качества ЭИС позволяющие: минимизировать время проведения активного эксперимента с программным продуктом; выполнять автоматический хронометраж выполнения функциональных операций; строить регрессионные модели, описывающие поведение системы;

- созданные инструментальные средства оценки характеристик потребительского качества позволяют получить оценку общего времени решения задачи автоматизации, реализованной в оцениваемой ЭИС, при условии проведения экспериментов для всех функциональных операций реализуемых системой;

- минимизировано время проведения активного эксперимента с

ЭИС.

В ходе проведенных активных экспериментов с ЭИС получены статистические характеристики их функционирования и построены регрессионные модели зависимости времени отклика от различных факторов.

Перечисленные новые результаты исследований обеспечили возможность:

- на стадии разработки ЭИС выявлять узкие места архитектуры проектируемой системы;

- получать оценку характеристик потребительского качества системы на любой стадии ее жизненного цикла;

- расширить для пользователя возможности выбора на рынке ЭИС, предоставив возможность получения прогноза времени выполнения всех реализованных любой программной системой функциональных операций;

- проводить активные эксперименты с ЭТС, анализируя при этом большое число факторов. принимать обоснованные решения о выборе ЭИС.

Заключение

В диссертационной работе рассмотрены показатели качества, регламентируемые стандартами и используемые на практике для оценки ЭИС по различным критериям. Проведена сравнительная характеристика отечественного и международного стандартов, регламентирующих показатели качества, приведены примеры детализации требований к ЭИС. Определен список показателей составляющих потребительское качество. Рассмотрены инструменты измерения выбранных показателей, используемые при тестировании программного обеспечения, описаны их достоинства и недостатки.

Проведен подробный анализ существующих на текущий момент методик оценки качества информационных систем. Сформулированы задачи, решение которых необходимо для создания инструментальных средств оценки характеристик потребительского качества экономических информационных систем.

Описаны проблемы автоматизации проведения активных экспериментов с ЭИС и пути их решения. Из множества факторов оказывающих влияние на функционирование систем выявлены те факторы, которыми можно управлять в автоматическом режиме. Автоматизировано проведение активных экспериментов с экономическими информационными системами любой архитектуры. В процессе проведения активного эксперимента значения факторов изменяются в автоматическом режиме.

Построены статистически значимые прогнозные модели, позволяющие прогнозировать время выполнения различных функциональных операций программными системами «1С Торговля и склад», «Ананас», «Compier ERP/CRM» и «Plazma CRM» в зависимости от объемов данных

Список литературы диссертационного исследования кандидат экономических наук Победённый, Алексей Владимирович, 2009 год

1. Агафонов В Н. Спецификация программ: Понятийные средства и их организация. Новосибирск: Наука, 1987.

2. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. М.:Наука 1976.

3. Айвазян С.А, Мхитарян B.C. Прикладная статистика и основы эконометрики. -М.: ЮНИТИ, 1998.(13)

4. Архипов И.В. Разработка математического и программного обеспечения информационно-управляющей системы распределенного предприятия сервисного обслуживания : Автореф. дис. канд. техн. наук : 05.13.11, 05.13.06 Воронеж, гос. техн. ун-т .Воронеж, 2002 г.

5. Афанасьев В. Н. Информационные технологии в управлении предприятием : Учеб. пособие В.Н. Афанасьев, А.И. Постников; М-во образования Рос. Федерации. Моск. гос. ин-т электроники и математики (Техн. ун-т) М.:Моск. гос. ин-т электроник и математики, 2003г.

6. Безкоровайный М.М., Костогрызов А.И., Львов В.М. Инструментально-моделирующий комплекс для оценки качества функционирования информационных систем "КОК". -М.: Синтег, 2000. (5)

7. Богуславский Л.Б., Ляхов А.И. Оценка производительности распределенных информационно-вычислительных системархитектуры «клиент-сервер». — Автоматика и телемеханика, №9, 1995.

8. Боэм Б.У. Инженерное проектирование программного обеспечения: Пер. с англ. / Под ред. А.А. Красилова. М.: Радио и связь, 1985.

9. Вознесенский В.А. Статистические методы планирования эксперимента в технико-экономических исследованиях. М.: «Статистика» 1974. (26)

10. Воробович Н. П. Структуры данных : Учеб. пособие для студентов специальности 220400 всех форм обучения Н.П. Воробович ; М-во образования Рос. Федерации. Сиб. гос. технол. ун-т .Красноярск: Сиб. гос. технол. ун-т, 2002г.

11. Волков С.И., Романов А.Н. Организация машинной обработки экономической информации. М.: Финансы и статистика, 1988. - 400 с.

12. Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа. СПб.: Издательство СПбГТУ, 1997. -510 с.

13. Вронский К. Стандарты ISO и управление качеством проектов IT // www.msfestival.ru (29)

14. Вычислительная математика и программирование: Сб. научн. трудов. М.: МГПИ им Ленина, 1983. - 136 с.

15. Гантер Р. Методы управления проектированием программного обеспечения: Пер. с англ. / Под ред. Е.К. Масловского. В.В.: Мир, 1981.

16. Гацко Г. Тестирование программного обеспечения как один из элементов системы качества // Открытые системы, №6,1998. (30)

17. Герасименко В. А. Защита информации в автоматизированных системах обработки данных. М.: Энергоатомиздат, 1994.

18. Гличев А.В. Основы управления качеством продукции М.: АМН, 1998. (H)(7)

19. Глудкин О.П. и др. Всеобщее управление качеством.: учебник для ВУЗов. М.:Радио и связь, 1999. (10) (6)

20. Гмурман В.Е. Теория вероятности и математическая статистика: Учебное пособие для ВУЗов. Изд. 7-е, сте. — М.:Высшая школа, 2000. 479 с. (31)

21. Губарев В. Г. Программное обеспечение и операционные системы ПК : Учеб. пособие для нач. проф. образования В.Г. Губарев .Ростов н/Д: Феникс, 2002г.

22. Доугерти К. Введение в эконометрику. М.: ИНФРА -М, 1997, 402 с. (32)

23. Дубова Н. Знак качества программному продукту // Открытые системы, 6, 1998. (33)

24. Ефимова MP.; Петрова Е.В, Румянцев В.Н. Общая теория статистики: Учебник.-М.:ИНФРА-М, 1996. 416 с. (34)

25. Замков О.О., Толстопятенко А.В., Черемных Ю.Н. Математические методы в экономике: Учебник. 2-е изд.-М.: МГУ им. М.В. Ломоносова, Издательство «Дело и Сервис»,1999.-368 с. (35)

26. Иванова Г.С. Технология программирования : Учеб. для студентов ВУЗов. М.: Изд-во МГТУ им. Н.Э. Баумана 2002г.

27. Изосимов А.В. Рыжко Л.Д. «Метрическая оценка качества программ», М.: 1991. (15)

28. Информационные системы в экономике: Учебник / Под ред. проф. В.В. Дика. М. Финансы и статистика, 1996.

29. Кармайкл Э. Быстрая и качественная разработка программного обеспечения / Энди Кармайкл, Дэн Хейвуд ; Пер. с англ. О.А. Лещинского. .М. [и др.]: Вильяме 2003

30. Коган Б.И. Измерительные языковые процессоры для исследования и оценки качества программных средств Диссертация на соискание ученой степени доктора технических наук 05.13.11. -Владивосток, 1993.(10)

31. Коган Б.И Оценка качества программных продуктов: реляционный подход. Определение базовой объективной системы внтренних свойств программных продуктов. Препринт. Владивосток: ИАПУ ДВО РАН, 1996.(11)

32. Коган Б.И, Остроухова СН. Оценка качества программных продуктов: реляционный подход. Определение базовой объективной системы внутренних свойств программных продуктов. Препринт. Владивосток: ИАПУ ДВО РАН, 1996.(12)

33. КостогрызовА.И., Липаев В.В. Сертификация качества функционирования автоматизированных информационных систем. М.: Изд Вооружение. Политика. Конвесия. 1996.

34. КостогрызовА.И., Петухов А.В., Щербина A.M. Основы оценки, обеспечения и повышения качества выходной информации в АСУ организационного типа. М.: "Вооружение. Политика. Конверсия", 1994. (4)

35. Кремер Н.Ш., Путко Б.А., Тришин И.М, Фридман М.Н. Исследование операций в экономике: Учебн. Пособие для ВУЗов/ Под ред. Проф Н.Ш. Кремера М.: ЮНИТИ, 2000.,-407 с. (36)

36. Кривошеева М.А. Автоматизация проведения оценки качества программного обеспечения // Экономика и финансы №20, 2003. с 49-51

37. Кривошеева М.А. Обзор некоторых характеристик качества программных средств // Информационные системы, экономика, управление трудом и производством. Вып. 7.: Ученые записки / РГЭУ. Ростов-на-Дону, 2003. - с. 21-26.

38. Кривошеева М.А. Разработка и исследование информационных систем для оценки потребительского качества программных средств Диссертация на соискание ученой степени кандидата экономических наук 08.00.13. -Ростов-на-Дону, 2005.

39. Кузнецов С.Д. Стандарты языка реляционных баз данных SQL: краткий обзор//СУБД №2. 1996.

40. Липаев В.В. Выбор и оценивание характеристик качества программных средств. Методы и стандарты. М.-СИНТЕГ, 2001.(2)

41. Липаев В.В. Обеспечение качества программных средств. М.: СИНТЕГ, 2001 (28)(9)

42. Липаев В.В. Оценка качества программных средств // Сетевой журнал, №3, 2002.

43. Липаев В.В. Системное программирование сложных программных средств для информационных систем. М: СИНТЕГ, 1999. (18)

44. Липаев В.В. Позин Б. А., Штрик, А. А. Технология сборочного программирования / Под. ред. В.В. Липаева. -М.: Радио и связь, 1992.

45. Липаев В.В., Потапов А.И. Оценка затрат на разработку программного обеспечения. М.: Финансы и статистика, 1988.

46. Майерс Г. Искусство тестирования программ: Пер. с англ-М.: Финансы и статистика, 1982.

47. Маркова Н. Пристальный взгляд на качество программ/Юткрытые системы, №7—8, 1999.

48. Маслова НП. Статистическая теория: предмет, содержание. Структура и перспективы: Монография. -Ростов-на-Дону: РГЭА 1995—263с.

49. Международный стандарт ИСО 90001:1994. Системы качества. Модель обеспечения качества при проектировании, разработке, производстве, монтаже и обслуживании (Второе издание).—М: 1996.

50. Нечаев Ю.И. Планирование и обработка результатов эксперимента. / www.csa.ru (25)

51. Ногинский М.В. Стандарты оценки качества программного обеспечения (ГОСТ 28195-89 и ГОСТ РИСО/МЭК 9126-93): анализ, сравнение, применение. ЛАНИТ, Москва, 1999 г. (3)

52. Острейковский В.А. Информатика : Учеб. пособие для студентов учреждений сред. проф. образования В. А. Острейковский .М.: Высш. шк., 2003г.

53. Погодаев А. К. Программное обеспечение автоматизированных систем. Разработка информационной структуры : Учеб. пособие А. К. Погодаев, В. В. Дозоров. Липецк: Липец, эколого-гуманитар. ин-т 2002г.

54. Поттосин И.В. О критериях добротности программ. РАН, Сибирское отделение, Институт систем информатики им. Ершова. Препринт35, Владивосток, 1996.(14)

55. Прангишивили И.В. Системный подход и общесистемные закономерности. М: СИНТЕГ, 2000. (21)

56. Применение ЭВМ в научных исследованиях и управлении. Инструментальные средства АСНИ и АСУ: Межвуз. сб. научн. тр. / Под ред. Петрова О.М. М.: ВЗМИ, 1986. - 168 с.

57. Рожков К. Н. Разработка и исследование информационной технологии для решения задач мониторинга и управления сложными, быстро изменяющимися системами : Автореф. дис. . канд. техн. наук : 05.13.11 Дальневост. гос. ун-т .Владивосток 2002 .

58. Саркисян А.А. -Повышение качества программ на основе автоматизированных методов. М.: Радио и связь, 1991. (16)

59. Свирин Б. Н. Проектирование устойчиво-безопасных-систем : Учеб. пособие по курсу "Математическое и программное обеспечение САПР" М.: Компания Спутник+, 2003 г.

60. Семенов В.А. Автоматизированные системы обработки экономической информации: Учебник/ B.C. Рожнов и др., под ред. проф. В.С.Рожнова М.: Финансы и статистика, 1986.-272с. (28)

61. Сертификация продукции. Международные стандарты и руководство ИСО/МЭК в области сертификации и управления качеством. —М.: Издательсво стандартов 1990. (17)

62. Смит К. Эффективные решения: Практ. рук. по созданию гибкого и масштабируемого программного обеспечения Конни Смит, Ллойд Уильяме ; Пер. с англ. А.С. Подосельника и Н.М. Ручко. .М.: Вильяме, 2003 г.

63. Тамре Л. Введение в тестирование программного обеспечения / Пер. с англ. и ред. В. В. Марченко .М. и др.: Вильяме 2003г.

64. Трахтенгец Э.А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998.

65. Федорова Г.С. и др. Проектирование и организация машинной обработки экономической информации. М.: Финансы и статистика, 1986. - 390 с.

66. Характеристики программного обеспечения /Б. Боэм, Дж. Браун, X Каспар и др./ Пер. с англ. Е.К. Масловского. М.: Мир, 1981.

67. Хубаев Г.Н. Анализ информационных потребностей пользователей при создании АРМ // Автоматизированные рабочие места в системе управления предприятием. — Л.ЛИЭИ, 1989. (23)

68. Хубаев Г.Н. Методика анализа предметной области.// Компьютеризация информационных процессов в управлении народным хозяйством. М.: МЭСИ, 1988. (22)

69. Хубаев Г.Н. Методика сравнительной экспертной оценки качества сложных программных средств // Анализ и проектирование систем управления производством: Межвуз. сб. -Н-Новгород: Изд-во Н-Новгород. Университета, 1992. (24)

70. Хубаев Г.Н. Методика экономической оценки потребительского качества программных средств // Программные продукты и системы (SOFTWARE and SYSTEMS). 1995. - №1. - с. 2 - 8.

71. Хубаев Г.Н. Сложные системы: экспертные системы сравнения. // Известия ВУЗов Северо-Кавказский регион. Общественные Науки. 1999. №3.

72. Хубаев Г.Н. Сравнение сложных программных систем по критерию функциональной полноты // Программные продукты и системы (Software & System). 1989. - №2. - с. 6-9.

73. Хубаев Г.Н. Экономическая оценка качества программных средств, Ростов-на-Дону, 1997. (1)

74. Хубаев Г.Н." Экономическая оценка потребительского качества программных средств: Текст лекций/РГЭА. -Ростов-на-Дону, 1997.-94с.

75. Щербо В.К., Козлов В.А. Функциональные стандарты в открытых системах. Ч. 1. Концепция открытых систем. Ч. 2. Международные функциональные стандарты. М.: Изд. МЦНТИ. 1997.

76. Эконометрика: Учебник/ Под ред. И.И. Елисеевой. М.: Финансы и статистика 2001. — 344 е.: ил. (37)

77. Cargill С. F. Information technologies standardization. Digital Press. 1989. (20)

78. Erdogmus H. Advances in software engineering: Comprehension, evaluation, a. evolution Hakan Erdogmus, Oryal Tanir, ed. . New York etc.: Springer Cop. 2002

79. Kit E. Software Testing in the Real World Improving the Process. Addison-Wesley. 1996.

80. Hashagen Ulf, ред. .History of computing: software issues Intern, conf. on the history of computing, ICHC 2000, Apr. 5-7, 2000.

81. Hsu J. Y. .Computer logic : Design principles a. applications John Y. Hsu .New York etc.: Springer 2002