Информационные технологии обработки и аудита крупноформатных электронных таблиц тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Ильясов, Джалиль Фатович

• Ильясов, Джалиль Фатович
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Ильясов, Джалиль Фатович

ВВЕДЕНИЕ.

1 ОБЗОР РАБОТ И ПОСТАНОВКА ЗАДАЧ.

1.1 Обзор работ по обработке КЭТ.

1.2 Обзор работ по аудиту КЭТ.

1.2.1 Классификация ошибок КЭТ.

1.2.2 Методы тестирования КЭТ.

1.2.3 Методы визуального аудита КЭТ.

1.3 Методы обработки информации, основанные на факторном анализе.

1.4 Экспертные методы оценки и принятия коллективных решений.

1.5 Постановка задач.

2 ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ ОБРАБОТКИ КРУПНОФОРМАТНЫХ ЭЛЕКТРОННЫХ ТАБЛИЦ.

2.1 Крупноформатные электронные таблицы. Основные термины и определения.

2.1.1 Вводные замечания.

2.1.2 Структурные элементы табличных процессоров.

2.1.3 Табличные программы, табличные представления и

Введение диссертации (часть автореферата) на тему «Информационные технологии обработки и аудита крупноформатных электронных таблиц»

Крупноформатная электронная таблица1 (spreadsheet) является одним из основных видов приложений для автоматизации офисных задач и широко используется в различных прикладных областях. Интеграция крупноформатных электронных таблиц (КЭТ) с языками программирования, позволила сделать из них средство быстрой разработки приложений для профессиональных разработчиков. Благодаря простой и удобной организации табличных вычислений, КЭТ часто используют непрофессиональные пользователи, специалисты из других прикладных областей. Все это привело к тому, что КЭТ стали одним из самых распространенных программных продуктов, устанавливаемых на персональные компьютеры.

Современные КЭТ предоставляют большие возможности для быстрой разработки качественных информационных систем, ориентированных на табличные расчеты, при небольших трудозатратах. А в некоторых случаях КЭТ являются более эффективной платформой разработки, в сравнении с системами управления базами данных. Однако КЭТ редко используются в этом качестве, в связи с тем, что до сих пор отсутствуют информационные технологии (ИТ) эффективной обработки данных в них. Качество большинства приложений КЭТ не соответствует важности обрабатываемой ими информации. Во многом это связано со значительным увеличением размеров современных КЭТ и недостаточным развитием ИТ аудита2 их качества. Особую актуальность приобретают ИТ автоматизированного аудита безошибочности КЭТ.

По проблемам разработки и аудита КЭТ начиная с 1999г. ежегодно проводится европейская конференция EUSPRING. Среди зарубежных исследователей в данной области следует выделить такие имена, как Р.Панко С.Крук, Д.Чадвиг, Р.Батлер, Д.Садженеми. В России сейчас наблюдается практически полное от

1 Термин крупноформатная электронная таблица и просто электронная таблица по сути обозначают одно и то же. Словом "крупноформатная" подчеркивается, что предлагаемые в работе информационные технологии целесообразно использовать для электронных таблиц большого размера.

2 Термином аудит КЭТ (spreadsheet audit) принято обозначать процесс выявления ошибок в КЭТ пользователем. сутствие каких-либо работ в данном направлении. Вся имеющаяся литература ограничена руководствами пользователя по работе с табличным процессором1. Тем не менее, следует отметить цикл работ, проводимых в ИПИ РАН в конце 80-х годов по разработке трехмерной электронной таблицы "СтереоТаб" под руководством И.М. Адамовича. Позже трехмерные электронные таблицы получили широкое применение в технологиях многомерного анализа данных при построении кубов OLAP. Также следует отметить исследования М.И. Пугачева, Е.В. Старикова и Т.И. Янбухтина, проведенные в МГУ в 1991г. по созданию матричной электронной таблицы, где помимо стандартных функций работы с числами, использованы математические функции работы с матрицами.

Цели и задачи работы. Целью диссертационной работы является разработка информационных технологий обработки и аудита КЭТ для повышения эффективности использования современных табличных процессоров и быстрого создания информационных систем на их основе.

Для достижения этой цели ставились следующие основные задачи.

1) Выявить проблемы разработки приложений на основе КЭТ и определить пути их решения на основе создания соответствующих ИТ обработки и аудита.

2) Систематизировать терминологию КЭТ.

3) Разработать ИТ обработки КЭТ для случая динамически изменяемого множества исходных данных.

4) Разработать методическое и алгоритмическое обеспечение обработки данных КЭТ на основе канонического факторного анализа.

5) Разработать ИТ аудита КЭТ для автоматизированного выявления в них ошибок.

6) Разработать методику экспертного анализа качества КЭТ.

7) Оценить практическую значимость разработанных ИТ на основе их применения в типовых информационных системах.

1 Термином табличный процессор принято обозначать программную реализацию парадигмы КЭТ

Методы исследования. В работе использованы современные методы теории множеств и графов, математической логики, теории алгоритмов и программирования, теории вероятностей и математической статистики, теории подготовки и принятия решения, экспертные методы, теории оптимального оценивания и управления, а также вычислительные методы информатики.

Научная новизна. В работе получены новые результаты в области теоретических основ информатики, среди которых следует выделить следующие разработки:

- новая ИТ создания динамических электронных таблиц на основе КЭТ, позволяющая разрабатывать приложения КЭТ с динамически изменяемым множеством исходных данных;

- новые ИТ онлайн и пост обработки динамических электронных таблиц;

- алгоритмическое и методическое обеспечение обработки данных в КЭТ на основе канонического статического и динамического факторного анализа; новые ИТ аудита КЭТ на основе логических областей и классов, позволяющие в автоматизированном режиме исследовать структуру КЭТ и выявлять в ней логические ошибки;

- новая методика анализа качества КЭТ на основе экспертных методов.

Практическая ценность работы состоит в том, что она предоставляет разработчику все ИТ для быстрой реализации информационных систем на основе КЭТ с высокими показателями качества. На основе результатов исследования созданы и внедрены:

1) Информационная система расчета трудоемкости эксплуатации и потребности в расходных материалах информационно-телекоммуникационной системы регионального сегмента Банка России.

2) Программное обеспечение автоматизированного формирования отчетов по инспектированию нефтепогрузок ЗАО "Росинспекторат" и аудиту качества информации в отчетах.

3) Специальное программное обеспечение Spreadsheet Explorer 1.0 для автоматизированного аудита безошибочности КЭТ.

4) Программное обеспечение проведения канонического статического и динамического факторного анализа данных в табличном процессоре Microsoft Excel.

Реализация результатов работы. Результаты диссертации реализованы в 6-ти тематических и договорных НИОКР ИЛИ РАН (2001-2005 гг.), в программе ОИТВС РАН "Фундаментальные основы информационных технологий и систем", двух проектах РФФИ (01-01-00758, 04-01-00270).

Апробация работы. Результаты работы докладывались на следующих международных и всероссийских конференциях:

1) IV Международная конференция "Электроника и информатика -2002", Зеленоград, 2002.

2) Межрегиональная научно-практическая конференция "Интеллектуальные информационные технологии" (Интеллект-2003), Тула, 2003.

3) III Международная конференция "Идентификация систем и задачи управления" (SICPRO'04), Москва, 2004.

4) II Российская научно-практическая конференция "Математика в современном мире", Калуга, 2004.

5) IV Международная конференция "Идентификация систем и задачи управления" (SICPRO'05), Москва, 2005.

6) II Научная сессия Института проблем информатики РАН, Москва, 2005.

Публикации. Список публикаций насчитывает 10 позиций. Материалы также опубликованы в 14 научно-технических отчетах ИЛИ РАН, Банке России и компании "Росинспекторат".

Структура и объем работы. Диссертация состоит из введения, пяти разделов, заключения и приложений.

Заключение диссертации по теме «Теоретические основы информатики», Ильясов, Джалиль Фатович

5.8 Выводы по разделу 5

1) Описаны информационные системы и программное обеспечение, в котором были использованы предложенные в диссертационной работе ИТ обработки и аудита КЭТ.

2) Рассмотрена ИС расчета трудоемкости эксплуатации ИТС регионального сегмента Банка России, целиком построенного на основе КЭТ с использованием предложенных ИТ обработки и аудита:

- рассмотрены проблемы оценки трудоемкости эксплуатации ИТС Банка России. Описаны решения данных проблем предложенные ИПИРАН и причины разработки ПК АРМ;

- дано краткое описание возможностей ПК АРМ (программный комплекс выполняет около 40 видов расчетов, основанных на обработке таблиц);

- дана классификация алгоритмов расчетов выполняемых ПК АРМ, рассмотрен типовой алгоритм и представлен пример расчета трудоемкости текущего ремонта средств связи;

- дано обоснование реализации ПК АРМ на основе КЭТ, рассмотрена его архитектура и принципы работы;

- изложено применение технологий обработки КЭТ, представленных в диссертационной работе, для реализации алгоритмов расчета трудоемкости и потребности в расходных материалах;

- дано описание ИС расчета трудоемкости эксплуатации и потребности в расходных материалах Банка России, организованной на основе ПК АМ (данная ИС является примером организации распределенной ИС на основе приложения КЭТ). Выделены области ИС в которых необходим аудит безошибочности и качества КЭТ;

- изложено применение технологий аудита КЭТ, представленных в диссертационной работе, в ИС расчета трудоемкости эксплуатации и потребности в расходных материалах;

- проведено сравнение реализаций ПК АРМ на основе КЭТ и СУБД. Дана оценка практической значимости разработанных ИТ обработки и аудита КЭТ.

198

ЗАКЛЮЧЕНИЕ

В представленной диссертационной работе получены следующие научные и практические результаты:

1) Систематизирована терминология КЭТ.

2) Разработана новая ИТ создания динамических электронных таблиц на основе КЭТ, позволяющая разрабатывать приложения КЭТ с динамически изменяемым множеством исходных данных.

3) Разработаны две новые ИТ онлайн и пост обработки динамических электронных таблиц.

4) Разработано методическое и программное обеспечение обработки данных в КЭТ на основе канонического и динамического факторного анализа.

5) Разработаны две новые ИТ аудита КЭТ на основе логических областей и классов, позволяющие в автоматизированном режиме исследовать структуру КЭТ и выявлять в ней логические ошибки.

6) Разработана новая методика анализа качества КЭТ, на основе экспертных методов.

На основе предложенных ИТ обработки и аудита КЭТ реализованы и внедрены:

- информационная система расчета трудоемкости эксплуатации и потребности в расходных материалах информационно-телекоммуникационной системы регионального сегмента Банка России;

- программное обеспечение автоматизированного формирования отчетов по инспектированию нефтепогрузок компанией "Росинспекторат" и аудиту качества информации в отчетах;

- специальное программное обеспечение Spreadsheet Explorer 1.0 для автоматизированного аудита безошибочности КЭТ;

- программное обеспечение проведения канонического статического и динамического факторного анализа данных в табличном процессоре Microsoft Excel.

199

Список литературы диссертационного исследования кандидат технических наук Ильясов, Джалиль Фатович, 2005 год

1. Адамович И.М. Интегрированный прикладной пакет интерактивного многоцелевого анализа данных для персональных ЭВМ (И1111 ИМАД) // ЭВМ массового применения. - М.гНаука, 1987. - С. 64-68.

2. Айвазян С.А., Бухштабер В.М., Юнюков И.С., Мешалкин Л.Д. Прикладная статистика: Классификация и снижение размерности. М.: Финансы и статистика, 1989.

3. Айвазян С.А., Орлов А.И. (ред.) Прикладной многомерный статистический анализ (Ученые записки по статистике т.ЗЗ ЦЭМИ). М.: Наука, 1978.

4. Анализ нечисловой информации в социологических исследованиях. М.: Наука, 1985.-221 с.

5. Анализ нечисловых данных в системных исследованиях/Сборник трудов. Вып. 10. - М.: ВНИИСИ, 1982. - 155 с.

6. Биллиг В.А., Дехтярь М.И. VBA и Office 97: Офисное программирование: М.: Издательский отдел "Русская Редакция", 1998.

7. Брандел М. ПО для ПК рождает новые ПК // Еженедельник "Computerworld". 2000. - №14.

8. Будзко В.И., Ильясов Д.Ф., Синицын И.Н., Рыков A.C. Многокритериальная оценка качества информационных систем в условиях неопределенности // Безопасность информационных технологий. 2004, №1. -С.44-54.

9. В.Потемкин. Вычисления в среде MATLAB. М.: Диалог-МИФИ, 2004.

10. Вилкас Э.И. Оптимальность в играх и решениях. М.: Наука, 1990.

11. Вилкас Э.И., Майминас Е.З. Решения: теория, информация, моделирование. М.: Радио и связь, 1981.

12. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика, 1978.

13. Ильясов Д.Ф. Методы, алгоритмы и программное обеспечение анализа качества электронных таблиц И Труды IV международной конференции "Идентификация систем и задачи управления" (SICPRO'05), 2005. CD-ROM.-C.1164-1182.

14. Ильясов Д.Ф. Технология анализа качества информационных систем, построенных на основе электронных таблиц // Наукоемкие технологии. -2004. №7. - С.88-94.

15. Ильясов Д.Ф., Синицын И.Н. Информационные технологии обработки и аудита крупноформатных электронных таблиц и их применение // II Научная сессия Института проблем информатики РАН: Тома докладов / под ред. И.А.Соколова-М.:ИПИРАН, 2005 с.79-81.

16. Ларичев О.И. Теория и методы принятия решений. М.: Логос, 2000.

17. Липаев В.В. Выбор и оценивание характеристик качества программных средств. М.: Синтег, 2001.

18. Липаев В.В. Обеспечение качества программных средств. М.: Синтег, 2001.

19. Литвак Б. Г. Экспертная информация: Методы получения и анализа. М.:1. Радио и связь, 1982.

20. Лоули Д.Н., Максвелл А.Е. (Lawley D. N., Maxwell А. Е.). Factor analysis as a statistical method. Butterworths, London, 1963. Русский перевод: Факторный анализ как статистический метод. - М.: Мир, 1967.

21. Пугачев М.И., Стариков Е.В., Янбухтин Т.И. Матричная электронная таблица. М.: Изд-во МГУ, 1991. - 36с.

22. Методы анализа данных, оценивания и выбора в системных исследованиях/Сборник трудов. Вып. 14. - М.: ВНИИСИ, 1986. - 124 с.

23. Методы анализа данных, оценивания и выбора/Сборник трудов. -Вып.11. М.: ВНИИСИ, 1984. - 92 с.

24. Орлов А.И. Устойчивость в социально-экономических моделях. М.: Наука, 1979.

25. Панкова Л.А., Петровский A.M., Шнейдерман М.В. Организация экспертиз и анализ экспертной информации. М.:Наука, 1984.

26. Пашуто В.П. Организация и нормирование труда на предприятии. М.: Новое знание, 2001.

27. Пугачев B.C. Теория вероятностей и математическая статистика. М.: Наука, Главная редакция физико-математической литературы, 1979. (1 изд). 2002 (2 изд).

28. Рыков A.A., Рыков A.C. Алгоритмы обработки экспертной информации для оценки качества информационных систем // Сб. научн. трудов «Экономика, информационные технологии и управление в металлургии». -М.: МИСиС, 2003. С. 86-89.

29. Рыков A.A., Рыков A.C. Экспертные алгоритмы оценки качества информационных систем: Сб. «Теория активных систем» // Труды международной научно-практической конференции. М.: ИПУ РАН, 2003. - Т. 1. -С. 133-135.

30. Саймон А.Р. Стратегические технологии баз данных. М.: Финансы и статистика, 1999.

31. Синицын И.Н. Фильтры Калмана и Пугачева. Теория и применение. М.:Изд. "Логос", 2005.

32. Синицын И.Н., Будзко В.И., Ильясов Д.Ф. Методическое и программное обеспечение факторной идентификации // Труды III международной конференции "Идентификация систем и задачи управления" (SICPRO'04), 2004. CD-ROM. - С. 1927-1940.

33. Трахтенгерц Э.А. Компьютерная поддержка переговоров при согласовании управленческих решений. М.: СИНТЕГ, 2003.

34. Трахтенгерц Э.А. Компьютерная поддержка принятия решений. М.: СИНТЕГ, 1998.

35. Харман Г.Г. (Harman Н. Н.). Modern factor analysis. University of Chicago Press, 1960. Русский перевод: Современный факторный анализ. - М.: Статистика, 1972.

36. Щавелев Л.И. Способы аналитической обработки данных для поддержки принятия решений // Системы управления базами данных. 1998. - №4.

37. Экспертные оценки в задачах управления /Сборник трудов. М.: Институт проблем управления, 1982. - 106 с.

38. Arrow K.J. Social choice and individual values. N.Y.: Willey, 1951.

39. Arrow K.J., Hurwitz L. An optimality criterion for decision-making under ignorance // Uncertainty and expectations in economics. Oxford: Basil Blackwell and Mott, 1972.

40. Ayalew Y., Clermont M., Mittermeir R. Detecting errors in spreadsheets // Proceedings of EuSpRIG 2000 Symposium. 2000. - Vol. 1. - P. 51-62.

41. Butler R. Is This Spreadsheet a Tax Evader? How H. M. Customs & Excise Test Spreadsheet Applications // Proceedings of the 33rd Hawaii International Conference on System Sciences. 2000. - Vol. 33.

42. Dahl O., Dijkstra E.W., Charles A.R. Structured Programming. Academic1. Press, 1972.

43. Goodman L., Markowitz H. Social welfare functions based on individual rankings // Amer. J. Sociology. 1952. - Vol. 58. - P. 257-262.

44. Hendry D.G., Green T.R. Creating, Comprehending, and Explaining Spreadsheets: A Cognitive Interpretation of What Discretionary Users Think of the Spreadsheet Model // International Journal of Human-Computer Studies. -1994. Vol. 40. No 6. P. 1033-1065.

45. Huang J.C. An Approach to Program Testing // Computing Surveys. 1975. -Vol. 7. No. 3.- P. 113-128.

46. Isakowitz Т., Shocken S., Lucas H. Toward a Logical/Physical Theory of Spreadsheet Modeling // ACM Transactions on Information Systems. 1995. -Vol. 13, No l.-P. 1-37.

47. Knight В., Chadwick D., Rajalingham K. A structured methodology for spreadsheet modelling // Proceedings of EuSpRIG 2000 Symposium. 2000. -Vol. l.-P. 43-50.

48. KPMG Management Consulting. Executive Summary: Financial Model Review Survey // KPMG. London. 1997.

49. Kruck S.E., Sheetz S.D. Spreadsheet Accuracy Theory // Journal of Information Systems Education. 2001. - Vol. 12, No 2. - P. 93-108.

50. Massively Spiffy Yet Delicately Unobtrusive Compression Library. Режим доступа: http://www.zlib.net, 15.10.2004.

51. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974.

52. Nevison J.M. The Elements of Spreadsheet Style. Brady Book, 1987.

53. Nixon D., O'Hara M. Spreadsheet auditing software. // Proceedings of EuSpRIG 2001 Symposium. 2001. - Vol. 2.

54. Paine J. Ensuring spreadsheet integrity with model master // Proceedings of EuSpRIG 2001 Symposium. 2001. - Vol. 2.

55. Paine J. MODEL MASTER: Making Spreadsheets Safe // Proceedings of CALEC097. CTI. 1997.

56. Paine J. Web-O-Matic: using System Limit Programming in a declarative object-oriented language for building complex interactive Web applications // Proceedings of the 8th REXX Symposium. IBM. 1997.

57. Panko R. Applying Code Inspection to Spreadsheet Testing // Journal of Management Information Systems. 1999. - Vol. 16. No 2. - P. 159-176.

58. Panko R. What we know about spreadsheet errors // Journal of End User Computing. 1998. - Vol. 10. No 2. - P.15-21.

59. Panko R., Halverson R. Are Two Heads Better than One? (At Reducing Errors in Spreadsheet Modeling) // Office Systems Research Journal. 1997.

60. Pfaenberger J.F. Improve your spreadsheet. Режим доступа: http://spreadsheetstyle.com/style/10tips.htm 2001.

61. Rajalingham К., Chadwick D., Knight B. Efficient Methods for Checking Integrity: A Structured Spreadsheet Engineering Methodology. // International Journal of Computing and Informatics. 2002. - Vol. 26. No 1.

62. Rajalingham K., Knight В., Chadwick D. Classification of spreadsheet errors. Proceedings of EuSpRIG 2000 Symposium. 2000. - Vol. 1. P. 23-34.

63. Regenwetter M., Grofman B. Approval voting, Borda Winners and Condorcet Winners: Evidence from seven Elections // Management Science. 1998. -Vol. 44. No 4.

64. Reichwein J., Rothermel G., Burnett M. Slicing spreadsheets: An integrated methodology for spreadsheet testing and debugging // Proceedings of the 2nd Conference on domain-specific languages. ACM. 2000. -Vol. 2. - P.25-38.

65. Ronen В., Palley M., Lucas H. Spreadsheet Analysis and Design // Communications of the ACM. 1989. - Vol. 32. No 1. - P. 84-93.

66. Ronen В., Palley M., Lucas H., Spreadsheet analysis and design // Communication of the ACM. 1989. - Vol. 32. No. 1. - P. 84-93.

67. Rothermel G., Li L., DuPuis D., Burnett M. What you see is what you test: A methodology for testing form-based visual programs // Proceedings ICSE 1998. 1998. - Vol. 20. P.198-207.

68. Rothermel K., Cook C., Burnett M., Schonfeld J., Green Т., Rothermel G. Wysiwyt testing in the spreadsheet paradigm: An empirical evaluation // Proceedings ICSE 2000. ACM. 2000. -P.230-239.

69. Sajaniemi J. Modeling spreadsheet audit: A rigorous approach to automatic visualization // Journal of Visual Languages and Computing. 2000. - Vol. 11. No l.P. 49-82.

70. Sen A.K. Social choice theory // Handbook of mathematical economics. Amsterdam; N.-Y.; Oxford; Tokyo; North-Holland, 1986. - Vol. 3.

71. Shiozawa H., Okada K., Matsushita Y. 3D Interactive Visualization for Inter-Cell Dependencies of Spreadsheets // Proceedings Info Vis 99. IEEE. 1999. -P. 79-82.

72. Southern Cross Software. Operis group pic. Режим доступа: http://www.operis.com/oak.htm, 12.05.2004.

73. Southern Cross Software. The spreadsheet detective. Режим доступа: http://www.uq.net.au/detective/home.html, 12.05.2004.

74. Тео Т., Tan М. Spreadsheet development and 'what-if analysis: quantitative versus qualitative errors. Accounting Management And Information Technologies. 2000. - Vol. 9. - P. 141-160.

75. United States Patent and Trademark Office. Режим доступа: http://www.uspto.gov, 15.07.2004.

76. Vlahos G.E., Ferrat T.W. The use of information technology by managers of corporations in Greece to support decision making // Proceedings of the 1992 ACM SIGCPR conference on Computer personnel research. 1992. - P. 136151.

77. Weichang W., Wadge W. The Eductive Implementation of a Threedimensional Spreadsheet. // Software-Practice and Experience. 1990. - Vol. 20. No. 11.-P. 1097-1114.

78. Young H.P. An axiomatization of Borda's rule // J. Econ. Theory. 1974. -Vol. 9. - P. 43-52.

79. Zhu H., Hall P., May J. Software Unit Test Coverage and Adequacy // Computing Surveys. 1997. - Vol. 29. No 4. - P.366-427.208