Математическое моделирование производительности файловых систем тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Нижник, Екатерина Игоревна

• Нижник, Екатерина Игоревна
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Нижник, Екатерина Игоревна

Основные обозначения и сокращения.

Введение.

Глава 1. Обзор моделей оценки производительности файловых систем.

1.1. Типы нагрузок.

1.2. Пакеты тестирования.

1.2.1. Andrew Benchmark.

1.2.2. PostMark.

1.2.3. Iozone.

1.2.4. HBench-FS.

1.2.5. Другие.

1.3. Резюме.

Глава 2. Общая методика моделирования производительности файловых систем.

2.1. Постановка задачи.

2.2. Модель для нагрузки web-сервера.

2.2.1. Файловый кэш.

2.2.2. Нагрузка web-сервера со статическим содержимым.

2.3. Требования к модели.

Глава 3. Низкоуровневое моделирование производительности NTFS.

3.1. Технология.

3.2. Чтение.

3.2.1. Модель двух хранилищ.-.

3.2.2. Фрагментация.

3.2.3. Множественная регрессия.

3.3. Запись.

3.4. Обработка метаданных.

3.5. Проверка результатов.

3.6. Практическое применение.

Введение диссертации (часть автореферата) на тему «Математическое моделирование производительности файловых систем»

Файловая система - это неотъемлемая часть операционной среды, которая отвечает за работу с данными, хранящимися во внешней памяти [Карпов, Коньков, 2004]. Для конечного пользователя одной из наиболее важных характеристик файловой системы является производительность, поскольку от нее зависит скорость работы того или иного приложения, а также операционной среды в целом.

Многочисленные исследования показали, что оценку быстродействия файловых систем необходимо осуществлять в контексте нагрузок, генерируемых приложениями [Нижник и др., 2006, С. 89-113]. Под термином «нагрузка» обычно понимается способ обращения к данным, который использует та или иная программа. Большинство существующих инструментов тестирования файловых систем имеет узкую специализацию, т.е. предназначено для оценки производительности при нагрузке, отражающей специфику конкретного приложения или класса приложений. Кроме того, практически все эти инструменты предполагают непосредственное тестирование интересующих пользователя нагрузок. Однако с точки зрения минимизации затрачиваемого времени и ресурсов (как программных, так и аппаратных) более важной является задача прогнозирования производительности. Решение этой задачи позволило бы оценивать быстродействие той или иной файловой системы на основе предварительно выведенной зависимости характеристики производительности от параметров нагрузки и тем самым ускорить процесс планирования вычислительной нагрузки в центрах данных предприятий.

Целью настоящей работы является разработка методики создания моделей, предназначенных для прогнозирования производительности файловых систем при произвольных нагрузках.

В главе 1 содержится обзор основных исследований, посвященных различным типам нагрузок. Дается описание существующих инструментов для оценки производительности файловых систем, перечисляются их достоинства и недостатки. В главе 2 формулируется постановка задачи, предлагается общая методика ее решения, а также приводятся результаты применения методики для создания «высокоуровневой» (уровня пользовательских приложений) математической модели прогнозирования производительности файловой системы ШТЗ при нагрузке, генерируемой \уеЬ-сервером. Глава 3 посвящена «низкоуровневому» (уровня драйвера файловой системы) моделированию производительности ШТЗ при нагрузках чтения, записи и обработки метаданных. Также в этой главе приводятся результаты практических экспериментов, подтверждающие состоятельность модели, а также описываются примеры ее практического применения.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Нижник, Екатерина Игоревна

ЗАКЛЮЧЕНИЕ

В результате исследования были разработаны общая универсальная методика и технология математического моделирования производительности файловых систем, главной особенностью которой является представление нагрузки в виде последовательности низкоуровневых запросов. На основе предложенной технологии построена математическая модель прогнозирования производительности файловой системы NTFS, а также разработан комплекс программ для создания данной модели. В ходе моделирования сделан ряд существенных выводов, касающихся внутреннего устройства и механизмов работы файловой системы NTFS в условиях различных нагрузок, в частности, определен физический смысл коэффициентов модели, что делает ее не зависящей от аппаратной конфигурации.

На реальных программных комплексах проведен ряд сравнительных экспериментов, результаты которых подтверждают адекватность предложенной модели решаемым с ее помощью задачам. Предложенная технология моделирования и соответствующий комплекс программ использованы при разработке и тестировании коммерческого программного комплекса Virtuozzo (Windows версия).

Дальнейшее развитие математической модели прогнозирования производительности NTFS может включать исследование влияния следующих факторов на быстродействие данной файловой системы:

- размер кластера;

- дополнительные возможности NTFS, такие как сжатие и шифрование файлов;

- тип контроллера дискового устройства (IDE, SATA, SCSI);

- дисковые алгоритмы работы с данными, такие как замещение дефектных секторов, контроль циклическим избыточным кодом (CRC) и др.

БЛАГОДАРНОСТИ

Хочу выразить глубокую признательность моему научному руководителю А.Г. Тормасову за постановку задачи и руководство выполнением научной работы. Трудно переоценить влияние Александра Геннадьевича на формирование моих научных взглядов.

Искреннюю благодарность приношу Д.И. Дядечко за неоценимую помощь в проведении исследования, И.В. Нижнику за обсуждение работы и помощь в подготовке рукописи, A.A. Енакиеву за технические консультации, С.С. Протасову и коллективу компании ООО «СВСофт МФТИ» за предоставление вычислительных ресурсов, понимание и поддержку, A.A. Алябьеву за советы по оформлению работы, Е.А. Катрухе и A.C. Осипенко за стимулирующие дискуссии и ценные замечания.

Я признательна преподавателям кафедры информатики МФТИ (заведующий кафедрой профессор И.Б. Петров), в особенности В.Е. Карпову, за проявленное внимание к моей работе. Также благодарю заведующую аспирантурой В.И. Демину за помощь при поступлении в аспирантуру МФТИ.

Список литературы диссертационного исследования кандидат технических наук Нижник, Екатерина Игоревна, 2007 год

1. Bonnie File System Benchmark Электронный ресурс. - Режим дост.: http://www.textuality.com/bonnie/

2. CHS Conversion Электронный ресурс. Режим дост.: http://en.wikipedia.org/wiki/CHSconversion

3. Gaede S.L. Perspectives on the SPEC SDET Benchmark Электронный ресурс. -1999. Режим дост.: http://www.spec.org/sdm91/sdet/SDETPerspectives.pdf

4. How NTFS Works 2003. - Электронный ресурс. - Режим дост.: http://technet2.microsofit.com/windowsserver/en/library/81cc8a8a-bd32-4786-a849-03245d68d8e41033 .mspx

5. S Kit Installable File System Kit Электронный ресурс. - Режим дост.: http://www.microsoft.com/whdc/DevTools/IFSKit/default.mspx

6. Katcher J. PostMark: a New File System Benchmark Technical Report TR-3022, Network Appliance Inc., 1997.

7. Kozierok C. The PC Guide Электронный ресурс. 2001. - Режим дост.: http://www.pcguide.com/

8. Kuenning G.H., Рорек G.J., Reiher P.L. An Analysis of Trace Data for Predictive File Caching in Mobile Computing Proceedings of the Summer USENIX Conference-1994.-P. 291-303.

9. Norcott fV.D. Iozone Filesystem Benchmark 2003. - Электронный ресурс. -Режим дост.: http://www.iozone.org/docs/IOzonemsword98.pdf

10. OriginLab Электронный ресурс. Режим дост.: http://www.originlab.com/

11. Ousterhout J. Why aren't Operating Systems Getting Faster as Fast as Hardware -WRL Technical Note, TN-11, 1989.

12. Park A., Becker J.C., Lipton R.J. IOStone: a Synthetic File System Benchmark-SIGARCH Computer Architecture News 1990. - V.l8, N.2, P. 45-52.

13. Pentakalos O., Friedman M. Windows 2000 Performance Guide, First Edition. -Publisher: O'Reilly, 2002. 718 p.

14. Peterson W. W., Brown D. T. Cyclic Codes for Error Detection Proceedings of the IRE-1961.-P. 228-235.

15. Ramakrishnan К.К., Biswas P., Karedla R. Analysis of File I/O Traces in Commercial Computing Environments Proceedings of ACM Conference on Measurement and Modeling of Computer Systems (SIGMETRICS) - 1992. P. 78-90.

16. Ranganathan A. The Levenberg-Marquardt Algorithm Электронный ресурс. -2004. Режим дост.:http://www.cc.gatech.edu/people/home/ananth/docs/lmtut.pdf

17. RoselliD., Lorch J., Anderson T. A Comparison of File System Workloads Proceedings of the San Diego USENIX Conference - 2000. - P. 41-54.

18. Rosenblum M., Ousterhout J. The Design and Implementation of a Log-Structured File System // ACM Transactions on Computer Systems 1992. - V.10, N.l. -P. 26-52.

19. Rosenblum M., Ousterhout J. The LFS Storage Manager Proceedings of the Summer USENIX Conference - 1990. - P. 315-324.

20. Samsung SpinPoint V40 Product Manual 2001. - Электронный ресурс. - Режим дост.: http://personal.inet.fi/cool/lwgt/myoldvdr/V40ProductManual.pdf

21. Seltzer М., Bostic К., McKusick М., Staelin С. An Implementation of a Log-Structured File System for UNIX Proceedings of the San Diego USENIX Conference-1993.-P. 201-218.

22. Smith K., Seltzer M. File Layout and File System Performance Harvard University Technical Report, TR-35-94, 1994.

23. Smith K.A. Workload-Specific File System Benchmark: Ph.D. Thesis Harvard University, 2001.- 159 p.

24. TangD.L. Benchmarking Filesystems Harvard University Computer Science Technical Report, TR-19-95, 1995.

25. Wittle M., Keith B. LADDIS: the Next Generation in NFS File Server Benchmarking Proceedings of the Summer USENIX Conference - 1993. - P. 111-128.

26. Джонсон H., Лион Ф. Статистика и планирование эксперимента в технике и науке. М.: Мир, 1980. - 610 с.

27. Карпов В.Е., Коньков КА. Основы операционных систем. М.: Интернет-университет информационных технологий - ИНТУИТ.ру, 2004. - 536 с.

28. Крамер Г. Математические методы статистики. М.: Мир, 1975. - 648 с.

29. Линник Ю.В. Метод наименьших квадратов и основы математико-статистической теории обработки наблюдений. JL: Физматгиз, 1962. -352 е.: ил.

30. Манита А.Д. Теория вероятностей и математическая статистика: Учебное пособие. Издат. отдел УНЦ ДО, 2001. - 120 с.

31. Нижник Е.И Математическая модель нагрузки файловой системы NTFS при активном поиске дисковых данных // Моделирование процессов обработки информации: Сб. науч. тр. / М.: Моск. физ.-тех. инст., 2007. С. 276-285.

32. Нижник Е.И. Основные проблемы реализации прогнозирующей модели тестирования производительности файловых систем // XXXIII Гагаринские чтения. Научные труды Международной молодежной научной конференции в 8-ми томах. / Москва, 2007. Т. 6, С. 245-246.

33. Нижник Е.И. Особенности исследования нагрузки процессора и фрагментации диска в моделировании производительности файловой системы NTFS // Информационные технологии моделирования и управления 2007, №4(38). -С. 475-482.

34. Нижник Е.И. Оценка производительности файловой системы NTFS как задача множественной регрессии // Объединенный научный журнал 2007, №11(199).-С. 57-62.

35. Нижник Е.И. Роль нагрузки процессора и фрагментации диска в моделировании производительности файловой системы NTFS // Системы управления и информационные технологии 2007, №2.1 (28). - С. 181-186.

36. Нижник Е.И, Тормасов А.Г. Статистическая оценка параметров в моделировании производительности файловой системы NTFS // Информационные технологии и системы. Труды 30-й конференции молодых ученых и специалистов ИППИ РАН. / Москва, 2007. С. 88-91.

37. Нижник Е.И, Тормасов А.Г. Тестирование производительности файловых систем на основе прогнозирующей модели // Проблемы вычислительной математики, математического моделирования и информатики: Сб. науч. тр. / М.: МЗ Пресс, 2006.-С. 114-135.

38. Нижник Е.И, Тормасов А.Г., Луковников ИВ. Обзор проблем тестирования производительности файловых систем // Проблемы вычислительной математики, математического моделирования и информатики: Сб. науч. тр. / М.: МЗ Пресс, 2006.-С. 89-113.

39. Нижник Е.И, Тормасов А.Г., Луковников ИВ. Проблемы тестирования производительности web-сервера на основе прогнозирующей модели // Процессы иметоды обработки информации: Сб. науч. тр. /М.: Моск. физ.-тех. инст., 2006.-С. 249-257.

40. Перегудов Ф.И., Тарасенко Ф.П. Введение в системный анализ: Учебное пособие. М.: Высш. школа, 1989. - 367 с.

41. Рао С.Р. Линейные статистические методы и их применения. М.: Наука, 1968.-548 с.

42. Рихтер Дж. Windows для профессионалов: создание эффективных Win32-приложений с учетом специфики 64-разрядной версии Windows. 4-е изд. -СПб.: Питер, М.: Издательско-торговый дом «Русская Редакция», 2001. -752 е.: ил.

43. Руссинович М., Соломон Д. Внутреннее устройство Microsoft Windows: Windows Server 2003, Windows XP и Windows 2000. Мастер-класс. Пер. с англ. 4-е изд. - М.: Издательско-торговый дом «Русская Редакция»; СПб.: Питер; 2005. - 992 е.: ил.

44. Солдатов В.П. Программирование драйверов Windows. Изд. 2-е, перераб. и доп. М.: ООО «Бином-Пресс», 2004. - 480 е.: ил.

45. Таненбаум Э. Архитектура компьютера. 4-е изд. СПб.: Питер, 2002. - 704 е.: ил.

46. Таненбаум Э. Современные операционные системы. 2-е изд. СПб.: Питер, 2004.- 1040 е.: ил.