Алгоритмы синхронизации данных без сохранения состояния тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Рябков, Николай Сергеевич

• Рябков, Николай Сергеевич
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Рябков, Николай Сергеевич

Список обозначений и сокращений.

Введение.

Глава 1. Обзор алгоритмов репликации данных.

1.1. Технологии построения распределенных информационных систем.

1.2. Требования к системам репликации данных.

1.3. Различие систем репликации по принципу установления соединения.

1.4. Различие систем репликации по способу обнаружения изменений.

1.4.1. Алгоритмическое обнаружение изменений.

1.4.2. Вероятностное обнаружение изменений.

1.5. Обоснование необходимости создания алгоритма синхронизации без сохранения состояния.

Введение диссертации (часть автореферата) на тему «Алгоритмы синхронизации данных без сохранения состояния»

Актуальность темы. Обработка информации на сегодняшний день является одной из важнейших сфер деятельности человека. Множество компьютерных систем, объединенных в единую сеть, формируют глобальное информационное пространство. Для того, чтобы такие системы работали слаженно, необходимо четкое понимание того, как и какой информацией эти системы обмениваются. Для хранения больших объемов информации в современном мире чаще всего используются различные базы данных. Соответственно, необходимые различным информационным системам, данные, представлены в них в виде набора таблиц и связей между ними. В процессе взаимодействия различных, территориально удаленных, друг от друга систем часто появляется необходимость использовать одни и те же данные на разных узлах. Проблему обновления данных на удаленном узле, в соответствии с изменениями, внесенном на локальном узле и призваны решать системы репликации (синхронизации) баз данных. Простейшим примером территориально распределенной ИС, для которой может понадобиться применение системы репликации, является ИС, которая обслуживает компанию с головным офисом и множеством филиалов. В головном офисе формируется некоторый набор справочников, который в дальнейшем должен быть распространен на все территориальные узлы компании.

Существующие системы репликации по способу формирования пакета изменений можно условно разделить на два класса: системы с сохранением состояния и системы без сохранения состояния. Системы с сохранением состояния хранят некоторую дополнительную информацию о том, какие данные необходимо передать на удаленный узел во время следующего сеанса репликации. Системы без сохранения состояния этого не требуют. В этих системах пакет изменений формируется прямо во время сеанса репликации. Традиционно системы без сохранения состояния считались неэффективными, так как их использование приводило к очень большим расходам сетевого трафика. В связи с этим системы с сохранением состояния являются гораздо более распространенными. Однако у этих систем есть существенный недостаток: в случае сбоя или целенаправленных действий по изменению данных на узле получателе автоматическое приведение данных в синхронизированное состояние является достаточно затруднительным, если не невозможным. /

Учеными из исследовательского центра корпорации NEC (Khrabrov A., Sobti S., Yianilos P.N.) был предложен алгоритм, позволяющий сократить затраты трафика в системах без сохранения состояния. Этот алгоритм является, адаптацией идей известного алгоритма RSYNC (Remote Synchronization algorithm) применительно к базам данных. RSYNC использует две хэш-функции (быструю и медленную) для поиска и синхронизации различающихся участков файлов, не прибегая при этом к прямому сравнению данных. Однако такой алгоритм не позволяет эффективно учитывать особенности таблиц баз данных. Для этого необходим переход от одномерной модели представления данных как в RSYNC, к двухмерной.

Таким образом актуальной является задача разработки метода синхронизации баз данных, позволяющего проводить автоматическое восстановление после сбоя, сокращающего затраты трафика во время сеанса репликации и позволяющего учитывать особенности и неоднородности синхронизируемой информации.

Цель и задачи диссертации. Целью работы является разработка и анализ алгоритма и программы репликации данных без сохранения состояния, в распределенных базах данных, позволяющий проводить автоматическое восстановление после сбоя и обеспечивающего сокращение затрат сетевого трафика.

Для достижения указанной цели в работе поставлены и решены следующие основные задачи:

• изучены и классифицированы современные алгоритмы репликации данных;

• разработан алгоритм синхронизации баз данных без сохранения состояния на основе механизма хэш-функций;

• предложены три алгоритма измельчения интервалов, позволяющих более эффективно учитывать особенности реплицируемой базы;

• построена и исследована математическая модель предложенного алгоритма, позволяющая производить эффективную настройку алгоритма;

• предложенные алгоритмы реализованы в виде программных средств.

Методы исследования. Для решения поставленных задач использовались методы теории вероятностей, теоретической криптографии, теории оптимизации и математической статистики. Для программной реализации использован язык программирования С#, программная среда Microsoft .NET Framework 2.0 и сервер баз данных Microsoft SQL Server Express 2005.

На защиту выносятся.

1. Алгоритм синхронизации баз данных без сохранения состояния на основе хэш-функций, позволившие более эффективно локализовать область измененных данных.

2. Три алгоритма измельчения интервалов, позволяющих эффективно учитывать особенности и неоднородности в синхронизируемых данных.

3. Математическая модель рассматриваемого алгоритма, позволяющая производить максимально точную настройку алгоритма под конкретные условия использования.

Научная новизна диссертационной работы определяется следующими результатами:

• разработан новый алгоритм синхронизации баз данных, позволяющий производить автоматическое восстановление после сбоя и дающий возможность эффективно локализовать измененные участки данных;

• разработаны три алгоритма измельчения интервалов таблицы, позволяющих производить более точную настройку системы уже после внедрения и дающие возможность анализировать и учитывать особенности данных в таблице;

• разработана математическая модель предложенного алгоритма репликации, позволяющая подобрать наиболее эффективные для конкретных условий работы параметры алгоритма.

Практическое значение результатов работы.

Разработанный алгоритм был положен в основу системы репликации на базе хэш-функций. В отличие от других алгоритмов синхронизации баз данных предлагаемый алгоритм позволяет приводить базы в синхронизированное состояние во время первого же сеанса репликации, несмотря на то, были ли внесены какие-либо изменения в данные на узле получателе. При этом данный алгоритм расходует сетевой трафик эффективнее, чем другие алгоритмы синхронизации без сохранения состояния, поскольку производит сравнение не самих участков таблицы, а лишь их хэш-значений.

В результате внедрения (см. Приложение 1) одной из вариаций данного алгоритма в Федеральном агентстве по техническому регулированию и метрологии в рамках проекта АИС «Метрконтроль» была получена возможность производить автоматическое восстановление состояния глобальных справочников на удаленных узлах и предотвращение распространения некорректных данных далее по всей филиальной сети.

Программа была зарегистрирована в реестре программ для ЭВМ, свидетельство № 2006613419 (см. Приложение 3).

Достоверность полученных результатов подтверждена опытом эксплуатации программы в Федеральном агентстве по техническому регулированию и метрологии и полученными положительными результатами работы.

Апробация. Результаты диссертации прошли апробацию на научных конференциях: Международные научно-практические конференции «Телематика», г. Санкт-Петербург, 2005, 2006, 2007 г.г.; The international workshop on Computer Science and Information Technologies, September 19-21, Ufa, 2005; ежегодной научно-технической конференции профессорско-преподавательского состава МГУЛ, 2006; XIV Международная студенческая школа-семинар, МГИЭМ, 2006; Всероссийская научно-практическая конференция «Математика, информатика, естествознание в экономике и обществе -2006», МФЮА, Москва; VIII Всероссийская научно-техническая конференция «Теоретические и прикладные вопросы современных информационных технологий». Улан-Удэ: 2007. Работа была удостоена диплома 1-й степени на Всероссийском конкурсе инновационных проектов аспирантов и студентов 2006 (см. Приложение 2).

Публикации. Результаты диссертации изложены в 10 печатных работах (2 работы опубликованы в изданиях, рекомендованных ВАК для защиты докторских и кандидатских диссертаций), в том числе в 2 статьях и 7 сборниках материалов, трудов и тезисов Международных и Всероссийских конференций.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Рябков, Николай Сергеевич

Основные результаты работы состоят в следующем.

1. Проведен обзор существующих инструментов построения сложного программного обеспечения и, в частности, распределенных информационных систем. Введено понятие репликации, системы репликации. Определены требования, которым должны удовлетворять системы репликации данных.

2. Выделена классификация систем репликации по способу установления соединения. Указаны достоинства и недостатки каждого из описанных способов. Проанализирована важнейшая характеристика систем репликации - способ обнаружения изменений. Выделено две подгруппы алгоритмов обнаружения изменений: вероятностный и алгоритмический. Приведено обоснование необходимости реализации механизма синхронизации данных без сохранения состояния. Алгоритм должен позволять автоматически приводить в синхронизированное состояние таблицы на удаленном и локальном узле и при этом достаточно эффективно расходовать сетевой трафик.

3. Предложен алгоритм, основывающийся на механизме хэш-функций, позволяющий эффективно учитывать особенности реплицируемых данных. Это достигается за счет того, что локализация изменения в таблице производится не только по вертикали на уровне записей, но и по горизонтали, то есть на уровне колонок. Предложены три алгоритма измельчения интервалов, позволяющих, в зависимости от конкретных условий использования, применять тот или иной способ локализации изменения в таблице, что в свою очередь позволит эффективнее настраивать систему под конкретные условия использования.

4. Предложена модель алгоритма, описывающая затраты сетевого трафика и времени на проведение одного сеанса репликации данных. Модель позволяет управлять набором из трех параметров - начального размера интервала, минимального размера интервала и минимально допустимого, с точки зрения надежности, хэш-значения. Рассмотрены различные способы оптимизации алгоритма. Проведен анализ их применимости для данной задачи. Проведено исследование модели алгоритма методом перебора по сетке и при помощи методов семейства ГА.

5. Реализована система репликации данных, позволяющая производить синхронизацию таблиц на узле-источнике и узле-получателе, не прибегая к полной передаче данных по сети, и обеспечивающая автоматическое восстановление после сбоя, например, в случае намеренного искажения данных. В результате внедрения этой системы значительно сокращается время, затрачиваемое на обнаружение сбоев или целенаправленных изменений в таблицах.

6. Эффективность использования предложенных алгоритмов подтверждена опытом эксплуатации системы репликации АИС «Метрконтроль» в федеральном агентстве по техническому регулированию и метрологии. Это позволяет рекомендовать предложенный подход к дальнейшему развитию и использованию в системах репликации, где существуют повышенные требования к надежности самой системы и сохранности реплицированных данных.

Список опубликованных статей

1.Ryabkov N.S. Database integrity support problems in distributed systems. The international workshop on Computer Science and Information Technologies. Ufa, 2005. pp. 235-236;

2. Рябков H.C., Ретинская И.В. Алгоритм синхронизации баз данных при помощи хэш-функций на основе нелинейного разбиения таблиц. Труды XIII Всероссийской научно-методической конференции «Телематика 2006». Из-во СПб, 2006. Том 1, С. 234-235;

3. Рябков Н.С. Новый алгоритм синхронизации баз данных при помощи хэш-функций. Тезисы докладов XIV международной студенческой школы-семинара. М.: МГИЭМ, 2006. С. 312-313;

4. Рябков Н.С. Аналитический обзор методов репликации и синхронизации баз данных. М.: Качество, инновации, образование. №4, 2006. С. 56-63;

5. Рябков Н.С. Конкурсная работа: Алгоритм синхронизации баз данных при помощи хэш-функций на основе нелинейного разбиения таблиц. Сборник материалов всероссийского конкурса инновационных проектов аспирантов и студентов. М.:ГНИИ ИТТ «Информатика», 2006. С. 101-102;

6. Рябков Н.С. Неоднородность информации в системах репликации баз данных без сохранения состояния. Сборник материалов Всероссийской научно-практической конференции «Математика, информатика, естествознания в науке и обществе». М.: МФЮА, 2006. С.59-60;

7. Рябков Н.С. Оптимизация алгоритма синхронизации баз данных при помощи хэш-функций на основе нелинейного разбиения таблиц.

Сборник тезисов к VIII Всероссийской научно-технической конференции «Теоретические и прикладные вопросы современных информационных технологий». Улан-Удэ: 2007, Ч. 1, С. 72-74;

8. Рябков Н.С. Синхронизация данных с учетом неоднородности реплицируемой информации. «Новые информационные технологии». М: № 5,2007. С. 47-55.

9. Рябков Н.С., Ретинская И.В. Математическая модель синхронизации баз данных при помощи хэш-функций. Труды XIV Всероссийской научно-методической конференции «Телематика 2007». Из-во СПб, 2007. Том 2, С. 359-360;

10. Скуратов А.К., Ретинская И.В., Рябков Н.С. О проблемах интеграции ERP и PDM - систем. Труды XII Всероссийской научно-методической конференции «Телематика-2005». Из-во СПб, 2005. Том 1,С. 44;

Заключение

Список литературы диссертационного исследования кандидат технических наук Рябков, Николай Сергеевич, 2007 год

1. Вентцель Е.С. Введение в исследование операций. М: Советское радио, 1964. 392 с.

2. Беллман Р., Дрейфус С. Прикладные задачи динамического программирования/Пер. с анг. М: Наука, 1965. 460 с.

3. Вагнер Г. Основы исследования операций. T.l М: Мир, 1972. 336с.

4. Вороновский Г.К. и др. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности. Харьков: ОСНОВА, 1997.-107 с.

5. Буч г. Объектно ориентированный анализ и проектирование с примерами приложений на С++/Пер. с англ. - Спб: Бином, 1998.560 с.

6. Дьяконов В.П. Математическая система MAPLE V R3/R4/R5, М: СОЛОН, 1998.-399 с.

7. Брассар Ж. Современная криптология/пер. с англ. М.: Полимед, 1999.-176 с.

8. Горбунов-Посадов М.М. Расширяемые программы. М.: Полиптих, 1999,336 стр.

9. Дейт К. Дж. Введение в системы баз данных/Пер. с англ. М.: ИД Вильяме, 2001.- 1072 с.

10. Уилсон С.Ф., Мейплс Б., Лендгрейв Т. Принципы проектирования и разработки программного обеспечения. Учебный курс MCSD./nep. с англ. 2-е изд. испр. - М: Русская редакция, 2002. -736 с.

11. Баркер С., Создание приложений баз данных в среде Visual Basic .Net и ADO.Net : советы, рекомендации, примеры/Пер. с анг. М: Вильяме, 2003.- 560 с.

12. Маклин С., Нафтел Дж., Уильяме К., Microsoft .NET Remoting/TIep. с англ. М.: Русская редакция, 2003. - 384 с.

13. Ньюкомер Э. Веб-сервисы: XML, WSDL, SOAP и UDDI/Пер с англ. Спб.: Питер, 2003. - 256 с.

14. Стивене У. UNIX: разработка сетевых приложений/Пер. с англ. -Спб.: Питер, 2003.- 1088 с.

15. Щербаков Л.Ю., Домашев А.В. Прикладная криптография. Использование и синтез криптографических интерфейсов. М.: Русская Редакция, 2003.-416 с.

16. Белоусов В.Е. Алгоритмы репликации данных в распределенных системах обработки информации. Дис. на соискание ученой степени канд. техн. наук. Пенза, 2005.

17. Катлип Р., Медик Д. DB2: решения по интеграции/Пер с англ. -М: КУДИЦ-Образ, 2005. 320 с.

18. Лю Б, Теория и практика неопределенного программирования/Пер с англ. М: Бином, 2005. - 416 с.

19. Гладков Л.А., Курейчик В.В., Курейчик В.М., Генетические алгоритмы. М.: ФИЗМАТЛИТ, 2006. 320 с.

20. Макаров А. В., Скоробогатов С. Ю., Чеповский А. М., Common Intermediate Language и системное программирование в Microsoft. NET. М: Бином, 2006. 328 с.

21. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы/Пер. с польск. -М.:Горячая линия Телеком, 2006. - 452 с.

22. Ганделрой М., Джорден Д., Чанц Д. Освоение Microsoft SQL Server 2005/Пер с англ. М: Вильяме, 2007. - 1104 с.

23. Кайт Т. Oracle для профессионалов. Архитектура, методики программирования и основные особенности версий 9i и lOg/Пер с англ. М: Вильяме, 2007. - 848 с.

24. Рихтер Д., CLR via С#. Программирование на платформе Microsoft .NET Framework 2.0 на языке С#/Пер. с англ. М.: Русская редакция, 2007. -656 с.

25. Thomas R.H., A Majority Consensus Approach to Concurrency Control for Multiple Copy Databases. ACM TODS 4 (2), June, 1979, P. 180209.

26. Golberg D., Genetic Algorithms in Search, Optimization, and Machine Learning. Addison-Wesley, 1989. PP 432.

27. Whitley D. The GENITOR Algorithm and Selection Pressure: Why Rank-Based Allocation of Reproductive Trials is Best/Лп Proc. of the Third International Conference on Genetic Algorithms, 1989, P. 116-121.

28. Daemen J. et al, Collisions for Schnorr's Hash Function FFT-Hash/Яп Proc. of Asiacrypt'91,1991. P. 447-480.

29. Kelly J., Davis Jr. and L. A hybrid genetic algorithm for classification/Tin Proc. of the 12th International Joint Conference on Artificial Intelligence, 1991, P. 645-650.

30. Bloomer J., Power Programming with RPC. O'Reilly, 1992. PP 518.

31. Coad P. Object-Oriented Patterns. Communications of the ACM, V 35 N9,1992, pp. 152-159

32. Holland H. John. Adaptation in Natural and Artificial Systems: An Introductory Analysis with Applications to Biology, Control, and Artificial Intelligence. MIT Press, 1992. P. 228.

33. Klein M., Windows Programmer's Guide to Dlls and Memory Management. Sams, 1992, PP 450.

34. Rivest R. RFC 1321. The MD5 message digest algorithm. IETF RFC-1321,1992.

35. Schraudolph, N. N. and Belew, R. K. Dynamic parameter encoding for genetic algorithms. Machine Learning Journal 1992, Volume 9, Number 1, P. 9-22.

36. Corcoran A. L., Wainwright R. L., A parallel island model genetic algorithm for the multiprocessor scheduling problem/Лп Proc. of the 1994 ACM symposium on Applied computing, 1994. P. 483-487.

37. Rudolpgh G. Convergence analysis of canonical genetic algorithms// In IEEE Transactions on Neural Networks., 1994. Vol. 5. P. 96-101.

38. Brin S., Davis J. and Garcia-Molina H. Copy detection mechanisms for digital documents//In Proc. of the 1995 ACM SIGMOD International Conference on Management of Data. P. 398-409.

39. Gamma E. et al. Design Patterns: Elements of Reusable Object-Oriented Software. Addison-Wesley Professional, 1995. PP. 465.

40. Gunter D., Client/Server Programming With RPC and DCE. Que, 1995. PP-756.

41. FIPS 180-1, Secure hash standard, NIST, US Department of Commerce, Washington D. C., 1995.

42. Metzger P. and Simpson W., IP Authentication using Keyed MD5. IETF Network Working Group, RFC 1828, August 1995.

43. Preneel B.and van Oorschot P., MD-x MAC and building fast MACs from hash functions// In Proc. of Crypto 95,1995. pp. 1.

44. Bellare M., Canetti R. and Krawczyk H. Keying Hash Functions for Message Authentication/An Proc. of CRYPTO 1996. P. 1-15.

45. Krishnamoorthy C.S., Rajeev S. Artificial Intelligence and Expert Systems for Engineers. CRC, 1996. PP. 297.

46. Tridgell A., Mackerras P. The RSYNC Algorithm/Technical Report TR-CS-96-05, Department of Computer Science, The Australian National University, Canberra, Australia, 1996.

47. Dobbertin H. RIPEMD with Two-Round Compress Function is Not Collision-Free/Journal of Ciyptology 10:1,1997. P. 51-70.

48. Renzel K. and Keller W. Client/Server Architectures for Business Information Systems, PloP'1997 Tech Report.

49. Renzel К. and Keller W. Three Layer Architecture. Software Architectures and Design Patterns in Business Applications, Technical Report TUM-I9746,1997.

50. Rogerson D., Inside Com. Microsoft Press, 1997. PP 376.

51. Brown C. et al., Effective COM: 50 Ways to Improve Your COM and MTS-based Applications. Addison-Wesley Professional, 1998. PP 222.

52. Chung P.E. et al, DCOM and CORBA Side by Side, Step By Step, and Layer by Layer/C++Report Magazine, 1998, 1 (Jan.), P. 18-29.

53. Mitchell M. An Introduction to Genetic Algorithms, MIT Press, 1998. PP.-221.

54. Abernethy R. et al., COM/DCOM Unleashed. Sams Publishing, 1999. PP 700.

55. Cho J., Garcia-Molina H. Synchronizing a database to improve freshness// In Proc. of SIGMOD conf. May 2000. P. 117-128.

56. Khrabrov A., Sobti S., Yianilos P. N. Synchronizable Databases for the Web/Tech. Rep., NEC Research Institute, 4 Independence Way, Princeton, NJ, December 2000.

57. Levine J., Linkers and Loaders. Morgan Kaufmann, 2000. PP 256.

58. Stone J., Partridge C. When the CRC and TCP checksum disagree//In Proc. of the 2000 ACM SIGCOMM conf., 2000. P. 309-313.

59. Tridgell A., Efficient Algorithms for Sorting and Synchronization. PhD Thesis, April 2000.

60. Baneijee A. et al, Professional C# Web Services: Building .NET Web Services with ASP.NET and .NET Remoting. Wrox Press, 2001. PP 550.

61. Garvan F., The MAPLE Book. Chapman & Hall, 2001. PP 496.

62. Muthitacharoen A., Chen В., Mazieres D. A low-bandwidth network file system// In Proc. XVIII ACM symposium on Operating systems principles, 2001. P. 174-187.

63. Whitley D. L., An overview of evolutionary algorithms practical issues and common pitfalMnformation & Software Technology 2001, Vol. 43, P. 817-831.

64. Cho J., Ntoulas A. Effective change detection using sampling/Technical report, UCLA Computer Science Department, 2002.

65. Fowler M. et al, Patterns of Enterprise Application Architecture, Addison Wesley, 2002, PP. 560.

66. Longshaw J., Sharp A., Microsoft Visual J# .NET (Core Reference). Microsoft Press, 2002. PP 944.

67. Ahn C.W., Ramakrishna R.S. Elitism-based compact genetic algorithms//In IEEE Transactions on Evolutionary Computation, Vol. 7, 2003. P. 367-385.

68. Heck A., Introduction to Maple. Springer, 2003. PP 848.

69. Henson V. An Analysis of Compare-by-Hash//In Proc. of the Ninth Workshop on Hot Topics in Operating Systems (HotOS IX), Lihue, HI, May 2003. P. 13-18.

70. Thorsteinson P., Ganesh G., .NET Security and Cryptography. Prentice Hall, 2003. PP 496.

71. Weisfeld M., Object-Oriented Thought Process. Sams, 2003. PP -228.

72. Bellare M. and Kohno T. Hash function balance and its impact on birthday attacks/Лп Proc. Advances in Ciyptology EUROCRYPT 2004, Lecture Notes in Computer Science, Vol. 3027 (2004). P. 401-418.

73. Henson V. Guidelines for Using Compare-by-hash. Электронный ресурс. / Электрон. дан. 2004 — Режим доступа: http://infohost.nmt.edu/~val/review/hash2.html, свободный.

74. Krafzig D., Banke К., Slama D. Enterprise SOA: Service-Oriented Architecture Best Practices. Prentice Hall, 2004. PP 408.

75. Muller F., The MD2 Hash Function Is Not One-Way//In Proc. of Asiacrypt'2004,2004. P. 214-229.

76. Wang X. et al. Collisions for Hash Functions MD4, MD5, HAVAL-128 and RIPEMD//CRYPTO 2004, Ciyptology ePrint Archive, Report 2004.

77. Gray О and van Ingen C. Empirical measurements of disk failure rates and error rates/Technical Report MSR-TR-2005-166, December 2005.

78. Henderson K., The Guru's Guide to Transact-SQL. Addison-Wesley Professional, 2005. PP 592.

79. Johnson G. Programming Microsoft ADO.NET 2.0 Applications: Advanced Topics. Microsoft Press, 2005. PP. 528.

80. Kozierok C., The TCP/IP Guide: A Comprehensive, Illustrated Internet Protocols Reference. No Starch Press, 2005. PP -1616.

81. Lin Y. et al, Middleware based Data Replication providing Snapshot Isolation//In Proc. ACM SIGMOD International Conference on Management of Data, 2005. P. 419-430.

82. Powell G. Beginning Database Design. Wrox, 2005. PP 504.

83. Overview & Comparison of Data Replication Architectures. Progress Software Whitepaper, 2005.

84. Rammer I., Szpuszta M., Advanced .NET Remoting. Apress, 2005. PP 608.

85. Xiaoyun W., Hongbo Y. How to Break MD5 and Other Hash Functions//In Proc. of EUROCRYPT 2005, P. 19-35.

86. Black J. Compare-by-Hash: a reasoned analysis/Tin Proc. USENIX Annual Technical Conference-Systems and Experience Track 2006, P. 8590.

87. Duffy J., Sharp A., Professional .NET Framework 2.0. Wrox , 2006. PP 624.

88. Hogenson G., C++/CLI: The Visual С++ Language for .NET . Apress, 2006. PP 448.

89. Marshall D. Programming Microsoft Visual C# 2005: The Language. Microsoft Press, 2006. PP. 600.

90. Northrup Т., Wildermuth S., Ryan B. MCTS Self-Paced Training Kit (Exam 70-536): Microsoft .NET Framework 2.0 Application Development Foundation. Microsoft Press, 2006. PP. 1000.

91. Rankins R. et. al., Microsoft(R) SQL Server 2005 Unleashed. Sams, 2006. PP- 1752.

92. Shan Т., Hua W. A Service-Oriented Solution Framework for Internet Banking/International Journal of Web Services Research 2006, Vol. 3, Issue 1, P. 29-48.

93. Shan Т., Hua W. Solution Architecture for N-Tier Applications/An Proc. of the 3rd IEEE International Conference on Services Computing (SCC 2006), P. 349-356.

94. Schwarz T. et al, Disk Failure Investigations at the Internet Archive/Work in Progress Report, 14th NASA Goddard 23rd IEEE Conference on Mass Storage Systems and Technologies (MSST2006), 2006.

95. Tanenbaum A., Steen M., Distributed Systems: Principles and Paradigms. Prentice Hall, 2006. PP 704.

96. Klein S., Professional WCF Programming: .NET Development with the Windows Communication Foundation. Wrox, 2007. PP 430.

97. McMurtry C., Windows Communication Foundation Unleashed. Sams, 2007. PP 720.

98. Pinheiro E., Weber W., and Barroso L. A. Failure trends in a large disk drive population/ZIn Proc. of the 5th USENIX Conference on File and Storage Technologies (FAST'07), 2007. P. 17-28.

99. Veerman E., Sarka D, Loria J. MCTS Self-Paced Training Kit (Exam 70-445): Microsoft SQL Server(TM) 2005 Business Intelligence Implementation and Maintenance. Microsoft Press, 2007. PP. 620.