Моделирование мониторинга информационного поля Internet тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Земсков, Илья Аркадьевич

• Земсков, Илья Аркадьевич
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Земсков, Илья Аркадьевич

Введение.

Глава 1. Анализ систем мониторинга информационного поля Internet.

1.1. Структура информационного поля.

1.2. Условия проведения мониторинга.

1.3. Классификация стратегий осуществления мониторинга.

1.3.1. Концепция «роботов».

1.3.2. Концепция «сенсоров».

1.3.3. Концепция «мобильных роботов».

1.4. Критерии эффективности систем мониторинга.

1.5. Выводы.

Глава 2. Моделирование системы мониторинга.

2.1. Анализ ситуации с моделированием систем мониторинга.

2.2. Математическая модель процесса мониторинга.

2.3. Имитационные модели системы мониторинга.

2.3.1. Модель «робота».

2.3.2. Модель «сенсоров».

2.4. Задание используемых законов распределений.

2.5. Выводы.

Глава 3. Реализация программного комплекса имитационного моделирования систем мониторинга.

3.1. Выбор среды моделирования.

3.2. Соглашения о внутреннем устройстве комплекса.

3.3. Общая настроечная информация.

3.4. Модули комплекса.

3.4.1. Создание набора ресурсов.

3.4.2. Создание истории изменения ресурсов.

3.4.3. Создание истории запросов ресурсов.

3.4.4. Создание маршрута робота.

3.4.5. Имитация системы роботов.

3.4.6. Имитация системы модифицированных роботов.

3.4.7. Имитация системы сенсоров.

3.4.8. Извлечение накопленной статистики.

3.4.9. Объединение статистики нескольких экспериментов.

3.5. Выводы.

Глава 4. Пример использования разработанного комплекса.

4.1. План проведения эксперимента.

4.2. Реализация.

4.3. Анализ результатов эксперимента.

4.4. Выводы.

Введение диссертации (часть автореферата) на тему «Моделирование мониторинга информационного поля Internet»

Современные научные, образовательные центры, которые построили развитые локальные («внутрикорпоративные») компьютерные сети с постоянным выходом в Internet, имеют беспрецедентную возможность быстро и сравнительно дёшево знакомить региональное и мировое сообщество с результатами своей деятельности. Для этого им достаточно создать внутри своей сети один или несколько Web-серверов, на которых осуществлять электронную публикацию всех необходимых сведений. По такому пути пошли, например, в таком знаменитом научно-образовательном центре, как Стэнфордский университет (Stanford University), список серверов и сайтов которого содержит несколько сотен ссылок (http://www.stanford.edu/home/atoz). Но со временем объём опубликованной на всех Web-cepBepax информации становиться настолько большим, что посетителям становится трудно ориентироваться в получившемся сегменте информационного поля, а значит трудно находить путь к требуемым сведениям. Однако, решая внедрить программный комплекс, который будет реализовывать функции поисковой системы (ПС), владельцы сегмента информационного поля сталкиваются с многочисленными проблемами выбора.

Если осуществляется выбор готового продукта из большого количества коммерческих и свободно распространяемых программных комплексов ПС, то основной проблемой является отсутствие объективной (отличной от рекламных «фактов») информации по каждому рассматриваемому варианту (не наблюдается практика публикации числовых данных, которые характеризуют сегменты информационного поля и эффективность внедрения какой-либо системы). Поэтому потребности практики обуславливают необходимость разработки программных средств, которые позволят относительно легко (при минимальных требованиях) получить данные для объективного сравнения вариантов поисковых систем или некоторых стандартных модулей поисковых систем.

Если же ведётся самостоятельная разработка, то основной проблемой является выбор наиболее эффективных алгоритмов, которые будут реализовывать основные модули ПС. Эта ситуация усугубляется тем, что в Internet присутствует большое количество публикаций (для начала можно обратиться к докладам на международных ежегодных специализированных конференциях: http://www2003.org/, http://www.iadis.org/icwi2003), в которых предлагаются методы (возможно очень эффективные) совершенствования различных аспектов функционирования ПС. Причём может получиться так, что после изучения описаний нескольких алгоритмов одного и того же модуля разработчики формулируют свой алгоритм (отличный от всех известных ранее или некую «компиляцию» выгодных качеств чужих алгоритмов). Чтобы окончательно убедиться в перспективности того или иного алгоритма (и тем самым осуществить выбор) логично обратиться к методам имитационного моделирования и осуществить предварительное исследование эффективности каждого из альтернативных алгоритмов. Однако в проанализированных работах наблюдается явная нехватка не только готовых моделей, но и подходов к их построению и программной реализации.

Цель работы состоит в разработке моделей и программного комплекса на их основе, позволяющих получить данные для проведения исследований относительной эффективности функционирования различных вариантов системы мониторинга.

Основные задачи работы включали:

• разработать классификацию существующих стратегий мониторинга информационного поля Internet;

• выявить набор критериев эффективности, которые могут охарактеризовать любой вариант системы мониторинга;

• разработать математическую модель процесса мониторинга;

• разработать имитационные модели системы мониторинга;

• разработать программный комплекс, который предназначен для проведения дискретно-событийного имитационного моделирования систем мониторинга и который допускает быструю модификацию при исследовании непредусмотренных вариантов системы;

• получить экспериментальное подтверждение практической применимости разработанного программного комплекса.

Методы исследования. При решении поставленных задач в работе использованы элементы математического и имитационного моделирования, а также методы и средства объектно-ориентированного программирования, баз данных.

Научная новизна. К новым результатам диссертации можно отнести:

• предложенную математическую модель процесса мониторинга информационного поля Internet;

• предложенную сенсорную технологию осуществления мониторинга;

• разработанный программный комплекс имитационного моделирования системы мониторинга сегмента информационного поля Internet (в Отраслевом фонде алгоритмов и программ получено свидетельство о регистрации разработки №4255 от 24.01.2005);

• применение разработанного программного комплекса для имитационного исследования нескольких вариантов системы мониторинга.

Практическая ценность работы заключается в возможности использования полученных научно-технических результатов при проектировании, эксплуатации, научном исследовании систем мониторинга в задачах, требующих относительного сравнения альтернативных алгоритмов и стратегий мониторинга.

Апробация работы. Результаты работы были представлены на следующих научных конференциях:

1. X Всероссийской научно-методической конференции «Телемати-ка'2003» (Санкт-Петербург, 2003).

2. VI Всероссийской научной конференции молодых ученых и аспирантов «Новые информационные технологии. Разработка и аспекты применения» (Таганрог, 2003)

3. IV Всероссийской конференции молодых ученых по математическому моделированию и информационным технологиям (Красноярск, 2003)

4. Образование. Экология. Экономика. Информатика. VIII Международной конференции "Нелинейный мир" (Астрахань, 2003).

5. Всероссийской научной молодежной конференции «Под знаком «Сигма» (Омск, 2003)

6. XLI Международной научной студенческой конференции «Студент и научно-технический прогресс» (Новосибирск, 2003).

7. VI рабочем совещании по электронным публикациям "El-Pub2001" (Новосибирск, 2001)

Также результаты работы докладывались на семинарах кафедр математического моделирования и кибернетики Омского государственного университета, на семинаре лаборатории сложных систем Омского филиала института математики им. C.JI. Соболева СО РАН, на семинаре научно-исследовательского института интеллектуальных информационных систем Тюменского государственного университета СО РАН и УрО РАН, на семинаре кафедры системного программирования Челябинского государственного университета, на семинаре кафедры системного программирования Южно-Уральского государственного университета.

По результатам выполненных исследований опубликовано 11 печатных и 2 электронных работы (одна на английском языке).

Разработанный программный комплекс SimCOSAR, а также полученные с его помощью данные были использованы в процессе проектирования систем мониторинга Web-pecypcoB, что подтверждено соответствующими актами о внедрении.

Основные положения, выносимые на защиту:

• модели системы мониторинга, которые принадлежат двум различным классам в классификации стратегий мониторинга;

• SimCOSAR - программный комплекс дискретно-событийного имитационного моделирования систем мониторинга;

• Результаты проведённых имитационных компьютерных экспериментов.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, заключения, списка литературы и семи приложений. Общий объём работы составляет 180 страниц. Библиографический список насчитывает 97 наименований.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Земсков, Илья Аркадьевич

4.4. Выводы

1. Осуществлена демонстрация основных этапов (планирование и настройка) подготовки программного комплекса SimCOSAR к проведению эксперимента. Приведённая информация может служить в качестве наглядной иллюстрации того, как от плана эксперимента перейти к настроенному на него программному комплексу.

2. Представлены сведения, которые характеризуют использованные вычислительные мощности и затраченное время на реализацию эксперимента. Эта информация позволяет оценивать ресурсы, которые могут потребоваться для проведения экспериментов по другим планам.

3. Результаты моделирования были проанализированы, что позволило получить новые знания об относительной эффективности нескольких вариантов системы мониторинга в широком диапазоне рабочих нагрузок. Новые знания позволяют уверенно рекомендовать внедрение сенсорных систем мониторинга для наблюдения за ИР с высокой посещаемостью и любой интенсивностью изменений. Для наблюдения за ресурсами, у которых интенсивность изменений превышает интенсивность посещений, рекомендуется использование систем мониторинга основанных на модифицированных роботах.

4. Фактически была решена важная задача проводимого исследования, а именно, было показано, что с помощью программного комплекса можно получать данные, которые необходимы при сравнении различных вариантов системы мониторинга.

Заключение

При выполнении диссертационной работы получены следующие основные результаты.

1. Предложена новая классификация стратегий мониторинга информационных полей Internet. В качестве классифицирующего признака выбрана информация о месторасположении модуля системы мониторинга, который отвечает за обнаружение изменений в информационных ресурсах.

2. Использование введенной классификации позволило предложить новый (не упоминавшийся в публикациях ранее) алгоритм мониторинга, который основан на «сенсорах» (программных модулях), которые «слушают» трафик Web-cepBepa.

3. Выявлены (в ходе анализа публикаций) критерии эффективности, которые пригодны для сравнения любых вариантов системы мониторинга: «свежесть» накопленной системой мониторинга информации и объём данных, которые передаются с Web-серверов на головной сервер мониторинга.

4. Предложена математическая модель процесса мониторинга.

5. Разработаны имитационные модели двух вариантов системы мониторинга. Во-первых, системы, которая использует одного обычного робота для циклического скачивания всех информационных ресурсов информационного поля. Во-вторых, системы, которая использует сенсоры для обнаружения изменений состояния информационных ресурсов и которая после поступления от сенсора «сигнала тревоги» немедленно скачивает изменившийся информационный ресурс.

6. На базе языка программирования Python, БД MySQL, библиотеки классов дискретно-событийного моделирования SimPy и имитационных моделей разработан программный комплекс SimCOSAR для компьютерного моделирования работы вариантов системы мониторинга, которые используют роботов, «модифицированных роботов» (при циклическом обходе сначала посылается HEAD-запрос и только при обнаружении изменений информационный ресурс скачивается), сенсоры.

7. В ходе компьютерного экспериментирования с комплексом SimCOSAR получены числовые данные, после анализа которых: a. признано, что они адекватно отражают характеристики протекающих процессов (так как очевидно, что смоделированные ситуации можно воссоздать в практических условиях); b. получены новые знания (например, составлен рейтинг вариантов) об относительной эффективности семи вариантов системы мониторинга в широком (54 ситуации) диапазоне рабочих нагрузок - сенсорную систему мониторинга рекомендуется внедрять для наблюдения за ИР, которые имеют интенсивность посещений большую, чем интенсивность изменений, а для наблюдения за ресурсами, у которых интенсивность изменений превышает интенсивность посещений, рекомендуется использование систем мониторинга основанных на модифицированных роботах; c. признано, что комплекс применим для получения числовых данных, которые необходимы при сравнении различных вариантов системы мониторинга.

8. Полученные в эксперименте данные помогли принять решение о начале реализации сенсорной системы для мониторинга информационного поля Омского государственного университета.

Разработанные классификация, имитационные модели, программный комплекс могут быть использованы в задачах анализа производительности систем мониторинга при проектировании (для исследования новых вариантов комплекс можно легко модифицировать под условия новой задачи), эксплуатации (для этого в соответствующие таблицы базы данных комплекса необходимо внести данные о реальном информационном поле - характеристики страниц, журналы их изменений и запросов), научном исследовании, в процессе обучения.

Планируется дальнейшее развитие представляемой работы по следующим основным направлениям:

• развитие средств сбора, накопления и обработки экспериментальных данных, например, в течение одного опыта необходим сбор данных о состоянии переменных не только в «периодическом» режиме, но и в режиме сохранения истории изменения значений;

• развитие средств дистанционного управления ходом эксперимента;

• исследование такого варианта сенсорной системы мониторинга, в котором при поступлении от сенсора «сигнала тревоги» изменившийся информационный ресурс ставится в очередь на скачивание.

Список литературы диссертационного исследования кандидат технических наук Земсков, Илья Аркадьевич, 2005 год

1. Айвазян С. А-., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных: Справ, изд. М.: Финансы и статистика, 1983.-471 с.

2. Браславский П.И. Методы повышения эффективности поиска научной информации (на материале Internet): Дис. канд. техн. наук: 05.13.16 / УГТУ. -Екатеринбург, 2000. 161с.

3. Бусленко В.Н. Автоматизация имитационного моделирования сложных систем. -М.: Наука, 1977. 204с.

4. Губанов В.А., Захаров В.В., Коваленко А.Н. Введение в системный анализ: Учебное пособие. JI.: Издательство Ленинградского университета, 1988. -232 с.

5. Земсков И.А. О концепции индексации информационных ресурсов сети Интернет//Математические структуры и моделирование. Омск, 2001. Вып.8. С.126-131.

6. Земсков И.А. Сбор информации о доступных ресурсах Интернет // Математические структуры и моделирование. Омск, 2002. Вып.9. С. 168-178.

7. Земсков И.А. Имитационное исследование концепций сбора информации для индексов поисковых систем // Математические структуры и моделирование. Омск, 2002. Вып. 10. С. 172-191.

8. Земсков И.А. SIMCOSAR: Программный комплекс моделирования процесса мониторинга состояния информационного поля Интернет // Математические структуры и моделирование. Омск, 2003. Вып.11. С.128-157.

9. Ю.Земсков И.А. Мониторинг информационного состояния единой образовательной информационной среды / Труды X Всерос. научн.-метод, конф. Те-лематика'2003, 14-17 апреля 2003 г., T.l. С.198-199.

10. Zemskov I. Using sensors in the web crawling process (Использование сенсоров в роцессе мониторинга Web). Electronic resource. Mode of access: http://arXiv.org/abs/cs/0312033.

11. Иванова В.М. Случайные числа и их применение. М.: Финансы и статистика, 1984.- 111с.

12. Имитационное моделирование производственных систем/ Под общ. ред. чл.-кор. АН СССР Вавилова А.А. М.: Машиностроение; Берлин: Техника, 1983. - 416с.

13. Клейнен Дж. Статистические методы в имитационном моделировании. -Вып. 1. -М.: Статистика, 1978. -221с.

14. Марков А.А.Моделирование информационно-вычислительных процессов. Издательство МГТУ им. Н.Э. Баумана, 1999.

15. Мартин Дж. Системный анализ передачи данных. М:Мир, 1975/П.- 252с.

16. Мартин Дж. Системный анализ передачи данных. М:Мир, 1975.Т2.- 427с.

17. Мартин Ф. Моделирование на вычислительных машинах. М.: Советское радио, 1972.-228с.

18. Моделирование систем информатики. Тезисы докладов 2-й всесоюзной конференции. Новосибирск. 25-27 сентября 1990г.

19. Некрестьянов И.С., Пантелеева Н. Системы текстового поиска для Веб. Электронный ресурс. Режим доступа: http://meta.math.spbu.ru/~nadejda/pa-pers/web-ir/web-ir.html.

20. Некрестьянов И.С. Тематико-ориентированные методы информационного поиска: Дис. канд. физ.-мат. наук: 05.13.11 / СПбГУ. СПб., 2000. Электронный ресурс. Режим доступа: http://meta.math.spbu.ru/~igor/thesis/-thesis.html.

21. Основы теории вычислительных систем/ Майоров С.А., Новиков Г.И., Алиев Т.И. и др.; Под редакцией Майорова С.А. М.: Высшая школа, 1978. -408с.

22. Основы моделирования сложных систем: Учебное пособие для студентов вузов / Под общ. ред. д-ра техн. Наук И.В, Кузьмина Киев: Вища школа. Головное издательство. 1981. - 360с.

23. ЗО.Пранявичюс Г. Модели и методы исследования вычислительных систем. -Вильнюс: Мокслас, 1982.-228с.31 .Родионов А.С. Разработка систем дискретного имитационного моделирования информационных сетей: Автореф. дис. док. техн. наук. Новосибирск, 2002.

24. Советов Б.Я., Яковлев С.А. Построение сетей интегрального обслуживания. JL: Машиностроение. Ленинградское отделение, 1990. - 332с.

25. Советов Б.Я., Яковлев С.А. Моделирование систем: Учебник для вузов по спец. АСУ. М.: Высш. шк., 1985. - 271с.

26. Советов Б.Я., Яковлев С.А. Моделирование систем: Курсовое проектирование: Учебное пособие для вузов по спец. АСУ.-М.: Высш. шк., 1988. 135с.

27. Храмцов П. Информационно-поисковые системы Internet // Открытые системы, 1996, №3(17), С.46-49.

28. Храмцов П. Моделирование и анализ работы информационно-поисковых систем Internet // Открытые системы, №6(20), С. 46-56.

29. Цвиркун А.Д., Акинфиев В.К., Филиппов В.А. Имитационное моделирование в задачах синтеза структуры сложных систем (оптимизационно-имитационный подход). М.: Наука, 1985. - 171с.

30. Шеннон Р. Имитационное моделирование систем искусство и наука. - М.: Мир, 1978.-240с.

31. Шрайбер Т. Дж. Моделирование на GPSS.-M.:ManiHHocTpoeHHe,1980 592с.

32. Ямпольский В.З., Комагоров В.П., Солдатов В.Н. Моделирование сетей передачи и обработки информации. — Новосибирск: Наука, 1986. 135с.

33. Arasu A., Cho J., Garcia-Molina Н., Paepcke A., Raghavan S. Searching the Web. Electronic resource. Mode of access: http://rose.cs.ucla.edu/~cho/papers/cho-toit01.pdf.

34. Baeza-Yates R., Castillo C. Balancing Volume, Quality and Freshness in Web Crawling. Electronic resource. Mode of access: http://citeseer.nj.nec.com/baeza-yates02balancing.html.

35. Bowman M.C., Danzig P.B., Hardy D.R., Manber U., Schwartz M.F. The Harvest Information Discovery and Access System. Electronic resource. Mode of access: http://citeseer.nj.nec.com/bowman95harvest.html.

36. Brandman O., Cho J., Garcia-Molina H., Shivakumar N. Crawler-Friendly Web Servers. Electronic resource. Mode of access: http://rose.cs.ucla.edu/~cho/-papers/cho-server.pdf.

37. Brewington B.E., Cybenko G. Keeping up with the changing Web. Electronic resource. Mode of access: http://www.ece.eng.wayne.edu/~czxu/ece7995/reading/-keep-up-change.pdf.

38. Brewington B.E. Observation of changing information sources. Phd thesis, Dartmouth College, June 2000. Electronic resource. Mode of access: http://citesee-r.nj.nec.com/brewingtonOOobservation.html.

39. Brin S., Page L. The Anatomy of a Search Engine. Electronic resource. Mode of access: http://www7.scu.edu.au/programme/fullpapers/1921/coml921.htm.

40. Broder A.Z., Najork M., Wiener J.L. Efficient URL Caching for World Wide Web Crawling. Electronic resource. Mode of access: http://www2003.org/cdro-m/papers/refereed/p096/p96-broder.html.

41. Buyukkokten O., Garcia-Molina H., Paepcke A. Focused Web Searching with PDAs. Electronic resource. Mode of access: http://www-db.stanford.edu/~or-kut/papers/pb2.pdf.

42. Castillo C. Cooperation schemes between a Web server and a Web search engine. Electronic resource. Mode of access: http://citeseer.nj.nec.com/588517.html.

43. Castillo C., Baeza-Yates R. A New Model for Web Crawling. Electronic resource. Mode of access: http://citeseer.nj.nec.com/castillo01new.html.

44. Cho J., Garcia-Molina H. Estimating Frequency of Change. Electronic resource. Mode of access: http://citeseer.nj.nec.com/choOOestimating.html.

45. Cho J., Garcia-Molina H., Page L. Efficient Crawling Through URL Ordering. Electronic resource. Mode of access: http://rose.cs.ucla.edu/~cho/papers/cho-order.pdf.

46. Cho J., Garcia-Molina H. The Evolution of the Web and Implications for an Incremental Crawler. Electronic resource. Mode of access: http://citeseer.nj.nec.c-om/choOOevolution.html.

47. Cho J., Shivakumar N., Garcia-Molina H. Finding replicated web collections. Electronic resource. Mode of access: http://citeseer.nj.nec.com/cho99findin-g.html.

48. Cho J. Crawling the Web: Discovery and maintenance of large-scale web data. PhD thesis, Department of Computer Science, Stanford University, 2001. Electronic resource. Mode of access: http://citeseer.nj.nec.com/cho01crawling.html.

49. Chakrabartiy S., Punera K., Subramanyam M. Accelerated Focused Crawling through Online Relevance Feedback. Electronic resource. Mode of access: http://citeseer.nj.nec.com/chakrabarti02accelerated.html.

50. Coffman E.G. Jr., Liu Z., Weber R.R. Optimal Robot Scheduling for Web Search Engines. Electronic resource. Mode of access: http://citeseer.nj.nec.com/coffm-an97optimal.html.

51. Cooper C., Frieze A. Crawling on web graphs. Electronic resource. Mode of access: http://citeseer.nj .nec.com/cooper02cra wling.html.

52. Diligenti M., Coetzee F.M., Lawrence S., Giles C.L., Gori M. Focused Crawling Using Context Graphs. Electronic resource. Mode of access: http://www.nec-i.nec.com/homepages/coetzee/focusCrawler.pdf.

53. Douglis F., Feldmann A., Krishnamurthy B. Rate of Change and other Metrics: a Live Study of the World Wide Web. Electronic resource. Mode of access: http://citeseer.nj.nec.com/douglis97rate.html.

54. Eichmann D. Ethical Web Agents. Electronic resource. Mode of access: http://mingo.info-science.uiowa.edu/eichmann/www-f94/ethics/ethics.ps.

55. Ester M., GroB M., Kriegel H. Focused Web Crawling: A Generic Framework for Specifying the User Interest and for Adaptive Crawling Strategies. Electronic resource. Mode of access: http://citeseer.nj.nec.com/456508.html.

56. Fiedler J., Hammer J. Mobile Web crawling. Electronic resource. Mode of access: http://www.cise.ufl.edu/tech-reports/tech-reports/tr98-abstracts.shtml.

57. Fox A., Brewer E.A. Harvest, Yield, and Scalable Tolerant Systems. Electronic resource. Mode of access: http://www.cs.ucsb.edu/~tve/cs290i-sp01/papers/fox-99harvest.pdf.

58. Gery M. Considering HyperDocuments and Context for Indexing the Web. Electronic resource. Mode of access: http://citeseer.nj.nec.com/567417.html.

59. Glover E.J. Using extra-topical user preferences to improve web-based meta-search: PhD thesis, University of Michigan, 2001. Electronic resource. Mode of access: http://www.webir.org/resources/phd/Glover2001 .pdf.

60. Green J.W. HYPERDOG Up To Date Web Monitoring Through Metacomput-ers. Electronic resource. Mode of access: http://www.cnds.jhu.edu/pub/paper-s/hyperdog.pdf.

61. Gupta V., Campbell R. Competitive algorithms for asynchronous update propagation in mobile computing and for search engine freshness. Electronic resource. Mode of access: http://www-sal.cs.uiuc.edu/~vsgupta/REPORTS/competitive-al-gos.ps.gz.

62. Gupta V., Campbell R. Internet search engine freshness by web server help. Electronic resource. Mode of access: http://citeseer.nj.nec.com/guptaOOinter-net.html.

63. Hammer J., Fiedler J. Using Mobile Crawlers to Search the Web Efficiently. Electronic resource. Mode of access: http://citeseer.nj.nec.com/hammerOOusi-ng.html.

64. Hinze A., Faensen D. A Unified Model of Internet Scale Alerting Services. Electronic resource. Mode of access: http://citeseer.nj.nec.com/hinze99unified.html.

65. Kumar R., Raghavan P., Rajagopalan S., Sivakumar D., Tomkins A.S., Upfal E. The Web as a graph. Electronic resource. Mode of access: http://citeseer.nj.ne-c.comJ290635.html

66. Lam S. The Overview of Web Search Engines. Electronic resource. Mode of access: http://citeseer.nj.nec.com/Iam01overview.html.

67. Lam W., Garcia-Molina H. Multicasting a Web Repository. Electronic resource. Mode of access: http://dbpubs.stanford.edu/pub/2001-55.

68. Leung S.A., Perl S.E., Stata R., Wiener J.L. Towards Web-scale Web Archaeology. Electronic resource. Mode of access: http://citeseer.nj.nec.com/leung01-towards.html.

69. Lim L., Wang M., Padmanabhan S., Vitter J.S., Agarwal R. Characterizing Web Document Change. Electronic resource. Mode of access: http://citeseer.nj.ne-c .com/1 imO 1 character izing.html.

70. McLearn G. L. Autonomous Cooperating Web Crawlers / Master's thesis. Electronic resource. Mode of access: http://citeseer.nj.nec.com/mclearn02autonomo-us.html.

71. Melnik S., Raghavan S., Yang В., Garcia-Molina H. Building a Distributed Full-Text Index for the Web. Electronic resource. Mode of access: http://www-db.s-tanford.edu/~rsram/pubs/wwwl 0/wwwl Opaper.pdf.

72. Menczer F., Pant G., Srinivasan P., Ruiz M.E. Evaluating Topic-Driven Web Crawlers. Electronic resource. Mode of access: http://doIlar.biz.uiowa.ed-u/~fil/Papers/sigir-01 .pdf.

73. Najork M., Heydon A. High-Performance Web Crawling. Electronic resource. Mode of access: http://citeseer.nj.nec.com/najork01highperformance.html.

74. Najork M., Wiener J.L. Breadth-First Search Crawling Yields High-Quality Pages. Electronic resource. Mode of access: http://wwwlO.org/cdrom/paper-s/pdf/p208.pdf.

75. Pant G., Bradshaw S., Menczer F. Search Engine-Crawler Symbiosis. Electronic resource. Mode of access: http://citeseer.nj.nec.com/pant03search.html.

76. Pant G., Menczer F. Topical Crawling for Business Intelligence. Electronic resource., Mode of access: http://citeseer.nj.nec.com/568289.html.

77. Pant G., Srinivasan P., Menczer F. Crawling the Web. Electronic resource. Mode of access: http://citeseer.nj.nec.com/579280.html.

78. Raghavan S., Garcia-Molina H. Crawling the Hidden Web. Electronic resource. Mode of access: http://dbpubs.stanford.edu/pub/2000-36.

79. Rennie J., McCallum A.K. Using Reinforcement Learning to Spider the Web Efficiently. Electronic resource. Mode of access: http://www.ai.mit.edu/~jrenn-ie/papers/icml99-text.pdf.

80. Selberg, E.W. Towards comprehensive Web Search. PhD thesis, University of Washington, 1999. Electronic resource. Mode of access: http://citeseer.nj.ne-c.com/selberg99towards.html.

81. Shivakumar N., Garcia-Molina H. Finding near-replicas of documents on the web. Electronic resource. Mode of access: http://www-db.stanford.edu/pub/pa-persAveb-webdb98.ps.

82. Shkapenyuk V., Suel T. Design and Implementation of a High-Performance Distributed Web Crawler. Electronic resource. Mode of access: http://cis.poly.ed-u/tr/tr-cis-200 l-03.pdf.

83. Silveira R., Filho S. The Mobile Agents Paradigm. Electronic resource. Mode of access: http://citeseer.nj.nec.com/437842.html.

84. Srinivasan P., Mitchell J., Bodenreider O., Pant G., Menczer F. Web Crawling Agents for Retrieving Biomedical Information. Electronic resource. Mode of access: http://citeseer.nj.nec.com/srinivasan02web.html.

85. Srinivasan P., Pant G., Menczer F. Target Seeking Crawlers and their Topical Performance. Electronic resource. Mode of access: http://citeseer.nj.nec.com/sri-nivasan02target.html.

86. Talim J., Liu Z., Nain P., Coffman E.G. Jr. Optimizing the Number of Robots for Web Search Engines. Electronic resource. Mode of access: http://citeseer.n-j .nec.com/talimO 1 optimizing.html.

87. Wims В., Xu С. TRAVELER: A Mobile Agent Based Infrastructure for Wide Area Parallel Computing. Electronic resource. Mode of access: http://www.pdc-l.eng. wayne.edu/-czxu/paper/asa-traveler.ps.

88. Yang Y., Rana O.F., Georgousopoulos C. Mobile Agents and the SARA Digital Library. Electronic resource. Mode of access: http://citeseer.nj.nec.com/yangOO-mobile.html.