Разработка математических моделей, методов и программных средств для исследования взаимосвязей регламентируемых веб-сайтов тема диссертации и автореферата по ВАК РФ 05.13.18, доктор технических наук Печников, Андрей Анатольевич

• Печников, Андрей Анатольевич
• доктор технических наук
• 2011

Оглавление диссертации доктор технических наук Печников, Андрей Анатольевич

ВВЕДЕНИЕ.

1. ВЕБОМЕТРИЧЕСКИЕ ИССЛЕДОВАНИЯ: СОВРЕМЕННОЕ СОСТОЯНИЕ И АКТУАЛЬНЫЕ ЗАДАЧИ.

1.1 Вебометрика как научное направление.1.23^

1.2 Единицы-анализа и целевые множества исследований.25*

1.3 Теоретико-графовые модели Веба.31?

1.4 Социальные феномены в Вебе.

1.5 Программные средства для сбора данных о Вебе.

1.6 Вебометрические индикаторы и задачи ранжирования сайтов.

1.7 Поисковое продвижение сайтов.

1.8 Другие вебометрические исследования.

1.9 Выводы.

2. МЕТОД ПОСТРОЕНИЯ МОДЕЛЕЙ ФРАГМЕНТОВ ВЕБА ДЛЯ РЕГЛАМЕНТИРУЕМЫХ ТЕМАТИЧЕСКИХ ЦЕЛЕВЫХ МНОЖЕСТВ.

2.1 Общая характеристика метода построения моделей фрагментов Веба.

2.2 Базовые понятия и определения.

2.3 Концептуальная модель фрагмента Веба для регламентируемого тематического целевого множества.

2.4 Процедура построения концептуальной модели фрагмента Веба для заданного регламентируемого тематического целевого множества.

2.5 Диаграмма концептуальной модели фрагмента Веба.

2.6 Реализация концептуальной модели фрагмента Веба на множестве официальных сайтов учреждений РАН.

2.6.1 Задание целевого множества официальных сайтов учреждений РАН.

2.6.2 Формирование сопутствующего множества по отношению к академическому целевому множеству.782.6.3 Формирование множества ближайших окрестностей академического Веба.

2.6.4 Вычисление пороговых значений и задание функции Т genre.81^

2.6.5 Формирование множеств веб-коммуникаторов и оболочки.83'

2.6.6 Формирование множеств отношений.89'

2:6.7 Определение значений атрибутов.89й

2.6.8 Диаграмма концептуальной модели академического фрагмента Веба

2.6.9 Сайты научных конференций как веб-коммуникаторы.

2.7 Реализация концептуальной модели фрагмента Веба на множестве-официальных сайтов классических университетов РФ

2.7.1 Задание целевого множества официальных сайтов классических университетов РФ.

2.7.2 Формирование сопутствующего множества по отношению к университетскому целевому множеству.

2.7.3 Формирование множества ближайших окрестностей университетского Веба.

2.7,.4 Вычисление пороговых значений и задание функции Tgenre.

2.7.5 Формирование множеств веб-коммуникаторов и оболочки.

2.7.6 Формирование множеств отношений.

2.7.7 Определение значений атрибутов.

2.8 Реализация концептуальной модели фрагментаВеба на множестве официальных сайтов органов государственной власти Республики Карелия.

2.8.1 Задание целевого множества официальных сайтов органов государственной власти Республики Карелия.

2.8.2 Формирование сопутствующего множества по отношению к целевому множеству сайтов органов госвласти РК.111'

2.8.3 Формирование множества ближайших окрестностей фрагмента Веба органов госвласти РК

2.8.4 Вычисление пороговых значений и задание функции Tgenre.

2.8.5 Формирование множеств веб-коммуникаторов и оболочки.

2:8.6 Формирование множеств отношений.

2.8.7 Определение значений атрибутов.

2.9 Выводы.

3. ПРИМЕНЕНИЕ ТЕОРЕТИКО-ГРАФОВЫХ МОДЕЛЕЙ И МЕТОДОВ ДЛЯ ИССЛЕДОВАНИЯ ФРАГМЕНТОВ ВЕБА.

3 .1 Общая характеристика теоретико-графового подхода для исследования-связности фрагментов Веба.

3.2 Исследование связности целевого множества на административном каркасе и административных подмножествах.

3.3 Исследование компонент связности веб-графа Gye(V,E).128'

3.4 Результаты исследования веб-графа академического фрагмента Веба.

3.4.1 Исследование связности на административном каркасе и административных подмножествах.131'

3.4.2 Исследование компонент связности веб-графа академического фрагмента Веба.

3.5 Результаты исследования-веб-графа университетского фрагмента Веба.

3.6 Результаты исследования веб-графа фрагмента Веба органов, государственной власти РК.

3.6.1 Исследование связности на административном каркасе и административных подмножествах органов госвласти РК.

3.6.2 Исследование компонент связности веб-графа фрагмента Веба органов госвласти РК.

3.7 Выводы.

4. ВЕБОМЕТРИЧЕСКИЕ МЕТОДЫ РАНЖИРОВАНИЯ САЙТОВ.

4.1 Общая характеристика вебометрических методовфанжирования.

4.2 Ранжирование сайтов университетов СЗФО РФ и Финляндии.

4.2.1 Целевое множество исследований.

4.2.2 Измерения, анализ и ранжирование.

4.2.3 Анализ результатов и выводы.

4.3 Ранжирование, сайтов классических университетов России.

4.3.1 Целевое множество исследований.171'

4.3.2 О содержательном смысле вебометрических индикаторов.

4.3.3 Измерения, результаты и анализ.

4.3.4 Критерии и результаты ранжирования.

4.4 Ранжирование сайтов учреждений РАН северо-запада России.179!

4.4.1 Целевое множество исследований.179;

4.4.2 Ранжирование по критерию ИВТ СО РАН.

4.4.3 О применимости поисковых машин.181'

4.4.4 Смешанный подход к измерениям индикаторов и модифицированный рейтинг.

4.5 Предложения и рекомендации.

4.6 Краткие выводы.

5. РАЗРАБОТКА И ИССЛЕДОВАНИЕ МАТЕМАТИЧЕСКИХ МОДЕЛЕЙ ДЛЯ ВЕБОМЕТРИЧЕСКИХ ЗАДАЧ.

5.1 Общая характеристика задач математического моделирования в вебометрике.

5.2 Задача оптимальной расстановки ссылок в локализованной системе веб-ресурсов.

5.2.1 Описание задачи расстановки ссылок.

5.2.2 Математическая модель в общей постановке.

5.2.3 Кооперативная и согщалъная целевые функции.

5.2.4 Анализ линейной кооперативной модели.

5.2.5 Анализ социальной модели.

5.2.6 Исследования согласованного поведения реальных веб-сообществ.

5.3 Задача дележа затрат на создание веб-коммуникатора.

5.3.1 Описание задачи дележа затрат на создание веб-коммуникатора.

5.3.2 Постановка задачи дележа затрат.

5.3.3 Эгоистичный подход.

5.3.4 Кооперативный подход.

5.3.5 Определение исходных данных для задачи дележа затрат.

5.4 Задача об участии в сообществе динамического каталога.

5.4.1 Описание задачи о динамическом каталоге.

5.4.2 Постановка задачи о динамическом каталоге.228 '

5.4.3 Построение системы для вычисления предельной матрицы.

5.4.4 Анализ модели для частных случаев.

5.4.5 Численные эксперименты и результаты.

5.5 Краткие выводы.

6. ПРОГРАММНЫЕ СРЕДСТВА ДЛЯ СБОРА, ХРАНЕНИЯ И ОБРАБОТКИ ВЕБОМЕТРИЧЕСКОЙ ИНФОРМАЦИИ.

6.1 Общая характеристика программных средств для вебометрических исследований.

6.2 Информационная система для вебометрических исследований.

6.2.1 Поисковый робот. ЬРЯ.

6.2.2 База данных для вебометрических исследований.

6.3 Измерения индикаторов средствами поисковых машин.

6.4 Краткие выводы.

Введение диссертации (часть автореферата) на тему «Разработка математических моделей, методов и программных средств для исследования взаимосвязей регламентируемых веб-сайтов»

Общая характеристика работы

Веб, Глобальная сеть, Всемирная паутина, World Wide Web, WWW, W3, Web - все эти термины сегодня используются для обозначения одного явления глобального масштаба. Веб представляет собой распределенную систему взаимосвязанных гипертекстовых документов, расположенных на различных компьютерах, подключенных к Интернету.

Изучение Веба началось с его появлением в 1989 году, и в первые годы его можно было исследовать, так сказать, «в целом», вследствие небольшой размерности рассматриваемых задач.

Рис. 0.1. Общее количество веб-сайтов в мире с августа 1995 г. по июнь 2010 г.

Примерно с 1996 года в связи с быстрым ростом Веба (см. рис. 0.1 из Web Server Survey Archives, http://news.netcraft.com/archives/webserversurvey.html) формируется новое научное направление, получившее название «вебометрика». К основным разделам вебометрики относятся: разработка средств сбора данных о Вебе, изучение гиперссылок, описательные и формальные модели Веба и социальные феномены в Вебе.

В вебометрике большое внимание уделяется веб-ресурсам научных институтов и университетов. С одной стороны, они являются средствами для публикации открытой и доступной всем пользователям Веба информации и выполняют коммуникационные функции как между самими организациями, так и между учеными и научно-педагогическими работниками (причем не только в масштабах региона или страны, но и во всем мире), что в полной мере соответствует Берлинской декларации об открытом доступе к научному и гуманитарному знанию (http://oa.mpg.de/openaccess-berlin/berlindeclaration;html).

С другой стороны, по ряду причин эти веб-ресурсы представляют собой удачные экспериментальные площадки для того, чтобы впоследствии перенести полученные результаты на другие фрагменты и/или более общие случаи. Понимание взаимодействия сайтов научного и/или вузовского Веба позволяет не только сформулировать описательные модели, объясняющие их природу, но и попытаться, в случае необходимости, сделать некоторые процессы в Вебе управляемыми.

Мы исходим из того, что научные и вузовские веб-ресурсы (в отличие от многих других ресурсов Веба), могут быть отнесены к так называемым «регламентируемым веб-ресурсам». Это означает, что существует официальный документ (например, регламент официального сайта университета, утвержденный приказом ректора), в котором изложены цели и задачи веб-ресурса, основные структурные составляющие, правила добавления и изменения информации и т.д. (на сегодня точнее сказать, что такие документы должны существовать, поскольку на большинстве официальных сайтов их обнаружить не удалось). Таким образом, под управляемостью процессами в Вебе понимается формулировка управленческих решений в виде официальных документов, определяющих их реализацию и дальнейшее исполнение.

Прежде чем реализовывать управленческие решения в виде регламентов, необходимо пройти путь от сбора информации о конкретной предметной области (фрагменте Веба) к построению ее формальных моделей и формулировке и решению оптимизационных задач.

Исследования, оценивающие веб-ресурсы высших учебных заведений и научно-исследовательских институтов по различным критериям, показывают существенное отставание сайтов- российских учреждений от зарубежных аналогов. К примеру, по: данным Cybermetrics Lab на январь 2010 года, сайт. Московского государственного университета занимал 226 место, в рейтинге университетов мира, а портал Российской академии наук - 114-е в рейтинге научных организаций-мира. Скромные позиции российских научных и учебных заведений рядом исследователей объясняются такими причинами, как малое количество англоязычных веб-страниц, низкая активность ученых и преподавателей в формировании контента веб-ресурсов и недостаток внешних гиперссылок, подчеркивающий невысокую коммуникабельность в Вебе. В этом случае можно говорить о слабом присутствии в Вебе единичных сайтов.

В более общем виде речь идет о проблеме присутствия веб-ресурсов в Вебе* как с точки зрения единичных сайтов, так и с точки зрения тематических сообществ - множеств сайтов, объединяемых единой тематикой.

К первичным характеристикам присутствия сайта в Вебе относятся такие индикаторы, как его размеры (количество /^/-страниц, количество размещенных на сайте документов в форматах doc, xls, ppt и др.) и узнаваемость (количество гиперссылок, сделанных на сайт с других сайтов). На основе этих индикаторов рассматриваются вторичные характеристики присутствия сайтов, к которым относятся WIF {Web Impact Factor - количество ссылок, сделанных на сайт, делённое на количество его страниц), функции ранжирования сайтов, тИЦ {тематический Индекс Цитирования Яндекса), PR {Google Page Rank).

В качестве моделей взаимодействия сайтов в Вебе часто используются теоретико-графовые подходы (вершины веб-графа соответствуют исследуемым сайтам, а дуги - гиперссылкам между ними); Это позволяет применить для-оценки присутствия сообществ сайтов известные теоретико-графовые характеристики (степень вершины, компонента сильной связности, диаметр, клика и т.д.).

Степень присутствия сайта в Вебе существенно влияет такие поисковые характеристики, как количество переходов на него с поисковых машин и- с других сайтов. Это делает актуальным необходимость постановки и решения задач, направленных на улучшение присутствия в. Вебе -российских регламентируемых тематических сообществ (таких, как сайты научно-исследовательских учреждений, университетов, органов государственной власти).

В первую очередь необходима разработка формальных моделей, объясняющих поведение и взаимодействие сайтов. В методологическом плане представляется интересным подход, используемый в общей теории систем, где большой системой предлагается называть такую систему, которую невозможно исследовать иначе, как по подсистемам. Используя такой подход и определяя Веб как большую систему, мы можем выделить некоторые его подсистемы -фрагменты Веба - для локальных исследований, а эта проблема очень важна, учитывая размерность Веба. На это следует обратить особое внимание, поскольку ориентация только на множество регламентируемых тематических сайтов не означает сужение исследуемого множества до нескольких сотен единиц анализа. Регламентируемый тематический фрагмент включает в себя не только официальные сайты организаций, но и все сайты, на которые имеются гиперссылки, сделанные с данного целевого множества. Это множество сайтов мы будем называть сопутствующим и количество таких «сопутствующих» сайтов измеряется десятками тысяч, а количество сделанных на них гиперссылок - миллионами.

На сегодняшний день не разработаны подходы к определению и локализации фрагментов Веба, не выявлено различий между первичными и второстепенными веб-ресурсами, что существенно влияет на затраты вычислительных ресурсов при проведении исследований. С учетом большой размерности исследуемых задач необходима разработка концептуальной модели, отражающая самые общие характеристики фрагмента Веба, поясняющей его разбиение на основные составляющие подмножества и их свойства и определяющей связи между этими подмножествами. Построение и анализ концептуальной модели позволяет в дальнейшем перейти к использованию теоретико-графовых подходов к исследованию его наиболее важных составляющих подмножеств и связей между ними, причем размерность такой задачи заведомо меньше, чем размерность задачи исследования фрагмента Веба в целом.

Теоретико-графовые подходы к исследованию Веба показывают, что, несмотря на видимое отсутствие непосредственных управляющих воздействий на процессы взаимодействия сайтов посредством гиперссылок, в тематических сообществах возникают компоненты сильной связности достаточно большой мощности и малого диаметра. При этом отсутствуют исследования, посвященные влиянию на связность тематических сообществ сайтов, выполняющих функции посредников. Такие сайты не входят в заданное тематическое сообщество, однако имеют большое число входящих и исходящих гиперссылок, связывающих их с сайтами тематического сообщества. Анализ влияния сайтов-посредников на связность тематического сообщества является актуальной задачей, очевидным образом связанной с присутствием тематических сообществ в Вебе.

Управляемость процессами в Вебе подразумевает применение математических количественных методов для обоснования решений целенаправленной деятельности. Решение таких задач дает принципиальную возможность создания механизмов самоорганизации и саморазвития сообществ сайтов. И хотя спектр таких задач применительно к Вебу представляется чрезвычайно широким, на сегодня эта тема является мало исследованной.

Как уже было сказано, к характеристикам присутствия сайтов относятся ЖЩ тИЦ, РЯ и функции ранжирования сайтов. В настоящее время такая характеристика как WIF используется редко и считается архаичной, а анализ алгоритмов вычисления тИЦ и PR практически невозможен в силу того, что они составляют коммерческую тайну. Известные на сегодняшний день зарубежные работы, посвященные ранжированию веб-ресурсов, ориентированы на использование данных, получаемых с помощью наиболее популярных в США и Европе поисковых машин (таких, как Google, YahooI и др.), в качестве индикаторов-характеристик сайтов. Вместе с тем, исследования по ранжированию сайтов с использованием российских поисковых систем и специфики организации российских сайтов позволяют не только определить наиболее низкие значения индикаторов присутствия у российских сайтов, но и предложить новые алгоритмы ранжирования сайтов и рекомендации по улучшению ситуации.

Сбором данных о Вебе занимаются так называемые «поисковые роботы», но анализ открытых источников (практически все они посвящены зарубежным разработкам), не позволил обнаружить некоммерческих российских разработок на эту тему. Отсутствуют поисковые роботы и базы данных, содержащие собранную информацию, нацеленные на изучение таких объектов исследований как регламентируемые тематические фрагменты Веба. Отсюда следует вывод о необходимости разработки программных средств и баз данных для исследования Веба, применимых к различным регламентируемым тематическим сообществам и открытым для использования российскими исследователями Веба.

Таким образом, актуальна проблема разработки общих подходов, методов и программных средств для исследования Веба, позволяющих строить формальные модели и' ставить оптимизационные задачи, исследование и решение которых направлено на улучшение присутствия в Вебе российских сайтов и тематических сообществ.

Предложенные в диссертационной работе подходы опираются на результаты исследований университетских гиперссылок (М. Thelwall, Statistical

Cybermetrics Research Group, University of Wolverhampton), теоретико-множественных и теоретико-графовых моделей Веба (A-L. Barabasi, L. Bjôrneborn, A. Broder), ранжирования университетских и научных сайтов (I.F. Aguillo, Cybermetrics Lab; Ю.И. Шокин, Институт вычислительных технологий СО РАН).

Дадим следующие определения. Целевым множеством называётся задаваемое прямым перечислением множество регламентируемых тематических сайтов. Сопутствующим множеством называется множество сайтов, не входящих в целевое множество, на которые существуют гиперссылки с сайтов целевого множества. Фрагментом Веба называется объединение сайтов целевого и сопутствующего множеств и множество связывающих их гиперссылок. Основными объектами исследований являются регламентируемые тематические фрагменты Веба. В качестве объектов для практической реализации разработанных математических моделей, методов и программ использовались академический фрагмент Веба (целевое множество -официальные сайты научных учреждений РАН), университетский фрагмент Веба (целевое множество - официальные сайты классических университетов Российской) и фрагмент Веба региональных органов государственной власти (целевое множество - сайты органов государственной власти Республики Карелия).

Цель работы заключается в разработке математических моделей, методов и программных средств вебометрики, направленных на улучшение характеристик присутствия в Вебе регламентируемых веб-ресурсов.

Для достижения указанной цели решается ряд взаимосвязанных задач:

1. разработка метода построения концептуальной модели фрагмента Веба для регламентируемого тематического целевого множества, обеспечивающего автоматизированную реализацию моделей для целевых множеств различной тематики;

2. применение теоретико-графовых моделей и методов для исследования характеристик связности веб-графа, построенного на основе концептуальной модели фрагмента Веба, позволяющее дать оценки связности и определить основные направления для постановки задач улучшения присутствия в Вебе тематических сообществ;

3. исследование применимости известных алгоритмов, ранжирования веб-сайтов и разработка нового алгоритма, основного на содержательной интерпретации физического смысла характеристик присутствия сайтов в Вебе;

4. постановка, исследование и решение задач, улучшающих характеристики присутствия веб-сайтов и их сообществ в Вебе,

5. разработка базовых структурных и функциональных требований, положенных в основу программного обеспечения для сбора, хранения и обработки вебометрической информации и его программная реализация.

В процессе работы применялись следующие методы исследований:

• аналитические методы с использованием аппарата теории множеств, теории графов, методов оптимизации, теории вероятностей и математической статистики,

• подходы и методы общей теории систем,

• вебометрические методы сбора данных о Вебе, анализа гиперссылок, ранжирования веб-ресурсов и исследования тематических сообществ веб-ресурсов,

• методы проектирования программного обеспечения и баз данных,

• имитационное моделирование и численные эксперименты на ЭВМ.

Практической основой исследований являются:

• созданные в процессе исследований базы данных гиперссылок академического фрагмента Веба, университетского фрагмента Веба и фрагмента Веба региональных органов государственной власти Республики Карелия; базы данных, содержащие данные об основных вебометрических индикаторах академических и университетских сайтов и сайтов органов государственной власти Республики Карелия; массив данных о гиперссылках российского Веба, предоставленный Компанией Яндекс.

Основные результаты, выносимые на защиту:

1. Концептуальная модель фрагмента Веба и основанные на ней метод и автоматизированная процедура построения модели фрагмента Веба для заданного регламентируемого тематического целевого множества.

2. Теоретико-графовая модель взаимосвязей веб-сайтов посредством гиперссылок, дающая оценки влияния на связность целевого множества иерархической подчиненности организаций-владельцев сайтов и веб-сайтов организаций, выполняющих коммуникационные функции для его участников.

3. Математические задачи взаимосвязей веб-сайтов посредством гиперссылок, поставленные и исследованные с использованием методов дискретной оптимизации, кооперативной теории игр и имитационного моделирования, решение которых позволяет улучшить характеристики присутствия веб-сайтов и их сообществ в Вебе.

4. Алгоритм ранжирования официальных веб-сайтов классических университетов России, основанный на содержательной интерпретации характеристик присутствия сайтов в Вебе, требующий вдвое меньше исходных данных по сравнению с известными алгоритмами.

5. Рекомендации для организаций-владельцев официальных сайтов, использование которых в административных регламентах позволяет улучшить присутствие их веб-ресурсов в Вебе. Реализация рекомендаций для сайтов органов государственной власти Республики Карелия обеспечила прирост тематического индекса цитирования от 10 до 15% в течение года.

6. Проблемно-ориентированная информационная система, включающая в себя робот-сборщик информации о сайтах российского Веба, и реляционную базу данных для хранения и обработки собираемой информации, в которой реализован набор операций, соответствующий основным задачам вебометрических исследований.

Работа выполнена в Учреждении Российской академии наук Институт прикладных математических исследований Карельского научного центра РАН.

Основные научные результаты выполненных исследований по теме диссертации опубликованы в |б печатных работах ЯВНМИ3 ИИИИработ опубликованы в журналах и сборниках включенных в Перечень ведущих рецензируемых научных журналов и изданий, в которых должны быть опубликованы основные научные результаты диссертации на соискание ученой степени доктора наук Высшей аттестационной комиссии Министерства образования и науки Российской Федерации |162-171].

Разработан веб-сайт группы по вебометрическим исследованиям Института прикладных математических исследований КарНЦ РАН (ИПМИ КарНЦ РАН), на котором размещаются результаты текущих исследований [143].

Результаты исследований докладывались на конференциях и научных школах и семинарах:

• I и V научно-методическая конференция «Университеты в образовательном пространстве региона: опыт, традиции и инновации», Петрозаводск, 1999, 2010 гг.

• Всероссийская научная школа «Математические методы в экологии», Петрозаводск, 2001 г.

• Международная конференция «Северная Европа в XXI веке: природа, культура, экономика», Петрозаводск, 2006 г.

• IX и XI Всероссийская научная конференция «Электронные библиотеки: перспективные методы и технологии, электронные коллекции», Переславль-Залесский, 2007 г., Петрозаводск, 2009 г.

• Седьмая международная Петрозаводская конференция «Вероятностные методы в дискретной математике», Петрозаводск, 2008 г.

• XV, XVI и XVII Всероссийская научно-методическая конференция «Телематика», Санкт-Петербург, 2008, 2009 и 2010 гг.

• Третья Всероссийская школа молодых ученых «Математические методы в экологии», Петрозаводск, 2008 г.

• II, III и IV Всероссийская научно-практическая конференция «Информационная среда вуза XXI века» Петрозаводск, 2008, 2009, 2010 гг.

• Научный семинар Хельсинкского института информационных технологий {Helsinki Institute for Information Technology>), Хельсинки, 2009 г.

• Международная научно-практическая конференция «Теория активных систем - 2009», Москва, 2009 г.

• VIII Международная конференция «Когнитивный анализ и управление развитием ситуаций», Москва, 2009 г.

• IV Международная научно-практическая конференция "Современные информационные технологии и ИТ-технологии", Москва, 2009 г.

• Семинар по теории управления организационными системами Института проблем управления им. В.А. Трапезникова РАН, 2009 г.

• VIII Всероссийская школа-семинар «Прикладные проблемы управления макросистемами», Апатиты, 2010 г.

• Семинар по информационному поиску факультета прикладной математики-процессов управления СПбГУ, 2010 г.

• Научный доклад на заседании Президиума Карельского научного центра РАН, 29 июня 2010 г.

Научная новизна выполненных исследований заключается разработке и развитии теоретических и практических разделов вебометрики, направленных на улучшение присутствия в Вебе сайтов и регламентируемых тематических веб-ресурсов. Основные аспекты научной новизны:

1. Концептуальная модель фрагмента Веба для регламентируемого тематического целевого множества, представленная в виде теоретико-множественных отношений. Формальный характер модели обеспечивает возможность определения в её терминах формализованной процедуры построения концептуальной модели фрагмента Веба для заданного регламентируемого тематического целевого множества.

2. Метод автоматизированного построения реализации концептуальной модели реального фрагмента Веба, позволяющий дать численные оценки для каждого из составляющих подмножеств и степень их связности, классификацию входящих в них сайтов, а также существенно уменьшить размерность самих моделей посредством исключения подмножеств, сайты которых бесперспективны с точки зрения влияния на связность фрагмента.

3. Алгоритм ранжирования официальных веб-сайтов классических университетов России, основанный на содержательной интерпретации характеристик присутствия сайтов в Вебе.

4. Теоретико-графовые характеристики веб-графа для реальных фрагментов российского Веба, показывающие незначительную взаимосвязь веб-сайтов российских тематических сообществ.

5. Математические модели взаимосвязей сайтов посредством гиперссылок, применение которых позволяет улучшить характеристики присутствия вебсайтов и их сообществ в Вебе.

Практическая значимость заключается в следующем:

• Предложенные методы и реализованные на программном уровне алгоритмы позволяют строить научно обоснованные модели фрагментов Веба, которые могут быть использованы при разработке сценариев развития комплексов веб-ресурсов организационных систем, направленных на улучшение их присутствия в Вебе.

• Результаты исследований внедрены для комплекса веб-ресурсов Карельского научного центра РАН в рамках проекта «Исследование и разработка научно-методических основ создания и развития инфраструктуры информационно-телекоммуникационной системы КарНЦ РАН».

• Результаты работы получили практическое применение в рамках исследований официальных сайтов органов государственной власти РК, что подтверждено соответствующим актом.

• Результаты исследований включены в Отчет о деятельности РАН в 2006 году (том 3, Основные исследования и разработки научных учреждений РАН, готовые к практическому применению).

• По результатам исследований прочитан обязательный спецкурс «Технологии специализированных баз данных для вебометрических исследований» для магистрантов факультета прикладной математики -процессов управления Санкт-Петербургского государственного университета (2009/2010 уч.год).

• Получено Свидетельство о государственной регистрации программы для ЭВМ «Информационная система для вебометрических исследований» Федеральной службы по интеллектуальной собственности, патентам и товарным знакам РФ № 2010610941 от 29 января 2010 г.

Широкая применимость предложенных моделей, методов и программного обеспечения подтверждается результатами апробации для тематических фрагментов Веба различной тематики.

Достоверность и обоснованность полученных результатов, полученных в диссертации, основаны на большом объеме собранного, обработанного и исследованного фактического материала, применении системного подхода в исследованиях, корректности принятых при разработке математических моделей допущений. Разработанные и используемые методы и теоретические подходы находят свое подтверждение посредством их сравнения для различных фрагментов российского Веба и проверкой на множестве данных, предоставленных Компанией Яндекс. Адекватность ряда математических моделей подтверждается результатами компьютерного моделирования.

Исследования были поддержаны:

• Компанией Яндекс в рамках конкурса Интернет-математика 2007 (проект «Математические модели согласованного поведения малых Интернет-сообществ»),

• инициативным грантом РФФИ (проект «Вебометрические исследования научных интернет-ресурсов российского Интернета», №08-07-00023а, 20082010 годы);

• частично в рамках Программы фундаментальных исследований отделения математических наук РАН «Алгебраические и комбинаторные методы математической кибернетики и информационные системы нового поколения» (проект «Задачи оптимальной маршрутизации трафика, распределения и защиты информационных ресурсов», 2009, 2010 годы).

Краткое содержание работы

В первой главе рассматривается проблематика вебометрики как нового научного направления в рамках информатики. Даются основные понятия предметной области - определения, современные модели, основные подходы и программные средства, используемые в вебометрических исследованиях. Вводится понятие регламентируемых тематических веб-сайтов, как сайтов, относящихся к одной предметной области и имеющих нормативный документ организации-владельца, в котором изложены цели и задачи веб-сайта, основные структурные составляющие, правила добавления и изменения информации и т.д. Определяются характеристики присутствия в Вебе как отдельных вебсайтов, так и тематических регламентируемых множеств. Формулируется комплекс актуальных задач разработки математических моделей, методов и программных средств вебометрики, направленных на улучшение характеристик присутствия в Вебе регламентируемых тематических веб-сайтов.

Во второй главе представлена формализованная концептуальная модель для регламентируемого тематического целевого множества веб-сайтов и основанные на ней метод автоматизированного построения фрагментов Веба на основе задаваемого целевого множества и оценки её реализации. Реализация концептуальной модели для сайтов учреждений РАН, классических университетов России и органов государственной власти Республики Карелия позволяет сделать вывод о применимости предложенного метода для широкого класса фрагментов Веба.

В третьей главе рассмотрено применение теоретико-графовых подходов к исследованию связности регламентируемых тематических фрагментов Веба, являющейся одной из основных характеристик присутствия в Вебе целевых множеств. Показано сильное влияние на степень связности целевого множества наличие (или отсутствие) иерархической подчиненности его участников. Показано большое влияние на связность целевого множества, оказываемое сайтами, входящими во множество сайтов-коммуникаторов, являющееся существенной компонентой концептуальной модели.

В четвертой главе исследуются вопросы ранжирования сайтов тематического сообщества, тесно связанные с их индивидуальными характеристиками присутствия в Вебе.

Пятая глава посвящена математическим задачам, разработка и решение которых ведут к улучшению присутствия в Вебе сообществ сайтов в смысле некоторых заданных критериев. Дискретная оптимизационная задача позволяет найти такой способ расстановки гиперссылок в заданном множестве сайтов, который повышает их присутствие в Вебе с точки зрения поисковых машин. Задача, исследуемая методами кооперативной теории игр, позволяет дать ответ на вопрос о том, каков должен быть вклад владельцев заданного множества сайтов на создание сайта-коммуникатора, существенно улучшающего характеристики связности. В третьей задаче исследуется вопрос о том, при каких условиях сайты получают дополнительную выгоду (в смысле количества посещений пользователями) от участия во множестве сайтов, ссылающихся на один и тот же сайт-коммуникатор и имеющих обратные гиперссылки с него. Построена математическая модель, поведение которой исследовано аналитическими методами и методами имитационного моделирования.

В шестой главе описаны основные программные средства, используемые в диссертационной работе для сбора вебометрической информации. Основное внимание уделено подходам, положенным в основу Информационной системы для вебометрических исследований - специализированному комплексу программ, созданного в ИПМИ КарНЦ РАН и используемого при проведении вебометрических исследований.

В заключении изложены основные результаты работы.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Печников, Андрей Анатольевич

3.6 Результаты исследования веб-графа фрагмента Веба органов государственной власти РК

3.6.1 Исследование связности на административном каркасе и административных подмножествах органов госвласти РК

Целевое множество сайтов органов госвласти РК разделяется на четыре подмножества (законодательная власть РК, исполнительная власть РК, судебная власть РК и представительства федеральных органов власти в РК), только одно из которых имеет отношения иерархической подчиненности - это сайты, относящиеся к исполнительной власти РК. Вид такой иерархии предельно прост: 10 сайтов (сайты госкомитетов по делам молодежи, по обеспечению жизнедеятельности, по физической культуре, по энергетике и министерств здравоохранения, образования, сельского хозяйства, строительства, труда и финансов) подчинены Официальному порталу органов государственной власти РК. Обозначим Портал органов власти РК как щ, а 10 подчиненных ему сайтов — Тисп. Исследования показывают, что вершина щ имеет исходящие дуги на 9 вершин из Тисп, а из 10 вершин Тисп 9 имеют исходящие дуги на и0. Отсюда 8ЕС+(и0, Тисп)=0.9, 8РС~(и0, Тисп)=0.9 и Тисп)=0.9.

Рассмотрение административного подмножества Тисп показывает, что между его вершинами существует лишь одна связывающая их дуга (между сайтами Госкомитета РК по делам молодежи и Министерства образования), откуда СЕС(Тисп)=0,0001.

Таким образом, на подмножестве сайтов органов исполнительной власти РК почти полностью отображается иерархия между главным и остальными сайтами и практически не отражены взаимодействия между министерствами и госкомитетами.

3.6.2 Исследование компонент связности веб-графа фрагмента Веба органов госвласти РК

Вычисление полустепеней вершин целевого множества дает следующие результаты. Значения Indegree>4 имеют сайты Официального портала органов государственной власти РК (1^е2?ее7=22), Прокуратуры РК (5), Управления Федеральной налоговой службы по РК (5), Верховного суда РК (4), Министерства внутренних дел по РК (4), что говорит об их достаточно большой популярности среди других органов власти. В то же время 18 сайтов имеют Indegree= 1 и два сайта не имеют входящих дуг вообще.

Значения Outdegree>4 имеют сайты Официального портала органов государственной власти РК (Outdegree=36), Управления Судебного департамента в РК (10), Управления Роснедвижимости по РК (5), Следственного управления СК при прокуратуре РФ по РК (4). Однако 13 сайтов имеют Outdegree= 0, что косвенно свидетельствует о слабом взаимодействии многих органов госвласти.

Обнаружена зависимость между значениями Indegree и Outdegree (коэффициент корреляции Пирсона равен 0,898), что демонстрируется графиками на рис. 3.14 (значения Indegree упорядочены по убыванию).

Indegree / Outdegree

35

30

25

20

15

10 тт-r—Т' -Indegree -Outdegree саиты

Рис. 3.14. Значения Indegree и Outdegree для сайтов органов госвласти РК

Построение компонент сильной связности графа G'rqL(cT,Er) даёт следующие результаты. Обнаружена единственная КСС, содержащая 24 вершины.

Из 39 вершин целевого множества СП

• 24 вершины содержатся в максимальной КСС;

• из остальных 15 вершин:

- 2 вершины имеют исходящие, но не имеют входящих дуг;

- 13 вершины имеют входящие дуги, но не имеют исходящих.

Диаметр КСС равен 3.

На рис. 3.15 вершины, составляющие максимальную КСС графа Gr<PE(^Eq), изображены более темным цветом. Полный перечень сайтов, вошедших в КСС, приведен в Приложении 6, а его часть - в табл. 3.10.

Рис. 3.15. Граф Сг<ре((Т,Е'1) фрагмента Веба органов госвласти РК и его максимальная компонента сильной связности

ЗАКЛЮЧЕНИЕ

В диссертации сформулирована и решена важная научная? задача разработки и развития теоретических и практических разделов вебометрики, направленных на, улучшение присутствия в, Вебе, сайтов, являющихся» тематическими,регламентируемыми веб-ресурсами. Проведенные исследования-* представляют собой новый подход: к исследованию Веба, базирующийся; на разработанных формализованных методах и специализированных программных средствах: для* детального обследования^ фрагментов Веба, заключающийся в построении и- анализе описательных и формальных моделей, выявлении наиболее значимых компонент и постановке и решении математических задач рационального поведения веб-сайтов, входящих в данные компоненты. Такое полное исследование: дает возможность предлагать решения, улучшающие; основные характеристики присутствия в Вебе тематических регламентируемых сайтов; которые далее могут быть реализованы в виде управленческих решений; реализуемых посредством административных регламентов сайтов,

Основные: научные и практические результаты работы: состоят в следующем:

Г. Предложен1 метод автоматизированного построения; фрагментов Веба на; основе задаваемого целевого множества, веб-ресурсы которого относятся* к одной тематике и являются регламентируемыми, т.е. создаются и развиваются; по заранее сформулированным, правилам, утвержденным в виде нормативных документов организаций-владельцев ресурсов. Основу метода составляет формализованная концептуальная модель фрагмента Веба для регламентируемого тематического целевого множества, представленная в: виде; теоретико-множественных отношений. Формальный, характер модели, обеспечивает возможность определения в её терминах формализованной: процедуры построения концептуальной модели фрагмента Веба для заданного-регламентируемого тематического целевого множества, предполагающей" программную реализацию большинства этапов.

Реализация концептуальной модели для трех заданных целевых множеств, - официальных сайтов учреждений РАН, официальных сайтов классических университетов России и официальных сайтов органов государственной^ власти Республики Карелия, — позволяет сделать вывод о применимости предложенного метода для регламентируемых фрагментов Веба различной тематики. Анализ реализаций концептуальной модели показывает, что в каждом фрагменте Веба могут быть выявлены 9 основных подмножеств, отношения связности между ними и характеризующие их атрибуты, что позволяет сделать ряд общих выводов об организации фрагментов Веба.

Одним из важных результатов исследований является построенное множество тематических веб-коммуникаторов, входящее в состав концептуальной модели. Веб-коммуникаторы имеют высокую степень связности с целевым множеством и существенно влияют на его связность. Можно утверждать, что множество веб-коммуникаторов является расширением целевого множества, позволяющим сформировать основной объект вебометрических исследований: собственно сайты целевого множества, сайты тематических веб-коммуникаторов и связывающие их отношения.

Предложенный метод построения моделей фрагментов Веба обеспечивает автоматизированное формирование и оценки реализации концептуальной модели фрагмента Веба для задаваемого целевого множества. Построение подобных структур призвано облегчить задачу определения расширенных объектов вебометрических исследований, требуемых для решения задач улучшения присутствия в Вебе тематических сообществ.

Концептуальная модель, реализованная на примерах академического и университетского фрагментов Веба и фрагмента Веба органов государственной власти Карелии, позволила дать численные оценки для каждого из подмножеств и степени их связности, классификацию входящих в них сайтов, а также существенно уменьшить размерность самих моделей посредством исключения подмножеств, сайты которых бесперспективны с точки зрения влияния на связность фрагмента. В случае академического множества мощность множества сайтов уменьшается, в 22 раза, а количества связывающих их гиперссылок - в 17 раз; в случае университетского-Веба - в 9 и 14 раз соответственно.

2. Показано, что теоретико-графовые модели и методы служат хорошим инструментом.для исследования-целевых множеств и множеств веб-коммуникаторов тематических фрагментов Веба и позволяют дать оценки связности-и выявить основные направления для постановки задач улучшения присутствия в- Вебе тематических сообществ. Основным результатом использования теоретико-графового подхода применительно к таким фрагментам Веба, как академический и университетский фрагменты и фрагмент Веба органов госвласти РК, является установление невысокой степени связности их целевых множеств, следствием чего является их незначительное присутствие в Вебе. Вместе с тем, на примерах фрагмента академического Веба, и- фрагмента Веба органов госвласти< показано, что административная иерархия организаций-владельцев сайтов находит достаточно хорошее отражение в Вебе. Показано, что административный каркас играет системообразующую роль в организации академического Веба в целом, однако его возможности для улучшения связности использованы не более чем на 60%.

Исследованы компоненты связности фрагментов академического и университетского Веба и фрагмента Веба органов госвласти, определен объем максимальных компонент сильной связности" их целевых множеств, показывающий незначительное взаимодействие посредством гиперссылок официальных сайтов всех трех фрагментов. Установлено существенное влияние сайтов-коммуникаторов на увеличение связности сайтов целевого множества для всех рассмотренных фрагментов Веба.

3. Проведено исследование задач ранжирования сайтов для ряда регламентируемых тематических множеств сайтов. Показано, что на результаты ранжирования по любому из рассмотренных, алгоритмов; в; значительной степени влияет выбор единиц анализа, а не использование тех или иных поисковых систем для измерения индикаторов. Предложен алгоритм» ранжирования? сайтов, основанный*: на. содержательною, интерпретации« содержательного^ смысла таких понятий;, как популярность поисковых систем; попадание: пользователяша* сайт через поисковую; машину и переход наг сайт по1 ссылке с другого сайта. Сопоставление результатов ранжирования по данному алгоритму с резул ьтатами;ранжирования i по известному алгоритму Cybermetrics Lab показывают сильную; положительную статистическую5 взаимосвязь результатов, при этом предложенный алгоритм менее трудозатратен, поскольку требует в два раза меньше исходных данных, чем алгоритм Cybermetrics Lab. 4. Рассмотрены и исследованы математические задачи, основанные на применении методов математического моделирования, разработка* и решение которых ведут к улучшению присутствия в Вебе сообществ^ сайтов в смысле некоторых заданных критериев; Первая; из задач; относится? к дискретным оптимизационным задачам и позволяет найти такой способ1 расстановки, гиперссылок в заданном'множестве сайтов; который повышает их присутствие, в: Вебе с точки зрения? поисковых машин. На основе предложенной модели-исследованы вопросы согласованного поведения реальных веб-сообществ. Выявлены подмножества российского Веба, поведение: которых является близким к согласованному. Во второй: задаче исследуется вопрос о том; каков должен быть вклад организаций-владельцев заданного множества сайтов; на создание сайта-коммуникатора, существенно улучшающего его связность. Построена и исследована математическая модель дележа затрат на1 создание веб-коммуникатора; основанная; на методах кооперативной теории игр. В третьей задаче исследуется вопрос о том; при каких условиях сайты получают дополнительную выгоду (в смысле количества посещений: пользователями) от участия- во множестве сайтов, ссылающихся на один и тот же сайтт коммуникатор и имеющих обратные гиперссылки с него. Получены решения; позволяющие каждому участнику сообщества оценивать полезность его участия в нем.

На практике решение указанных задач могут быть положены в основу административных регламентов, направленных на улучшение присутствия в Вебе регламентируемых тематических сообществ сайтов.

5. Создана проблемно-ориентированная информационная система для вебометрических исследований, включающая в себя робот-сборщик информации, сканирующий исследуемые сайты российского Веба, и реляционную базу данных для хранения и обработки собираемой информации, в которой реализован набор операций, соответствующий основным задачам вебометрических исследований. Проведенное сканирование сайтов академического, университетского фрагментов Веба и фрагмента Веба органов государственной власти Карелии позволило сформировать базы данных, являющихся экспериментальной основой для исследований реальных фрагментов Веба.

Список литературы диссертационного исследования доктор технических наук Печников, Андрей Анатольевич, 2011 год

1. Всемирная паутина Электронный ресурс. Режим доступа: http://ru.wikipedia.org/wiki/WWW.

2. Tim Berners-Lee Электронный ресурс. Режим доступа: http://www.w3 .org/People/Berners-Lee.

3. Robert Cailliau Электронный ресурс. Режим доступа: http://www.robertcailliau.eu/Alphabetical/M/Me/Welcome.html.

4. World Wide Web@20 Электронный ресурс. Режим доступа: http://info.cern.ch/www20.

5. Berners-Lee Т. Information Management: A Proposal / Т. Berners-Lee Электронный ресурс. Режим доступа: http://www.w3 .org/History/1989/proposal.html.

6. Almind Т. Informetric analyses on the World Wide Web: Methodological approaches to «webometrics» / Т. Almind, P. Ingwersen // Journal of Documentation. 1997. -№ 53 (4). - P. 404-426.

7. Bossy M.J. The last of the litter: «Netometrics» / M.J. Bossy // Solaris 1995. -№2 Электронный ресурс. - Режим доступа: http://biblio-fr.info.unicaen.fr/bnum/jelec/Solaris/d02/2bossy.html.

8. Cybermetrics. Electronic journal of scientometrics, informetrics and bibliometrics Электронный ресурс. Режим доступа: http://www.cindoc.csic.es/cybermetrics.

9. Webology. Электронный ресурс. Режим доступа: http://webology.ir.

10. Björneborn L. Toward' a basic framework for webometrics / L. Björneborn, P. Ingwersen // Journal of the American Society for Information Science. 2004. -Vol. 55, Iss. 14.-P. 1216-1227.

11. Thelwall M. Bibliometrics' to Webometrics / M. Thelwall // Journal of Information Science. 2007. - 34 (4). - P. 1-18.

12. Ingwersen P. Webometrics: ten years of expansion/P. Ingwersen // International Workshop on Webometrics, Informetrics and Scientometrics & Seventh COLLNET

13. Meeting, Nancy (France), May 10-12, 2006 Электронный ресурс. Режим, доступа: http://eprints.rclis.Org/6264/l/ingwersen.pdf.

14. Berners-Lee Т. Creating a Science of the Web / T. Berners-Lee, W. Hall, J. Hendler, N. Shadbolt, D. J. Weitzner // Science. 11 August 2006. - Vol. 313, № 5788.-P. 769-771.

15. Индекс цитирования Электронный ресурс. Режим доступа: http://help.yandex.ru/catalogue/?id=873431.

16. Brin S. The Anatomy of a Large-Scale Hypertextual Web Search Engine / S. Brin, L. Page // Computer Networks and ISDN Systems. 1998. - № 30. - P. 107117.

17. Cronin B. Invoked on the web / B. Cronin, H.W. Snyder, H. Rosenbaum, A. Martinson, E. Callahan // Journal of the American Society for Information Science. -1998.-№49 (14).-P. 1319-1328.

18. Flake G. W. Self-organization and identification of web communities / G. W. Flake, S. Lawrence, C. L. Giles, F.M-. Coetzee, // IEEE Computer. 2002. - №35. -P. 66-71.

19. Thelwall M. Extracting macroscopic information from web links / M. Thelwall // Journal of the American Society for Information Science and Technology. 2001. — №52 (13).-P. 1157-1168.

20. Thelwall M. Link Analysis: An Information Science Approach / M. Thelwall. -Amsterdam: Elsevier Academic Press, 2004. 269 p.

21. Link Analysis: An Information Science Approach Электронный ресурс. -Режим доступа: http://linkanalysis.wlv.ac.uk/index.html.

22. Таненбаум Э. Компьютерные сети / Э. Таненбаум СПб.: Изд-во «Питер», 2009.-992 с.

23. Statistical Cybermetrics Research Group, University of Wolverhampton Электронный ресурс. Режим доступа: http://cybermetrics.wlv.ac.uk.

24. Bjornebom Ь. Small-world link structures across an academic web-space : a library and information-science approach / L. Bjornebom // PhD dissertation. Royal

25. School of Library and Information Science. 2004. - 399 p. Электронный ресурс. - Режим доступа: http://vip.db.dk/lb/phd/phd-thesis.pdf [6.0 MB],

26. Ajiferuke I. Delinking: An Exploratory Study /1. Ajiferuke // Webology. March 2008. - Vol. 5, Num. 1 Электронный ресурс. - Режим доступа: http://www.webology.ir/2008/v5nl/a51 .html.

27. Vaughan L. Why are hyperlinks business websites created? A content analysis / L. Vaughan, Gao Y., Kipp M. // Scientometrics. 2006. - № 67 (2). - P. 291-300.

28. Thelwall M. Graph Structure in Three National Academic Webs: Power Laws with Anomalies / M. Thelwall, D. Wilkinson // Journal of the American Society for Information Science and Technology. Jun 2003. - Vol.54, Num.8. - P. 706-712.

29. Kim H. Comparing academic hyperlink structures with journal publishing in Korea: A social network analysis/ H. Kim, H.W. Park, M. Thelwall // Science Communication. -2006. -№27(4). P. 540-564

30. InternetLab: Observatorio de Ciencia у Tecnologia en Internet Электронный ресурс. Режим доступа: http://internetlab.cindoc.csic.es.

31. Ortega J.L. Visualization of the Nordic academic web: Link analysis using social network tools / J.L. Ortega, I.F.Aguillo // Information Processing & Management. -July 2008. Vol. 44, Iss. 4. - P. 1624-1633.

32. Ortega J.L. Maps of the academic web in the European Higher Education Area -an exploration of visual web indicators / J.L. Ortega, I.F.Aguillo, V. Cothey, A. Scharnhorst // Scientometrics №74 (2). - P. 295-308.

33. Vasileiadou E. Linking shallow, linking deep. How scientific intermediaries use the Web for their network of collaborators / E. Vasileiadou, P. van den Besselaar // Cybermetrics. International Journal of Scientometrics, Informetrics and

34. Bibliometrics. 2006. - Vol.10, Iss.l Электронный ресурс. - Режим доступа: http://www.cindoc.csic.es/cybermetrics/articles/vl0ilp4.html.

35. Park H.W. Hyperlink Analyses of the World Wide Web: A Review / H.W. Park, M. Thelwall // Journal of Computer-Mediated Communication 2003. - № 8 (4) Электронный ресурс. - Режим доступа: http://jcmc.indiana.edu/vol8/issue4/park.html?ref=AJRKAD ASBUL.NET.

36. Rogers R. Landscaping climate change: A mapping technique for understanding science and technology debates on the world wide web / R. Rogers, N. Marres // Public Understanding of Science 2000. - №9. - P. 141-163.

37. Park H.W. Internet communication structure in Korean National Assembly: A network analysis / H.W. Park, G.A. Barnett, C.S. Kim // Korean Journal of Journalism & Communication Studies (Special English edition). 2001. - P. 185204.

38. Park H.W. Hyperlink-affiliation network structure of top Web sites: Examining affiliates with hyperlink in Korea / H.W. Park, G.A. Barnett, I. Y. Nam // Journal of the American Society for Information Science and Technology. 2002. - №53(7) -P. 592-601.

39. Brunn S.D. Mapping the 'Worlds' of the world wide web: (Re)Structuring global commerce through hyperlinks / S.D. Brunn, M. Dodge // American Behavioral Scientist.-2001.-№44(10).-P. 1717-1739.

40. Broder A. Graph structure in the web / A. Broder, R. Kumar, F. Maghoull, P. Raghavan, S. Rajagopalan, R. Stata, A. Tomkins, J. Wiener // Journal of Computer Networks. 2000: - № 33(1-6). - P. 309-320.

41. Milgram, S. The small world problem / S. Milgram // Psychology Today. 1967. -№1(1).-P. 60-67.

42. Watts D. J. Collective dynamics of 'small-world' networks / D.J .Watts, S. H; Strogatz // Nature. 1998. - №393. P. 440-442.

43. Albert R. Diameter of the World Wide Web / R. Albert, H. Jeong, A-L. Barabasi // Nature 1999. - №401 (9). P. 13 0-131.

44. Bjorneborn L. Hvor er verden dog lille ogsa pa webben It's a small world - also on the Web. / L. Bjorneborn // Bibliotekspressen. - 2004. - №17. - 494-495.

45. TouchGraph Электронный ресурс. Режим доступа: http ://www.touchgraph. com.

46. Авдеева З.К. Когнитивное моделирование для решения задач управления слабоструктурированными системами (ситуациями) / З.К. Авдеева, С.В. Коврига, Д.И. Макаренко // Управление большими-системами. -М.: ИПУ РАН. 2007. - Вып. 16. - С. 26-39.

47. Ortega J.L. Interdisciplinary relationships in the Spanish academic web space: A Webometric study through networks visualization / J.L. Ortega, I.F.Aguillo // Cybermetrics. International Journal of Scientometrics, Informetrics and

48. Bibliometrics. 2007. - Vol. 11, Iss. 1 Электронный ресурс. - Режим доступа: http://www.cindoc.csic.es/cybermetrics/articles/vl lilp4.html.

49. Payne N. Mathematical models for academic webs: linear relationship or nonlinear power law? / N. Payne, M. Thelwall // Information Processing andi

50. Management: an International Journal. December 2005. - Vol. 41 , Iss. 6. - P.* 1495-1510.

51. Rheingold H. The virtual community: homesteading on the electronic frontier / H. Rheingold. Cambridge, Mass.: MIT Press, 2000. - 447 p.

52. Flake G. W. Self-Organization and Identification of Web Communities / G. W. Flake, S. R. Lawrence, C. L. Giles, F. M. Coetzee // IEEE Computer. 2002 -№35(3). P. 66-71

53. Greco G. Web Communities: Models and Algorithms / G. Greco, S. Greco, E. Zumpano // World Wide Web. 2004. - Vol. 7, Iss. 1. - P. 59-82.

54. Jackson M.O. Meeting Strangers and Friends of Friends: How Random are Social Networks? / M.O. Jackson, B.W. Rogers // American Economic Review. June 2007.-Vol.97, Iss.3. — P. 890-915.

55. Ackland R. A Model of the Link Economy / R. Ackland // Econophysics Colloquium. Contributors & Abstracts. Canberra, Australia, 14-18 November, 2005 Электронный ресурс. - Режим доступа: http://www.rsphysse.anu.edu.au/econophysics/abstracts/Lpdf.

56. Bar-Ilan J. Data collection methods on the Web for infometric purposes A review and analysis / J. Bar-Ilan // Scientometrics. - January 2001. - Vol.50(1). - P. 7-32.

57. Vaughan L. Search engine coverage bias: evidence and possible causes / L. Vaughan and M. Thelwall // Information Processing & Management. 2004. -№40(4)-P. 693-707.

58. Bar-Ilan J. How much information do search engines disclose on the links to a web page? A longitudinal case study of the 'cybermetrics' home page / J. Bar-Ilan // Journal of Information Science. 2002. - Vol. 28, No. 6. - P. 455-466.

59. Snyder H. Can search engines be used as tools for web-link analysis? A critical view/ H. Snyder, H. Rosenbaum // Journal of documentation. 1999. - Vol. 55(4). -P. 375-384.

60. Thelwall M. Web impact factors and search engine coverage / M. Thelwall // Journal of Documentation. 2000. - Vol. 56(2). - P. 185-189.

61. LinkPopularity.com: The Free Link Popularity Service Электронный ресурс. -Режима доступа: http://www.linkpopularity.com.

62. Kelly В. WebWatch: A Survey of links to UK University Web Sites / B. Kelly // Ariadne. March 2000. - Iss.23 Электронный* ресурс. - Режим-доступа: http://www.ariadne.ac.uk/issue23/web-watch.

63. The Academic Web Link Database Project Электронный ресурс. Режим* доступа: http://cybermetrics.wlv.ac.uk/database/index.html.

64. Pant G. Crawling the Web / G. Pant, P. Srinivasan, F. Menczer // In Web Dynamics. M. Levene and A. Poulovassilis, eds. - Springer, 2004. - P. 153-178.

65. Partalas I. Focused Crawling Bibliography /1. Partalas, G. Paliouras, I. Vlahavas // 2006- Электронный ресурс. Режим доступа: http://mlkd.csd.auth.gr/fcrawling/fcrawlingbib.pdf.

66. Pant G. Link Contexts in Classifier-Guided Topical Crawlers / G. Pant, P. Srinivasan // IEEE Transactions on knowledge and data engineering. 2006. - vol. 18, No. 1,-P. 107-122.

67. SocSciBot Электронный ресурс. Режим доступа: http://socscibot.wlv.ac.uk.

68. Heydon A. Mercator: A Scalable, Extensible Web Crawler / A. Heydon, M. Najork // 1999 Электронный ресурс. Режим доступа: http://mias.uiuc.edu/files/tutorials/mercator.pdf.

69. Badia A. Focused Crawling: Experiences in a Real World Project / A. Badia, T. Muezzinoglu, O. Nasraoui // Proceedings of the 15th international conference on World Wide Web, WWW 2006, Edinburgh, Scotland, UK, May 23-26, 2006.-P. 1043-1044.

70. Thelwall M. A web crawler design for data mining / M; Thelwall // Journal of Information Science. 2001. - Vol. 27, No: 5- P. 319-325.

71. Ingwersen P. The calculation of Web Impact Factors / P. Ingwersen // Journal of Documentation March51998. — vol. 54, no* 2 - P: 236-243;

72. Hjortgaard Christensen F. Online citation analysis: a methodological approach / F. Hjortgaard Christensen, P. liigwersen // Scientometricsi- 1996: №371 P. 39-62.

73. Thelwall М: Results from a Web Impact Factor crawler / Ml Thelwall // Journal of Documentation; 2001. - № 57(2), P. 177-191.

74. Noruzi A. Web Impact Factors for Iranian Universities / A. Noruzi // Webology. April, 2005. - Vol; 2, Num. 1 Электронный ресурс. — Режим? доступа: http://www.webology.ir/2005/v2nl/all.html.

75. Humanities. Conference • on Open Access to Knowledge in the Sciences and

76. Humanities, October 20-22, 2003, Berlin. Электронный ресурс.http://oa.mpg.de/openaccess-berlin/berlindeclaration.html.90; About Exalead:http://www.exalead.com/software/company.91;. Live Search: Электронный ресурс. Режим доступа: http://www.live.com.

77. Aguillo; I.F. Indicadores: de contenidos para la web académica iberoamericana

78. Content indicators for Iberoamerican academic webs. / I.F. Aguillo // BiD:: textosuniversitaris de biblioteconomia i documentació, desembre. — 2005. — № 15

79. Электронный ресурс. Режим доступа:http://www2.ub.edu/bid/consultaarticulos.php?fichero=l 5aguil2.htm.

80. Шокин Ю.И. Рейтинг сайтов научных организаций СО РАН / Ю.И. Шокин, O.A. Клименко, Е.В. Рычкова, И.В. Шабальников // Вычислительные технологии. 2008. - Т. 13, №3.-С. 128-135.

81. Клименко O.A. О рейтинге сайтов научных организаций СО РАН / O.A. Клименко, Ю.И. Шокин // Наука в Сибири. б ноября 2008 г. - № 44 (2679) Электронный ресурс. - Режим доступа: http://www-sbras.nsc.ru/HBC/hbc.phtml?5+479+1.

82. Рейтинг сайтов научных учреждений СО РАН Электронный ресурс. -Режим доступа: http://www.ict.nsc.ru/ranking.

83. WEB аналитик: анализ известности сайтов Электронный ресурс. Режим доступа: http://www.align.ru.

84. Яндекс.Вебмастер: Советы вебмастеру. Электронный ресурс. Режим доступа: http.7/help.yandex.ru/webmaster/?id=995298.

85. Руководство для веб-мастеров. Электронный ресурс. Режим доступа: http://www.google.ru/support/webmasters/bin/answer.py?hlrm=en&answer=35769.

86. Wikipedia. Электронный ресурс. Режим доступа: http://wikipedia.org.

87. Правила участия в кольце «Законы, законодательство и право».г

88. Электронный ресурс. http://www.lawdir.ioi/rules.

89. Davison B. Recognizing Nepotistic Links on the Web / B. Davison // AAAI1 2000 workshop on Artificial Intelligence for Web Search. Boston: AAAI Press. — 2000.-P. 23-28.http://www.ras.ru/sciencestructure/informationsystems.aspx.

90. Web Dynamics. Adapting to Change in Content, Size, Topology and Use / M. Levene, A. Poulovassilis, eds., Springer, 2004. - 479 p.

91. Нильсен Я. Веб-дизайн / Я. Нильсен. СПб.: Символ-Плюс, 2001. - 512 с.

92. Глонь О.В. Оптимизация структуры сайта в условиях неполной информации / О. В. Глонь, В. М. Дубовой, А. М. Москвин // Научные труды

93. Винницкого национального технического университета. Автоматика и информационно-измерительная техника. 2008. - №1. - с. 23-28.

94. Middleton I. Presenting a model for the structure and content of a university WWW site / I. Middleton, M. McConnell, G. Davidson // Journal of Information-Science. 1999. - Vol. 25, Num. 3 - P. 219-227.

95. Гиперссылки: HSBC Bank Russia Электронный ресурс. Режим доступа: http://www.hsbc.rU/l/2/ru/about-usl/hyperlink-policy.

96. ACM Code of Ethics and Professional Conduct Электронный ресурс. -Режим доступа: http://www.acm.org/about/code-of-ethics.

97. Ethical decision-making and Internet research: Recommendations from the AoIR ethics working committee / Charles Ess and the AoIR ethics working committee. November 27, 2002 Электронный ресурс. - Режим доступа: www.aoir.org/reports/ethics.pdf.

98. Информационные системы научных Электронный ресурс.1. Режимучреждений РАНдоступа:

99. Thelwall M. Web Crawling Ethics Revisited: Cost, Privacy and Déniai of Service / M. Thelwall, D. Stuart // Journal of the American Society for Information Science and Technology. 2006. - №57. - P. 1771 -1779.

100. Стратегия развития информационного общества в Российской Федерации Электронный ресурс. Режим доступа: http://www.rg.ru/2008/02/16/informacia-strategia-dok.html.

101. Окинавская Хартия глобального информационного общества Электронный ресурс. Режим доступа: http://www.iis.ru/library/okinawa/charter.ru.html.

102. Месарович М. Общая теория систем: Математические основы / М. Месарович, Я. Такахара М.: Мир, 1987. - 312 с.

103. Черняк Ю.И. Анализ и синтез систем в экономике / Ю.И. Черняк М.: Экономика, 1970. - 151 с.

104. Советов Б.Я. Моделирование систем / Б.Я. Советов, С.А. Яковлев М.: Высшая школа, 2001. - 344 с.

105. Яндекс.Помощь: Каталог Что такое Каталог. Электронный ресурс. -Режим доступа: http://help.yandex.ru/catalogue.

106. Федеральная служба государственной статистики. Общероссийский классификатор видов экономической деятельности. Электронный ресурс. -Режим доступа: http://www.gks.ru/bgd/fi-ee/b0260/Main.htm.

107. Основной домен (в формате с префиксом www или без него) Электронный ресурс. Режим доступа: http://www.google.com/support/webmasters/bin/answer.py?answer=44231&topic=90 25.

108. Domfin names — concepts and facilities Электронный ресурс. Режим доступа: ftp://ftp.rfc-editor.org/in-notes/rfcl034.txt.

109. Яндекс.Каталог: Власть Электронный ресурс. Режим доступа: http://yaca.yandex.ru/yca/geo/Russia/Northwest/RespublikaKareliya/cat/Society/ Authorities.

110. Воронин А.А. Математические модели организаций / А.А. Воронин, М.В. Губко, С.П. Мишин, Д. А. Новиков Mi: ЛЕНАНД, 2008: - 360 с. •

111. Концепция создания ЕИС РАН. Вторая редакция Электронный ресурс. -Режим доступа: http://www.ras.ru/scientificactivity/eis/eisconception.aspx.

112. Министерство образования и науки РФ. Типовая методика оценки результативности научных организаций государственного сектора в Российской Федерации (проект). Электронный ресурс. Режим доступа: http://www.mon.gov.ru/work/nti/dok/gsn/tip-metod.doc.

113. Краткий путеводитель по Сибирскому отделению РАН: Электронный ресурс. Режим доступа: http://www.sbras.nsc.ru/consult/rus/guide.htm.

114. Структура Уральского отделения РАН: Электронный ресурс. — Режим доступа: http://www.uran.ru/structura/structura.htm.

115. Устав Российской академии наук Электронный ресурс. Режим доступа: http://www.poisknews.rU/2007/l l/29/ustavrossijj skojjakademiinauk.html.

116. Российская академия наук. Справочник 2007. Часть II Электронный ресурс. Режим доступа: http://www.ras.ru/fstorage/download.aspx?id=209736fD-13f2-4509-882f-d90161a9bl20.

117. Организационная структура Российской академии наук Электронный ресурс. Режим доступа: http://www.ras.ru/win/db/showorg.asp?P=.ln-ru.oi-50.

118. Российский семинар по Оценке Методов Информационного Поиска Электронный ресурс. Режим доступа: http://www.romip.ru.

119. Щипунов А.А Классический университет и глобальная информационная структура / A.A. Щипунов, В.З. Башкатов, Э.С. Воробейников, В .Я. Хасанов // Вестник Томского государственного университета. 2000. - № 269. - С. 126130.

120. Российское образование. Федеральный образовательный портал: учреждения, программы, стандарты. Электронный ресурс. Режим доступа: http://www.edu.ru.

121. Карелия официальная. Официальный портал органов государственной власти Республики Карелия. Электронный ресурс. Режим доступа: http://gov.karelia.ru.

122. Воронин A.A. Оптимальные иерархические структуры / A.A. Воронин, С.П. Мишин М.: ИПУ РАН, 2003. - 213 с.

123. Харари Ф. Теория графов / Ф. Харари. М.: Мир, 1973. - 300 с.

124. Харари Ф. Перечисление графов / Ф. Харари, Э. Палмер М.: Мир, 1977. -326 с.

125. Кристофидес Н. Теория графов. Алгоритмический подход / Н. Кристофидес. М.: Мир, 1978. - 429с.

126. JUNG — the Java Universal Network/Graph Framework. Электронный ресурс. Режим доступа: http://jung.sourceforge.net.

127. Вебометрика. Институт прикладных математических исследований КарНЦ РАН Электронный ресурс. Режим доступа: http://webometrics.krc.karelia.ru.

128. Яндекс. Каталог. Электронный ресурс. Режим доступа: http://yaca.yandex.ru/yca/cat/Science/Sciences/Natural/Biology/Ecolog.

129. ОРМ Opetusministeriö (Ministry of Education). Электронный ресурс. -http ://www.minedu.fi.

130. Наборы данных. Набор данных "Хостграф". Электронный ресурс. -Режим доступа: http://company.yandex.ru/academic/grant/datasetsdescription.xml.

131. Положение о конкурсе научных проектов «Интернет-математика 2007». Электронный ресурс. Режим доступа: http ://company .у andex.ru/academic/grant/regu 1 ati on. xml.

132. Айвазян C.A. Теория вероятностей и прикладная статистика / С.А. Айвазян, B.C. Мхитарян Изд. 2-е. М.: Юнити, 2001. - 656 с.

133. Федеральное агентство по образованию. Электронный ресурс. Режим доступа: http://www.ed.gov.ru.

134. Статистика сайта «Сайты Рунета» Электронный ресурс. Режим доступа: http://www.liveinternet.ru/stat/ru/searches.html.

135. Учебно-методическое объединение по классическому университетскому образованию. Электронный ресурс. Режим доступа: http://www.umo.msu.ru.

136. Институт прикладных математических исследований КарНЦ РАН. Электронный ресурс. Режим доступа: http://mathem.krc.karelia.ru.

137. Петрозаводский государственный университет. Электронный ресурс. -Режим доступа: http://petrsu.karelia.ru.

138. Вентцель Е.С. Исследование операций: задачи, принципы, методология / Е.С. Вентцель 2-е изд., стер. - М.: Наука. Гл. ред. физ.-мат. лит., 1988. - 208 с.

139. Google PageRank: What Do We Know About It? Smashing Magazine. Электронный ресурс. Режим доступа: http://www.smashingmagazine.eom/2007/06/05/google-pagerank-what-do-we-really-know-about-it.

140. Апорт. О проекте. Электронный ресурс. — Режим доступа: http://www.aport.ru/help/?p=2.

141. Трофименко Е.А. Оптимизация расчета ссылочной популярности и учета ее при ранжировании результатов поиска / Е.А. Трофименко // Интернет-математика 2005. Яндекс, Москва. - 2005. - С.272-282.

142. Сычев А.В Идентификация веб-сообществ в глобальной сети WAP-ресурсов / A.B. Сычев, М.М. Баженов // Информационные технологии. 2006. -№6.-С. 38-44.

143. Сегалович И. Мы умеем обходить, строить и отвечать на запросы примерно по 1 миллиарду документов. Электронный ресурс. — Режим доступа: http://webplanet.rU/news/interview/2006/2/6/ilyasegalovich.html.

144. Петросян JI.A. Теория игр: Учеб. пособие для ун-тов / JI.A. Петросян, H.A. Зенкевич, Е.А. Сёмина —М.: Высш. шк., Книжный дом «Университет», 1998. -304 с.

145. Литвак Б. Г. Экспертные технологии в управлении / Б. Г. Литвак. 2-е изд., испр. и доп. - М.: Дело, 2004. - 400 с.

146. Печников A.A. Математические модели размещения ссылок в локализованной системе Интернет-ресурсов / A.A. Печников // Системы управления и информационные технологии. 2007. - №2(28). - С. 92-96.

147. Печников A.A. О некоторых подходах к моделированию клик-сообществ / A.A. Печников // Системы управления и информационные технологии. 2008. -№3(33).-С. 15-18.

148. Печников A.A. Исследование согласованного поведения малых Интернет-сообществ / A.A. Печников, Ю.В. Чуйко // Телекоммуникации. 2008. - №10. -С. 8-12.

149. Печников A.A. Вебометрические исследования Web-сайтов университетов России / A.A. Печников // Информационные технологии. 2008. - №11. - С. 7478.

150. Мазалов В.В. О рейтинге официальных сайтов научных учреждений Северо-запада России /В.В. Мазалов, A.A. Печников // Управление большими системами. М.: ИПУ РАН. - 2009. - Вып. 24. - С. 130-146.

151. Мазалов:В1В;. О построении; рейтинга научных: журналов / Мазалов В.В., Печников А.А, Фалысо И.А. // Управление большими, системами. М.: ИПУ РАН. - 2009. - № 27 - С. 47-52. .

152. Воронин A.B. Исследования сайтов органов власти Республики Карелия / A.B. Воронин^ A.A. . Печников // Век качества: Связь, сертификация,, управление, экономика. 2010. - №3. - С. 2-4.

153. Осолоткина Е.Ю; Экологический аспект в Internet-моделях муниципальных образований / Е.Ю; Осолоткина, А.А; Печников // Математические методы в экологии: Тезисы докладов Всероссийской научной школы (Петрозаводск, 10-16 июня 2001 г.). 2001. - С. 186.

154. КарНЦ' РАН (24-27 октября 2006 г.). Том 2. - Петрозаводск: КарНЦ РАН. -2006. С. 146-147.

155. Печников A.A. Математические модели согласованного поведения* малых Интернет-сообществ / A.A. Печников, Ю.В. Чуйко // Интернет-математика. — Екатеринбург: Издательство Уральского университета. 2007. - С. 164-170.

156. Печников A.A. Моделирование клик-сообществ / A.A. Печников // Обозрение прикладной и промышленной математики. 2008. - том 15, вып. 3. — С. 566-567.

157. Печников A.A. Рейтинг официальных web-сайтов университетов России и Финляндии: сравнительный анализ / A.A. Печников, О.Г. Илюкевич // Информационные ресурсы России. 2008. № 3 (103) - С. 25-28.

158. Н.Б. Луговая Измерения научных сайтов / Н.Б. Луговая, A.A. Печников // Телематика'2008. Труды XV Всероссийской научно-методической конференции, Санкт-Петербург, 23-26 июня 2008. Том 1 - С. 166.

159. Луговая Н.Б. Исследование экологических сайтов / Н.Б. Луговая, A.A. Печников // Математические методы в экологии. Тезисы докладов Третьей Всероссийской школы молодых ученых (Петрозаводск, 24-29 августа 2008 г.). 2009.-С.106.

160. Печников A.A. О некоторых результатах вебометрических исследований университетских сайтов / A.A. Печников // Информационная среда вуза XXI века: материалы II Всероссийской научно-практической конференции, Петрозаводск, 15-18 сентября 2008. С. 122-123.

161. Косинец И.Э. Об одном подходе к исследованию ресурсов российского сегмента сети Интернет / И.Э. Косинец, Н.Б.Луговая, А.А.Печников //

162. Информационная среда вуза XXI1 века: материалы II Всероссийской научно-практической конференции, Петрозаводск, 15-18 сентября 2008. С. 15-18.

163. Печников A.A. Структурные исследования научного Веба / A.A. Печников; Ы.Б. Луговая' // Телематика'2009. Труды XVI Всероссийской-; научно-методической конференции (22-25 июня 2009 г., С-Петербург), Том: 2. 2009. — G.340.»

164. Луговая Ы.Б. Разработка инструментов для вебометрических исследований? / Н.Б.Луговая; А.А.Печников ;// Телематика?2009. Труды XVI Всероссийской: научно-методической конференции (22-25 июня 2009 т., С-Петербург); Том 2. — С.341.

165. Печников A.A. О некоторых подходах к исследованию российского научного Веба / A.A. Печников // Теория активных систем 2009. Трудымеждународной научно-практической конференции (17-19 ноября 2009 г., Москва). Том II. 2009. - С. 140-144.

166. Чуйко Ю:В: Исследование связности российского научного Веба / Ю:В.\ Чуйко, A.A. Печников.// Когнитивный'анализ и управление развитием ситуаций* (CASC'2009).' Труды Международной конференции (17-19 ноября 2009 г., Москва). е.283-286:

167. Печников A.A. Исследования университетского фрагмента Веба / A.A. Печников // Телематика'2010. Труды XVII Всероссийской научно-методической конференции (21-24 июня 2010 г., С-Петербург), Том 2. 2010. -С.ЗЗЗ.

168. Косинец И.Э. Об анализе веб-ресурсов органов власти / И.Э. Косинец, A.A. Печников // Информационная среда вуза XXI века: материалы^ IV Всероссийской научно-практической конференции (20-24 сентября 2010 г.). Петрозаводск, 2010. С. 131-133.

169. Печников A.A. Концепутальная модель фрагмента Веба и примеры ее реализации / A.A. Печников // Информационная среда вуза XXI века:материалы IV Всероссийской научно-практической конференции (20-24 сентября 2010 г.). Петрозаводск, 2010. С. 172-173.

170. Свидетельство о государственной регистрации программы для ЭВМ «Информационная система для вебометрических исследований» Федеральной службы по интеллектуальной собственности, патентам и товарным знакам РФ № 2010610941 от 29 января 2010 г.