Разработка и исследование принципов построения вертикальных образовательных порталов с открытой архитектурой тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Силаев, Антон Валерьевич

• Силаев, Антон Валерьевич
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Силаев, Антон Валерьевич

ГЛОССАРИЙ.

ВВЕДЕНИЕ.

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР И КЛАССИФИКАЦИЯ ВЕРТИКАЛЬНЫХ ОБРАЗОВАТЕЛЬНЫХ ПОРТАЛОВ. ПОСТАНОВКА ЗАДАЧИ.

1.1 Вертикальный образовательный портал в системе классификации порталов.

1.2 Базовые подсистемы вертикальных образовательных порталов. Управление подсистемами порталов.

1.3 Современная система федеральных образовательных порталов.

1.4 Роль поисковых систем в развитии вертикальных порталов.

1.5 Тенденции развития вертикальных образовательных порталов.

1.6 Цель и постановка задачи исследования.

ГЛАВА 2. РАЗРАБОТКА И МОДЕЛИРОВАНИЕ ОТКРЫТОЙ АРХИТЕКТУРЫ ВЕРТИКАЛЬНЫХ ОБРАЗОВАТЕЛЬНЫХ ПОРТАЛОВ. РАЗРАБОТКА АЛГОРИТМОВ И ПРОГРАММ ДЛЯ ПОИСКОВЫХ СЕРВИСОВ.

2.1 Система управления содержанием «iPHPortal» как основное средство разработки вертикальных образовательных порталов.

2.2 Анализ архитектурных особенностей системы «iPHPortal» при управлении сервисами.

2.3 Моделирование открытой архитектуры вертикальных образовательных порталов. Анализ обработки информации вертикальными порталами с использованием сервисов.

2.4 Определение критериев оценки качества информационного поиска по вертикальным образовательным порталам. Моделирование поисковых сервисов с целью повышения эффективности функционирования.

2.5 Разработка алгоритмов на базе открытой архитектуры вертикальных образовательных порталов для поисковых сервисов. Разработка модуля трансляции поисковых запросов.

2.6 Выводы.

ГЛАВА 3. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ РАЗРАБОТАННЫХ АЛГОРИТМИЧЕСКИХ И ПРОГРАММНЫХ РЕШЕНИЙ НА ПРИМЕРЕ ПОИСКОВЫХ СЕРВИСОВ ВЕРТИКАЛЬНЫХ ОБРАЗОВАТЕЛЬНЫХ ПОРТАЛОВ С ОТКРЫТОЙ АРХИТЕКТУРОЙ. ВОПРОСЫ ПРАКТИЧЕСКОЙ РЕАЛИЗАЦИИ РАЗРАБОТАННЫХ

РЕШЕНИЙ.

3.1 Цель и постановка экспериментов. Выбор объекта экспериментов.

3.2 Формирование тестовой коллекции терминов на основании законов Зипфа. Методика вычисления весов терминов.

3.3 Формирование расширенной области поиска в соответствии с тематикой вертикального образовательного портала.

3.4 Проведение анализа особенностей внедрения популярных поисковых машин в вертикальные образовательные порталы в качестве сервисов. Выбор поисковой машины.

3.5 Оценка откликов поисковых сервисов вертикальных образовательных порталов на основе метода «общего котла». Обоснование выбора поисковой машины в качестве сервиса вертикального портала.

3.6 Анализ результатов экспериментов с учетом критерия фактического использования результатов поиска. Обобщенная оценка качества поисковых откликов портала «Информационно-аналитическая система поддержки экспорта российского образования».

Введение диссертации (часть автореферата) на тему «Разработка и исследование принципов построения вертикальных образовательных порталов с открытой архитектурой»

Актуальность темы. В настоящее время в русскоязычном сегменте Интернет в открытом доступе имеется множество информационных ресурсов, потенциально полезных образовательному сообществу. Эти ресурсы расположены на серверах учебных заведений, коммерческих и некоммерческих организаций, федеральных и региональных органов управления образованием. Однако, релевантный поиск таких ресурсов затруднен в связи с их разобщенностью и сложностью выделения наиболее качественных. Вместе с тем, в сети Интернет развиваются глобальные поисковые системы общего назначения, такие как «Яндекс», «Рамблер», «Google», обеспечивающие индексацию русскоязычного сегмента Интернет и поиск ресурсов по ключевым словам и содержанию. Однако на данном этапе они полностью не могут решить указанной проблемы.

Возникает необходимость создания специализированных точек входа в Интернет, обеспечивающих удобный и эффективный (релевантный) поиск и навигацию по информационным образовательным ресурсам, а также предоставление других сервисов, востребованных образовательным сообществом, таких, например, как обеспечение совместной работы территориально удаленных друг от друга преподавателей над едиными учебными программами. На текущий момент качественных информационных ресурсов для обеспечения образовательного процесса всех уровней образования и форм обучения в Интернет явно недостаточно. Представляется необходимым стимулировать и организовать процесс как разработки, так и предоставления в Интернет таких ресурсов, сделать процесс их публикации легким, удобным и доступным при соблюдении авторских прав; создать удобные и легко доступные точки входа в Интернет. При этом следует обеспечить широкое и оперативное обновление информации о них в образовательном сообществе, предпринять меры для того, чтобы наиболее авторитетные образовательные школы имели преимущество в публикации своих информационных ресурсов и поощряли к этому других.

В связи с этим в рамках федеральной целевой программы «Развитие единой образовательной информационной среды» (РЕОИС) была создана единая система образовательных порталов, получившая дальнейшее развитие в соответствии с «Федеральной целевой программой развития образования» (ФЦПРО) на 2006-2010 годы [www.fcpro.ru]. Большой вклад в создание и развитие системы образовательных порталов в сфере образования и науки внесли российские ученые Тихонов А.Н., Булгаков М.В., Васильев В.Н., Гридина Е.Г., Иванников А.Д., Ижванов Ю.Л., Кулагин В.П., Мордвинов В.А., Фомина А.Б.

В соответствии с «Концепцией создания системы Интернет-порталов сферы образования», утвержденной Коллегией Минобразования России от 4 апреля 2002 г. (протокол № 7), портал определен как сетевой узел или комплекс узлов, подключенных к Интернет по высокоскоростным каналам, обладающий развитым пользовательским интерфейсом и предоставляющий единый с концептуальной и содержательной точки зрения доступ к широкому спектру информационных ресурсов и услуг, ориентированных на определенную аудиторию [1]. Целью федеральных программ является разработка, поддержка и использование целостной, взаимно дополняемой и территориально распределенной системы порталов сферы образования.

Указанная система порталов сформирована из совокупности вертикальных образовательных порталов (ВОП) — специализированных систем сбора, управления, интеграции и обработки информации в рамках специфических образовательных задач, с учетом отраслевых особенностей. Вместе с тем, ВОП не всегда достаточно полно охватывают комплексы образовательных услуг в рамках постоянно расширяющейся и обновляющейся тематики. Это связано, прежде всего, с индивидуальностью возлагаемых на ВОП круга задач, а также с различиями и ограничениями применяемых для их построения платформ. Отличаются реализации отдельных функциональных модулей, технологии наполнения и подсистемы поиска. Поэтому актуальной представляется задача выработки решений, позволяющих расширить и объединить функционал ВОП, при этом наладив эффективный механизм поиска и обмена ресурсами между ними за счет внедрения дополнительных сервисных возможностей. С этой целью автор предлагает использовать разработанные в диссертации принципы открытости архитектуры вертикальных образовательных порталов, позволяющие интегрировать решения сторонних фирм по открытым спецификациям [3,4,19].

Применяемые в настоящее время для разработки ВОП платформы позволяют создавать и размещать на них информацию без специализированных навыков программирования, при этом обеспечив пользователей готовым набором базовых образовательных сервисов. Однако зачастую доступ пользователей к такой информации может быть значительно упрощен с использованием глобальных поисковых Интернет систем по сравнению со встроенными поисковыми сервисами. Это становится возможным благодаря разработанным в настоящем исследовании принципам открытости. Кроме того, при формировании релевантной тематике ВОП выборки сайтов появляется возможность существенно расширить область вертикального поиска, не ограничиваясь информацией представленной на портале. Это предоставит пользователям дополнительные преимущества, избавив от необходимости построения сложных запросов к разным поисковым системам, и повысит качество функционирования ВОП.

Предлагаемые в настоящей работе подходы призваны оценить эффективность и повысить качество функционирования вертикальных образовательных порталов. В диссертации рассмотрены вопросы построения и взаимодействия вертикальных образовательных порталов с поисковыми системами с позиций архитектурных и системных решений. Разработаны принципы открытости архитектуры для вертикальных образовательных порталов, позволяющие расширять область релевантного поиска по тематике

ВОП. Вопросы, связанные с технологическим построением информационных сетей и взаимодействием узлов на сетевом уровне настоящим исследованием не затрагиваются.

Объект исследования. Объектом исследования настоящей работы являются вертикальные образовательные порталы, рассматриваемые автором с позиций системного анализа, а также входящие в состав порталов сервисы с учетом отраслевых особенностей. При этом анализируются возможности, предоставляемые открытой архитектурой в части интеграции мощных поисковых систем непосредственно в систему управления ВОП.

Цель и постановка задачи исследования. Целью диссертационной работы является разработка, исследование и программная реализация принципов построения вертикальных образовательных порталов с открытой архитектурой, позволяющих использовать внешние сервисы для повышения качества обработки информации и расширения сервисных возможностей ВОП.

Для достижения вышесформулированной цели в диссертации ставятся следующие задачи:

1. Разработать модель открытой архитектуры вертикальных образовательных порталов с целью использования внешних сервисов, не входящих в состав их технологических платформ.

2. Разработать математическую модель функционирования поисковых сервисов вертикальных образовательных порталов для объединения критериев качества поиска ВОП.

3. Определить систему критериев качества функционирования поисковых сервисов вертикальных образовательных порталов, что позволит проводить оценку качества поиска разными поисковыми способами с учетом тематической направленности.

4. Разработать методику формирования тестовой коллекции терминов, определяющих основное тематическое содержание вертикального образовательного портала для проведения экспериментальных оценок качества поиска.

5. Разработать методику формирования расширенной поисковой области в соответствии с тематикой вертикальных образовательных порталов с целью улучшения качества поиска.

6. Разработать алгоритмы для построения поисковых сервисов вертикальных образовательных порталов на базе открытой архитектуры с целью использования с их помощью глобальных поисковых машин для обработки поисковых запросов.

7. Провести экспериментальные исследования и оценить качество полученных результатов с целью подтверждения применимости использования поисковых машин в качестве сервисов вертикальных образовательных порталов.

8. Осуществить внедрение результатов диссертации в практические разработки с целью повышения эффективности их функционирования в части поисковых сервисов.

Принципы построения вертикальных образовательных порталов с открытой архитектурой реализуются через решение указанных задач.

Методы исследования. Основные результаты диссертационной работы получены с использованием методов теории систем и системного анализа, теории множеств, теории информационного поиска, теории программирования, методических основ построения порталов и метода экспертных оценок.

Научная новизна работы состоит в разработке специального математического обеспечения системы управления вертикальным образовательным порталом. Это обеспечение включает в себя алгоритмические, программные и архитектурные решения, повышающие эффективность функционирования поисковых сервисов ВОП. Лично автором

• разработана система критериев для оценки качества работы поисковых сервисов ВОП;

• предложен коэффициент фактического использования результатов поиска для оценки пертинентности поисковых выдач;

• на основе разработанных критериев предложена математическая модель оценки качества поисковых сервисов ВОП, использованная при проведении экспериментов;

• разработана методика определения весов терминов с использованием законов Зипфа и на ее основе спроектирован словарь терминов, определяющих основное тематическое содержание ВОП;

• поставлена и решена задача автоматизации процесса расширенного поиска с использованием принципов открытости архитектуры.

Теоретическая ценность состоит в дальнейшем развитии впервые предложенной автором концепции открытой архитектуры ВОП и организации функционирования на ее основе дополнительных сервисов, взаимодействующих вне зависимости от технологических платформ.

Практическая ценность работы состоит в том, что в ней:

• Разработаны алгоритмы функционирования поисковых сервисов на базе открытой архитектуры для использования поисковых машин из интерфейса ВОП.

• Разработан модуль трансляции поисковых запросов пользователя с учетом выделенного набора адресов для проведения поиска в рамках тематической направленности ВОП.

• Разработаны поисковый шаблон, обработчик модуля трансляции и внешний интерфейс поискового модуля для реализации принципов открытости в системе управления содержанием «iPHPortal».

Прикладное значение результатов диссертации подтверждено использованием разработанных принципов при проектировании конкретных поисковых сервисов ВОП с интеграцией поисковых машин на базе открытой архитектуры. Область применения результатов работы не ограничивается отраслью образования и может быть использована при разработке вертикальных порталов различной направленности.

Обоснованность и достоверность научных положений, содержащихся в диссертации, обусловлена применением фундаментальных положений теории систем и системного анализа, теории информации и теории программирования. Обоснованность выводов и авторских рекомендаций подтверждена экспериментом и практическим внедрением полученных в диссертации результатов в портальные системы и сервисы, разработанные под руководством и при участии автора. Полученные данные, использованные при практической апробации предлагаемых моделей, методик и решений, показали их работоспособность и правильность заложенных в них подходов.

Апробация и практическое внедрение результатов работы. При непосредственном участии автора разработаны следующие вертикальные образовательные порталы, в которых диссертант для повышения эффективности поисковых сервисов использовал принципы открытости архитектуры:

• «Информационно-аналитическая система поддержки экспорта российского образования» (ИАС ЭРО). Разработана Федеральным государственным учреждением «Государственный научно-исследовательский институт информационных технологий и телекоммуникаций (ФГУ ГНИИ ИТТ) «Информика», режим доступа - www.russia.edu.ru. Для интеграции внешней поисковой системы в качестве поискового сервиса в ИАС ЭРО использованы алгоритмы на базе открытой архитектуры. Для проведения вертикального поиска по тематике ИАС ЭРО в Интернет проведен полный анализ контента и сформирована расширенная область релевантных ресурсов.

• «Информационно-справочный Интернет-портал поддержки систем управления качеством образовательных учреждений высшего профессионального образования». Разработан ФГУ ГНИИ ИТТ «Информика», режим доступа - www.quality.edu.ru. Для интеграции внешней поисковой системы в качестве поискового сервиса использованы разработанные диссертантом поисковые алгоритмы на базе открытой архитектуры.

• Портал «Дополнительное образование детей». Разработан Московским городским Дворцом детского (юношеского) творчества (МГДД(Ю)Т) по заказу Государственного научного учреждения «Республиканский мультимедиа центр» (ГНУ РМЦ), режим доступа — www.vidod.edu.ru. Для интеграции поисковой системы «Яндекс» в качестве поискового сервиса использованы алгоритмы на базе открытой архитектуры.

• Портал специальности 230201 «Информационные системы и технологии». Разработан кафедрой «Технических и информационных средств систем управления» (ТИССУ) Государственного образовательного учреждения высшего профессионального образования «Московский государственный институт радиотехники, электроники и автоматики (технический университет)» (ГОУ ВПО МИРЭА), режим доступа -www.tissu.fcyb.mirea.ru. С использованием открытой архитектуры интегрирована внешняя поисковая система и реализован вертикальный поиск по направлению деятельности портала.

Результаты диссертационной работы используются в учебно-исследовательской работе, курсовом и дипломном проектировании на кафедре ТИССУ ГОУ ВПО МИРЭА.

Основные положения диссертационной работы докладывались и обсуждались на международных и российских научных конференциях, семинарах и конкурсах, в том числе:

• V региональная научно-практическая конференция «Профессиональная ориентация и методика преподавания в системе школа-вуз» (г.Москва, 2004г.);

• VI региональная научно-практическая конференция «Профессиональная ориентация и методика преподавания в системе школа-вуз» (г.Москва, 2005г.);

• Всероссийский конкурс инновационных проектов аспирантов и студентов по приоритетному направлению развития науки и техники «Информационно-телекоммуникационные системы» (г.Звенигород, 2005г.);

• Всероссийский конкурс инновационных проектов аспирантов и студентов по приоритетному направлению развития науки и техники «Информационно-телекоммуникационные системы» (г.Звенигород, 2006г.);

• Международная научно-практическая конференция «Новые информационные технологии в образовании» (г.Екатеринбург, 2007г.);

• «Information technologies and telecommunications in education and science (IT&T Е8Л2007)» (Turkey, Fethiye, 2007);

• XIV Всероссийская научно-методическая конференция «Телематика" 2007» (г.Санкт-Петербург, 2007г.).

Публикации. По результатам диссертационной работы опубликовано четырнадцать печатных работ, отражающих основные результаты исследований, в том числе две работы в журналах из перечня ВАК. Получены два сертификата участника финала «Всероссийского конкурса инновационных проектов аспирантов и студентов», проводимого ФГУ ГНИИ ИТТ «Информика». Получены три свидетельства о государственной и отраслевой регистрации разработки в «Отраслевом фонде алгоритмов и программ» (ОФАП).

По результатам диссертационного исследования опубликованы следующие работы:

1. Мордвинов В.А., Силаев А.В. Вопросы моделирования вертикальных образовательных порталов с открытой архитектурой // Научно-практический журнал «Открытое образование» — 2007 №5, С.30-33.

2. Силаев А.В. Реализация взаимодействия вертикальных образовательных порталов с поисковыми системами / М.: Отраслевой фонд алгоритмов и программ. Свидетельство о государственной регистрации № 50200701032 от 21.05.2007. Свидетельство об отраслевой регистрации №8320 от 15.05.2007, 6с.

3. Mordvinov V.A., Silaev A.V. Some aspects of modeling vertical educational portals based on open architecture technology // International scientific journal for the European intellectual elite «Е» and «М» Euroeducation», 617, Sofia, 2007-page 33-38.

4. Силаев А.В. Разработка открытой архитектуры вертикальных образовательных порталов [Электронный ресурс] // Электронный журнал «Исследовано в России», 087, М.:2007. С. 906-911 - Режим доступа: http://zhurnal.ape.relarn.ru/articles/2007/087.pdf

5. Мордвинов В.А., Свечников С.В., Силаев А.В. Аналитические и инженерные расчеты в проектировании информационных систем в образовании (электронное методическое пособие) / М.: Отраслевой фонд алгоритмов и программ. Свидетельство о государственной регистрации №

50200400993 от 18.08.2004. Свидетельство об отраслевой регистрации № 3773 от 06.08.2004, 54с.

6. Мордвинов В.А., Силаев А.В. Семантико-энтропийное моделирование — основа анализа и регулирования информационного морфизма вертикальных образовательных порталов / М.: Отраслевой фонд алгоритмов и программ. Свидетельство о государственной регистрации № 50200500739 от 27.05.2005. Свидетельство об отраслевой регистрации № 4790 от 17.05.2005, 60с.

7. Силаев А.В. Анализ эффективности вертикальных образовательных порталов // Научно-практический журнал «Открытое образование» — 2007 №2, С. 24-27.

8. Силаев А.В. Применение синергетических подходов к исследованию информационных систем в образовании: Сб. тезисов докладов V региональной научно-практической конференции «Профессиональная ориентация и методика преподавания в системе школа-ВУЗ"2004», Том I, М.: МИРЭА, 2005 - С. 92-95.

9. Силаев А.В. Исследование информационного морфизма вертикальных образовательных порталов: Сб. материалов всероссийского конкурса инновационных проектов аспирантов и студентов по приоритетному направлению развития науки и техники «Информационно-телекоммуникационные системы», М.: ГНИИ ИТТ «Информика», ISBN 57577-0266-4, 2005 - 132с., С.46.

Ю.Силаев А.В. Разработка методов и средств повышения эффективности вертикальных образовательных порталов: Сб. материалов всероссийского конкурса инновационных проектов аспирантов и студентов по приоритетному направлению развития науки и техники «Информационно-телекоммуникационные системы», М.: ГНИИ ИТТ «Информика», ISBN 57577-0297-4, 2006 - 220с., С. 102-104.

П.Силаев А.В. Разработка базовых принципов построения профильных порталов в образовании с использованием энтропийного анализа: Материалы междунар. науч.-практ. конф. «Новые информационные технологии в образовании'2007», 4.2, Екатеринбург: Рос. гос. проф.-пед. ун-т. Екатеринбург, 2007 - 184 е., С.159-160.

12.Силаев А.В. Принцип открытости архитектуры вертикальных образовательных порталов // Научный вестник МИРЭА, М.:МИРЭА — 2007-№2, С. 48-51.

13.Silaev A.V. Vertical educational portals base architecture development based on entropy model of their interaction: International scientific conference «Information technologies and telecommunications in education and science (IT&T ES'2007)» Turkey, Fethiye, 18-25 May 2007. SIIT&T «Informika», ISBN 978-5-9901036-1-0.-M.: ЭГРИ, 2007. - 222p, page. 36-37.

14.Силаев А.В. Организация механизма поиска с использованием открытой архитектуры вертикальных образовательных порталов: Труды XIV Всероссийской научно-методической конференции «Телематика"2007», Санкт-Петербург: Издательство СПб, том 2 - 544с. ISBN 5-7577-0329-6, С. 328-329.

Структура и объем работы. Текст диссертации состоит из введения, трех глав, заключения, списка литературы и трех приложений, отражающих личное участие автора в практических разработках, относящихся к теме диссертации. При этом в Главе 3 обсуждаются как результаты экспериментальных исследований, так и вопросы практического применения алгоритмических и программных решений, разработанных в диссертации. Основному тексту диссертации предшествует терминологический глоссарий объемом 6 стр. Объем работы составляет 160 страниц машинописного текста, включая 31 рисунок и 5 таблиц. Список литературы включает 90 наименований.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Силаев, Антон Валерьевич

2.6 Выводы

На основании особенностей систем управления содержанием в настоящей главе обоснован выбор в пользу системы «iPHPortal», как основной CMS для разработки вертикальных образовательных порталов. Проведен анализ архитектурных особенностей системы «iPHPortal», на основании которого предложен подход, заключающийся в вынесении сервисов за рамки программного ядра вертикальных образовательных порталов.

Разработана модель открытой архитектуры ВОП, включающая модуль трансляции запросов и ответов на удаленные сервисные сервера, взаимодействующие с ВОП по общедоступным каналам связи. Модель позволяет осуществлять взаимодействие программного ядра CMS и удаленных сервисов ВОП, функционирующих на любых технологических платформах по открытым спецификациям. Модель открытой архитектуры позволяет существенно расширить сервисные возможности ВОП, обеспечить пользователей не представленными на портале информационными ресурсами и осуществить интеграцию ВОП с глобальными поисковыми системами.

Предложена возможная схема реализации сервисов на базе открытой архитектуры, использующая внешний поисковый сервис и внутренние новостные и коммуникационные сервисы, позволяющая распределить и улучшить качество предоставляемых услуг без вмешательства в программное ядро CMS.

Для достижения преимуществ вертикальных образовательных порталов с открытой архитектурой в части интеграции глобальных поисковых машин в качестве поисковых сервисов ВОП в главе разработаны алгоритмы функционирования поисковых сервисов ВОП с открытой архитектурой, на базе которых спроектирован модуль трансляции для CMS «iPHPortal». Модуль позволяет задавать запросы поисковым системам из интерфейса ВОП с указанием именно той области, в рамках которой будет произведен поиск. Благодаря использованию такого подхода появились возможности поиска по контенту ВОП с использованием поисковых машин, а также формирования собственной расширенной поисковой области, выдача результатов по которой может быть улучшена по сравнению с поиском по ВОП.

Определена система критериев, на основе которых разработана математическая модель для оценки качества работы поисковых сервисов ВОП с открытой архитектурой. Модель использует предложенный коэффициент фактического использования, позволяющий оценить меру пертинентности поисковых ответов системы.

С помощью технических реализаций открытой архитектуры вертикальных образовательных порталов открываются возможности единой интеграции служб и сервисов систем порталов. С ее помощью можно создать единые сервисы для групп образовательных порталов. При такой организации достаточно внести изменения в структуру одного сервиса, с которым работает вся система порталов — нет необходимости видоизменять сервис в каждом.

Таким образом, применение открытой архитектуры для ВОП способствует равномерному распределению обеспечения пользователей первичными и вторичными информационными ресурсами. Открытая архитектура предоставляет широкие сервисные возможности в рамках сферы деятельности образовательных порталов, позволяет набирать и удерживать широкую пользовательскую аудиторию. Использование открытой архитектуры как средства интеграции с поисковыми системами позволяет в ряде случаев решить задачу сокращения количества порталов за счет объединения схожих по тематике ВОП.

ГЛАВА 3. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ РАЗРАБОТАННЫХ АЛГОРИТМИЧЕСКИХ И ПРОГРАММНЫХ РЕШЕНИЙ НА ПРИМЕРЕ ПОИСКОВЫХ СЕРВИСОВ ВЕРТИКАЛЬНЫХ ОБРАЗОВАТЕЛЬНЫХ ПОРТАЛОВ С

ОТКРЫТОЙ АРХИТЕКТУРОЙ. ВОПРОСЫ ПРАКТИЧЕСКОЙ РЕАЛИЗАЦИИ РАЗРАБОТАННЫХ РЕШЕНИЙ

Глава посвящена разработке алгоритмических и программных решений, позволяющих проектировать поисковые сервисы вертикальных образовательных порталов на базе открытой архитектуры. Выявлена цель экспериментов, обоснован выбор объекта экспериментов. С использованием законов Зипфа сформирован и проанализирован специализированный словарь терминов. Предложена и рассмотрена методика составления поисковой области по тематике портала. Проведены экспериментальные исследования, рассмотрены вопросы практического внедрения популярных поисковых машин в качестве сервисов портала. Проведен анализ результатов эксперимента по коэффициенту фактического использования и с его помощью проведена оценка качества поисковых ответов на вертикальных образовательных порталах с использованием принципов открытости.

3.1 Цель и постановка экспериментов. Выбор объекта экспериментов

Цель экспериментов, рассматриваемых в настоящей главе, заключается в сравнении показателей качества поисковых сервисов вертикальных образовательных порталов до и после использования разработанных в Главе 2 принципов открытости архитектуры вертикальных образовательных порталов. Разработанные принципы позволяют использовать сторонние поисковые системы в качестве поискового сервиса ВОП. В настоящей главе проводится анализ и сравнение показателей эффективности использования поискового сервиса, встроенного в CMS «iPHPortal» и поискового сервиса на базе открытой архитектуры, использующего внешнюю поисковую машину для обработки пользовательских запросов.

Объектом эксперимента выбран вертикальный образовательный портал f: Информационно азгалнтнческаяснсзгма поддержи* же норм российскою образовании Windows In! pi net L«plopcr

- P http:№»*«,ruuu.adu гцГ A

• ОбразованневРоссии » PjCWfl язык

• Образовательные учреждения

• Подле раиа иностранных студентов

• Справочная информация

• Фотогалерея ► Форум Часто задаваемые вопросы (FAQ)

• Гостевые книги

ПИСЬМО ЗАМЕСТИТЕЛЯ МИНИСТРА МННОВРНЛЯСИ РОССИИ В.Н. ФРИДЛЯ1ЮВА а 2007-11-1312:13:53

9-10 ноября I Праге поо.зднпа лун Цджд .народная ярмарка языков. сваливания и члч.см EXPOLINGUA J007 НД которой влоовы* были представлены к.рсы о.сскшо яти а РЦНК т 2007-11-13 12 -ю эг

Эаипьгет о.сскоЛ аитопмии Епианоюга ю ада о авизного .ниеерцтгга игазат аопьш.и оопь » поддержании дргжеот отношенн» тгш An метай н Россией ззяшл i понедельна ректор Е ГУ Арам Синонян. выступая на и рами Ошанин 30-петця ф^кртвтатз и р.-си инки а Ас мани II. й> 2007-11-1311:4210

В период со 2 по J ноября Российский цента на.ки и к.льт.ры р Лад-ас-Сапам» сошепна с компанией Р^ХУС" приняп мзпие в овразеватапьиой иыстзвие пдп патронажем прзЕптепьствд Танзанни

Ш 2007-11-1311.27.56

В рано! 47-го Месячника монгопоросспйрюй ап.мвы. который проводится совместно с российскими и ионгодьачтни ОрганиЗЗдиЯми с 29 оюаОря по i ноября в Южно-Говинсео» и Средне-Гоби й «ом аймака бы пи просолены Лии др,-у15ы ССЫЛКИ м^и>5опду|м Росовз

1 Рмобрщщр

9>

Q Интернет BtC^f MMJtTW

СО% •

Рисунок 3.1 Главная страница вертикального образовательного портала «Информационно-аналитическая система поддержки экспорта российского образования» (ВОП «НАС ЭРО»)

Информационно-аналитическая система поддержки экспорта российского образования» («ИАС ЭРО»), главная страница которого приведена на рис. 3.1. Система, реализованная с участием автора, создана в рамках государственного контракта от 11.09.2006 N П244. Целью создания системы является реализация задач «Повышение эффективности управления в системе образования», мероприятия 22, и «Повышение конкурентоспособности российского образования, содействие экспорту образовательных услуг» в рамках Федеральной целевой программы развития образования на 2006-2010 годы, утвержденной постановлением Правительства Российской Федерации от 23.12.2005 N 803.

В «ИАС ЭРО» представлены отзывы иностранных студентов, обучающихся в России, нормативно-правовая база касающаяся правил поступления в образовательные учреждения иностранных граждан, справочная информация о тонкостях оформления российской визы и пребывания иностранцев на территории Российской Федерации. Основные разделы системы: «О России», «Образование в России», «Поддержка иностранных студентов», «Российские вузы за рубежом», база данных «Образование в России для зарубежных граждан» содержащая анкеты вузов, предлагающих обучение иностранцам. ВОП был введен в эксплуатацию в августе 2006 года и на февраль 2008 насчитывает около 2 тысяч материалов страниц).

ИАС ЭРО» размещена на сервере Fuji-Siemens PRIMERGY RX300S2 с двумя процессорами класса Intel Pentium IV Хеоп с тактовой частотой 3.4 s* ^ GHz, двумя гигабайтами оперативной памяти и общим объемом дискового пространства 140 гигабайт. «ИАС ЭРО» в настоящее время доступна в \ Интернет по адресу http://russia.edu.ru. На сервере установлено следующее программное обеспечение: операционная система Microsoft Windows Server 2003, веб-сервер Apache 2.0.52, интерпретатор PHP 4.3.9 и СУБД MySQL 4.1.22. Система реализована с помощью CMS «iPHPortal» версии 1.36.

Поисковый сервис «ИАС ЭРО» реализован стандартными средствами, предоставляемыми CMS «iPHPortal», и представляет собой РНР-модуль, непосредственно взаимодействующий с его базой данных. Поисковым сервисом можно воспользоваться с любой страницы — поисковое окно расположено в верхней части правой колонки системы. Отметим недостатки используемого поискового механизма:

• отсутствие морфологического анализа введенной в поисковую строку информации;

• отсутствие механизмов очистки от «стоп-слов» - предлогов, местоимений, междометий и других часто используемых малозначимых слов;

• проведение поиска без фильтрации результатов — выводятся все материалы, в которых содержатся ключевые слова;

• отсутствие механизмов сортировки поисковой выдачи по значимости, или релевантности;

• отсутствие механизмов постоянной индексации контента базы данных и поисковых предписаний;

• отсутствие возможности индексации ресурсов, не расположенных во внутренней базе данных системы;

• неудобства интерфейса выдачи, следующие из отсутствия поисковых предписаний.

Вышеуказанные недостатки затрудняют процесс поиска необходимой пользователю информации на портале. Прежде всего, они связаны с" использованием поисковой машины, интегрированной в ядро CMS, и могут быть устранены программным путем. Для решения этой проблемы необходим постоянно совершенствующийся и поддерживаемый программистами алгоритм, анализирующий поступающую в базу данных информацию. Вместе с тем существуют уже разработанные поисковые машины, такие как поисковая система «Яндекс». Обзор основных поисковых Интернет систем содержится в разделе 1.4 настоящей работы.

Одна из главных задач поисковых систем - автоматически, с заданной периодичностью, анализировать и индексировать все доступное (видимое Интернет пользователям) пространство сайтов и систематизировать информацию в своих базах данных. В отличие от встроенного поискового сервиса CMS «iPHPortal», в таких системах применяется морфологический и интеллектуальный анализ введенной информации. В них уже присутствуют механизмы очистки от «стоп-слов», и они содержат постоянно расширяющуюся базу данных ресурсов. Популярность систем определяется наличием эффективных механизмов сортировки результатов по релевантности. Другими словами, такие системы не содержат перечисленных недостатков, и их применение как сервиса «ИАС ЭРО» могло бы повысить качество поиска по сравнению со встроенными средствами CMS «iPHPortal».

3.2 Формирование тестовой коллекции терминов на основании законов Зипфа. Методика вычисления весов терминов

Для проведения экспериментов по оценке качества поисковых сервисов ВОП, согласно предположению (2.8), необходимо подготовить словарь наиболее значимых ключевых слов (терминов), относящихся к тематике ВОП «Информационно-аналитическая система поддержки экспорта российского образования» и отражающих его основное смысловое (тематическое) содержание.

Для подготовки словаря терминов автором сформирована мгновенная копия (дамп, см. глоссарий) таблиц баз данных ВОП «ИАС ЭРО», содержащих материалы (основной контент) доступные пользователям при работе с порталом. Указанный дамп представляет собой один монолитный файл, содержащий текст всех материалов сайта, смешанный со служебной информацией языков SQL и HTML. Для выделения тематического словаря из дампа материалов базы данных над ним проведены следующие мероприятия:

1. очистка от служебных тегов и спецсимволов языков HTML и SQL;

2. проверка и удаление элементов кода РНР;

3. очистка от предлогов и местоимений, а также малозначимых слов, содержащих менее четырех букв;

4. удаление всех дополнительных символов «=», «+», «-», «\» и т.п., очистка от английских букв;

5. составление списка слов и подсчет частоты вхождений t повторяющихся слов;

6. синтаксический анализ полученного списка и проверка орфографии;

7. морфологический анализ списка и преобразование всех слов к именительному падежу и единственному числу; 8. пересчет частоты вхождений повторяющихся слов.

Вышеперечисленные мероприятия проведены с помощью разработанных автором вспомогательных программ, код которых приведен в Приложении 2 настоящей работы. Морфологический анализ терминов проведен с использованием свободно распространяемой программы «Mystem» (http://companv.yandex.ru/technologv/products/mystem/mystem.xmD. На выходе получен упорядоченный список слов, насчитывающий 16 тысяч единиц.

Для каждого термина из полученного списка программно рассчитана частота его вхождения в дамп, т.е. общая вероятность возможности встретить

5000

4000

IS X S S g- 3000 н л н о

У 2000

1000 0

1 2001 4001 6001 8001 10001 12001 14001 рангтермина

Рисунок 3.2 Зависимость частоты вхождения терминов от ранга в дампе базы данных ВОП «ИАС ЭРО» слово на портале. Д.К.Зипфом (G.K. Zipf) установлено, что зависимость частоты вхождения слова от его ранга — равносторонняя гипербола, и эта зависимость одинакова для всех текстов [13]. Причем наиболее значимые слова текста располагаются в средней части диаграммы, так как слова с максимальной частотой, как правило, являются предлогами, частицами, местоимениями, а редко встречающиеся слова в большинстве случаев не имеют решающего значения,

Полученные термины были расположены в порядке убывания их частот и пронумерованы. Порядковый номер частоты есть ранг частоты. На рис. 3.2 представлен график зависимости частоты вхождения терминов от ранга для всего полученного списка. Точность определения тематики портала зависит от правильности выделения диапазона значимых слов. Если взять широкий диапазон, ключевые термины могут смешаться со вспомогательными словами (шумом); если взять узкий диапазон, можно потерять смысловые термины. На рис. 3.3 представлен предполагаемый диапазон слов, лежащих в средней части словаря, выделенный опытным путем.

Чтобы избавиться от лишних слов и в тоже время поднять рейтинг

2000

1600 га 1200 Q. В

1 401 801 1201 1601 2001 2401 2801 3201 3601 ранг термина

Рисунок 3.3 Выделение предполагаемого диапазона терминов из полученного словаря ВОП «ИАС ЭРО» значимых слов, введена инверсная частота термина [14,15]. Значение этого параметра тем меньше, чем чаще слово встречается в материалах базы данных. Инверсную частоту принято вычислять по следующей формуле: N inv(t,) = log—(ЗЛ) где inv(tj) - инверсная частота z-ro термина из всего набора терминов; Ndb ~ общее количество материалов в базе данных; Ntt — количество материалов базы данных с термином z.

Теперь каждому z-му термину присвоим весовой коэффициент, отражающий его значимость следующим образом: weight(Mj (t,)) = freq(M, (t!)) • inv(t,), (3.2) где weight(Mj(tj)) - вес z'-го термина в j-м материале; freq(Mj(tj)) - частота z'-го термина в j-м материале.

Общий вес z-ro термина в базе данных ВОП нами предлагается вычислять как произведение его инверсной частоты на общую частоту вхождения термина в дамп по следующей формуле: weighty,) = Yu weight(M, (t,)) = mv(t,) • £ freq(M} (t,)), /3 3ч j j где weight(tj) — общий вес /-го термина в базе данных ВОП; inv(tj) — инверсная частота z'-го термина; freq(Mj (t,)) - частота вхождения z'-го термина в дамп базы данных j вертикального образовательного портала.

ЗАКЛЮЧЕНИЕ

Применяемые в настоящее время для построения вертикальных образовательных порталов (ВОП) программные платформы позволяют создавать ВОП с предоставлением готового набора базовых образовательных сервисов. При этом для размещения информации на портале не требуется специальных навыков программирования. Вместе с тем, как показывает проведенный в диссертации анализ, представляется возможным существенным образом расширить и дополнить встроенные сервисы ВОП и одновременно упростить формирование релевантного тематике ВОП контента при подключении к порталу мощных поисковых Интернет систем. Это становится возможным благодаря разработанным в диссертации принципам открытости архитектуры вертикальных образовательных порталов. Открытая архитектура ВОП прежде всего избавляет пользователя от необходимости построения сложных запросов к различным поисковым системам. В то же время она позволяет повысить качество работы сервисов ВОП, а также эффективность процессов анализа и обработки информации вертикальными порталами.

Для внедрения впервые предложенной автором концепции открытой архитектуры вертикальных образовательных порталов решен ряд вопросов, таких как: разработка модели функционирования сервисов ВОП на базе открытой архитектуры; разработка алгоритмов функционирования поисковых сервисов ВОП с открытой архитектурой; разработка математической модели оценки качества работы поисковых сервисов ВОП с открытой архитектурой; разработка методики формирования тестовой коллекции терминов, определяющих основное тематическое содержание ВОП с использованием законов Зипфа; формирование расширенной поисковой области в соответствии с тематикой ВОП; анализ особенностей внедрения популярных поисковых машин в ВОП в качестве сервисов; анализ и оценка откликов поисковых сервисов, полученных разными поисковыми способами, с использованием метода «общего котла».

Проведенный в диссертации анализ тенденций развития ВОП с выявлением существующих пробелов в их архитектурной организации позволил рассматривать вопросы построения и взаимодействия ВОП с существующими поисковыми системами с позиций архитектурных, алгоритмических и системных решений. На основе принципа открытости архитектуры ВОП с использованием предложенной системы критериев оценки качества, а также разработанной математической модели информационного поиска по ВОП, впервые в отрасли образования удалось эффективно решить задачу автоматизации релевантного поиска по тематике ВОП. При разработке с участием автора ВОП «ИАС ЭРО» на примере поисковой системы «Яндекс» экспериментально установлено, что показатели качества при проведении информационного поиска по контенту ВОП с использованием открытой архитектуры возрастают практически в два раза по сравнению с использованием стандартного поискового сервиса. Полученные результаты подтвердили возможность использования открытой архитектуры в том числе и для расширения поисковой области ВОП (проведение вертикального поиска в Интернет). В процессе исследования экспериментально получена область образовательных ресурсов в соответствии с тематикой ВОП «ИАС ЭРО», эффективность поиска по которой возросла на 17% по сравнению с поиском по ВОП «ИАС ЭРО».

При непосредственном участии автора созданы и внедрены в практику следующие типы ВОП, в которых диссертантом впервые в отрасли образования применены принципы и критерии, разработанные в диссертации:

• «Информационно-аналитическая система поддержки экспорта российского образования» (ИАС ЭРО). Разработана Федеральным государственным учреждением «Государственный научно-исследовательский институт информационных технологий и телекоммуникаций (ФГУ ГНИИ ИТТ) «Информика», режим доступа www.russia.edu.ru. Для интеграции внешней поисковой системы в качестве поискового сервиса в ИАС ЭРО использованы алгоритмы на базе открытой архитектуры. Для проведения вертикального поиска по тематике ИАС ЭРО в Интернет проведен полный анализ контента и сформирована расширенная область релевантных ресурсов.

• «Информационно-справочный Интернет-портал поддержки систем управления качеством образовательных учреждений высшего профессионального образования». Разработан ФГУ ГНИИ ИТТ «Информика», режим доступа — www.quality.edu.ru. Для интеграции внешней поисковой системы в качестве поискового сервиса использованы разработанные диссертантом поисковые алгоритмы на базе открытой архитектуры.

• Портал «Дополнительное образование детей». Разработан Московским городским Дворцом детского (юношеского) творчества (МГДД(Ю)Т) по заказу Государственного научного учреждения «Республиканский мультимедиа центр» (ГНУ РМЦ), режим доступа

- www.vidod.edu.ru. Для интеграции поисковой системы «Яндекс» в качестве поискового сервиса использованы алгоритмы на базе открытой архитектуры.

• Портал специальности 230201 «Информационные системы и технологии». Разработан кафедрой «Технических и информационных средств систем управления» (ТИССУ) Государственного образовательного учреждения высшего профессионального образования «Московский государственный институт радиотехники, электроники и автоматики (технический университет)» (ГОУ ВПО МИРЭА), режим доступа -www.tissu.fcyb.mirea.ru. С использованием открытой архитектуры интегрирована внешняя поисковая система и реализован вертикальный поиск по направлению деятельности портала.

На защиту выносятся следующие положения:

1. Предложен, разработан и исследован принцип открытой архитектуры вертикальных образовательных порталов. Установлено, что открытая архитектура позволяет существенным образом расширить сервисные возможности ВОП, реализованных на различных технологических платформах, повысить качество процессов анализа и обработки информации поисковыми сервисами ВОП, избавить пользователя от необходимости построения сложных запросов к поисковым системам.

2. Разработана модель поискового сервиса вертикального образовательного портала с открытой архитектурой. На основе этой модели проведено экспериментальное исследование, в котором установлено, что показатели качества при проведении информационного поиска по контенту ВОП возрастают практически в два раза по сравнению с использованием* стандартного поискового сервиса.

3. Зарегистрирован приоритет и внедрен в практику разработанный в диссертации алгоритм функционирования поисковых сервисов, позволяющий использовать поисковые машины из интерфейса ВОП. Алгоритм реализован на базе открытой архитектуры и позволяет транслировать поисковые запросы пользователей ВОП поисковым машинам через HTTP строку, при этом задавая область поиска. Полученные ответы интерпретируются в интерфейс ВОП.

4. Разработана и практически апробирована методика формирования расширенной поисковой области по тематике ВОП. Методика нашла свое применение в созданных при участии автора портальных системах «Информационно-аналитическая система поддержки экспорта российского образования» и «Портал специальности 230201 Информационные системы и технологии», что позволило повысить эффективность функционирования их поисковых сервисов в среднем на 17%.

5. Определена система критериев для исследования качества функционирования поисковых сервисов вертикальных образовательных порталов. Для обобщенной оценки востребованности выданной информации введен коэффициент фактического использования результатов поиска. Введены весовые характеристики документов для оценки их принадлежности к тематической направленности ВОП. Для оценки функционирования алгоритмов сортировки результатов поисковых сервисов ВОП введен критерий расположения полезной информации в выдаче (ранг выданного документа).

6. Разработана и прошла практическую апробацию методика определения качества релевантного поиска, использующая предложенный автором критерий фактического использования результатов поиска и весовые характеристики выдач. Методика позволяет существенным образом упростить процесс анализа поисковых результатов, а также значительно повысить качество подбора релевантных тематике портала областей отрасли образования для проведения вертикального поиска с использованием глобальных поисковых машин.

7. С целью проведения экспериментальных исследований поисковых сервисов ВОП на базе открытой архитектуры в диссертации разработаны: поисковый шаблон модуля трансляции поисковых запросов пользователя с учетом выделенного набора адресов; шаблон для хранения ссылок на образовательные ресурсы для обеспечения вертикального поиска; обработчик для модуля трансляции, обеспечивающий передачу запросов поисковой машине и заполнение поискового шаблона; модуль трансляции, связывающий обработчик и поисковый шаблон, а также интерфейс поискового модуля для передачи управления поисковому сервису ВОП.

Научные результаты диссертации внедрены в разработанные при непосредственном участии автора портальные системы, нашедшие применение в образовательном процессе «Московского городского Дворца детского (юношеского) творчества», «Республиканского мультимедиа центра», «Московского института радиотехники, электроники и автоматики» и «Государственного научно-исследовательского института информационных технологий и телекоммуникаций «Информика».

Все результаты диссертационного исследования, выносимые автором на защиту в Ученый Совет, получены им лично.

118

БЛАГОДАРНОСТИ

Автор выражает глубокую благодарность научному руководителю диссертации профессору Мордвинову В.А. за постоянное внимание и участие в работе. Автор признателен профессору Раеву В.К., профессору Фоминой А.Б., профессору Ионову Ю.Г., профессору Петрову А.Б. и доценту Тягунову О А. за замечания и рекомендации, существенно улучшившие качество работы. Автор выражает благодарность оппонентам за полезную дискуссию при предварительном просмотре диссертации и автореферата. Автор благодарен коллективу кафедры ТИССУ за доброжелательную и всестороннюю поддержку работы.

119

Список литературы диссертационного исследования кандидат технических наук Силаев, Антон Валерьевич, 2008 год

1. Силаев А.В. Разработка открытой архитектуры вертикальных образовательных порталов Электронный ресурс. // Электронный журнал «Исследовано в России», 087, М.:2007. С. 906-911 Режим доступа: http://zhurnal.ape.relarn.ru/articles/2007/087.pdf

2. Мордвинов В.А., Силаев А.В. Вопросы моделирования вертикальных образовательных порталов с открытой архитектурой // Научно-практический журнал «Открытое образование» — 2007 №5, С.30-33

3. Мордвинов В.А., Петров К.А. Онтология информационных систем / М.: Отраслевой фонд алгоритмов и программ. Свидетельство о государственной регистрации № 50200500888. Свидетельство об отраслевой регистрации № 4895 от 06.08.2005, 251с.

4. Зыбарев Ю.М., Чернев С.П. Спецификация функциональной модели информационного портала сетями Петри Электронный ресурс. //

5. Электронный журнал «Исследовано в России», №95, 2003 г. С. 10571070 Режим доступа: http://zhurnal.ape.relarn.ru/articles/2003/095.pdf

6. Энциклопедия поисковых систем Электронный ресурс. Режим доступа: www.SearchEngines.ru.

7. Gartner Электронный ресурс. — Режим доступа: www.gartner.com.

8. Михайлов А.И., Черный А.И., Гиляревский Р.С. Основы информатики, М.:Наука, 1968г.

9. Zipf G. К. Human behavior and the principle of least effort. Cambridge: U. Press, 1949.

10. Матвеев П.Н. Принципы построения поисковой системы для образовательного портала Интернет-порталы: содержание и технологии. Сб. науч. ст. Вып.2 / Редкол.: Тихонов А.Н. (пред.) и др.; ГНИИ ИТТ «Информика». - М.: Просвещение, 2004. - 499 с.

11. Попов А. Эффективная методика поиска информации в сети Интернет Электронный ресурс. — Режим доступа: http://www.citforum.ru/pp/search03.shtml.

12. Cleverdon C.W. The Cranfield tests on index language devices // Aslib Processing, volume 19, pp. 173-192, 1967. (Reprinted in readings in Information Retrieval, Sparck-Jones K. and Willett P., editors, 1997).

13. CMS List Электронный ресурс. Режим доступа: http://cmslist.ru/.

14. Doyle L.B. Is relevance an adequate criterion in information system evolution? «Automation and scientific communication» Pt.2. Washington, D.C., American Documentation Institute, 1963, Page 200.

15. Mordvinov V.A., Silaev A.V. Some aspects of modeling vertical educational portals based on open architecture technology // International scientific journal for the European intellectual elite «Е» and «М» Euroeducation», 617, Sofia, 2007-page 33-38.

16. Perry J., Kent A. Berry M. Mashine literature searching. New York, Interscience Publishers, Inc., 1956.

17. ЯиМетрика Рамблер Электронный ресурс. — Режим доступа: http://rumetrika.rambler.ru/.

18. Salton G., Buckley С. Improving retrieval performance by relevance feedback. // Journal of the American Society for Informational Science, 41(4):182-188, 1990.

19. Seo information — Поисковая оптимизация сайта Электронный ресурс. — Режим доступа: http://www.xednay.ru.

20. SpyLog глобальная статистика Электронный ресурс. — Режим доступа: http://gs.spylog.ru/.

21. Swets J.A. Information retrieval system. // Science, 1963, v.141, №3577

22. Taube M. A note on the pseudo-mathematics of relevance // American documentation, 1965, v. 16, №2, Page 69-72.

23. Zobel J. How reliable are the results of large-scale information retrieval experiment? In Proc. of the SIGIR:98, p.307-314, 1998.

24. Text retrieval conference (TREC) Электронный ресурс. — Режим доступа: http://trec.nist.gov.

25. Авдеев С. Синергетика информационных взаимодействий Электронный ресурс.: Ростовская электронная газета, 2000 №19 — Режим доступа: www.relga.rsu.ru.

26. Анализаторы поисковых машин Электронный ресурс. Режим доступа: http://analyzethis.ru.

27. Афронин А.Ю., Бабешко В.Н., Булакина М.Б. и др. Образовательные Интернет-ресурсы / под ред. Тихонова А.Н., ГНИИ ИТТ «Информика». — М.: Просвещение, 2004. 287 с.

28. Беляев Д.В. Экспериментальная проверка применения контекстно-ассоциативных моделей в задаче уточнения поисковых запросов // Информационные технологии и программирование: Межвузовский сборник статей. Вып. 2 (14). М.:МГИУ, 2005. - 60 с.

29. Боркус В. Практическое построение SOA: борьба с мифами // PCWeek/RE 2006, №48.

30. Васильев И.А. Методы и инструментальные средства построения семантических WEB-порталов Электронный ресурс.: дис. канд. техн. наук: 05.13.11. Томск: РГБ, 2006.

31. Википедия. Свободная энциклопедия Электронный ресурс. Режим доступа: http://ru.wikipedia.org.

32. Волкова В.Н., Денисов А.А. Основы теории систем и системного анализа: Учебник для студентов вузов, обучающихся по специальности «Системный анализ и управление». СПб.: СПбГТУ, 1997. - 510с.

33. Денисов А.А., Колесников Д.М. Теория больших систем управления. — Л: Энергоиздат, 1982.

34. Добрынин В.Ю., Некрестьянов И.С. Расширение запросов с помощью вероятностного латентного семантического индексирования // 3-я Всеросс. конф. «Электронные библиотеки» — Петрозаводск, 2001.

35. Дубинский А.Г. Характеристики эффективности информационного поиска в сети Интернет // Научный сервис в сети Интернет: тез. докл. Всерос. науч. конф.-М.: МГУ, 2001. С. 136-138

36. Елисеев В.И. Введение в методы теории функций пространственного комплексного переменного, М.: НИАТ. 1990. Шифр Д7-90/83308. в каталоге Государственной публичной научно-технической библиотеки.

37. Заличев Н.Н. Энтропия информации и сущность жизни. М.: Радиоэлектроника, 1995. - 192с.

38. Комарцев Е.М. Образовательные порталы как средство систематизации и структурирования информации Электронный ресурс.: дис. канд. пед. наук: 13.00.08. М.: РГБ, 2005.

39. Красильников П.В. Воспроизведение лучших результатов ad hoc поиска семинара РОМИП // Интернет-математика 2007: Сборник работ участников конкурса. Екатеринбург: Урал, ун-т, 2007. - 224с.

40. Кросс П., Раими С. Применение репозитария Microsoft Электронный ресурс.: SQL Server Magazine Online/RE, 2000 №2 - Режим доступа: http://www.olap.ru/desc/microsoft/news/m001120689.asp.

41. Кулагин В.П., Найханов В.В., Овезов Б.Б., Роберт И.В. и др. Информационные технологии в сфере образования М.: Янус-К, 2004, 248с.

42. Кураленок И.Е. Оценка систем текстового поиска Электронный ресурс.: дис. канд. физ.-мат. наук : 05.13.01 Санкт-Петербург, 2004 112 с. РГБ ОД, 61:05-1/234.

43. Лифшиц Ю. Курс «Алгоритмы для Интернета» Электронный ресурс. -Режим доступа: http://logic.pdmi.ras.ru/~yura/internet.html.

44. Майкевич Н.В. «Архитектуры мультиагентных систем: планирование и коррекция планов», DAIMAS' 97, Ст.-Петербург, 1997.

45. Майкевич Н.В. От информационных пространств к пространству знаний- Онтологии в Интернет, КИИ, Пущино, 1998

46. Манцивода А.В., Малых А.А. Достижения в Интернете и будущее информационной среды российского образования // журнал «Информационные технологии» — 2008 № 1, С. 67 — 74

47. Мордвинов В.А. Полный менеджмент проектов информационных систем, порталов и картелей в образовании, науке и бизнесе / Под ред. Сигова А.С. НИИВО, вып.2. М.: НИИВО, 2005. - 80 с.

48. Некрестьянов И.С., Некрестьянова М.С, Нозик А.А. Анализ «лабораторной» парадигмы оценки систем поиска Электронный ресурс. — Режим доступа: http://company.yandex.ru/grant/2005/04 Nekrestyanova 103126.pdf.

49. Некрестьянов И.С. Тематико-ориентированные методы информационного поиска Электронный ресурс.: дис. канд. физ.-мат. наук: 05.13.11.-М.:РГБ, 2000.

50. Перегудов Ф.И., Тарасенко Ф.Л. Введение в системный анализ М.: Высшая Школа, 1989.

51. Райнова О.Д. Разработка моделей и методов повышения эффективности функционирования системы образовательных Интернет-порталов Электронный ресурс.: Автореф. дис. канд. техн. наук: 05.13.13 -М.:РГБ, 2006 19 с.

52. Российский семинар по оценке методов информационного поиска (РОМИП) Электронный ресурс. Режим доступа: http://romip.ru.

53. Саак А.Э., Пахомов Е.В., Тюшняков В.Н. Информационные технологии управления, СПб: Питер, 2004, 320с.

54. Силаев А.В. Анализ эффективности вертикальных образовательных порталов // Научно-практический журнал «Открытое образование» — 2007 №2, С. 24-27.

55. Силаев А.В. Принцип открытости архитектуры вертикальных образовательных порталов // Научный вестник МИРЭА, М.:МИРЭА — 2007-№2, С. 48-51.

56. Силаев А.В. Реализация взаимодействия вертикальных образовательных порталов с поисковыми системами // Инновации в науке и образовании. Издание ФГНУ ГКЦИТ Московской финансово-юридической академии,

57. Российского университета инноваций. Май 2007 №5 (28) — С. 17. УДК 004.4.

58. Симонов А.В. Динамика и перспективы развития образовательных Интернет-ресурсов — Интернет-порталы: содержание и технологии: Сб. науч. ст. Вып. 3 / Редкол.: А.Н. Тихонов (пред.) и др.; ГНИИ ИТТ «Информика». -М.: Просвещение, 2005. 590 с.

59. Синица Е.М., Бурцев М.С. Описание учебных ресурсов метаданные стандарты профили // Educational Technology & Society 9(1) 2006, ISSN 1436-4522.

60. Системный анализ и принятие решений: Словарь-справочник: Учеб. пособие для вузов / Под ред. Волковой В.Н., Козлова В.Н. М.: Высш.шк., 2004 - 616 с.

61. Соловьев С.Ю. Служба тематических толковых словарей «Glossary Commander» Электронный ресурс.: Web-and-Press, 2007. Режим доступа: www.glossary.ru.

62. Трусов А.В., Бабарыкин Е.П. Оценка границ области тематического информационного запроса в распределенных информационных системах

63. Информация, инновации, инвестиции: материалы Всерос. (с междунар. участием) конф. Пермь, 2004. - С. 76-79.

64. Федеральная целевая программа развития образования (2006 2010) Электронный ресурс. - Режим доступа: http://www.fcpro.ru/.

65. Федеральный портал «Российское образование» Электронный ресурс.- Режим доступа: http://edu.ru.

66. Финогеев А.Г. Синергетика информационных процессов в виртуальном образовательном пространстве // Научно-практический журнал «Открытое образование» 2003 №3, С. 47-54

67. Фонд «Общественное мнение» Электронный ресурс. — Режим доступа: www.fom.ru.

68. Хачатурова С.М. Математические модели системного анализа Электронный ресурс. Электронный учебник. / под ред. Л.Г.Макаревича. Режим доступа: http://ermak.cs.nstu.ru/mmsa/main/Proba.htm.

69. Цветков В.Я. Информация и теория информации. М.: МИИГАиК, 2006.- 124 с.

70. Цветков В.Я. Модели и моделирование. — М.: Государственный научно-исследовательский институт информационных образовательных технологий. «Госинформобр», 2006. 94 с.

71. Цветков В.Я. Современные проблемы информатики и вычислительной техники. Учебное пособие. М.: Московский государственный университет путей сообщения, 2007. — 102 с.

72. Чернев С.П. Технологии проектирования и создания информационных порталов на основе спецификации функциональной структуры обобщенными сетями Петри Электронный ресурс.: дис. канд. техн. наук: 05.13.11.-М: РГБ, 2003.