Модели и методы прогнозирования исхода и управления процессом выборов депутатов тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Биниенко, Олег Анатольевич

• Биниенко, Олег Анатольевич
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Биниенко, Олег Анатольевич

ВВЕДЕНИЕ.

ГЛАВА 1. ПРОЦЕСС ВЫБОРОВ ДЕПУТАТОВ И ЕГО ОСНОВНЫЕ УЧАСТНИКИ. ФАКТОРЫ, ВЛИЯЮЩИЕ НА ИСХОД ВЫБОРОВ. ЗАДАЧИ ПРОГНОЗИРОВАНИЯ И УПРАВЛЕНИЯ.

1.1. Основные сущности процесса выборов.

1.2. Модель факторов, влияющих на исход выборов.

1.3. Классификация избирателей.

1.4. Атрибуты и их классификация.

1.4.1. Возможность численного выражения атрибутов.

1.5. Параметры прохождения.

1.6. Место диссертации среди других работ.

1.7. Обзор источников информации о выборах.

1.8. Задача прогнозирования исхода выборов.

1.9. Типы моделей прогнозирования.

1.10. Модификаторы параметров прохождения.

1.11. Процесс управления.

1.12. Изменения в предвыборном законодательстве и гибкость системы прогнозирования и управления.

1.13. Результаты и выводы по главе.

ГЛАВА 2. МЕТОДЫ И АЛГОРИТМЫ ПРОГНОЗИРОВАНИЯ ИСХОДА ВЫБОРОВ, ИСПОЛЬЗУЮЩИЕ АППАРАТ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ.

2.1. Обработка и отбор входных данных.

2.1.1. Предварительная обработка входных данных. Преобразование атрибутов к числовому виду и выделение категорий.

2.1.2. Обработка неизвестных значений.

2.1.3. Анализ информативности атрибутов.

2.2. Прогнозирование исхода выборов с использованием информации о способствовании прохождению.

2.2.1. Статистический анализ в рамках отдельных избирательных кампаний.

2.2.2. Исследование влияния атрибутов избирательной кампании на исход выборов

2.2.3. Исследование корреляции и нелинейности влияния атрибутов кандидатов в депутаты.

2.2.4. Экспериментальное испытание метода прогнозирования исхода выборов, основанного на использовании коэффициентов способствования прохождения.

2.3. Прогнозирование исхода выборов с использованием данных социологических опросов.!.

2.4. Прогнозирование исхода выборов с использованием сведений о структуре электората.

2.5. Прогнозирование исхода выборов во втором туре.

2.6. Модификатор агитации.

2.7. Экспериментальная проверка специализированных методов прогнозирования.

2.8. Расчет погрешности расчета параметров прохождения в универсальном методе прогнозирования, применяемом при малом числе атрибутов.

2.9. Базовые и производные параметры прохождения, связь между ними.

2.9.1. Способы представления оценок параметров прохождения.

2.9.2. Погрешность методов прогнозирования после применения модификаторов

2.10. результаты и выводы по главе.

ГЛАВА 3. ПРОГНОЗИРОВАНИЕ ИСХОДА ВЫБОРОВ С ПОМОЩЬЮ НЕЙРОННЫХ СЕТЕЙ.

3.1. Выбор типа нейронных сетей и алгоритма обучения для решения задачи прогнозирования исхода выборов.

3.2. Предварительное исследование эффективности нейронных сетей как средства прогнозирования исхода выборов.

3.3. Предварительная обработка входных данных.

3.4. Построение и обучение набора нейронных сетей, анализирующих процесс выборов.

3.4.1. Нейронные сети первой, второй и третьей серии.

3.4.2. Отбор избирательных кампаний для обучения.

3.4.3. Построение набора сетей при возникновении проблемы "проклятия размерности".

3.4.4. Учет атрибутов, не вошедших в число наиболее информативных.

3.5. Определение параметров и экспериментальное испытание нейронных сетей

3.5.1. Определение количества слоев в нейронных сетях и нейронов в слоях.

3.5.2. Экспериментальное испытание нейронных сетей.

3.6. Модификатор "Функция P(x|y)".

3.7. Разбиение кандидатов в депутаты на группы.

3.8. Результаты и выводы по главе.

ГЛАВА 4. УПРАВЛЕНИЕ ВЕДЕНИЕМ ПРЕДВЫБОРНОЙ КАМПАНИИ.

4.1. Байесовская сеть управления ведением предвыборной кампании.

4.1.1. Множества вершин байесовской сети.

4.1.2. Оценка эффективности избирательных технологий.

4.1.3. Заполнение байесовской сети в ручном режиме.

4.1.4. Заполнение байесовской сети по прогнозу исхода выборов.

4.1.5. Изменение байесовской сети на этапе оперативного управления.

4.1.6. Расчет байесовской сети.

4.2. Модуль распределения финансовых средств.

4.3. Экспериментальное испытание управления ведением предвыборной кампании в системе прогнозирования и управления.

4.4. Результаты и выводы по главе.

ГЛАВА 5. РЕАЛИЗАЦИЯ СИСТЕМЫ ПРОГНОЗИРОВАНИЯ И УПРАВЛЕНИЯ

5.1. Архитектура экспертной системы.

5.1.1. Подсистема баз данных.

5.1.2. Подсистема прогнозирования исхода выборов.

5.1.3. Подсистема управления ведением избирательной кампании.

5.1.4. Открытая архитектура экспертной системы.

5.1.5. Подсистема взаимодействия с пользователем и редактирования базы данных.

5.1.6. Управляющий модуль.

5.2. Структура и механизм редактирования базы данных.

5.2.1. Структура базы данных.

5.2.2. Структура основной части базы данных.

5.2.3. Представление избирательных технологий в базе данных.

5.2.4. Механизм изменения структуры базы данных.

5.3. Методика работы с программой.

5.3.1. Обучение экспертной системы.

5.3.2. Отбор и редактирование атрибутов для использования в вычислениях.

5.4. Результаты и выводы по главе.

Введение диссертации (часть автореферата) на тему «Модели и методы прогнозирования исхода и управления процессом выборов депутатов»

Актуальность темы. В настоящее время социологи, кандидаты в депутаты и политические силы, стоящие за ними, желают на как можно более раннем этапе получить оценку и прогноз исхода выборов, чтобы заранее знать, как действовать перед началом предвыборной кампании и во время ее проведения. Сегодня кампания должна строиться с учетом информации о предвыборной обстановке, изменение которой и влияние которой на исход предстоящих выборов необходимо постоянно отслеживать.

Отсюда вытекает необходимость в методах и средствах прогноза исхода выборов депутатов и выработки рекомендаций по управлению ведением избирательной кампании, что обуславливает актуальность темы диссертации.

Существует много литературных источников, посвященных выборам, однако все они обладают рядом недостатков. Одним из этих недостатков является преимущественно описательный, неформализованный подход к описанию процесса выборов.

Также нет возможности учета произвольных факторов, влияющих на исход выборов. Во всех литературных источниках рассмотрен лишь фиксированный неизменяемый набор факторов, влияющих на исход выборов.

В существующих литературных источниках малое внимание уделяется прогнозированию исхода выборов, практически нет алгоритмов прогнозирования значений параметров, отражающих успешность выступления кандидатов в депутаты на выборах, например, числа голосов.

Также недостаточно освещено управление предвыборной кампанией. В существующих трудах управление рассматривается как деятельность кандидата в депутаты и членов его штаба во время избирательной кампании, но не как система принятия решений, выбора решений из ряда альтернатив. В большинстве источников присутствует лишь множество рекомендаций для кандидата в депутаты описательного плана.

Наконец, совершенно отсутствует средство (скажем, программный пакет), позволяющее хотя бы частично автоматизировать прогнозирование исхода выборов и управление ведением предвыборной кампанией, которое не только снабжает политического аналитика фактической информацией по выборам, но способно помочь ему в принятии решений во всех аспектах и этапах ведения предвыборной кампании.

В качестве средства решения стоящих перед кандидатами в депутаты и политическими аналитиками задач разработана система прогнозирования и управления.

Целью диссертационной работы является повышение эффективности ведения предвыборной кампании и степени прогнозируемости исхода выборов.

Объектом исследования в данной работе является процесс выборов депутатов.

Предметом исследования являются модели и методы прогнозирования исхода и управления процессом выборов депутатов и архитектура экспертной системы.

Методы исследования. При решении основной задачи диссертационной работы были использованы методы математической статистики, нейронных сетей и байесовских сетей доверия.

Научная новизна. В диссертационной работе получены следующие научные результаты:

По специальности 05.13.10:

1)Модель факторов, влияющих на исход выборов, задачи прогнозирования исхода выборов депутатов и управления ведением предвыборной кампании.

По специальностям 05.13.01 и 05.13.10:

2) Методы и алгоритмы прогнозирования исхода выборов депутатов, в том числе метод, использующий нейронные сети и отличающийся новым способом структуризации нейронной сети и наличием дополнительных алгоритмов использования информации о менее информативных атрибутах (спец. 05.13.01), метод, основанный на использовании аппарата математической статистики и отличающийся использованием коэффициентов способствования прохождению (спец. 05.13.01), методы, основанные на использовании информации о данных социологических опросов и о структуре электората, отличающиеся новым способом определения ошибки вычисления, методы прогнозирования исхода выборов во втором туре (спец. 05.13.10).

3) Методы и алгоритмы принятия решений в процессе управления ходом предвыборной кампании: метод, основанный на аппарате байесовских сетей доверия и содержащий операции заполнения байесовской сети по прогнозу исхода выборов и изменения байесовской сети на этапе оперативного управления (спец. 05.13.01), метод распределения финансовых средств, использующий аппарат динамического программирования (спец. 05.13.10).

По специальности 05.13.01:

4) Экспертная система прогнозирования исхода выборов депутатов и управления ведением предвыборной кампании с открытой архитектурой, механизмом применения методов и алгоритмов прогнозирования и управления и схемой взаимодействия экспертной системы с пользователем, включающей возможность редактирования таких свойств атрибутов, как способы выделения категорий и способы обработки неизвестных значений. Экспертная система отличается наличием блока модификаторов параметров прохождения, что обеспечивает большую объективность прогноза выборов.

Практическая ценность работы заключается в том, что использование предложенных моделей позволяет прогнозировать исход выборов и управлять ходом предвыборной кампании. Работоспособность предложенных алгоритмов, моделей и методов подтверждена в ходе экспериментов, алгоритмы, модели и методы реализованы в виде программы, реализующей экспертную систему, что позволяет политическим аналитикам и кандидатам в депутаты непосредственно использовать их при прогнозировании исхода выборов и управлении ведением предвыборной кампании.

Внедрение результатов работы. Результаты работы внедрены в Санкт-Петербургской общественной организации "Невский исследовательский центр", что подтверждается справками о внедрении. Результаты работы были использованы при ведении избирательной кампании двух кандидатов в депутаты органов местного самоуправления.

Публикации. По материалам диссертационной работы опубликовано 3 работы.

Объем работы. Диссертация состоит из введения, пяти глав, заключения, списка использованной литературы, включающего 76 наименований, и десяти приложений. Она изложена на 228 страницах машинописного текста, содержит 35 рисунков и 69 таблиц.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Биниенко, Олег Анатольевич

ЗАКЛЮЧЕНИЕ

В диссертационной работе получены следующие результаты:

1. Выделены основные сущности процесса выборов, предложена модель факторов, влияющих на исход выборов. Введены понятия атрибута и параметра прохождения. Произведена классификация атрибутов с точки зрения их принадлежности сущностям и возможности их численного выражения. Сформулированы основные задачи, решаемые в экспертной системе: задача прогнозирования исхода выборов и задача управления ходом предвыборной кампании.

2. Разработаны методы и алгоритмы оценки параметров прохождения, используемые в пяти модулях прогнозирования и двух модификаторах, из которых состоит подсистема прогнозирования исхода выборов.

3. Разработаны методы и алгоритмы, предложенные для каждого из двух модулей управления, входящих в подсистему управления ведением предвыборной кампании. Модуль байесовских сетей отличается наличием операций заполнения байесовской сети в ручном' режиме, операций заполнения байесовской сети по прогнозу исхода выборов, операций изменения байесовской сети на этапе оперативного управления и расчета байесовской сети.

4. Предложена архитектура экспертной системы. Разработана структура компонентов экспертной системы: хранилища данных, подсистемы прогнозирования исхода выборов и подсистемы управления ведением предвыборной кампании. Открытая архитектура экспетной системы предоставляет возможность ее расширения путем разработки и добавления новых модулей прогнозирования и управления в будущем. Возможность расширения обеспечивается за счет модульной структуры и библиотечной организации.

5. Достоверность научных результатов обеспечивается достоверностью источников данных, использованных в алгоритмах. Для каждого метода прогнозирования были проведены эксперименты, показавшие, что погрешность прогнозирования не превышает 0.10, а во многих случаях не превышает 0.05. Система прогнозирования и управления была успешно испытана на выборах в местное самоуправление 2004 года.

6. Практическая ценность работы состоит в возможности применения полученных результатов при прогнозировании исхода выборов депутатов и управлении ведением предвыборной кампании.

Список литературы диссертационного исследования кандидат технических наук Биниенко, Олег Анатольевич, 2005 год

1. Автономов А.С., Морозова Е.Г. Избирательная кампания. — М.: Российский центр избирательных технологий, 1995. 80 с.

2. Амелин В.Н., Зотова З.М. Эффективное управление избирательной кампанией. М.: РЦИОТ, 2001.- 104 с.

3. Аргументы и факты, № 39, 2003, приложение "Петербург", с. 3.

4. Беленький В.З. Оптимальное управление: принцип максимума и динамическое программирование. М.: Российская экономическая школа, 2001.- 114 с.

5. Биниенко О.А. Система прогнозирования исхода выборов депутатов и управления процессом предвыборной кампании // Известия ЛЭТИ. -СПб: Издательство СПбГЭТУ, 2004, вып. 3.

6. Биниенко О.А. Управление ведением предвыборной кампании и его реализация в экспертной системе // Известия ЛЭТИ. СПб: Издательство СПбГЭТУ, 2005, вып. 1.

7. Блэк С. Паблик рилейшнз. М.: 2003. - 201 с.

8. Бокс Дж., Дженкинс Г. Анализ временных рядов, прогноз и управление. М.: издательство "Мир", 1974, вып. 1. - 408 с.

9. Борисова Н.В., Пуздрач Ю.В. Избирательная кампания команда кандидата в депутаты (Теоретические и практические основы участия профсоюзов в выборах). - М.: МФП-УИЦ, 1995. - 48 с.

10. Браун Л. Имидж: путь к успеху СПб: Питер, 1996. - 283 с.

11. Букин А.Д. Критерий согласия Колмогорова. Новосибирск: Издательство Института ядерной физики, 1998. - 20 с.

12. Воеводин А.И. Стратагемы. Стратегии войны, манипуляции, обмана. — М.: Изд-во "Белые альвы", 2002. 256 с.

13. Выборы в Законодательное собрание Приморского края: Электронный ресурс. / Владивосток. Режим доступа: http://vibor.arsvest.ru/kraiduma/kraiduma.htm.

14. Выборы в Законодательное собрание Санкт-Петербурга 6-20 декабря 1998 года: Электронный ресурс. / Санкт-Петербург. Режим доступа: http://www.elections.spb.ru/ll2-4.htm.

15. Выборы, проходившие в Тольятти // Мэрия Тольятти: Электронный ресурс. / Тольятти. — Режим доступа: http://www.tgl.ru/choice.

16. Гаврилов А.В. Лабораторный практикум по нейронным сетям: Электронный ресурс. / Новосибирск: Новосибирский Государственный Технический Университет. Режим доступа: http://vt.cs.nstu.ru/site/students/ai2.

17. Гаджиев К.С. Введение в политическую науку. М.: Логос, 1997. — 544 с.

18. Галушкин А.И. Теория нейронных сетей. М.: Журнал "Радиотехника", 2000. - 415 с.

19. Гладков П., Кудинов О. Как стать губернатором. Алгоритм победы на выборах. М.: Издательский дом "Люди", 2000. - 320 с.

20. Гладышев С. Борьба бульдогов под ковром. Секреты влияния на людей. М.: Изд-во Фаир-Пресс, 2001. - 512 с.

21. Голоскоков Д.П., Истомин Е.П., Зубарев Ю.Я. Функциональная зависимость и регрессия. Часть I. СПб: Издательство СПГУВК, 1998. -105 с.

22. Горбань А., Россиев Д. Нейронные сети на персональном компьютере. Новосибирск: Наука, 1996. - 276 с.

23. Григорьев Р.В., Шеховцов О.И. Байесовские сети как инструмент поддержки принятия решений в условиях неопределенности. СПб: Издательство СПбГЭТУ "ЛЭТИ", 2004. - 32 с.

24. Девятченко И.Д. Главные компоненты информационных матриц. Введение в факторный анализ. Магнитогорск: Издательство МГТУ, 2000. -95 с.

25. Дорогов А.Ю. Алгоритм Error Backpropagation для модульных нейронных сетей // Нейроинформатика-2000. 2-я научно-техническая конференция. Сб. научных трудов. Ч. 1. М.: МИФИ, 2000. - с. 52-60.

26. Жмыриков А.Н. Как победить на выборах. Психотехника эффективного проведения избирательной кампании. Обнинск: Изд-во "Титул", 1995.-128 с.

27. Жук Е.Е. Устойчивость в кластер-анализе многомерных наблюдений. Автореферат диссертации на соискание ученой степени д.ф.-м.н. -Минск: Издательство БГУ, 1999. 44 с.

28. Избирательная комиссия Иркутской области: Электронный ресурс. / Иркутск. Режим доступа: http://www.ikio.ru.

29. Избирательная комиссия Красноярского края: Электронный ресурс. / Красноярск. Режим доступа: http://www.iksrf.krsn.ru.

30. Избирательная комиссия Республики Коми: Электронный ресурс. / Сыктывкар. Режим доступа: http://www.rkomi.ru/izbirkom/index.html.

31. Избирательная комиссия Ростовской области: Электронный ресурс. / Ростов-на-Дону. Режим доступа: http://www.ikro.aaanet.ru.

32. Избирательная комиссия Ханты-Мансийского автономного округа: Электронный ресурс. / Ханты-Мансийск. Режим доступа: http://www.hmao.wsnet.ru/power/izcom.

33. Илларионов А.Г. и др. Применение теории вероятностей и математической статистики при планировании и анализе результатов эксперимента. М.: Издательство МЭИ, 1993. - 83 с.

34. Интеллектуальные системы управления с использованием нейронных сетей. Уфа: УГАТУ, 1997. - 91 с.

35. Керов JT.A. Архитектура экспертных систем. Д.: МИПК ЛИТМО, 1989.-90 с.

36. Коваленко И.Н., Филиппова А.А. Теория вероятностей и математическая статистика—М.: Издательство "Высшая школа", 1982. 256 с.

37. Котлер Ф. Основы маркетинга. М.: Прогресс, 1990. - 736 с.

38. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика. М.: "Горячая линия - Телеком", 2001. - 384 с.

39. Круглов В.В., Дли М.И., Голуиов Р.Ю. Нечеткая логика и искусственные нейронные сети. М.: Физматлит, 2001. - 224 с.

40. Кудинов О.П. Большая книга выборов М., Издательство "Арт бизнес центр", 2003 - 664 с.

41. Лаищев И.В. Исследование и разработка моделей и методов организации информационно-поисковой системы фактографического типа с семантической надстройкой. Диссертация на соискание степени к.т.н. -Л.: издательство СПб ГЭТУ, 1990. 242 с.

42. Ланкин Ю.П. Самоадаптирующиеся нейронные сети. — Красноярск: Институт биофизики СО РАН, 1997. 22 с.

43. Лисс А.С., Степанов М.В. Нейронные сети и нейрокомпьютеры. — СПб: издательство СПбГЭТУ, 1997. 64 с.

44. Литтл Р.Дж.А., Рубин Д.Б. Статистический анализ данных с пропусками. М.: Финансы и статистика, 1990. - 336 с.

45. Логовский А.С. Применение искусственных нейронных сетей для решения задач управления динамическими объектами. Автореферат диссертации на соискание ученой степени к.ф.-м.н. М.: Московский физико-технический институт, 1998. - 17 с.

46. Лызлов В.Е. Победа, только победа! Методика предвыборной борьбы с кандидатами на выборные должности в России. М.: Издательство "ПАИМС", 1999.- 109 с.

47. Мартыненко М.В., Падерно П.И., Шеховцов О.И. Человеко-машинные процедуры поддержки организационно-управленческих решений. -СПб: Издательство СПбГЭТУ, 2001. 62 с.

48. Мешков А., Тихомиров Ю. Visual С++ и MFC СПб, БХВ-Санкт-Петербург, 1999-1026 с.

49. Миркес Е.М. и др. Нейроинформатика. Новосибирск: Наука, 1998. -296 с.

50. Мишенин А.А. Нейронные сети. Вводный курс: Электронный ресурс. / Сумы: Сумский Государственный университет, 2001. -Режим доступа: http://dl.sumdu.edu.ua/e-pub/nnetwork/index.html.

51. Нейронные сети. STATISTIC A Neural Networks—М.: Горячая линия— Телеком, 2001.- 182 с.

52. Николаев В.И., Брук В.М. Системотехника: методы и приложения— JL: Машиностроение, 1985. 199 с.

53. Официальный сайт Пермской областной избирательной комиссии: Электронный ресурс. / Пермь. Режим доступа: http://elect.pemi.ru.

54. Паппас К., Мюррей У. Visual С++. Руководство разработчика Киев, Издательская группа BHV, 2000 - 624 с.

55. Показатель по России подведен ВЦИОМ на основе среднеарифметического по Кыштыму, Владимиру и Белгороду // Виноградов М.Ю. Политическая аналитика: Электронный ресурс., 2003. Режим доступа: http://vinogradov.hl.ru/2003/gd2511 .htm.

56. Полищук В.В., Каневский М.Ф. Использование и развитие искусственных нейронных сетей радиальных базисных функций для анализа и моделирования пространственно распределенной информации. М.: ИВРАЭ, 1999. -21 с.

57. Прикладные задачи нейроинформатики. Экономика и управление производством. Аппаратная реализация нейронных сетей. Нейроии-форматика в образовании и гуманитарной сфере. Ч. 2 2000. - 233 с.

58. Рожков И.Я. Реклама: планка для профи. М.: Юрайт, 1997. - 206 с.

59. Рощин И. Art Studio и принцип открытой архитектуры: Электронный ресурс. / М. Режим доступа: http://ivr.webzone.ru/articles/artopen.

60. Слепенков И.Н. и др. Избирательная кампания: стратегия, тактики, психологические аспекты. М.: ЗЦИТ, 1995. - 68 с.

61. Список одномандатных округов по выборам депутатов Государственной Думы Федерального Собрания Российской Федерации второго созыва: Электронный ресурс. / Москва. Режим доступа: http://www.nns.ru/elects/spiski/odnoman.html.

62. Терехов В.А., Ефимов Д.В., Тюкин И.Ю. Искусственные нейронные сети и их применение в системах автоматического управления. СПб: издательство СПбГЭТУ, 1997. - 64 с.

63. Ушакова Т.Н., Латынов В.В., Павлова А.А., Павлова Н.Д. Ведение политических дискуссий. Психологический анализ конфликтных выступлений. М.: Academa, 1995. - 155 с.

64. Федеральный закон "ОБ ОСНОВНЫХ ГАРАНТИЯХ ИЗБИРАТЕЛЬНЫХ ПРАВ И ПРАВА НА УЧАСТИЕ В РЕФЕРЕНДУМЕ ГРАЖДАН РОССИЙСКОЙ ФЕДЕРАЦИИ".

65. Холзнер С. Visual С++ 6.0 СПб, Питер, 2000 - 576 с.

66. Центризбирком Республики Саха (Якутия): Электронный ресурс. / Якутск. Режим доступа:.http://www.ykt.ru/izbirkom.

67. Цуладзе A.M. Формирование имиджа политика в России М.: Книжный дом "Университет", 1999. - 144 с.

68. Чашкин Ю.Р. Математическая статистика. Основы регрессионного анализа. Хабаровск: Издательство ДВГУПС, 2000. - 92 с.

69. Шуклин Д.Е. Применение семантической нейронной сети в экспертной системе, преобразующей смысл текста на естественном языке // Ра-диолектроника и информатика. Харьков: Издательство ХТУРЭ, 2001. -№2. с. 61-65.

70. Ярославия. Официальный сайт администрации Ярославской области. Избирательная система Ярославской области: Электронный ресурс. i Ярославль. Режим доступа: http://www.adm.yar.ru/vote.

71. HyperStat Online Textbook: Электронный ресурс. / David М. Lane. -Houston: Rice University, 1993—2003. Режим доступа: http://davidmlane.com/hyperstat.