Разработка и исследование методов прогнозирования на основе SVM-моделей тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Шумков, Дмитрий Сергеевич

• Шумков, Дмитрий Сергеевич
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Шумков, Дмитрий Сергеевич

Список математических обозначений.

Введение.

1. Исследование и анализ методов прогнозирования временных рядов.

1.1. Решение задачи прогнозирования временных рядов при ограниченном наборе данных.

1.2. Методы обучения и подбора входных параметров SVM-модели.

1.3. Особенности и недостатки программных средств на основе SVM.

1.4. Методы повышения точности прогнозирования SVM.

Введение диссертации (часть автореферата) на тему «Разработка и исследование методов прогнозирования на основе SVM-моделей»

Актуальность темы. Процессы, протекающие в технических, экономических, экологических системах, представляют собой объекты с большим количеством внутренних связей, которые находятся в постоянном взаимодействии друг с другом и могут рассматриваться в качестве динамических. Данные, накапливаемые при их изучении, могут представлять собой временные ряды^ отражающие процесс развития системы. В: связи с этим проблема разработки и совершенствования методов прогнозирования временных рядов, применяемых при изучении сложных динамических систем с целью повышения эффективности их функционирования, является актуальной.

Известные технологии прогнозирования, включающие сплайны и методы, основанные , на декомпозиции» в ортогональные системы, характеризуются тем, что при увеличении сложности исследуемой системы число- используемых коэффициентов, при- обучении растет экспоненциально (феномен «проклятия < размерности»), что значительно ограничивает область применения таких решений; При использовании нейронных сетей необходимо- заранее- выбрать ее архитектуру или иметь некоторый эвристический метод для. ее: изменения/ однако, даже в: этом: случае "сложно обосновать, что предложенная архитектура сети является оптимальной, так. как. всегда существует вероятность того, что при обучении сети будет найден локальный минимум: . • Метод опорных векторов': (SVM) свободен ог перечисленных недостатков' и позволяет получить уникальное решение, при построении . прогнозирующейгмодёлш ф рамках; данного^ направления: были достигнуты успехи в области- прогнозированиям сложных' динамических • систем. Большой вклад вфазвитие теоретичёёкихбосновр ЗУМ внесли отечественные ученые: В. Вапник и А. Червоненкис. Вопросам, усовершенствования: и модификации работы SVM посвящены труды Б. Босера, И. Гуйона, К. Воронцова.

Ю. Лифшица, Б. Шолькопфа, А. Смолы, К. Бишопа, М. Типпинга, и др. Задачами оптимизации SVM занимаются В. Вапник, Дж. Платт, Э.! Осуна. На сегодняшний; день являются) актуальными задачи разработки и совершенствования методов и алгоритмов обучения и поиска входных параметров прогнозирующей модели SVM: Известные методы, применяемые для решения этого вопроса, такие как перекрестная проверка, «выборки с замещением» (bootstrap), методы, базирующиеся на оценке размерности Вапника-Червоненкиса, обладают рядом недостатков^ связанных как со скоростью их работы, так и с точностью найденных значений. Решение данных задач позволит повысить точность прогноза^ т.е. уменьшить среднеквадратическую ошибку между реальными и прогнозными значениями и увеличить скорость обучения SVM. Кроме того, для повышения качества и стабильности прогнозирования является необходимым исследование методов; построения комбинированных прогнозов на основе использования различных SVM-моделей.

Целью диссертационной работы является, исследование, и разработка, методов повышения точности прогнозирования сложных динамических систем путем; использования оригинальных методов обучения; и подбора входных параметров SVM-модели и построения; комбинированных прогнозов.

В соответствии с поставленной . целью в диссертационной работе решаются следующие задачи:

-анализ: методов прогнозирования временных рядов с возможностью применения8¥Мвпроцессематематическогомоделирования; исследование методов, применяемых: при?;обучении и подборе-входных параметров SVM-модели; а также выявление, их особенностей . и недостатков; 7 '•'': ■ '••;.Г:.-.

-разработка метода обучения. и подбора входных параметров SVM, позволяющего увеличить скорость. обучения модели и повысить точность прогноза; \

- исследование методов, оценки эффективности альтернативных SVM-моделей;

- разработка и исследование методов повышения точности и стабильности прогнозирования временных рядов путем интеграции различных SVM-моделей и построения комбинированных прогнозов;

- разработка программного обеспечения для прогнозирования временных рядов на основе SVM с учетом поиска входных параметров модели и возможностью построения комбинированных прогнозов;

- апробация результатов исследования, проведение вычислительных экспериментов^ подтверждающих эффективность используемых методов и алгоритмов.

Объектом исследования являются физические, природные и промышленные процессы, протекающие в различных динамических системах и представленные в виде временных рядов:

Предметом исследования являются методы и алгоритмы поиска входных параметров SVM-модели и построения комбинированных прогнозов, SVM-модели временных рядов различных видов:

Методы исследования. Выполненные исследования базируются на использовании метода опорных векторов, теории вероятности, математической статистики, теории нелинейных динамических систем и статистического обучения. •

Положения, выносимые на защиту:

- метод обучения и подбора входных параметров SVM-модели;

- критерий Eff для; сравнения эффективности альтернативных SVM моделей; ','''/ v^V '■'•':.-. /' •."',. ••>."/'''■' '\--VV- . V 7

- комбинированный метод прогнозирования наг основе итеративного и прямого подходов.

Научная новизна. В работе получены следующие новые научные результаты:

- разработан метод обучения и подбора входных параметров SVM, отличающийся от известных тем, что позволяет учитывать текущее состояние динамической системы и требует меньшего времени обучения модели по сравнению с перекрестной проверкой, скользящим контролем и выборкой с замещением;

- предложен критерий Eff для сравнения эффективности альтернативных SVM-моделей, учитывающий одновременно; как ошибку, так и сложность модели;

- предложен комбинированный метод прогнозирования, основанный на интеграции итеративного и прямого: подходов^ позволяющий снизить среднеквадратическую ошибку SVM-модели на тестовых данных.

Достоверность и обоснованность научных результатов и выводов основаны на адекватности; математических моделей; соответствии результатов ' вычислительных экспериментов реальным? данным и подтверждены апробацией результатов диссертационной работы, на научно-практических конференциях. . . :

Практическая значимость. Разработаны специализированные алгоритмы, обучения и подбора/ входных параметров SVM-модели, построения комбинированных; прогнозов; Данные ; алгоритмы были реализованы- в программном? обеспечении; .позволяющем. осуществлять: формирование обучающих выборок: на основе имеющихся временных рядов, их предварительный анализ и коррекцию: формирование. и оптимизацию? входных; параметров SVM-m од ели. и ее обучение; анализ, и; прогнозирование: вреМенных рядовшаЮсновешолученноймодели^-- . ■ ч ч'чч-Чч ':'.'.• С • помощью разработанного . программного' обеспечениям'; было ■ проведено- прогнозирование реальных и смоделированных временных рядов? • на. основе построенных: S VM-моделей вместе с их: входными; параметрами, основанных на теоретических (полигармонических и хаотических рядах) и реальных данных (процесса флуктуации лазера дальнего инфракрасного диапазона, потребления электроэнергии, колец деревьев).

Получены акты о внедрении результатов диссертационной работы в виде программной библиотеки SVM в : Санкт-Петербургском филиале Учреждения Российской Академии Наук «Институт земного магнетизма, ионосферы и распространения радиоволн им. Н.В. Пушкова РАН», Марийском государственном техническом университете и ОАО «Инвестиционная компания «Земля-Инвест».

Публикация результатов. По результатам диссертации опубликовано 7 статей (1 статья в издании из Перечня ВАК для публикации научных результатов диссертаций на соискание ученой степени доктора и кандидата наук), получено 1 свидетельство о государственной регистрации программы для ЭВМ №2009616227.

Апробация работы. Основные результаты диссертации обсуждались на- Всероссийских научно-практических конференциях «Информационные технологии в профессиональной, деятельности: и научной работе» (Йошкар-Ола, 2007 и 2009), международной научно-технической конференции «Интеллектуальные системы» (AIS' 07) и «Интеллектуальные САПР» (СAD-2007) (Дивноморск, 2007), конференции «Технологии Microsoft в теории и практике программирования» (Нижний Новгород, 2007).

Реализация и внедрение результатов работы. Результаты работы внедрены в учебный процесс Марийского; государственного технического университета, Санкт-Петербургского- филиала .Учреждения Российской Академии Наук «Институт земного магнетизма,-, ионосферы и распространения? радиоволн им:.Н.В. Пушкова РАН»' и производственный пррцесс-©А0ч<Инвестйционная|ко^ : ; • ; V <':

Объем и структу ра- работы. Диссертация включает в себя;'введение,; 4 главы, заключение, список литературы из 133 . наименований и 3 приложения. Работа изложена на 143 страницах, содержит 57' рисунков и 20 таблиц. . •':

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Шумков, Дмитрий Сергеевич

Основные результаты и выводы по главе

1. Разработано программное обеспечение, позволяющее проводить подготовку исходных данных к последующей обработке, подбор подходящих входных параметров SVM-модели, прогнозирование временных рядов и объединение результатов в один прогноз.

2. Рассмотрен метод ускорения скорости обучения SVM-моделей при использовании алгоритма Alpha Seeding.

3. Проведено сравнение эффективности прогнозирования с помощью SVM-моделей и предложенного метода обучения и подбора входных параметров с результатами других исследователей на примере процесса физического временного ряда, представленного процессом флуктуации лазера.

4. Показана эффективность комбинированного метода прогнозирования на различных временных рядах, взятых из биологии и промышленности. Применение комбинированного прогноза для промышленного' временного ряда улучшило точность, на 15% и 33% по сравнению с итеративным и прямым методами, соответственно.

5. В ходе вычислительных экспериментов продемонстрирована эффективность предложенных SVM-моделей, алгоритмов и программ для реальных временных рядов из различных областей: промышленности, биологии и физики.

Заключение

1. Показано, что в условиях ограниченного набора исходных данных необходимо руководствоваться не принципом эмпирической минимизации риска, используемого в классических методах, а принципом структурной минимизации риска, реализованного в рамках метода опорных векторов.

2. Выявлен ряд недостатков, связанных со сложностью выбора входных параметров SVM-модели, а также неоптимальным выбором области для тестирования разных прогнозирующих моделей для выявления наилучшей.

3. Разработан метод обучения и подбора входных параметров SVM, обеспечивающий адаптацию модели к исходным данным за счет выделения похожих участков и обучения на их основе. Это позволило учитывать как глобальную, так и локальную динамику исследуемых процессов (физических, природных, промышленных и модельных рядов). Время обучения модели сократилось в среднем в 3 раза для полигармонических и хаотических временных рядов.

4. Предложен критерий Eff для сравнения эффективности альтернативных SVM-моделей, учитывающий в равной степени сложность модели и ошибку на тестовых данных. Выявлено, что известные критерии AIC и BIC не учитывают особенности SVM-моделей и поэтому в ряде случаев могут обеспечивать неоптимальный'результат.

5. Показано, что исследования, в области ансамблей- предикторов, проводимые в рамках технологии Boosting и Bagging, могут повысить точность прогнозирования, а также повысить эффективность использования SVM-моделей.

6. Разработан комбинированный метод повышения точности прогнозирования временных рядов на основе SVM, заключающийся в интеграции итеративного и прямого подходов. Данный метод позволил уменьшить значение нормализованной среднеквадратической ошибки на модельных и реальных временных рядах. Точность прогноза для промышленного временного ряда увеличилась в среднем на 24%.

7. Сформулирован критерий, позволяющий определить границы применимости предложенного комбинированного метода. Использование данного критерия позволяет заранее определить, что объединение итеративного и прямого методов не позволит повысить точность прогнозирования.

8. Предложен алгоритм нормализации исходных данных, позволяющий уменьшить ошибку прогнозирования. На модельных данных значение нормализованной среднеквадратической ошибки уменьшилось на 39% по сравнению с исходным временным рядом.

9. Разработано программное обеспечение, реализующее предложенные методы и алгоритмы и позволяющее проводить подготовку исходных данных к последующей обработке, поиск входных параметров SVM-модели, прогнозирование временных рядов и объединение результатов в один прогноз.

10. В ходе вычислительных экспериментов продемонстрирована эффективность предложенных SVM-моделей, алгоритмов и программ для модельных (полигармонических и хаотических) и реальных временных рядов из различных областей: промышленности, биологии и физики.

Список литературы диссертационного исследования кандидат технических наук Шумков, Дмитрий Сергеевич, 2009 год

1. Айвазян, С. А. Прикладная статистика и основы эконометрики: Учебник для вузов. — М.: Юнити, 1998. — 1022 с.

2. Афанасьев, В.Н. Анализ временных рядов и прогнозирование: Учеб-ник / В.Н. Афанасьев, М.М. Юзбашев. М.: Финансы и статистика, 2001.-228 с.

3. Бокс, Дж. Анализ временных рядов. Прогноз и управление / Дж. Бокс, Г. Дженкинс. М.: Мир. - 1974. - 604 с.

4. Бурдо, А. И. К вопросу систематизации методов и алгоритмов прогнозирования // Материалы межрегиональной конференции "Студенческая наука экономике научно-технического прогресса". -Ставрополь: СевКав ГТУ, 2001. - С. 33-34.

5. Буч, Г. Объектно-ориентированный анализ и проектирование с примерами приложений на С++ / Г. Буч. М.: Издательство Бином. - 1999. — 720 с.

6. Вапник, В. Н. Теория распознавания образов / В. Н. Вапник, А. Я. Червоненкис. -М.: Наука, 1974. 416 с.

7. Вапник, В.Н. Восстановление зависимостей по эмпирическим данным / В.Н. Вапник. М.: Наука, 1979. - 448 с.

8. Дуброва, Т. А. Статические методы прогнозирования в экономике / Т. А. Дуброва. М.: Московский международный институт эконометрики, информатики, финансов и права, 2003. — 50 с.

9. Дюк, В. Data Mining: учебный курс / В. Дюк, А. Самойленко. СПб.: Питер, 2001.-367 с.

10. Льюнг, JI. Идентификация систем. Теория для пользователя / Л. Льюнг. М.: Наука, 1991.-- 320 с.

11. Кремер, Н. Ш. Эконометрика / Н. Ш. Кремер, Б. А. Путко. М.: ЮНИТИ, 2002.-311 с.

12. Орлова, И.В. Экономико—математические методы и модели. Выполнение расчетов в среде EXCEL / Практикум: Учебное пособие для вузов. -М.: ЗАО «Финстатинформ», 2000. 136 с.

13. Отнес, Р. Прикладной анализ временных рядов / Р. Отнес, JI. Эноксон. М.: Мир, 1982. - 429 с.

14. Петере, Э. Хаос и порядок на рынках капитала. Новый аналитический взгляд на циклы, цены и изменчивость рынка / Э. Петере. -М.: Мир, 2000.-333 с.

15. Стадник, М. П. Модификация критерия Мэллоуза-Акаике для подбора порядка регрессионной модели / М. П. Стадник // Автоматика и телемеханика. 1988. - № 4. - С. 44-45.

16. Тихонов, Э. Е. Методы прогнозирования в условиях рынка: учебное пособие / Э. Е. Тихонов. Н.: Невинномысск, 2006. -221 с.

17. Тюрин, Ю. Н. Анализ данных на компьютере / Ю. Н. Тюрин, А.А. Макаров. М.: ИНФРА-М, 2003. - 544 с.

18. Цыпкин, Я. 3. Основы информационной теории идентификации / Я. 3. Цыпкин. М.: Наука, 1984. - 320 с.

19. Шумков, Д.С. Метод прогнозирования временных рядов с использованием кусочно-линейной аппроксимации / Д.С. Шумков, И.Г. Сидоркина // Вестник Чувашского университета. Чебоксары, 2008. - № 2.-с. 199-203.

20. Шумков, Д.С. Философия информационной безопасности:прогнозирование событий на основе накопленной информации /

21. Д.С. Шумков, А.В. Егошин, И.Г. Сидоркина // Йошкар-Ола: материалы, региональной научно—практической конференции студентов и молодых ученых. Йошкар-Ола: Марийский^ государственный технический университет, 2007. — с. 257 - 261.

22. Abarbanel, H.D.I. Analysis of, observed chaotic data / H.D.I: Abarbanel. first ed. - New York: Springer, 1996.

23. Abe, S. Support vector machines for pattern classification / S. Abe. -New York: Springer, 2005. 350 p.

24. Angeline, P.J. Evolving predictors for chaotic time series / P.J. Angeline; S. Rogers, D. Fogel, J. Bezdek,and B. Bosacchi, eds. Proceedings of SPIE: Application and Science of Computational Intelligence, vol. 3390. - 1998. -p. 170-180.

25. Anguita, D. Evaluating the generalization ability of Support Vector Machines through the Bootstrap / D. Anguita, A. Boni, S. Ridella // Neural Processing Letters. 2000. - № 11.-p. 51-58, 162, 168, 170.

26. Anguita, D. Hyperparameter design criteria for support vector classifiers / D. Anguita, S. Ridella, F. Rivieccio, R. Zunino // Neurocomputing. 2003. -№51. -p. 109-134, 162, 171.

27. Anthony, M. Cross-validation for binary classification by real-valued functions: theoretical analysis / M. Anthony, S.B. Holden // Proc. of the 11th Conf. on Computational Learning Theory. 1998. - p. 218-229, 167.

28. Aussem, A. Dynamical recurrent neural networks towards prediction and modeling of dynamical systems / A. Aussem // Neurocomputing. 1999. -№28.-p. 207-232.

29. Bartlett, P. Model selection and error estimation / P. Bartlett, S. Boucheron, G. Lugosi // Machine Learning. 2001. - № 48. - p. 85-113.

30. Bengio, Y. No unbiased estimator of the variance of K-fold cross validation / Y. Bengio, Y. Grandvalet // Advances of Neural Processing Systems. -The MIT Press, 2004 № 16. - p. 166, 168.

31. Blum, A. Beating the hold-out: bounds for K-fold and progressive cross-validation / A. Blum, A. Kalai, J. Langford // Proc. of the 12th Conf. on Computational Learning Theory. 1999. - p. 203-208, 166.

32. Bontempi, G., Birattari, M. A multi-step-ahead prediction method based4 on local dynamic properties / G. Bontempi, M. Birattari // ESANN 2000 Proceedings European Symposium on Artificial Neural Networks. - 2000. -p. 311-316.

33. Boser, В A training algorithm for optimal margin classifiers / B. Boser // Proceedings of the 5th Annual ACM Workshop on Computational Learning Theory. ACM Press, 1992.-p. 144-152.

34. Bousquet, O. Introduction to Statistical Learning Theory / O. Bousquet, S. Boucheron, G. Lugosi // Advanced Lectures on Machine Learning Lecture. -Germany, 2004. p. 169-207.

35. Bousquet, O. Stability and generalization / O. Bousquet, A. Elisseeff// Journal of Machine Learning Research. 2002. - № 2. - p. 499-526, 168.

36. Breiman, L. Bagging Predictors / L. Breiman // Machine Learning. -1996. -№24. -p. 123-140.

37. Burges, C. J. A tutorial on support vector machines for pattern recognition, 1998.

38. Cao, L. Support vector machines experts for time series forecasting / Cao L. // Neurocomputing. 2003. - №51. - p. 321-339.

39. Castillo, E. A minimax method for learning functional networks / J. M. Gutierrez, A. Cobo, C. Castillo // Neural Process. Lett. 11. 2000. - № 1. -p. 39-49.

40. Cauwenberghs, G. Incremental and decremental support vector machine learning / G. Cauwenberghs, T. Poggio // Advances in Neural Information Processing Systems (NIPS 2000). -2001. -№13. p. 409-415.

41. Chalimourda, A. Experimentally optimal in support vector regression for different noise models and parameter settings / A. Chalimourda, B. Scholkopf, A. Smola//Neural Networks. -2004. -№17 (1). p. 127-141.

42. Chang, C.-C. LIBSVM: a Library for Support Vector Machines / CC. Chang, C.-J. Lin // Dept. of Computer Science and Information Engineering. -National Taiwan University. Режим- доступа: www/URL: http://csis.ntu.edu.tw/~cjlin. - 10.10.2007 г.

43. Chapelle, О. Choosing multiple parameters for support vector machines / O. Chapelle, V. Vapnik, O. Bousquet, S. Mukherjee // Machine Learning. 2002. -№46 (1-3).-p. 131-159.

44. Cherkassky, V. Practical selection of svm parameters and noise estimation for svm regression / V. Cherkassky, Y. Ma // Neural Networks. 2004. -№17 (1). -p.l 13-126.

45. Corona, F. Variable scaling for time series prediction / F. Corona, A. Lendasse // Proc. ESTSP 2007. 2007. - p. 69-76.

46. Cortes, C. Support vector networks / C. Cortes, V. Vapnik // Machine Learning. 1995. -№ 20. - p. 1-25.

47. Cristianini, N. An introduction to support vector machines and other kernel-based learning methods / N. Cristianini, J. Shawe-Taylor. Cambridge University Press, 2001. - p. 160.

48. De Coste, D. Alpha seeding for support vector machines / D. De Coste, K. Wagstaff// Proc. of the 6th ACM SIGKDD Int. Conf. on Knowledge Discovery and Data Mining. 2000. - p. 345-349.

49. Duan, K. Evaluation of simple performance measures for tuning svm hyperparameters / K. Duan, S. Keerthi, A. Poo // Neurocomputing. 2003. - №5. -p. 41-59.

50. Dudul, S.V. Prediction of a lorenz chaotic attractor using two-layer perceptron neural network / S.V. Dudul // Applied Soft Computing. 2004.

51. Dudley, R. Central limit theorems for empirical measures // Annals of Probability. 1978. - № 6. - p. 899-929.

52. Efron, B. An introduction to the Bootstrap / B. Efron, R. Tibshirani. -Chapman and Hall, 1993.

53. Engel, Y. The kernel recursive least-squares algorithm / Y. Engel, S. Mannor, R. Meir // IEEE Transaction on Signal Processing 52. 2004. - № 8. -p. 2275-2285.

54. Floyd, S. Sample compression, learnability, and the Vapnik-Chervonenkis dimension / S. Floyd, M. Warmuth // Machine Learning. 1995. — №21-p. 269-304.

55. Farmer, J.D. Predicting chaotic time series / J.D. Farmer, J.J. Sidorowich // Physical Review Letters . 1997. - № 8 . - p. 845-848.

56. Fernandez, R. Predicting time series with a local support vector regression machine / R. Fernandez . Springer, 1999. -170 p.

57. Fletcher, R. Practical methods of optimization / R. Fletcher . 2nd ed. -John Wiley & Sons Ltd., Chichester, 1987. - 425 p.

58. Gers, F. A. Applying LSTM to time series predictable through time-window approaches / F.A. Gers, D. Eck, J. Schmidhuber // Lecture Notes in Computer Science. 2001. - 669 p.

59. Gine, E. Some limit theorems for empirical processes / E. Gine, J. Zinn // Annals of Probability. 1984. -№ 12. - p. 929-989.

60. Grassberger, P. Measuring the strangeness of strange attractors / P. Grassberger, I. Procaccia // Physica D. 1983 . - № 9. - p. 189-208.

61. Gunn, S. Support vector machines for classification and regression / S. Gunn . Tech. report, Department of Electronics and Computer Science, University of Southampton, 1998. - 56 p.

62. Han, M. Prediction of chaotic time series based on the recurrent predictor neural network / M. Han, J. Xi, F. Yin // IEEE Transactions on Signal Processing 52. 2004. - № 12. - p. 3409-3416.

63. Hastie, T. The Elements of Statistical Learning / T. Hastie, R. Tibshirani, J. Friedman. Springer, 2001. - 533 p.

64. Hegger, R. Practical implementation of nonlinear time series methods: The tisean package / R. Hegger, H. Kantz, T. Schreiber // Chaos 9. 1999. - № 2. -p. 413-435.

65. Henon, M. A two-dimensional mapping with a strange attractor / M. Henon. Comm.Math.Phys. 50. - 1976. - № 1. - p. 69-77.

66. Herbrich, R. Learning Kernel Classifiers / R. Herbrich. The Mit Press. -2002.-p. 160.

67. Huber, P. Robust estimation of location parameter / P. Huber. Annals of Mathematical Statistics 35 . - 1964 . - p. 73-101.

68. Joachims, T. Making large-scale svm learning practical / T. Joachims, B. Scholkopf, C. Burges, A. Smola eds. // Advances in Kernel Methods Support Vector Learning. - 1999. - p. 169-184.

69. Joachims, T. The maximum-margin approach to learning text classifiers: method, theory and algorithms: Ph.D. thesis / T. Joachims. University of Dortmund, 2001.

70. Kohavi, R. A study of cross-validation and boostrap for accuracy estimation and model selection / R. Kohavi // Proc. of the Int. Joint Conf. on Artificial Intelligence. 1995. - p. 164.

71. Kohlmorgen, J. Data set a is a pattern matching problem / J. Kohlmorgen, K. -R. Miiller // Neural Process. Lett. 7. 1998 . - № 1 . - p.43-47.

72. Koltchinskii, V. Rademacher penalties and structural risk minimization // IEEE Transactions on Information Theory. 2001. - № 47. - p. 1902-1914.

73. Kugiumtzis, D. Chaotic time series: Part i. estimation of invariant properties in state space, / D. Kugiumtzis, B. Lillekjendlie, N. Christophersen // Modeling, Identification and Control 15. 1994 . - № 4 . - p. 205-224.

74. Kwok, J. Linear dependency between and the input noise in the support vector regression / J. Kwok // IEEE Transactions on Neural Networks ICANN 2001, 2003.-p.405-410.

75. Langford, J. Quantitatively tight sample bounds / J. Langford. -Carnegie Mellon University, 2002.-p. 163, 172.

76. Lapedes, A. How neural nets work / A. Lapedes, R. Farber. Neural Information Processing Systems, 1987 . - p. 442-456.

77. Lillekjendlie, B. Chaotic time series: System identification and prediction / B. Lillekjendlie, D. Kugiumtzis, N. Christophersen // Modeling, Identification and Control 15 . 1994 . - № 4 . - p. 225-243.

78. Lin, Y. Statistical properties and adaptive tuning of support vector machines/ Y. Lin, G. Wahba, H. Zhang, and Y. Lee // Machine Learning. 2002. -№48.-p. 115-136.

79. Lorenz, E.N. Deterministic nonperiodic flow / E.N. Lorenz. Science, 1963.-p. 130-141.

80. Luxburg, U. A compression approach to support vector model selection / U. Luxburg, O. Bousquet, B. Scholkopf // The Journal of Machine Learning Research. 2004. - № 5. - p. 293-323.

81. Mackey, M.C. Oscillation and chaos in physiological control systems / M.C. Mackey and L. Glass . Science, 1977. - p. 287-289.

82. McNames, J. Local averaging optimization for chaotic time series prediction / J. McNames // Neurocomputing. 2002. - № 4. - p. 279-297.

83. Mendelson, S. A few notes on statistical learning theory / S. Mendelson, A. Smola // Advanced Lectures in Machine Learning. LNCS 2600. Springer, 2003.-p. 1-40.

84. Miiller, K. An introduction to kernel-based learning algorithms / K. Miiller, S. Mika, G. Ratsch, K. Tsuda, B. Scholkopf . IEEE Transactions on Neural Networks, 2001 .-p. 181-201.

85. Miiller, K. Predicting time series with support vector machines / K. Miiller, A. Smola, G. Ratsch, B. Scholkopf, O. Kohlmorgen, V. Vapnik . -Artificial Neural Networks ICANN 97 . - Springer, 1997. -218 p.

86. Oliveira, К. A. Using artificial neural networks to forecast chaotic time series / K.A. Oliveira, A. Vannucci, E.C. Silva . Physica A, 2000 . - p. 393-^104.

87. Omidvar, A.E. Configuring radial basis function network using fractal scaling process with application to chaotic time series prediction / A.E. Omidvar // Chaos, Sol. and Fract. -2004 . № 4 . - p.757-766.

88. Optimal embedding parameters: A modelling paradigm. Physica D, 2004. - p. 283-296.

89. Parker, T.S. Practical numerical algorithms for chaotic systems / T.S. Parker, L.O. Chua. -first ed. -Springer, New York, 1989. 425 p.

90. Piatt, J. Fast training of support vector machines using sequential minimal optimization / J. Piatt // Advances in Kernel Methods: Support Vector Learning / под общ. ред. В. Scholkopf, C.J.C. Burges, A. Smola. The MIT Press, 1999-p. 161.

91. Quinonero-Candela, J. Time series prediction based on the relevance vector machine with adaptive kernels / J. Quinonero-Candela, L. K. Hansen . -International Conference on Acoustics, Speech, and Signal Processing, 2002. -p.985-988.

92. Ralaivola, L. Dynamical modeling with kernels for nonlinear time series prediction / L. Ralaivola, F. d'Alche Buc // Modeling, Identification and Control 15.-2004 .-№5 .-p. 125-138.

93. Ratsch, G. Soft margins for AdaBoost / G. Ratsch, T. Onoda, K.-R. Muller // Machine Learning. 2001. - № 42. - p. 287-320.

94. Rosipal, R. Prediction of chaotic time-series with a resourceallocating RBF network / R. Rosipal, M. Koska, I. Farkas // Neural Processing Letters 7 . -1998 №3 .-p. 185-197.

95. Russell, D.A. Dimension of strange attractors / D.A. Russell, J.D. Hanson, E. Ott // Phys. Rev. Let. 45 . 2000 . - p. 1175-1178.

96. Riiping, S. SVM kernels for time series analysis / S. Riiping // Technical report, CS Department, University of Dortmund. Dortmund, 2001. -p. 43-50.

97. Sauer, Т. Embedology / Т. Sauer, Y. Yorke, M. Casdagli // J. Stat. Phys. 65. 1991 . - p. 579-616.

98. Sauer, T. Time series prediction by using delay coordinate embedding / T. Sauer; A.S. Weigend, N.A. Gershenfeld, eds. Time Series Prediction: Forecasting the Future and Understanding the Past. - Addison-Wesley, 1994.

99. Scholkopf, B. Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond (Adaptive Computation and Machine Learning) / B. Scholkopf, A. Smola. The MIT Press, 2001 - 644 p.

100. Scholkopf, B. New support vector algorithms / B. Scholkopf, P. Bartlett, A. Smola, R. Williamson // Neural Computation. 2000 . - №12 . -p.1207-1245.

101. Scholkopf, B. Statistical learning and kernel methods / B. Scholkopf // Machine Learning. 2006. - № 98. - p.63-95.

102. Scholkopf, B. Support vector regression with automatic accuracy control / B. Scholkopf, P. Bartlett, A. Smola, R. Williamson // Proceedings of ICANN'98: Perspectives in neural computing (Berlin) . Springer, 1998 . -p. 111-116.

103. University of London, 1998.

104. Small, M. Minimum description length neural networks for time series prediction / M. Small, С. K. Tse // Physical Review E (Statistical, Nonlinear, andi

105. Soft Matter Physics). 2002 . - № 6, 066701. i 113. Smola, A. A tutorial on support vector regression /А. Smola,

106. B. Sch'olkoptf/ Statistics and Computation. 2004. - № 13. - p. 199-222.

107. Smola, A. Generalization bounds and learning rates for regularized principal manifolds / A. Smola, R. Williamson, B. Scholkopf . Tech. report, Royal Holloway, University of London, 1998.

108. Smola, A. Learning with kernels / A. Smola. Tech. report, GMD Forschungszentrum Informationstechnik. - St. Augustin, 1998.

109. Smola, A. On a Kernel-based Method for Pattern Recognition, Regression, Approximation, and Operator Inversion / A. Smola, B. Scholkopf, J. Lemm and others. Algorithmica, 1997.

110. Smola, A. Regression estimation with support vector learning machines / A. Smola. Tech. report, Physik Department, Technische Universitat Munchen, 1996.

111. Takens, F. Detecting strange attractors in turbulence, Dynamical Systems of Turbulence (Berlin) / F. Takens; D. A. Rand, B. S. Young, eds. vol. 898 of Lecture Notes in Mathematics. - Springer, 1981. - p. 366-381.

112. Tay, F. Modified support vector machines in financial time series forecasting / F. Tay, L. Cao // Neurocomputing. 2002 . - № 14. - p. 847-861.

113. Thissen, U. Using support vector machines for time series prediction / U. Thissen, R. van Brakela, A. P. de Weijerb, W. J. Melssena, L. M. C. Buyden // Chemometrics and Intelligent Laboratory Systems. 2003 . - № 1 . - p. 35-49.

114. Vapnik, V. An overview of statistical learning theory / V. Vapnik // IEEE Transactions on Neural Networks. 1999. - № 10. - p. 998-1000.

115. Vapnik, V. Estimation of dependencies based on empirical data / V. Vapnik. Springer Verlag, New York, 1982.

116. Vapnik, V. Bounds on the error expectation for support vector machines / V. Vapnik, O. Chapelle // Neural Computation. 2000. - № 12. -p. 2013-2036.

117. Vapnik, V. Necessary and sufficient conditions for the uniform convergence of means to their expectations / V. Vapnik, A. Chervonenkis // Theory of Probability and its Applications. 1981. - № 26. - p. 821-832.

118. Vapnik, V. Statistical Learning Theoiy / V. Vapnik. John Wiley, New York, 1998-760 p.

119. Vapnik, V. The Nature of Statistical Learning Theory / V. Vapnik. -Springer Verlag, New York, 1995. 315 p.

120. Wah, B.W. Violation guided neural-network learning for constrained formulations in time-series predictions / B.W. Wah, M. Qian // Int'l Journal on Computational Intelligence and Applications. -2001 . № 4 . - p.383-398.

121. Wan, E.A. Time series prediction by using a connestionist network with internal delay lines / E.A. Wan; A.S. Weigend, N.A. Gershenfeld, eds. Time Series Prediction: Forecasting the Future and Understanding the Past. — Addison-Wesley, 1994.-p. 195-217.

122. Wang, L. Support Vector Machines: Theory and Applications / L. Wang. Spinger, 2005. - 435 p.

123. Wang, X. Time-line hidden markov experts for time series prediction / X. Wang, P. Whigham, D. Deng, M. Purvis // Neural Information Processing -Letters and Reviews . 2004 . - № 2 . - p. 39^48.

124. Weigend, A.S. Time series prediction: Forecasting the future and understanding the past /A.S. Weigend , N.A. Gershenfeld. Addison-Wesley, 1994.

125. Wendt, H. Support vector machines for regression estimation and their application to chaotic time series prediction / H. Wendt. Finkenweg, 2005. -103 p.

126. Williamson, R. Generalization performance of regularization networks and support vector machines via entropy numbers of compact operators / R. Williamson, A. Smola, B. Scholkopf // IEEE Transactions on Information Theory. 2001. - № 6. - p. 2516-2532.