Основы компьютерного представления экспертных знаний для мониторинга программно-целевой деятельности тема диссертации и автореферата по ВАК РФ 05.13.17, доктор технических наук Зацман, Игорь Моисеевич

• Зацман, Игорь Моисеевич
• доктор технических наук
• 2011

Оглавление диссертации доктор технических наук Зацман, Игорь Моисеевич

ВВЕДЕНИЕ.

Глава 1. Актуальность проблемы и ее современное состояние.

1.1. Постановка проблемы.

1.2. Актуальность проблематики формирования экспертных знаний.

1.3. Позиционирование проблематики диссертации.

1.4. Ключевые слова описания предметной области.

1.5. Выводьгпо первой главе.

Глава-2. Концептуальные основы компьютерного представления экспертных знаний.

2.1. Модели формирования-знаний: концептуальные решения.

2.2. Сопоставление трех концепций.

2.3. Выраженные невербализуемые знания.

2.4. Представление знаний в цифровой среде.

2.5. Иллюстративный пример.

2.6. Выводы по второй главе.

Глава 3. Семиотические модели представления экспертных знаний.

3.1. Семиотические основания компьютерного представления.

3.2. Три среды креативного пространства.

3.3. Стационарная семиотическая модель.

3.4. Пространство Фреге и нестационарная модель.

3.5. Нестационарная модель вариантов индикатора.

3.6. Выводы по третьей главе.

Глава 4. Лингвистическое обеспечение процессов представления экспертных знаний.

4.1. Нормативно-правовые основы проектирования.

4.2. Разработка индикаторов группой экспертов.

4.3. Построение динамической классификации индикаторов.

4.4. Результаты серии экспериментов.

4.5. Архитектура лингвистического обеспечения.

4.6. Технология формирования аналитических отчетов.

4.7. Выводы по четвертой главе.

Введение диссертации (часть автореферата) на тему «Основы компьютерного представления экспертных знаний для мониторинга программно-целевой деятельности»

Актуальность исследования. Новые условия и предпосылки, которые определяют актуальность диссертационного исследования, сформулированы в Концепции реформирования бюджетного процесса в РФ в 2004-2006- годах (далее - Концепция), одобренной постановлением Правительства РФ от 22 мая 2004 года № 249 «О мерах по повышению результативности бюджетных расходов» (далее — постановление 249). В процессе реформирования бюджетного процесса программно-целевая деятельность стала доминирующей во всех сферах, где расходуются бюджетные средства. Согласно данной Концепции бюджетный процесс предполагает переход на реализацию долгосрочных программ с явным описанием их целей, задач, ресурсов и ожидаемых результатов, а также использование индикаторов для мониторинга и оценивания полученных результатов, эффективности и результативности программно-целевой деятельности [1].

Применение индикаторов, традиционно используемых при статистическом наблюдении бюджетного процесса до его реформирования, выявило неполноту имеющихся наборов индикаторов, так как они, например, не позволяли оценивать согласованность поставленных целей и имеющихся ресурсов. Разработка нужных индикаторов требовала проведения исследований с целью формирования новых концептуальных подходов и методов проектирования индикаторов, так как существенно возросла роль мониторинга и оценивания программно-целевой деятельности в бюджетном процессе.

Иначе говоря, существенно изменились роль и условия мониторинга и оценивания, которые обуславливают актуальность формирования новых концептуальных подходов и методов проектирования индикаторов в настоящее время.

Целенаправленное формирование знаний, концептуальных подходов и создание новых методов для разработки программно-ориентированных индикаторов стало актуальной проблемой для многих сфер деятельности, что нашло отражение в официальных документах. Так, задачи разработки новых методов оценки эффективности научной деятельности, создания систем мониторинга, анализа и оценки результатов деятельности юридических и физических субъектов сферы науки включены в тематическое направление «29. Системы автоматизации, САЦЗ-технологии, математические модели и методы исследования сложных управляющих систем и процессов» Программы фундаментальных научных исследований РАН на 2008 - 2012 годы, утвержденной распоряжением Правительства РФ от 27 февраля 2008 г. № 233-р (далее - распоряжение 233) [2].

Принятие постановления 249 и распоряжения 233 определило основную (но не единственную) область применения результатов диссертационного исследования: разработка систем информационного мониторинга и оценивания программно-целевой деятельности, что нашло отражение в названии диссертации. Именно в Концепции предусматривается создание систем мониторинга и оценивания, которые, с одной стороны, планируется развивать по мере накопления опыта применения новых методов бюджетного планирования, с другой стороны, с развитием систем мониторинга и оценивания сферу применения новых методов программно-целевого планирования предполагается расширять [1].

Кроме прикладной стороны актуальности диссертационного исследования, существует и чисто научная ее сторона. В настоящее время исследования процессов целенаправленного формирования знаний и их компьютерного представления образуют новое научное направление (новую проблематику), не связанное с какой-то одной сферой применения его результатов.

Становление этого направления во многом было связано с мероприятиями по подготовке 7-ой Рамочной программы Европейского Союза (ЕС). В документах этой программы, принятой на период 2007-2013 годы, для сферы информационно-коммуникационных технологий (ИКТ) определен ряд актуальных направлений исследований и разработок, включая исследования возможностей существующих и разработку новых видов ИКТ, обеспечивающих представление в информационных системах формируемых знаний и целенаправленное влияние на процесс их формирования [3, 4, 5, 6, 7]. Иначе говоря, ключевая роль ИКТ в проблематике формирования и компьютерного представления знаний послужила основанием для включения этой проблематики в тематические исследовательские программы 7-ой Рамочной программы ЕС.

Степень разработанности проблематики. Цели формирования новых или развитияч существующих систем знаний зависят от предметной' области, в рамках которой формируются или пополняются системы знаний. Широко известная в настоящее время спиральная модель формирования знаний, которая описана в работах Нонака и Такеучи [8, 9, 10]1 и ее обобщение, предложенное в работах Вежбицки и Накамори в работах [11, 12, 13, 14], не зависят от целей формирования, предметной области и с этой точки зрения являются универсальными. Поэтому спиральная модель и ее обобщение были выбраны в качестве исходной позиции для диссертационного исследования.

Опыт применения ИКТ, разработанных в исследовательском институте JAIST (Japan Advanced Institute of Science and Technology) для поддержки процесса формирования научных знаний [15], позволяет утверждать, что, с одной стороны, существующие сейчас модели формирования знаний уже используются на практике, с другой стороны, остался ряд нерешенных вопросов, ограничивающих сферу использования существующих моделей на практике. Выделим в спиральной модели (Нонака и Такеучи) и обобщающей ее модели (Вежбицки и Накамори) основные нерешенные (или частично решенные) вопросы и задачи: 1) не фиксируются изменения состояния формируемых личностных знаний человека в зависимости от времени, 2) не определены объекты интерпретаъщи, являющиеся источниками новых знаний человека, 3) не выделены структурные элементы формируемых знаний, соответствующие объектам интерпретации, и 4) не фиксируется момент

1 По данным Google Scholar на 17.06.2011 общее число цитирований первых двух работ равно 22344. времени генерации каждого нового структурного элемента.

Комплексное решение проблемы, включающей четыре перечисленные задачи, на основе единой модели формирования личностных и коллективных знаний в настоящее время отсутствует. Предлагаемые в диссертации концептуальные основы компьютерного представления экспертных знаний представляют собой существенное развитие спиральной модели (в ее обобщенном варианте), так как получено решение четырех перечисленных задач.

В связи с вышесказанным актуальными являются исследования; направленные на создание концептуальных основ компьютерного представления экспертных знаний, включающих развитие спиральной модели и обеспечивающих разработку новых технических решений. Их создание, кроме научной новизны, является теоретическим фундаментом ряда прикладных разработок, так как обеспечивает постановку и решение научно-технической проблемы компьютерного-представления смыслового содержания индикаторов при формировании экспертами проблемно-ориентированных знаний для разработки (совершенствования) систем информационного мониторинга и оценивания программно-целевой деятельности.

Резюмируя вышесказанное, цель работы сформулируем следующим образом: разработка концептуальных основ и моделей компьютерного представления экспертных знаний, формируемых для мониторинга и индикаторного оценивания программно-целевой деятельности, а также отображения динамики формирования личностных и коллективных знаний экспертов.

Для достижения поставленной цели необходимо решить следующие задачи.

1. Сформулировать проблему компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности.

2. Разработать, концептуальные основы компьютерного представления экспертных знаний об индикаторах в динамике их формирования, включая описание используемой системы терминов.

3. Разработать модели компьютерного представления экспертных знаний, которые описывают процесс формирования программно-ориентированных индикаторов и позволяют фиксировать изменения формируемых знаний об индикаторах во времени.

4*. На основе моделей компьютерного представления экспертных знаний в динамике их формирования разработать архитектуру лингвистического обеспечения систем информационного мониторинга и индикаторного оценивания программно-целевой деятельности, а также провести ее экспериментальное исследование.

Объектом исследования являются долгосрочные целевые программы, которые реализуются в интересах удовлетворения научных, образовательных, технологических, культурных, экономических и иных общественно значимых потребностей, и для которых определены объекты мониторинга и индикаторного оценивания, включая цели, задачи, ресурсы и ожидаемые результаты программ.

Предметом исследования являются мониторинг и оценивание долгосрочных целевых программ с помощью программно-ориентированных индикаторов, формируемых экспертами.

Методы исследования. Проводимые в работе теоретические и практические исследования базируются на методах системного анализа, искусственного интеллекта, семиотики, теории алгоритмов, технологии программирования.

Основные научные результаты

В процессе исследований получены следующие научные результаты, выносимые на защиту:

1. Концептуальные основы компьютерного представления экспертных знаний для мониторинга программно-целевой деятельности, включающие:

- введение средового измерения2 в креативное пространство Вежбиц-ки и Накамори, о

- определение объекта интерпретации как состояния денотата , которое является неизменным в процессе интерпретации,

- определение новых структурных элементов знаний, формируемых экспертами на каждом из этапов концептуализации,

- введение в креативное пространство Вежбицки и Накамори оси времени,

- введение в креативное пространство Вежбицки и Накамори- двух уровней для процесса перехода от индивидуальных (личностных) невыраженных знаний к выраженным знаниям,

- использование трех модальностей форм выражения структурных элементов знаний (вербальной, образной и вербально-образной),

- использование процессов концептуализации, определенных как сочетание двух итерационных процессов (изменение денотатов и интерпретация их состояний),

- определение на каждом этапе концептуализации четырех возможных вариантов завершения процесса интерпретации,

- определение процесса перехода от индивидуальных выраженных знаний к коллективным и его добавление в креативное пространство Вежбицки и Накамори,

- описание системы терминов, включающей новые понятия формоко-да и семокода.

21 Стационарная и нестационарная модели компьютерного представления знаний экспертов о программно-ориентированных индикаторах для

2 Средовое измерение является номинативной шкалой. По определению средового измерения, согласно этой шкале, любая точка креативного пространства (Вежбицки и Накамори называют их узлами) может быть соотнесена с одной и только с одной из следующих трех сред: ментальной, социально-коммуникационной или цифровой.

3 Если денотат изменяется на некотором интервале времени, то в заданные дискретные моменты времени фиксируются состояния денотата и каждое из этих состояний представляет собой отдельный объект интерпретации. Поэтому денотат может изменяться, но любое его состояние как «моментальный снимок» денотата по определению является неизменным. мониторинга программно-целевой деятельности (нестационарная модель описывает процесс разработки индикаторов в динамике их формирования).

3. Определение пространства Фреге для отображения динамики процесса формирования экспертных знаний о программно-ориентированных индикаторах, которое имеет ось времени и несколько осей компьютерных кодов для объектов интерпретации, соответствующих структурных элементов формируемых экспертных знаний и их названий (имен).

4. Технические решения по разработке архитектуры лингвистического обеспечения систем информационного мониторинга для компьютерного представления экспертных знаний1 о программно-ориентированных индикаторах, которое включает полиструктурную динамическую классификацию индикаторов и проективный словарь программно-ориентированных индикаторов; формируемых экспертами.

5. Технические решения по совершенствованию технологии автоматизированного формирования- аналитических отчетов по целевым программам в сфере науки, включающих программно-ориентированные индикаторы, разработанные (разрабатываемые) экспертами.

Научная новизна результатов исследования

Основной результат работы состоит в постановке и решении проблемы компьютерного представления знаний,, формируемых экспертами для мониторинга и индикаторного оценивания программно-целевой- деятельности. При этом впервые получены следующие научные результаты:

- предложена система терминов, включающая новые понятия «формокода» и «семокода», которые используются в описании способов,кодирования смыслового содержания ■ (концептов) программно-ориентированных индикаторов и их названий (имен);

- предложено развитие понятия креативного пространства по Вежбицки и Накамори, которое в отличие от определенного ими пространства с двумя измерениями (социальным и эпистемологическим) включает третье средо-вое измерение этого пространства;

- определено новое понятие неактуального концепта для номинативной шкалы социального измерения креативного пространства Вежбицки и Накамори, которое дает возможность на любом этапе формирования индикаторов зафиксировать то их подмножество, которое на этом этапе эксперты исключили из рассмотрения;

- креативное пространство дополнено денотатами4, на основе концептуализации которых формируются экспертные знания-для мониторинга и оценивания программно-целевой деятельности, что отличается от подхода1 Вежбицки и Накамори, в котором источники генерации знаний не определены;

- разработана стационарная семиотическая модель компьютерного кодирования, отображающая треугольник Фреге, вершины которого имеют разную природу (ментальную, социально-коммуникационную, цифровую или материальную), на цифровой семиотический треугольник, принадлежащий полностью цифровой электронной среде5 (далее - цифровая среда); в отличие от существующих моделей стационарная-семиотическая модель, дает возможность назначать компьютерные коды одновременно стабильным объектам интерпретации, соответствующим структурным элементам знаний, формируемых экспертами, их названиям (именам);

- определено пространство Фреге, включающее ось времени и несколько осей компьютерных кодов для объектов интерпретации, соответствующих структурных элементов знаний, формируемых экспертами, и для их названий (имен); в отличие от креативного пространства Вежбицки и Накамори пространство Фреге дает возможность отображать одновременно динамику изменений денотатов, соответствующий процесс генерации экспертных знаний-и процесс назначения названий'(имен) структурным элементам знаний, формируемых экспертами;

4 В рассматриваемой проблеме денотат представляет собой совокупность программы вычисления значений индикатора, данных, используемых для определения значений этого индикатора, а также его значений, вычисленных этой программой.

5 Согласно ГОСТ Р 52292-2004, электронная среда - это среда технических устройств (аппаратных средств), функционирующих на основе физических законов и используемых в информационной технологии при обработке, хранении и передаче данных. В диссертации цифровая электронная среда - это цифровые технические устройства (аппаратные средства) электронной среды.

-12- разработана нестационарная семиотическая модель компьютерного представления экспертных знаний, которая описывает процесс формирования программно-ориентированных индикаторов; в отличие от существующих моделей нестационарная семиотическая модель дает возможность описать объекты интерпретации и соответствующие им структурные элементы знаний об индикаторах в динамике их формирования;

- разработана архитектура лингвистического обеспечения систем-информационного-мониторинга для компьютерного-представления экспертных знаний-, формируемых для мониторинга и оценивания, которая в отличие от существующих архитектур включает полиструктурную динамическую классификацию индикаторов и проективный словарь программно-ориентированных индикаторов, разрабатываемых экспертами.

Теоретическая и практическая значимость работы, Теоретическая значимость работы состоит в постановке и решении проблемы компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности. Решение этой проблемы включает в себя:

- разработку концептуальных основ компьютерного представления экспертных знаний в динамике их формирования, представляющих собой дальнейшее развитие обобщенной спиральной модели формирования, знаний Вежбицки и Накамори;

- построение стационарной и нестационарной семиотических моделей представления личностных и коллективных знаний экспертов в системах информационного мониторинга;

- разработку принципов проектирования лингвистического обеспечения для компьютерного представления» экспертных знаний об индикаторах в динамике их формирования, разрабатываемых для мониторинга и оценивания программно-целевой деятельности.

В диссертации предложен новый подход к разработке моделей компьютерного представления экспертных знаний в динамике их формирования. Его суть заключается в явном определении объектов интерпретации и выделении соответствующих им структурных элементов знаний, формируемых экспертами, а также в использовании нескольких осей компьютерных кодов для отображения изменений денотатов, процессов формирования соответствующих им структурных элементов экспертных знаний и их имен.

Практическая значимость работы заключается:

- в построении и апробации системы терминов, которая была использована в разработке концептуальных основ компьютерного представления экспертных знаний;

- в создании концептуальных основ и семиотических моделей компьютерного представления личностных и коллективных знаний, формируемых экспертами, которые используются при разработке индикаторов оценивания программно-целевой деятельности;

- в разработке архитектуры лингвистического обеспечения, включающего проективный словарь индикаторов, разрабатываемых группой экспертов, и использовании созданного лингвистического обеспечения для компьютерного представления экспертных знаний (включение проективного словаря в состав лингвистического обеспечения дало возможность разрабатывать новые алгоритмы для программно-ориентированных индикаторов, фиксируя этапы формирования их смыслового содержания, различия в трактовке, т.е. несовпадения в рубриках, дефинициях, именах формируемых индикаторов, и степень согласованности их трактовки между экспертами);

- в совершенствовании технологии автоматизированного формирования аналитических отчетов по целевым программам в сфере науки, включающих программно-ориентированные индикаторы, разработанные экспертами.

Заключение диссертации по теме «Теоретические основы информатики», Зацман, Игорь Моисеевич

4.7. Выводы по четвертой главе

1. В состав лингвистического обеспечения включены два словаря: семантический словарь для используемых индикаторов и проективный словарь для формируемых;индикаторов:

2. Предусмотрена возможность установления связей дескрипторов проективного словаря с алгоритмами (программами), информационными ресурсами, а; также с методическим, нормативно-правовым и другими-видами обеспечения (точнее, с определенными состояниями видов обеспечения, отнесенными к дискретным, моментам времени формирования индикаторов).

3. В состав* лингвистического обеспечения включена полиструктурная динамическая классификация индикаторов.

-251 -ЗАКЛЮЧЕНИЕ

В соответствии с целью диссертационного исследования разработаны концептуальные основы и модели компьютерного представления экспертных знаний, формируемых для мониторинга и индикаторного оценивания программно-целевой деятельности, а также отображения динамики формирования личностных и коллективных знаний экспертов. Для достижения поставленной цели автором были решены следующие задачи.

1. Сформулирована проблема компьютерного представления знаний, формируемых экспертами для мониторинга и оценивания программно-целевой деятельности.

2. Разработаны концептуальные основы компьютерного представления экспертных знаний об индикаторах в динамике их формирования, которые включают:

- введение средового измерения в креативное пространство Вежбицки и Накамори,

- определение объекта интерпретации как состояния денотата, которое является неизменным в процессе интерпретации;

- определение новых структурных элементов знаний, формируемых экспертами на каждом из этапов концептуализации,

- введение в,креативное пространство Вежбицки и Накамори оси вре-^ мени,

- введение в креативное пространство Вежбицки.и Накамори двух уровней для процесса перехода от индивидуальных (личностных) невыраженных знаний к выраженным знаниям,

- использование трех модальностей форм выражения структурных элементов знаний (вербальной, образной и вербально-образной),

- использование процессов концептуализации, определенных как сочетание двух итерационных процессов (изменение денотатов и интерпретация их состояний),

- определение на каждом этапе концептуализации четырех возможных вариантов завершения процесса интерпретации,

- определение процесса перехода от индивидуальных выраженных знаний к коллективным* и его добавление в креативное пространство Вежбицки и Накамори,

- описание системы терминов, включающей новые понятия формокода и семокода. . ■ ■ ;.■■'. ■

3. Разработаны модели компьютерного представления! экспертных; знаний, которые описывают процесс формирования программно-ориентированных индикаторов и позволяют фиксировать изменения, формируемых знаний об индикаторах во времени.

4. На основе семиотических моделей компьютерного представления экспертных знаний в динамике их формирования разработана архитектура лингвистического > обеспечения систем информационного мониторинга и индикаторного оцениванияшрограммно-целевой деятельности:

5. С целью апробации результатов диссертационного исследования проведена серия: экспериментов; по-компьютерному представлению экспертных знаний5 о: вариантах индикатора возрастного распределения: публикаций и построению функции, позволяющей вычислять степень согласованности вариантов индикатора; формируемых экспертами;

Реализация предложенного в. диссертации подхода к формированию и кодированию индикаторов мониторинга и оценивания программно-целевой деятельности обеспечивает контроль за использованием« вариантов программ вычисления значений индикаторов и соответствием вариантов программ дескрипторам проективного словаря, которые отображают смысловое содержание индикаторов в динамике их формирования.

Список литературы диссертационного исследования доктор технических наук Зацман, Игорь Моисеевич, 2011 год

1. Программа фундаментальных научных исследований государственных академий наук на 2008 2012 годы. - М.: Наука, 2008.

2. CORDIS ICT Programme Home http://cordis.europa.eu/fp7/ict/programme/ homeen.html (состояние страницы на 23.05.2011).

3. ICT FP7 Work Programme 2007-08 ftp.cordis.europa.eu/ pub/fp7/ict/docs/ict-wp-2007-08en.pdf (состояние файла на 23.05.2011).

4. ICT FP7 Work Programme 2009-10 ftp.cordis.europa.eu/ pub/fp7/ict/docs/ict-wp-2009-10en.pdf (состояние файла на 23.05.2011).

5. ICT FP7 Work Programme 2011-12 ftp.cordis.europa.eu/ pub/fp7/ict/docs/ict-wp-2011-12en.pdf-(cocTCmmie файла на 23.05.2011).

6. FP7 Exploratory Workshop 4 «Knowledge Anywhere Anytime» http:// cordis.europa.eu/ist/directoratef/fws4.htm (состояние страницы на 23.05.2011).

7. Nonaka /. The knowledge-creating company I I Harvard Business Review. 1991. Vol. 69. N. 6. Pp. 96-104.

8. Nonaka /., Takeuchi H. The knowledge-creating company. Oxford; N.Y.: Oxford University Press, 1995 (перевод на русский язык: Нонака И., Такеучи Х. Компания - создатель знания. - М.: ЗАО «Олимп-бизнес», 2003).

9. Knowledge emergence / Ed. by I. Nonaka and T. Nishiguchi. Oxford; N.Y.: Oxford University Press, 2001.

10. Wierzbicki A.P., Nakamori Y. The importance of multimedia principle and emergence principle for the knowledge civilisation age // Journal of Systems Science and Systems Engineering. 2008. Vol. 17. No. 3. Pp. 297-318.

11. Yamashita Y., Nakamori Y., Wierzbicki A.P. Knowledge synthesis in technology development // Journal of Systems Science and Systems Engineering. 2009. Vol. 18. No. 2. Pp. 184-202.

12. Ren H., Tian J., Nakamori Y., Wierzbicki A.P. Electronic support for knowledge creation in a research institute // Journal of Systems Science and Systems Engineering. 2007. Vol. 16. No. 2. Pp. 235-253.

13. Gorn S. Informatics (computer and information science): its ideology, methodology, and' sociology. In: The studies of information: Interdisciplinary messages / Ed. by F. Machlup and U. Mansfield. New York: John-Wiley and Sons, Inc., 1983.-Pp. 121-140.

14. Wang Y. Cognitive Informatics: A New Transdisciplinary Research Field // Brain and Mind. 2003. Vol. 4. No. 2. Pp. 115-127.

15. Wang Y On Cognitive Informatics // Brain and Mind. 2003. Vol. 4. No. 2. -Pp. 151-167.

16. Bryant A. Cognitive Informatics, Distributed Representation and Embodiment // Brain and Mind. 2003. Vol. 4. No. 2. Pp. 215-228.

17. Зацман И. M. Семиотическая модель взаимосвязей концептов, информационных объектов и компьютерных кодов // Информатика и ее применение. 2009. Том 3. Вып. 2. С. 65-81.

18. BuddenbergR. FORCENet: We've been here before. http://webl. nps.navy.mil/~budden/lecture.notes/itarch/largeinfosystems.html (состояние страницы на 09.07.2011).

19. Успенский В. А. К публикации статьи Г. Фреге «Смысл и денотат» // Семиотика и информатика. Вып. 35. М.: Языки русской культуры, 1997. -С. 351-352.

20. Фреге Г. Смысл и денотат // В кн.: Семиотика и информатика. Вып. 35. -М.: Языки русской культуры, 1997. С. 352-379.

21. Фреге Г. Понятие и вещь // В кн.: Семиотика и информатика. Вып. 35. -М.: Языки русской культуры, 1997. С. 380-396.

22. Мамардашвили M.K. Классический и неклассический идеалы рациональности. М.: Издательство «Логос», 2004. - 240 с.

23. Special Report No 9/2007 concerning "Evaluating the EU Research and Technological Development (RTD) framework programmes could the Commission's approach be improved?' // Official Journal of the European Union C26, 30.01.2008. - Pp. 1-38.

24. Стратегический план Департамента национальной безопасности США на 2008 2013 финансовые годы - http://www.dhs.gov/xlibrary/assets/DHS StratPlanFINALspread.pdf (состояние страницы на 10.07.2011).

25. Зацман И.М., КосарикВ.В., Курчавоеа О.А. Задачи представления личностных и коллективных концептов в цифровой среде // Информатика и ее применение. 2008. Том 2. Вып. 3. С. 54-69.

26. Новая редакция* Международной патентной классификации (МПК) -http://wwwl.fips.ru/wps/wcm/connect/contentru/ru/informresources/international classification/Inventions/ (состояние страницы на 10.07.2011).

27. Analytical Perspectives. Budget of the United States Government. Fiscal Year 2007. Washington, DC: U.S. Government printing office, 2006.

28. Indicators Conferences (2006, 2008) http://www.prime-noe.org/-conferences-.html (состояние страницы на 04.06.2011).

29. ENID Indicators Conference 2010 http://www.enid-europe.org/events.html (состояние страницы на 04.06.2011).

30. Доброе Б.В., Иванов В.В., Лукашевич Н.В., Соловьев В Д. Онтологии и тезаурусы. Казань: Казанский государственный университет, 2006.

31. Breitman К.К., Casanova М.А., Truszkowski W. Semantic Web: Concepts, Technologies and Applications. London: Springer-Verlag London Ltd, 2007.

32. McGuinness D.L. Ontologies come of age. In: Fensel D., Hendler J., Lieberman H., Wahlster W. (Eds). Spinning the Semantic Web: Bringing the World Wide Web to Its Full Potential. Cambridge, MA: MIT Press, 2003. - Pp. 171-194.

33. УфимцеваА.А. Знак языковой // Большой энциклопедический словарь «Языкознание». -М.: Большая российская энциклопедия, 1998. С. 167.

34. Eco U. A Theory of Semiotics. Bloomington: Indiana University Press, 1976.

35. Кузнецов И.П. Семантические представления. M.: Наука, 1986.

36. Кузнецов И.П., Мацкевич А.Г. Семантико-ориентированные системы на основе баз знаний. М.: Изд-во МТУ СИ, 2007. - 173 с.-25744. Roget's International Thesaurus. New York: Thomas Y. Crowell Company, 1954.

37. Тезаурус научно-технических терминов / Под ред. Ю.И. Шемакина. М.: Воениздат, 1972.

38. Баранов О.С. Идеографический словарь русского языка. — М.: ЭТС, 1995.

39. Морковкин В.В. Идеографические словари. М.: Из-во МГУ, 1970.

40. Караулов Ю.Н., Молчанов В.И., Афанасьев В.А., Михалев Н.В. Русский семантический словарь. Опыт автоматического построения тезауруса: от понятия к слову // Под ред. Бархударова С.Г. М.: Наука, 1982.

41. Рубашкин В.Ш., Jlaxymu Д.Г. Семантический (концептуальный) словарь для информационных технологий. Ч. 1 // НТИ. Сер. 2. 1998. № 1. С.19-24.

42. Лукашевич Н.В. Тезаурус в задачах информационного поиска. М.: Изд-воМГУ, 2011.

43. Oxford Advanced Learner's Dictionary of Current English / Ed. by A.S. Hornby. Oxford: Oxford University Press, 1974.

44. Oxford-Duden Pictorial English Dictionary / Ed. by J. Pheby. Oxford: Oxford University Press, 1981.

45. Зацман И.М., Кожунова О. С. Предпосылки конвергенции информационной и компьютерной наук // Системы и средства информатики. Специальный выпуск «Научно-методологические вопросы информатики». М.: Наука, 2006. -С. 112-139.

46. Manjunath B.S. An Image Thesaurus for Content Based Search Using Texture and Color http://www.cs.pitt.edu/~panos/idm98/Imported/manj.html (состояние страницы на 10.07.2011).

47. Полани М Личностное знание. MI: Прогресс, 1985.

48. Социальная-информатика: основания, методы, перспективы / Отв. Ред. Н.И. Лапин. М.: Едиториал УРСС, 2003.

49. Антополъский А.Б<. Лингвистическое обеспечение электронных библиотек.- М.: ФГУП НТЦ "Информрегистр, 2003.

50. Арский Ю.М., Гиляревский P.C., Туров И.С., Черный А.И. Инфосфера: Информационные структуры, системы и процессы в науке и обществе. М.: ВИНИТИ, 1996.

51. Белоногое Г.Г., Новоселов1 А.П. Автоматизация процессов накопления, поиска и обобщения информации. М.: Наука, 1979.

52. Быстрое И.И., Синицын И.Н., Корепанов Э.Р., Белоусов В.В. Опыт построения модели системы управления информационными активами // Наукоемкие технологии. 2007. Т. 8. № 5-6. С. 46-53.

53. Гиляревский P.C. Основы информатики. М.: Изд-во «Экзамен», 2003.

54. Информатика как наука об информации: Информационный, документальный, технологический, экономический, социальный иорганизационный аспекты / Под ред. P.C. Гиляревского. М.: ФАИР-ПРЕСС, 2006.

55. Игнатьев М.Б. Теория сложных систем и кибернетическая картина мира // Информатика и ее применения. 2011. Т. 5. N 2. С. 58-68.

56. Когаловский М.Р., Калиниченко Л.А. Концептуальное и онтологическое моделирование в информационных системах // Программирование. 2009. Т. 35. № 5.- С. 3-25.

57. Ильин В.Д., Соколов И.А. Символьная модель системы знаний информатики в человеко-автоматной среде // Информатика и ее применения. 2007. N 1. С. 66-78.

58. Колин К.К. О структуре научных исследований по комплексной проблеме «Информатика». Сб. н. тр. «Социальная информатика». М.: ВКШ при ЦК ВЛКСМ, 1990.-С. 19-33.

59. Колин К.К Становление информатики как фундаментальной науки и комплексной, научной проблемы // Системы и средства информатики: Спец. вып. «Научно-методологические проблемы информатики». М.: ИЛИ РАН, 2006. - С. 7-58.

60. Майстрович Т.В. Электронный документ как объект библиотечного дела. М.: Издательство «Пашков дом», 2004. - 248 с.

61. Макаров B.JI., Клейнер Г.Б. Микроэкономика знаний. М.: ЗАО «Издательство "Экономика"», 2007.

62. Минский M. Фреймы для представления знаний. М.: Энергия, 197£> ,

63. Михайлов А.И., Черный А.И., Гиляревский P.C. Основы информат^:;Ес;и М.: Наука, 1968.

64. Поппер К.Р. Объективное знание. Эволюционный подход. Пер. с. англ Д.Г. Лахути. Отв. Ред. В.Н. Садовский. М.: Эдиториал УРСС, 2002. - 38^ с

65. Ю.Поспелов Г.С., Ириков В.А. Программно-целевое планирован^ е управление. М.: Сов. радио, 1976.

66. Поспелов Д.А. Логико-лингвистические модели в системах управлеи^ М. : Энергоиздат, 1981.

67. Розов М.А. Информационно-семиотические исследования: процессы эстафеты и принцип дополнительности // Научно-техническая информация 1984. № 2.- С. 1-7 (Сер. 2. Информационные процессы и системы).

68. Шемакин Ю.И. Тезаурус в автоматизированных системах управлецИя и обработки информации. М.': Воениздат, 1974.

69. Шемакин Ю.И. Системантика. М.: Изд-во РАГС, 2006.

70. Шемакин Ю.И. Семантика самоорганизующихся систем. — jyj. Академический проект, 2003.

71. Шрейдер Ю.А. Информация и знание. В кн. Системная концепция информационных процессов. -М.: ВНИИСИ, 1988. С. 47-52.

72. Шрейдер Ю.А. ЭВМ как средство представления знаний // Природа 1986. № 10. С. 14-22.

73. Brookes В. С. The foundations of information science. Part I. Philosophical aspects // Journal of Information Science. 1980. No. 2. Pp. 125-133.

74. Farradane J. Knowledge, information, and information science // Journal of Information Science. 1980. No. 2. Pp. 75-80.

75. Gorn S. The individual and political life of information systems. In: Proc. Symposium on Education for information science. New York: Spartan Books, 1965. - Pp. 33-40.

76. Gorn S. Computer and information sciences and the community of disciplines // Behavioral science, Vol. 12, No. 6, November, 1967. Pp. 433-452.

77. Gorn S. The identification of the computer and information sciences: their fundamental semiotic concepts and relationships // Foundations of language; Vol. 4, No. 4, November, 1968. Pp. 339-372.

78. Шемакин Ю.И., Романов А.А. Компьютерная семантика. М.: НОЦ «Школа Китайгородской», 1995.

79. Шмелев Д.Н. Омонимия // Лингвистический энциклопедический словарь / Гл. ред. В.Н. Ярцева. М.: Сов. энциклопедия, 1990. - С. 344-345.

80. Newman J. Some Observations on the Semantics of "Information" // Information Systems Frontiers. 2001. Vol. 3. No. 2. Pp. 155-167.

81. Загнан ИМ. Концептуальный поиск и качество информации. М.: Наука, 2003.-271 с.

82. Зацман И.М. Семиотические основания и элементарные технологии информатики // Информационные технологии. 2005. N 7. С. 18-31.

83. ДиановаГ.А. Термин и понятие: проблемы эволюции (к основам исторического терминоведения). — М.: Р.Валент, 2010.

84. НА. Васильева Н.В. Термин // Большой энциклопедический словарь «Языкознание». -М.: Большая российская энциклопедия, 1998. С. 508-509.

85. Турчин В.Ф. Феномен науки: Кибернетический подход к эволюции. -М.: Наука, 1993.

86. Гак В.Г. Лексическое значение слова // Большой энциклопедический словарь «Языкознание». М.: Большая российская энциклопедия, 1998. - С. 261-263.

87. Bloomfield B. Expert systems and human knowledge: A view from the sociology of science // Al&Society. 1988. Vol. 2. No 1. Pp. 15-29.

88. Зайцев Ю.А., Хераскова Т.Н. Венд Центрального Казахстана. М.: Изд-воМГУ, 1979.121 .ГакВ.Г. Асимметрия // Большой энциклопедический словарь «Языкознание». М.: Большая российская^энциклопедия, 1998. - С. 47.

89. Мельчук H.A. Русский язык в модели «Смысл<-*Текст». Москва - Вена: Школа «Языки русской культуры», Венский славистический альманах, 1995.

90. Лютый A.A. Язык карты: сущность, система, функция. 2-е изд., испр. — М.: ИГ РАН, 2002.

91. Кибрик А.Е. Язык // Большой энциклопедический словарь «Языкознание». М.: Большая российская энциклопедия, 1998. - С. 604-606.

92. The Unicode Charts http://www.unicode.org/charts (состояние на 30.05.2011).

93. Кузнецов A.M. Поле // Большой энциклопедический словарь «Языкознание». М.: Большая российская энциклопедия, 1998. - С. 380-381.

94. Перспективы развития вычислительной техники: Справ, пособие: В 11 кн. / Под ред. Ю.М. Смирнова. Кн. 1: Информационные семантические системы / Н.М. Соломатин. М.: Высш. шк., 1989.

95. Лотман Ю.М. Семиосфера. СПб.: «Искусство-СПб», 2000.

96. ГилулаМ.М. Множественная модель данных в информационных системах. М.: Наука, 1992.

97. Zatsman I. Pictorial Signs for Geoimages in Digital Libraries // European Journal for Semiotic Studies. Vol. 15. N. 2-4. 2003. Pp. 609-620.

98. Зацман И.М. Электронные библиотеки научных документов в Интернет: структуризация, формальное описание и поиск невербальной информации. // Научно-техническая1 информация. 1998. № 11. С. 12-18 (Сер. 2. Информационные процессы и системы).

99. Зацман'И:М, Курчатова O.A. Информационно-коммуникационные технологии долговременного применения и термины для;; их описания? // Системы и средства информатики^ Вып. 17. .—Mi: Наука, 2007.'- С. 142-164.

100. Speiser Ш& Report: of the Online Communications Committee for the time period between May 2001 and October 2001л // The European Patent- Institute Information. 2001. № 4. Pp. 143-146.

101. Horns A. On Data Formats foiv the: „epoline" System // The European Patent Institute Information. 2003. № 1. P. 20;

102. Brewin P. Regarding „On Data Formats for the 'epoline' System" — some information // The EuropeamPatentThstituteInformation;20031 №:2. Pp. 58-60.

103. Decision ,of: the President of the European Patent: Office dated 7 December 2000 on the electronic filing of European patent applications and subsequent documents // Supplement to Official Journal of the EPO. 2001. N4! Pp. 23-43,

104. EPO Annual Report 2003. München: European-Patent Office, 2004.

105. EPO Annual Report 2004. München: European Patent Office, 2005.

106. EPO Annual Report 2005. München: European Patent Office, 2006.

107. Zatsman I. Three-level communication model for electronic filing // Acta Semiotica Fennica. Vol. XXXIV(III), 2009. Pp. 1947-1960.

108. Петрова E.A. Знаки общения. M.: Изд-во «Гном и Д», 2001.

109. Степанов Ю.С. В мире семиотики // Семиотика: Антология / Сост. Ю.С. Степанов. 2-е изд., испр. и доп. М.: Академический проект, 2001. - С. 5-42.

110. Пирс Ч. Логические основания теории знаков. — СПб.: Изд-во «Алетейя», 2000.

111. Барт Р. Основы семиологии // Французская семиотика: От структурализма к постструктурализму. М.: Издательская группа «Прогресс», 2000. - С. 247-310.

112. Соломоник А. Семиотика и лингвистика. -М.: Молодая гвардия, 1995.

113. Чертов Л.Ф. Знаковость: опыт теоретического синтеза идей о знаковом способе информационной связи. СПб.: Изд-во СПбГУ, 1993.

114. Соломоник А. Философия знаковых систем и язык. Минск: МЕТ, 2002.

115. Wilensky R. Toward Work-Centered Digital Information Services // Computer. 1996. Vol. 29. No 5. Pp. 37-44.

116. Miller T. Visual Persuasion: A Comparison of Visuals in Academic Texrtv-^ and the Popular Press I I English for Specific Purposes. 1998. Vol. 17. No. 1. Pp. 46.

117. Johns A.M. The Visual and The Verbal: A Case Study in Macroeconomics English for Specific Purposes. 1998. Vol. 17. No. 2. Pp. 183-197.

118. Sonesson G. Die Semiotik des Bildes. Zum Forschungsstand am Anfang 90er Jahre // Zeitschrift für Semiotik. 1993. Vol. 15. N. 1-2. S. 131-164.

119. Кожу нова O.C. Eurowordnet: задачи, структура и отношения: у Информатика и ее применение. 2008. Том 2. Вып. 4. С. 85-92.

120. Ахманова О.С. Терминология лингвистическая // Болыд^^^ энциклопедический словарь «Языкознание». М.: Большая российо^ энциклопедия, 1998. - С. 509.

121. Михайлов В.Н. Гидрология устьев рек: Методическое пособие. — jy^ Изд-во МГУ, 1996.

122. Хераскова Т.Н., Волож Ю.А., Заможняя Н.Г., Каплан С.А., Сулейл^сг^0 А.К. Строение и история развития западной части Восточно-ЕвропеЙс1Со^ платформы в рифее-палеозое по данным геотрансекта ЕВ-1 (Лодейное noj^ Воронеж) // Литосфера. 2006. № 2. С. 65-94.

123. Шмелев Д.Н. Полисемия // Большой энциклопедический слоь^рь «Языкознание». М.: Большая российская энциклопедия, 1998. - С. 382.

124. Buntman N., MinelJ.-L., Le Pesant D., Zatsmanl. Typology and Computer Modelling of Translate Difficulties // Информатика и ее применение. 2010. Том 4. Вып. 3.-С. 77-83.

125. Зацман И.М., Бунтман Н.В. Компьютерное кодирование целевых систем знаний и процессов их эволюции в лингвистике // Системы и средства информатики. 2010. Вып. 20. № 2. С. 287-302.

126. DurnovoA., Zatsmanl. Semiotic Models for Cognitive Processing of Language Information about Translation Difficulties // Proceedings of the 12th International Conference «Cognitive Modeling in Linguistics». Kazan: KSU, 2010. Pp. 135-139.

127. Шубников С.К. Формы документов в системах информационного обеспечения оценки результативности научной деятельности // Системы и средства информатики. Вып. 15.- М.: Наука, 2005.- С. 59-76.

128. Зацман И.М. Терминологический анализ нормативно-правового обеспечения создания систем мониторинга и оценки результативности в сфере науки // Экономическая наука современной России. 2005. № 4. С. 114-129.

129. Зацман ИМ., Вереекин Г.Ф. Информационный мониторинг сферы науки в задачах программно-целевого управления // Системы и средства информатики. Вып. 16,- М.: Наука, 2006. С. 164-189.

130. Шубников С.К., Лощилова Е.Ю., Косарик В.В. Принципы систематизации и стандартизации описания структур информационных ресурсов в сфере науки // Системы и средства информатики. Вып. 16.- М.: Наука, 2006.-С. 190-213.

131. Кожунова О.С. Семантический словарь системы информационного мониторинга.в сфере науки и ресурс Eurowordnet: структура, задачи и функции // Системы, исредства информатики». Вып-.18. -М.: Наука, 2008. С. 156-170.'

132. Зацман ИМ:, Курчавова O.A., Галина И.В. Информационные ресурсы и индикаторы для оценки инновационного потенциала направлений.« научных исследований // Системы и средства информатики. Вып. 18 (доп.). М.: Наука,' 2008.-С. 159-175.

133. Архипова М.Ю., Зацман ИМ., Хавансков В.А. Индикаторы патентной активности РАН // Материалы Шестых Друкеровских чтений. Том 1. «Институциональные концепции менеджмента». Екатеринбург: Изд-во Уральского университета, 2009. - С. 141-150.

134. Алфимов М.В., Минин В!Ж, Либкшд ЖИ Страна науки РФФИ. В кн.: Гранты РФФИ: результаты шанализ: - Mi: Янус-К, 200-К - С. 11-57. ;

135. Минин В.А. Мониторинг научных исследований российских- ученых. В? кн.: Российский фонд фундаментальных исследований: десять лет служения российскошнауке. -М:: Научныйшир, 20031-С. 295-314.

136. National? Science Board; Science andi: Engineering; Indicators; 20021 Two volumes. - Arlington; VA: National Science Foundation, 2002.

137. National Science Board, Science and Engineering Indicators — 2004. Two volumes.- Arlington;; VA:iNationaltScience Foundation, 2004.

138. National Science: Board; Science and» Engineering Indicators 2006; Two volumes. - Arlington, VA: National Science Foundation, 2006.

139. Nationals Science Board; Science and Engineering Indicators 2008. Two volumes. - Arlington^ VA: National Science Foundation; 2008.

140. National Science Board; . Science and Engineering Indicators 2010. -Arlington, VA: National Science Foundation (NSB 10-01).

141. Маркусова В.А. Информационные ресурсы для мониторинга российской науки // Вестник РАН.2005. № 7. С. 607-612.

142. Индикаторы науки. Статистический сборник. М.:ТУ-ВШЭ, 2006:

143. Клейнер Г.Б., Голиченко О.Г., Зацман И.М. Основные принципы разработки системы мониторинга фунционирования исследовательских организаций. М.: ЦЭМИ РАН, 2007.

144. US National Science and Technology Council. Assessing Fundamental Science. Washington, DC: Office of Science and Technology Policy, 1996.

145. Collins E. Fundamental Science and Federal Management Reform // D-Lib Magazine, September 1997.

146. Методические рекомендации по подготовке Докладов о результатах и основных направлениях деятельности субъектов бюджетного планирования -http://www.rg.ru/2004/06/22/bydget-doc.html (состояние страницы на 10.07.2011).

147. Computational Science: Ensuring America's Competitiveness. Report to the President. Arlington, VA: National Coordination Office for Information Technology Research and Development, 2005.

148. Стратегия развития науки и инноваций в РФ на период до 2015 года. Утверждена Межведомственной комиссией по научно-инновационной политике, протокол от 15 февраля 2006 г. №1 http://mon.gov.ru/work/nti/dok (состояние страницы на 10.07.2011).

149. The Program Assessment Rating Tool http://georgewbush-whitehouse.archives.gov/omb/expectmore/part.html (состояние на 30.05.2011).

150. Overview of ratings for all federal programs http://georgewbush-whitehouse.archives.gov/omb/expectmore/about.html (состояние на 30.05.2011).

151. Planning for Performance and Evaluating Results of Public R&D Programs: Meeting the OMB PART Challenge (Workshop Report). Washington: The Washington Research Evaluation Network, 2004.

152. Кубрякова Е. С., Демъянков В. 3., Панкрац Ю. Г., Лузина Л. Г. Краткий словарь когнитивных терминов / Под общ. ред. Кубряковой Е. С. М.: Изд-во МГУ, 1996.

153. Hackmann, К, Drenth, P.J.D., Schroots, J.J.F. Evaluating for Science: Processes & Protocols. Amsterdam: ALLEA, 2004.

154. Ware С., Gilman A.T., Bobrow R.J. Visual Thinking with an Interactive Diagram // Proceedings of the Fifth International Conference «Diagrams 2008», LNAI 5223.- Berlin: Springer-Verlag, 2008. Pp. 118-126.

155. Проективный философский словарь. Новые термины и понятия. Предисл. М.Н. Эпштейна. СПб.: Алетейя, 2003. - 512 с.

156. Эпштейн М.Н. Проективный словарь русского языка. Неология времени http://www.emory.edu/ESÎTELNET/epsteintimewords.html (состояние страницы на 10.07.2011).

157. Курс социально-экономической статистики / Под ред. проф. М.Г. Назарова. М.: Финстатинформ, ЮНИТИ-ДАНА, 2000.

158. Зацман И.М., Земляное И.В. Вербально-образное индексирование геоизображений в электронных библиотеках // Системы и средства информатики. Вып. 12. -М.: Наука, 2002. С. 94-111.

159. Zhu В., Ng T.D., Schatz В., Ramsey M., Chen H. Creating a Large-Scale Digital Library for Georeferenced Information // D-Lib Magazine. 1999. Vol. 5. N 7/8.

160. Зацман И.М. Семантическое кодирование и разметка геолого-географических документов в политематических электронных библиотеках // Информационные технологии. 2000. N 11. С. 2-11.

161. Зацман И.М. Вербально-образное представление знаний в электронных библиотеках. Ч. 1 // Научно-техническая информация. 2001. N10. С. 21-30 (Сер. 2. Информационные процессы и системы).

162. Зацман И.М. Вербально-образное представление знаний в электронных библиотеках. Ч. 2 // Научно-техническая информация. 2001. N 12. С. 10-17 (Сер. 2. Информационные процессы и системы).

163. Larkin J.H., Simon H.S. Why a Diagram is (Sometimes) Worth Ten Thousand Words // Cognitive Science. 1987. Vol. 11. N. 1. Pp. 65-100.

164. Загрман ИМ. Логико-семантические модели полнотекстовых научных документов//Научно-техническая информация. 1999. № 5. С. 13-22 (Сер. 2. Информационные процессы и системы).

165. Морской атлас. Л.: Изд-во Морского генерального штаба, 1950.

166. Лунев Б.С., Наумова О.Б. Атлас форм рельефа. В 2 т. Т. 1: Основные рельефообразующие факторы Земли. Пермь: Пермский ун-т, 1998.