(1) .
АППАРАТ НЕЛИНЕЙНОЙ ДИНАМИКИ В
РАМКАХ НЕЙРОСЕТЕВОГО - МОДЕЛИРОВАНИЯ В СОЦИАЛЬНО-ЭКОНОМИЧЕСКИХ ЗАДАЧАХ
Буфалов С. А.
Томский государственный университет
Модели
социально-экономических и общественно-политических процессов самоорганизации
должны учитывать наличие антропологического измерения. Этот факт приводит к
значительным трудностям в использовании аппарата точных наук, в частности, нелинейной
динамики (синергетики) в экономике, социологии, политологии и т.д. Скудость
средств качественного анализа в этих областях научного знания сказывается на
адекватности упомянутых выше моделей.
Здесь рассмотрен один из возможных
путей аккумуляции социально-экономическими и политическими науками средств нелинейно-динамического
описания. Он приемлем для любой модели, позволяющей нейросетевое описание! Широкий
перечень таких моделей и задач (вы можете дополнить его сами!) можно
найти в [2, 4].
Что такое нейронная сеть? Что
такое нейросетевое моделирование и как его применять в рамках рассматриваемых
моделей. За обстоятельным ответом на эти вопросы мы отсылаем к соответствующей
литературе [2, 4] и тезисам доклада Буфалова С.А., Бухтяка М.С., Пойзнера Б.Н.
в настоящем сборнике. Здесь эти понятия раскрываются с точки зрения строгой
математики.
Упомянутая схема аккумуляции выглядит
следующим образом:
изложение данной социально-экономической или общественно-политической задачи на языке теории нейронных сетей (здесь единого алгоритма нет, и всё определяется спецификой задачи и индивидуальностью исследователя);
применение нелинейно-динамического аппарата к её переформулированному, т.е. нейросетевому варианту (алгоритм предлагается автором).
Так
как математический аппарат теории нейронных сетей, заимствовавший методы статистической
физики, термодинамики, теории оптимизации и других дисциплин, не приспособлен
для использования в тандеме с нелинейно-динамическими средствами описания, то
на втором этапе аккумуляции традиционно возникают трудности. Для их преодоления
необходим синтез этих двух подходов.
Он видится в разработке обобщённого
описания динамической системы (составляющей основу нелинейно-динамического
аппарата), которое бы включало описание определённого класса нейронных сетей
как частный случай. Т.к. формально и концептуально нейронные сети сводятся
к понятию об обучении [5], то, по сути, остаётся дать нелинейно-динамическое
описание процесса обучения. Принимая во внимание тот факт, что фазовое пространство
(используемое для представления эволюции динамической системы) есть геометрическая
структура [3] - пространство кокасательного расслоения, - мы не должны исключать
возможности использования и геометрических конструкций при описании обучения
//.
Нейронная сеть и нелинейно-динамическое описание обучения
Нейронные сети рассматриваемого нами
класса имеют структуру каскадного соединения нескольких слоев, типичная структура
которых такова [2]: 1) уровень входных нейронов; 2) уровень умножения на матрицу
синаптических весов, в элементах которой записывается вся запоминаемая сетью
информация; 3) уровень нелинейного преобразования и 4) уровень выходных нейронов.
Такая структура является характерной
только для нейронных сетей и выделяет их в особый класс систем перерабатывающих
информацию. Будем говорить, что всякая система, которую можно определить в рамках
нейросетевой структуры, является обучаемой. Т.о. перенесение понятия "обучение"
на сцену нелинейной динамики состоит в нахождении такого обобщённого описания
динамической системы, которое бы позволило сопоставить ей некоторую нейросетевую
структуру. Контекст, сопутствующий этому обобщению, и определит нелинейно-динамическое
и геометрическое содержание термина "обучение", а вместе с ним и понятия нейронной
сети.
III. Динамические системы на многообразиях
Пусть дано п- мерное многообразие
М (по сути, некоторая непрерывная совокупность точек q),
тогда гладкое 2n-мерное многообразие L(M), составленное
из точек (q,v), где q О
M и v- вектор касательный к многообразию М
в точке q, называется пространством касательного расслоения
(Tangent Foliation space) [3]. Нетрудно ввести пространство кокасательного
расслоения (Cotangent Foliation space), рассматривая вместо v
ковектор р.
С достаточной степенью общности поведение
динамической системы можно описать с помощью лагранжиана и уравнении Эйлера-Лагранжа,
определяющих эволюцию состояния системы в TF-пространстве. В случае сильно невырожденного
Лагранжиана [3] существует эквивалентное описание на языке гамильтониана и уравнений
Гамильтона, которые определяют изменение состояния динамической системы в CF-пространстве.
В частности, фазовое пространство - CF-пространство с антисимметричной метрикой
[3|.
Метрика - математический объект [З],
позволяющий ввести на многообразии понятие расстояния между двумя точками и
скалярного произведения векторов. Обычно, математически она задаётся в виде
матрицы (т.е. тензора второго ранга, называемого метрическим тензором).
Пусть динамическая система описывается
в TF-пространстве обобщёнными координатами qi и скоростями vi,
i = 1,…, n, изменяющимися во времени согласно следующим уравнениям:
|
|
(1) .
|
Упомянутое
в пункте II обобщение вводится путём предположения непостоянства метрики TF-пространства.
Пусть 
и 
, i,
j = 1,…, n,- новые обобщённые координаты и импульсы в TF-пространстве. Тогда:
 |
(2)
|
где 
и
, i,
j = 1,…, n, - матрицы Якоби преобразования.
По повторяющимся дважды индексам
здесь и далее подразумевается суммирование.
В связи с уравнениями (2) определим
евклидову метрику в TF-пространстве, отнесённом к 2n координатам 
, i = 1,…, n. Введём ковариантный метрический тензор 
.
В общем случае, когда Jq и Jv не являются ортогональными
операторами, пространство не будет евклидовым. Однако его всегда можно сделать
таковым, соответствующим выбором координат. Заметим, что фазовое пространство
существенно неевклидово: в нём нельзя найти системы координат с евклидовой метрикой
(по определению).
Конечно-разностная форма уравнений
(2) с временным квантом т приводит к итеративному процессу, на п-ом
шаге которого
  |
(3)
|
Этот
процесс можно представить в виде двухслойной нейронной сети с входными векторами
q и v, линейными преобразованиями Jq и Jv, и нелинейными
преобразованиями V(q,v,t) и Q(q,v,t) на первом и
втором слоях соответственно. Т.о. всякой динамической системе (2),
состояния которой эволюционируют в TF-пространстве с переменной метрикой G,
в соответствие можно поставить вполне конкретную нейросетевую архитектуру {частично
определяемую уравнениями (3)}, приписав тем. самым способность к обучению.
Интересен особый случай, когда Jq
и Jv - ортогональные операторы (чьи элементы не обязательно константные
функции от q, v и t). При этом евклидова
метрика TF-пространства остаётся неизменной в то время, как обучение всё ещё
возможно. Стоит заметить, что физически может реализоваться именно этот специальный
случай, т.к. уравнения фазового потока (1) инвариантны относительно группы
ортогональных преобразований.
IV. Динамика метрики TF-пространства - обучение сети
В результате обобщённого описания, в котором
изменению метрики TF-пространства сопоставляется процесс обучения, динамическая
система приобретает дополнительные эволюционные степени свободы, заложенные
в метрических характеристиках пространства её состояний. Пусть 2n2
уравнений
 |
(4)
|
определяют алгоритм
обучения нейронной сети или, что то же самое, динамику элементов матриц
Jq и Jv , характеризующих метрические свойства TF-пространства.
Здесь элементы векторов 
определяются
через интегралы, содержащие в подынтегральном выражении соответственно Jq
и Jv [см. (2)].
Систему интегро-дифференциальных уравнений
(4) относительно 
можно упростить, если сеть близка к завершению обучения. В результате получим
систему обыкновенных дифференциальных уравнений
 |
(5)
|
описывающую динамику
синаптических весов 
, i, j = 1,…,n, в форме уравнений движения 2n2 связанных осцилляторов.
V. Информационное TF-пространство
Уравнения (4) можно интерпретировать как
описание некой динамической системы эволюционирующей в евклидовом TF-пространствс
размерности 2n2, которое можно назвать информационным. Его обобщёнными
координатами и импульсами являются элементы соответственно матриц Jq
и Jv, определяющих метрику TF-пространства исходной динамической
системы (1).
Согласно уравнениям (5) вблизи стационарной
точки 
движение в информационном фазовом пространстве можно описать следующим образом:
 |
где
- векторизованное
представление соответствующих операторов 
,
- двухиндексное
один раз ко- и контравариантное представление (операторное представление) тензоров
четвёртого ранга 
, i, j, k, s = 1,…,n, соответственно.
Рассмотрим более компактную запись этого
матричного уравнения:
 |
(6)
|
В случае, если уравнения фазового потока (1), а, следовательно, и Т,
не зависят явно от времени, фиксировав начальные условия 
и 
, можно
записать решение уравнения (6)в виде[1]:
Это уравнение можно переписать в более наглядной форме:
Уравнение (7) описывает осцилляторную динамику элементов матриц синаптических весов нейронной сети [определяемой уравнениями (3) и (4)] или, что то же самое, метрического тензора G пространства состояний динамической системы (2). Уравнение (7) хорошо соотносится с тем фактом, что активность коры головного мозга носит незатухающий колебательный характер ( a, b, g-ритмы) [6].
VI. Заключение
В рамках нелинейно-динамических определений
и геометрических интерпретаций процесс обучения предстаёт как изменение метрических
свойств TF-пространства динамической системы! Показано, что всякую нейронную
сеть (алгоритм обучения которой задаётся дифференциальными уравнениями) определённой
архитектуры можно представить в виде динамической системы, эволюционирующей
в TF-пространстве с переменной метрикой. Вблизи стационарной точки динамика
величин (синаптических весов нейронной сети), определяющих метрику, описывается
системой дифференциальных уравнений для 2n2 связанных осцилляторов.
Взаимное проникновение нейросетевых и нелинейно-динамических
концепций описания происходит в результате отказа от евклидовости ТF-пространства
и рассмотрения такой его характеристики, как метрика.
Предложенный здесь путь опосредованной
аккумуляции гуманитарными науками нелинейно-динамического аппарата не единственен.
Более того он имеет определённые ограничения, связанные с возможностью представления
социально-экономической задачи на языке нейронных сетей. Однако, если удастся
это сделать, то в руках исследователя окажутся все существующие понятия и
методы нелинейной динамики, теории нейронных сетей и дифференциальной геометрии.
Более того уровень описательной способности социально-экономических моделей
существенно возрастёт за счёт введения дополнительных степеней свободы, обусловленных
нейросетевыми и геометрическими структурами.
Литература