Нейроподобный элемент нейрон
1. Нейроподобный элемент (нейрон).
На нейроподобный элемент поступает набор входных сигналов x1, x2, ., xM (или входной вектор X), представляющий собой выходные сигналы других нейроподобных элементов. Каждый входной сигнал умножается на соответствующий вес связи w1, w2, ., wM - аналог эффективности синапса. Вес связи является скалярной величиной, положительной для возбуждающих и отрицательной для тормозящих связей. Взвешенные весами связей входные сигналы поступают на блок суммации, соответствующий телу клетки, где осуществляется их алгебраическая суммация и определяется уровень возбуждения нейроподобного элемента S:
Рис. 1.1.
(1.1)
Выходной сигнал нейрона y определяется путем пропускания уровня возбуждения S через нелинейную функцию f:
(1.2)
где q - некоторое постоянное смещение (аналог порога нейрона). Обычно используются простейшие нелинейные функции: бинарная (рис. 1.2, а)
Рис. 1.2.
(1.3)
или сигмоидная (рис. 1.2, б)
(1.4)
В такой модели нейрона пренебрегают многими известными характеристиками биологического прототипа, которые некоторые исследователи считают критическими. Например, в ней не учитывают нелинейность пространственно-временной суммации, которая особенно проявляется для сигналов, приходящих по возбуждающим и тормозящим синапсам, различного рода временные задержки, эффекты синхронизации и частотной модуляции, рефрактерность и т.п. Несмотря на это нейроподобные сети, построенные на основе таких простых нейроподобных элементов, демонстрируют ассоциативные свойств, напоминающие свойства биологических систем.
2. Нейроподобная сеть.
Нейроподобная сеть представляет собой совокупность нейроподобных элементов, определенным образом соединенных друг с другом и с внешней средой. Входной вектор (координирующий входное воздействие или образ внешней среды) подается на сеть путем активации входных нейроподобных элементов. Множество выходных сигналов нейронов сети y1, y2, .,yN называют вектором выходной активности, или паттерном активности нейронной сети. Веса связей нейронов сети удобно представлять в виде матрицы W, где wij - вес связи между i- и j-м нейронами. В процессе функционирования (эволюции состояния) сети осуществляется преобразование входного вектора в выходной, т.е. некоторая переработка информации, которую можно интерпретировать, например, как функцию гетеро- или автоассоциативной памяти. Конкретный вид выполняемого сетью преобразования информации обусловливается не только характеристиками нейроподобных элементов, но и особенностями ее архитектуры, т.е. той или иной топологией межнейронных связей, выбором определенных подмножеств нейроподобных элементов для ввода и вывода информации или отсутствием конкуренции, направлением и способами управления и синхронизации информационных потоков между нейронами и т.д.
2.1. Модели нейронных сетей.
Рассматриваемые нами модели нейронных сетей объединены в три группы. В п. 2.1.1. рассматриваются сети персептронного типа, для которых характерно отсутствие обратных связей между нейроподобными элементами, организованными в слои. Отличительной особенностью сетей, представленных в п. 2.1.2, являются симметричные (равные по величине и противоположные по направлению) связи между любыми двумя соединенными нейронами. В нейросетевых архитектурах, описанных в п. 2.1.3, между нейронами одного слоя имеются постоянные тормозящие связи (латеральное торможение).
2.1.1. Сети с прямыми связями.
Прямой персептрон. В середине 50-х годов была предложена одна из первых моделей нейронных сетей, которая вызвала большой интерес из-за своей способности обучаться распознаванию простых образов. Эта модель - персептрон - состоит из бинарных нейроподобных элементов и имеет простую топологию, что позволило достаточно полно проанализировать ее работу и создать многочисленные физические реализации. Типичный персептрон состоит из трех основных компонент:
1. матрицы бинарных входов r1, r2, ., rn (сенсорных нейронов или «сетчатки», куда подаются входные образы);
2. набора бинарных нейроподобных элементов x1, x2, ., xm (или предикатов в наиболее общем случае) с фиксированными связями к подмножествам сетчатки («детекторы признаков»);
3. бинарного нейроподобного элемента с модифицируемыми связями к этим предикатам («решающий элемент»).
На самом деле число решающих элементов выбирают равным количеству классов, на которое необходимо разбить предъявляемые персептрону образы.
Таким образом, модель персептрона характеризуется наличием только прямых связей, один из слоев которых является модифицируемым. В постейшем случае, когда n = m и xi = ri, детекторы признаков могут рассматриваться как входной слой. Тогда персептрон становится одним бинарным нейроподобным элементом. Это классическая модель М-входового нейрона, приведенная на рис. 1.1, или простой персептрон Розенблатта. В общем случае каждый элемент xi может рассматриваться как булева функция, зависящая от некоторого подмножества сетчатки. Тогда величина выходных сигналов этих обрабатывающих элементов является значением функции xi, которое равно 0 или 1.
Устройство реагирует на входной вектор генерацией выходного сигнала y решающего элемента по формуле (1.3). Таким образом, персептрон формирует гиперплоскость, которая делит многомерное пространство x1, x2, ., xm на две части и определяет, в какой из них находится входной образ, выполняя таким образом, его классификацию. Возникает вопрос, как определить значения весов, чтобы обеспечить решение персептроном конкретной задачи. Это достигается в процессе обучения.