ФЭНДОМ


Первое систематическое изучение искусственных нейронных сетей было предпринято Маккалокком и Питтсом в 1943 г. Позднее в работе они исследовали сетевые парадигмы для распознавания изображений, подвергаемых сдвигам и поворотам. Простая нейронная модель использовалась в большей части их работы. Элемент S умножает каждый вход х на вес w и суммирует взвешенные входы. Если эта сумма больше заданного порогового значения, выход равен единице, в противном случае - нулю. Эти системы (и множество им подобных) получили название персептронов. Одной из первых искусственных сетей, способных к перцепции (восприятию) и формированию реакции на воспринятый стимул, явился PERCEPTRON Розенблатта (F.Rosenblatt, 1957). Персептрон рассматривался его автором не как конкретное техническое вычислительное устройство, а как модель работы мозга. Нужно заметить, что после нескольких десятилетий исследований современные работы по искусственным нейронным сетям редко преследуют такую цель.

ОБУЧЕНИЕ ПЕРСЕПТРОНА: Персептрон обучают, подавая множество образов по одному на его вход, и подстраивая веса до тех пор, пока для всех образов не будет достигнут требуемый выход. Допустим, что входные образы нанесены на демонстрационные карты. Каждая карта разбита на квадраты и от каждого квадрата на персептрон подается вход. Если в квадрате имеется линия, то от него подается единица, в противном случае - ноль. Множество квадратов на карте задает, таким образом, множество нулей и единиц, которое и подается на входы персептрона. Цель состоит в том, чтобы научить персептрон включать индикатор при подаче на него множества входов, задающих нечетное число, и не включать в случае четного. В аком случае, допустим, что демонстрационная карта с цифрой 3 подана на вход и выход показывает нечетность. Так как это правильный ответ, то веса не изменяются. Если, однако, на вход подается карта с номером 4 и выход снова как на нечетный, то веса, присоединенные к единичным входам, должны быть уменьшены, так как они стремятся дать неверный результат. Аналогично, если карта с номером 3 дает нулевой выход, то веса, присоединенные к единичным входам, должны быть увеличены, чтобы скорректировать ошибку. За конечное число шагов сеть научится разделять карты на четные и нечетные, при условии, что множество цифр линейно разделимо. Это значит, что для всех нечетных карт выход будет больше порога, а для всех четных - меньше. Отметим, что это обучение глобально, т. е. сеть обучается на всем множестве карт.

ДЕЛЬТА-ПРАВИЛО Важное обобщение алгоритма обучения персептрона, называемое дельта-правилом, переносит этот метод на непрерывные входы и выходы. Чтобы понять, как оно было получено, шаг 2 алгоритма обучения персептрона может быть сформулирован в обобщенной форме с помощью введения величины delta, которая равна разности между требуемым или целевым выходом T и реальным выходом Y $ delta = (T - Y) $.

Случай, когда delta = 0, соответствует шагу 2a, когда выход правилен и в сети ничего не изменяется. Шаг 2b соответствует случаю delta > 0, а шаг 2c случаю delta < 0. В любом из этих случаев персептронный алгоритм обучения сохраняется, если delta умножается на величину каждого входа хi и это произведение добавляется к соответствующему весу. С целью обобщения вводится коэффициент "скорости обучения" n), который умножается на deltaхi, что позволяет управлять средней величиной изменения весов. В алгебраической форме записи

$ Di = n*deltaxi $,

$ w(n+1) = w(n) + Di $,

где Di - коррекция, связанная с i-м входом хi; wi(n+1) - значение веса i после коррекции; wi(n) -значение веса i до коррекции. Дельта-правило модифицирует веса в соответствии с требуемым и действительным значениями выхода каждой полярности как для непрерывных, так и для бинарных входов и выходов. Эти свойства открыли множество новых приложений.

Материалы сообщества доступны в соответствии с условиями лицензии CC-BY-SA , если не указано иное.