Рисунок 7. Скачкообразное и сигмоидное изменение состояния формального нейрона.
Описанный формальный нейрон — это некая абстрактная конструкция, наделенная перечисленными свойствами, дающая возможность строить нейронные сети, применимые в определенных ситуациях. Еще раз подчеркнем, что такой формальный нейрон очень далек от реального нейрона головного мозга. Можно придумать другие формальные нейроны, обладающие более сложными свойствами,— например способные работать в разных режимах, каждому из которых свойственен свой алгоритм поведения. Более того, можно описать нейрон, одновременно работающий в нескольких режимах, и задать сложное информационное использование его связей. Такие более сложные формальные нейроны могут оказаться удобнее для решения специфических задач или служить иллюстрацией того, как работают реальные нейроны головного мозга.
А теперь посмотрим, как может выглядеть нейронная сеть, решающая задачу распознавания цифр от 0 до 9.
Предположим, что мы пишем цифры «от руки» на матрице 16х16 точек. Входом нашей нейронной сети будет информация о состоянии 256 точек, образующих нашу матрицу. Выходом нейронной сети будет информация о том, какая цифра от 0 до 9 распознана.
Рисунок 8. Нейронная сеть, распознающая цифры. Показана только часть нейронов и их связей.
Запасемся обучающими примерами, то есть напишем одни и те же цифры разными способами (Рисунок 9).
Рисунок 9. Обучающие примеры.
Будем подавать множество таких примеров на вход нейронной сети и путем «шаманских» манипуляций менять веса у связей нейронов, добиваясь наилучшего соответствия сигналов на выходе с поданным тестовым примером.
Существуют разные алгоритмы обучения нейронной сети. Выбор алгоритма зависит от топологии используемой сети, особенности задачи, времени, которое создатель нейронной сети готов потратить на ее обучение. Один из основных методов — это метод обратного распространения ошибки.
Основная идея обратного распространения состоит в том, как получить оценку ошибки для нейронов скрытых слоев. Заметим, что известные ошибки, делаемые нейронами выходного слоя, возникают вследствие неизвестных пока ошибок нейронов скрытых слоев. Чем больше значение синаптической связи между нейроном скрытого слоя и выходным нейроном, тем сильнее ошибка первого влияет на ошибку второго. Следовательно, оценку ошибки элементов скрытых слоев можно получить как взвешенную сумму ошибок последующих слоев. При обучении информация распространяется от низших слоев иерархии к высшим, а оценки ошибок, делаемые сетью,— в обратном направлении, что и отражено в названии метода (Терехов, 1999).
При оценке ошибки на каждом шаге можно записать зависимость ошибки и весовых коэффициентов конкретного нейрона. Минимизация ошибки — это нахождение минимума полученной функции, что делается дифференцированием полученной функции и поиском весовых коэффициентов, обращающих производную в ноль. Отсюда, кстати, становится понятным, почему в моделях, использующих этот метод, для описания работы нейрона применяется сигмоидная функция: в отличие от скачкообразной функции, она дифференцируема.
После обучения такая нейронная сеть начинает достаточно корректно распознавать не только тестовые примеры, но и другие, которых не было во время обучения.
Обобщим.
Нейронные сети — это структуры, позволяющие перерабатывать информацию. То, как работает сеть, определяется конфигурацией связей, установленных между нейронами. В этой конфигурации содержится «память» об информации, полученной во время обучения. В обобщенном понимании нейронная сеть является самостоятельным объектом, не сводимым к другим, более простым, но обладающим теми же свойствами моделям.
Отвлечемся теперь от нейронных сетей и поговорим о том, что является фундаментом современной науки,— об эволюционном учении Ч. Дарвина. Теория естественного отбора знакома, конечно, всем. Но, поскольку существенная часть дальнейшего изложения в этой книге далее будет опираться именно на нее, считаю необходимым напомнить ее основные положения.
Идею о том, что в живой природе действует механизм, подобный осуществляемому человеком искусственному отбору, впервые высказали английские ученые Чарльз Дарвин и Альфред Уоллес. Смысл их идеи состоит в том, что для создания удачных существ природе вовсе не обязательно понимать и анализировать ситуацию, а можно действовать наугад. Достаточно постоянно создавать у особей широкий спектр разнообразных качеств — и в конечном счете выживут наиболее приспособленные.
Итак, три этапа:
1. Сначала появляется особь с новыми, при этом совершенно случайными свойствами.
2. Взаимодействуя с внешней средой и конкурируя с другими, особь либо дает потомство, либо погибает раньше.
3. Наконец, если исход предыдущего этапа оказывается положительным и она оставляет потомство, ее потомки наследуют новоприобретенные свойства и испытание естественным отбором продолжается.
Эти этапы иллюстрируют три столпа эволюционного учения: наследственность, изменчивость и естественный отбор.
Информация о том, каков будет организм и какими свойствами он будет обладать, полностью содержится в хромосомном наборе. Каждая хромосома, в свою очередь, состоит из последовательности генов. Гены своим типом и местоположением в хромосоме кодируют какое-либо свойство организма.
Рисунок 10. X и Y хромосомы человека под электронным микроскопом.
При бесполом размножении происходит копирование генов родителя, и потомок получает все те же свойства, что и его предок. Однако под воздействием внешней среды (естественного радиационного фона, химических веществ, вирусов и др.) происходят мутации, то есть изменения в генном наборе.
В современной литературе принята классификация мутаций, основанная на характере изменения структуры отдельных генов, хромосом и генома в целом:
— генные или точковые (изменения молекулярной структуры генов, возникающие в результате замен, вставок или выпадения простейших элементов ДНК);
— хромосомные (структурные изменения хромосом, возникающие вследствие перемещения или выпадения значительных по протяженности частей хромосом);
— геномные (изменения числа хромосом).
Изменение генов приводит к появлению новых, порой совершенно неожиданных свойств. Если эти свойства оказываются положительными, то существо выживает, а его потомки это свойство наследуют. Если мутация оказывается вредной, то существо умирает. Среда обитания создает пищевые ограничения, а у многих существ есть враги, для которых они сами являются пищей. Естественно, в таких условиях конкуренции выживает тот, кто более приспособлен.
Эволюция живых существ может идти быстрее, если кроме мутаций будет происходить обмен генов между разными особями. Так, среди растений существует перекрестное опыление, и потомство, соответственно, получает наследственные свойства от двух родителей — частично от одного, частично от другого. Благодаря появлению организма с новым, возможно более благоприятным, набором свойств достигается дополнительная изменчивость. В случае полового размножения животных появляется дополнительный критерий отбора: самка и самец по неким улавливаемым ими признакам подбирают партнера с наиболее ценным «наследственным материалом».
Повторим еще раз:
Мутации позволяют получить гены, которые несут новые, ранее отсутствовавшие признаки. Вследствие скрещивания возникают разнообразные сочетания этих признаков. Половое размножение ускоряет действие естественного отбора.
Забавный факт: у живых существ, которые размножаются через внутреннее оплодотворение, в том числе и у человека, у особей мужского пола яички — этот жизненно важный орган — находятся снаружи и защищены слабо. Скорее всего, причина в том, что только при наружном расположении и достаточно тонком кожном покрове естественный радиационный фон в состоянии вызывать мутации в генетическом материале. Из тех же соображений развитие плода происходит достаточно глубоко в утробе, что значительно снижает воздействие естественного радиационного фона на развитие зародыша. Кстати, здесь часто путают причину и следствие. Встречается утверждение, что опускание яичек из брюшной полости, происходящее к моменту рождения, необходимо для нормального созревания сперматозоидов, которое требует температурного режима на несколько десятых долей градуса ниже, чем температура в брюшной полости. Берусь утверждать, что в действительности — наоборот: сперматозоиды приспособились к более низкой температуре именно вследствие необходимости наружного расположения яичек и, соответственно, более прохладного режима.
