Вариации алгоритма.
Возможно множество вариаций.
Существуют разные способы определения топологии. В частности, возбуждение связей между нейронами можно задавать случайным образом, а можно с помощью эволюционного алгоритма.
Существуют разные способы определения исходных значений синаптического потенциала.
Входные сигналы на нейроны уровня i не обязательно являются выходными сигналами от нейронов уровня i-1. Входные сигналы на нейроны любого уровня могут приходить от нейронов любого уровня.
Существуют разные пути определения конечного выходного сигнала.
Описанный выше метод приводит к возбуждению по принципу «все или ничего» (1 или 0) — это так называемая нелинейная функция. Но могут использоваться и другие нелинейные функции. Обычно применяют функцию, изменяющуюся в пределах от 0 до 1 достаточно быстро, но все же ступенчато. Кроме того, выходным сигналам могут присваиваться другие значения, отличные от 0 и 1.
Выбор метода подгонки величины синаптического потенциала в процессе наладки программы — очень важный момент. Описанная выше схема относится к «синхронным» сетям нейронов, в которых каждое испытание происходит путем вычислений выходов на каждом уровне нейронов, начиная от уровня 0 и заканчивая уровнем M. В истинно параллельных системах, где каждый нейрон действует независимо от остальных, нейроны могут функционировать «асинхронно». При асинхронном подходе каждый нейрон постоянно сканирует свои входные сигналы и возбуждается в том случае, если сумма взвешенных входных сигналов превышает определенное пороговое значение (или при определенной специфике его выходного сигнала).
В русском переводе: Минский М., Пейперт С. Персептроны. М.: Мир, 1971.
Ниже представлена схема генетического (эволюционного) алгоритма. Существует множество вариаций этого алгоритма, и создателям системы необходимо подобрать некоторые критические параметры и методы (см. ниже).
Генетический алгоритм.
Создать N «существ» (решений). Каждое из них характеризуется генетическим кодом — последовательностью чисел, характеризующих возможное решение проблемы. Эти числа могут описывать критические параметры, стадии решения, правила и др.
Процедуру осуществляют для каждого поколения в ходе эволюции.
Процедуру осуществляют для каждого из N существ (решений).
Используют данное решение (представленное генетическим кодом существа) для решения проблемы или симуляции. Оценивают решение.
Выбирают L существ с максимальным рейтингом выживания в будущем поколении.
Отбрасывают (N-L) оставшихся не способных выжить существ.
Создают (N-L) новых существ из L выживших существ следующим образом:
1) делают копии L выживших существ. В каждую копию вводят небольшие случайные вариации; или
2) создают дополнительных существ путем комбинаций генетического кода («половое» воспроизведение или комбинация отдельных частей хромосом) L выживших существ; или
3) выполняют комбинацию методов 1 и 2.
Принимают решение о необходимости дальнейшей эволюции.
Улучшение = (высший рейтинг в данном поколении) — (высший рейтинг в предыдущем поколении).
Если Улучшение < Предел улучшения, значит, процедура закончена.
Существо с наивысшим рейтингом из последнего поколения является наилучшим решением.
Используют это решение, определяемое его генетическим кодом, для решения проблемы.
Ключевые решения.
При реализации приведенной выше простой схемы создатель программы должен сначала установить следующие показатели.
Ключевые параметры:
N
L
Предел улучшения.
Чему соответствуют числа генетического кода, и как на основе генетического кода рассчитывается решение.
Метод выбора N существ в первом поколении. Обычно это лишь некая «разумная» попытка найти решение. Если разброс решений первого поколения слишком велик, эволюционный алгоритм может не найти хорошего решения. Часто имеет смысл выбрать исходные существа таким образом, чтобы они отличались разумным разнообразием. Это позволит избежать обнаружения оптимального решения «локального» значения.
Способ оценки решений.
Способ воспроизводства выживших существ.
Вариации.
Возможно множество вариаций предыдущего сценария. Например…
В каждом поколении не обязательно должно оставаться фиксированное количество выживших существ (L). Правила выживания могут позволять выживать разному количеству существ.
В каждом поколении не обязательно должно появляться фиксированное количество новых существ (N-L). Правила воспроизводства могут быть независимыми от размера популяции. Воспроизводство может коррелировать с выживанием, в результате чего наиболее успешные существа лучше воспроизводятся.
Решение о продолжении эволюции может приниматься по-разному. Оно может учитывать не только лучших существ из последних поколений, но и другую информацию. Решение также может учитывать тенденцию, простирающуюся за пределы двух последних поколений.
Книга вышла в русском переводе: Хокинс Д., Блейксли С. Об интеллекте: М.: Вильямс, 2007.
Диссертационная работа Дайлипа Джорджа: Dileep George, How the brain might work: a hierarchical and temporal model for learning and recognition, 2008.
Игра слов: слово harangue («разглагольствование») созвучно слову meringue («безе») (англ.).
Сюжет англосаксонской эпической поэмы VII века о тролле-людоеде Гренделе и герое Беовульфе.
В английском языке «гестация» — не только беременность, но и созревание в более общем смысле слова, например созревание идеи.
Уильям Вордсворт (1770–1850), стихотворение «Жаворонку»: Так и мудрец парит, вдаль не стремясь / И в небе с домом сохраняя связь! (перевод М. Зенкевича).
Turing, A. M. Computing Machinery and intelligence. Mind. 1950, vol. 59(236): 433–460.
Хью Лебнер учредил ежегодно вручаемую «Премию Лебнера». По замыслу Лебнера, серебряную медаль получает создатель компьютера, способного пройти стандартный (текстовый) тест Тьюринга. Золотой медалью награждают создателей машины, способной пройти вариант теста, подразумевающий аудио- и видеоварианты вопросов и ответов. На мой взгляд, пройти аудио- и видеоверсию теста не сложнее, чем стандартную версию.
Умный помощник, который обучается и организует, SRI International, http://www.ai.sri.com/project/CALО.
DARPA (Defense Advanced Research Projects Agency) — агентство Министерства обороны США, отвечающее за разработку новых технологий для использования в вооруженных силах.
Dragon Go! Nuance Communications, Inc., http://www.nuance.com/products/dragon-go-in-action/index.htm.
Компьютерная программа обучения языкам; название происходит от Розеттского камня с выбитыми на трех языках текстами; сопоставление текстов положило начало расшифровке древнеегипетских иероглифов.
Шесть официальных языков ООН: английский, арабский, испанский, китайский, русский и французский.
«Повесть о двух городах» (A Tale of Two Cities) — исторический роман Ч. Диккенса о временах Французской революции.
Блог Стивена Вольфрама, 17 апреля 2012. «Overcoming Artificial Stupidity»: http://blog.wolframalpha.com/author/stephenwolfram/.
Сэр Тимоти Джон Бернерс-Ли (род. в 1955) — английский ученый, один из изобретателей Всемирной паутины и действующий глава Консорциума Всемирной паутины; автор множества других разработок в области информационных технологий.
Диана Аккерман (род. в 1948) — американский поэт, писатель и натуралист.
Джон Морган Оллмен — американский нейрофизиолог, специалист в области эволюционной нейробиологии.
Дэвид Бейнбридж (род. в 1968) — английский писатель-публицист, специалист в области репродуктивной биологии и анатомии животных.
ENIAC (Electronic Numerical Integrator and Computer; электронный числовой интегратор и вычислитель) — первый электронный цифровой компьютер общего назначения, созданный в США в годы Второй мировой войны.
«Принципы математики» (или «Начала математики») — трехтомный труд по логике и философии математики, выпущенный Расселом и Уайтхедом в 1910, 1912 и 1913 гг.
