Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд
Шрифт:
Интервал:
Закладка:
Психология и философия развелись давно, но, как у всех разведенных пар, у них остались общие проблемы.
Одной из фундаментальных проблем, которой занимался Хебб, было влияние опыта на мозг. Он предложил простую идею: когда один нейрон активирует соседний нейрон, связь между ними укрепляется. Вот его точная формулировка:
Когда аксон клетки А находится достаточно близко, чтобы возбуждать клетку В, и многократно или постоянно участвует в ее активации, происходит некий процесс роста или метаболические изменения в одной или обеих клетках, в результате чего эффективность А как активатора В возрастает.
Позднее эта идея была обобщена в запоминающейся формуле: «Нейроны, активирующиеся вместе, связываются вместе». Суть идеи Хебба: если два нейрона часто активны одновременно или почти одновременно, сила (возбуждающей) связи между ними возрастает. Важное дополнение: если один нейрон часто активен, когда другой молчит, или наоборот, – их взаимные связи ослабевают.
Этот принцип проявляется во многих сферах нашей жизни. Чем больше практикуешься – играешь на музыкальном инструменте, говоришь на новом языке или, как обезьяна в психологическом эксперименте, достаешь еду граблями, – тем лучше получается. По Хеббу, эти изменения происходят потому, что нейронные ансамбли, кодирующие стимул, все теснее связываются с ансамблями, кодирующими реакцию. В полном соответствии с пословицей «Повторенье – мать ученья» эти связи при многократной совместной активации становятся быстрее, прочнее и эффективнее. У привычных реакций на стимулы формируются прочные связи между появлением стимула и запуском привычного действия. Пристегивание ремня при посадке в машину – типичный пример.
В нейронных сетях более быстрая, прочная и эффективная связь между элементами обозначается более высокой силой связи, или весом. Чем больше вес связи, тем сильнее ее влияние.
Интерлюдия. Мозг в руках
Август 2023 г. Сан-Франциско, Калифорния. Эсекьель ведет курс нейробиологии для студентов. Он передает по кругу человеческий мозг, чтобы студенты могли подержать его и рассмотреть. Большинство воспринимают это спокойно, но одна студентка, Прия, выглядит особенно озадаченной и взволнованной.
Эсекьель. Все, чем был этот человек, все, что он знал, его надежды и печали, его стихи и планы, его любовь и утраты – все это сейчас у вас в руках.
Прия. Я правда не понимаю. Этот человек мертв. Мозг мертв. Как он может хранить знания?
Эсекьель. Его знания – в связях между нейронами. Таких связей сотни триллионов. В них его память и знания.
Прия. Теоретически, если активировать нейроны, отвечающие за слово «предложение» и имя его жены, можно пробудить воспоминание о том, где он делал предложение?
Эсекьель. Думаю, да. Хотя мы не знаем, как найти синапсы с конкретными воспоминаниями о жене. Эти синапсы рассеяны по всей коре – внешнему слою мозга.
Прия. А можно как-то оживить весь мозг?
Эсекьель. Есть серьезные ученые, которые считают это возможным. Они называют процедуру перфузией ex vivo. Пока удалось реанимировать лишь несколько нейронов в мозге свиньи.
Прия. Значит, теоретически этот мозг можно реанимировать, и он будет знать все, что знал человек при жизни?
Эсекьель. Полагаю, да, хотя это крайне сложно. Этот человек всю жизнь создавал синаптические связи, с которыми и умер. Они все еще здесь, как высохшее русло реки. Если бы удалось реанимировать нейроны, эти связи воссоздали бы паттерны активации, существовавшие при жизни. Все его знания – в связях.
Вопрос веса
Шлюз между водохранилищами на разных уровнях – удачная метафора для связей между элементами сети. В этой метафоре элемент представлен резервуаром, а его активация – уровнем воды. Такая аналогия помогает понять различия в силе связей. Широкий шлюз позволяет передающему резервуару существенно влиять на уровень воды в принимающем. Точно так же большой вес связи между передающим и принимающим элементами позволяет первому сильно влиять на уровень активации второго. Эта интерпретация соответствует биологическим нейронным сетям, где активация одного нейрона вызывает больший или меньший выброс нейромедиаторов в синапсах, что приводит к более или менее интенсивной активации принимающих нейронов. В главе 9 мы рассмотрим эксперименты, демонстрирующие, как связи между нейронами могут укрепляться под действием активационных сигналов – в полном соответствии с идеями Хебба.
Как и любая метафора, аналогия со шлюзом несовершенна. Например, она плохо подходит для описания тормозных связей, где передающий элемент снижает активацию принимающего. И все же она помогает интуитивно понять принципы работы межэлементных связей. На рисунке 3.8 показаны два элемента – А и В. Элемент А получает умеренный или высокий входной сигнал. Он соединен с элементом В возбуждающей связью с низким или высоким весом. По традиции связи с бóльшим весом изображают более толстыми линиями.
Рисунок 3.8. Высокий вес связи (сила связи) означает, что передающий нейрон может сильнее влиять на принимающий нейрон
Низкий вес означает, что элемент А слабо влияет на элемент В. При малом весе умеренный входной сигнал в элемент А вызывает лишь слабую активацию элемента В, а сильный входной сигнал – умеренную активацию. Напротив, высокий вес означает, что элемент А сильно влияет на элемент В. Возвращаясь к метафоре с резервуарами: передающий резервуар оказывает максимальное воздействие при высоком уровне воды (соответствует высокой входной активации) и широком шлюзе (соответствует большому весу связи).
Подобно тому как мы представляли активацию числами, весá связей тоже можно выразить численно. Тормозные связи имеют отрицательные веса, выраженные отрицательными числами, а возбуждающие – положительные веса, выраженные положительными числами.
С учетом этих обозначений мы можем теперь указывать уровни активации и весá связей (силу связей) в нейронной сети. Вернемся к нашей сети с холодильником, но теперь (см. рисунок 3.9) предположим, что связь между элементом «Жажда» и элементом «Идти к холодильнику» имеет высокий вес (+0,9), а связь между элементом «Голод» и тем же выходным элементом – низкий вес (+0,3). Такая сеть может моделировать ситуацию, когда у человека есть устойчивая привычка идти к холодильнику, чтобы утолить жажду, но гораздо меньшая склонность делать это, если он голоден (возможно, вместо этого он тянется к банке с печеньем!). Как и раньше, элемент «Идти к холодильнику» должен получить активацию не менее 0,5 для генерации выходного сигнала (то есть его порог по-прежнему равен 0,5).
Рисунок 3.9. Связи разного веса определяют степень влияния передающих нейронов
Эта нейронная сеть обладает иными свойствами, чем рассмотренная ранее (см. рисунок 3.7), поскольку ее связи
