Рождение разума: Как интеллект зарождается в людях и нейросетях - Джей Макклелланд

на вопросы, многоязычное понимание, многозадачные рассуждения, семантический анализ, а также задачи, требующие цепочек рассуждений или следования инструкциям, проявляются эмерджентные способности. Производительность переходит от случайного угадывания к компетентному выполнению, как только модели достигают критического масштаба. В ходе эволюции человека наибольшему расширению подверглись именно те области мозга, которые располагаются между системами сенсорного восприятия и моторного управления. Это согласуется с представлением о том, что наше преимущество хотя бы отчасти объясняется простым увеличением масштаба.

Рисунок 8.3. Эмерджентные способности возникают при увеличении масштаба систем ИИ. Пунктирная линия обозначает пороговое значение масштаба, при котором модель переходит от случайных результатов к значительно улучшенной производительности в сложных задачах. Эта закономерность наблюдается в различных типах задач и демонстрирует, как масштабирование открывает новые возможности

Однако между людьми и системами ИИ существуют и глубокие различия. Во-первых, мы не обладаем длинными контекстными окнами, охватывающими в некоторых случаях миллионы слов предшествующего текста. Мы способны с достаточной точностью удерживать в памяти лишь четыре-семь не связанных между собой элементов. Как именно люди столь эффективно используют контекст – загадка наших собственных способностей, которую мы пока не разгадали полностью. Впрочем, как будет показано в главе 11, наш мозг содержит специализированную систему быстрого обучения, которая может играть здесь важную роль.

Другое существенное отличие заключается в том, что LLM обучаются на объеме текста примерно в 100 000 раз большем, чем человек способен обработать за всю жизнь. Люди каким-то образом осваивают язык при гораздо меньшем объеме входных данных. В чем источник этого важного человеческого преимущества? Один из ключевых факторов – наш доступ к информации из множества источников помимо языка: зрение, слух, обоняние, осязание, а также последствия наших действий, которые мы воспринимаем через органы чувств. LLM же опираются исключительно на текстовые данные. Кроме того, человеческое обучение часто целенаправленно – мы выбираем, чему учиться, тогда как эти модели пассивно усваивают последовательности слов из текстов. Наконец, сам механизм обучения нашего мозга может быть принципиально эффективнее, чем у искусственных нейронных сетей, причем природа этой эффективности нам пока неясна.

Нам представляется вполне вероятным, что эмерджентные машины будущего смогут воспроизвести эти человеческие преимущества. Уже сейчас нейронные сети объединяют визуальные и лингвистические каналы обработки информации, извлекая пользу из мультимодальных входных данных. И хотя предсказание следующего слова остается основным механизмом обучения, некоторые команды разработчиков ИИ создают нейросетевые системы, помещенные в виртуальные среды. Такие системы способны учиться достигать целей, которые поставлены их создателями (подробнее о том, как цели влияют на людей и, возможно, машины, мы поговорим в главе 10). Вероятно также, что существующие архитектуры нейросетей будут совершенствоваться и дальше. Изобретение механизма внимания стало неожиданным прорывом, и, вполне возможно, нас ждут новые открытия подобного масштаба. Наконец, алгоритм обучения с исправлением ошибок, используемый современными системами ИИ, при всей своей успешности может уступать в эффективности алгоритмам обучения биологического мозга. К рассмотрению алгоритмов обучения в мозге и машинах мы обратимся в следующей главе.

Итак, LLM уже сегодня перенимают некоторые аспекты человеческого мышления, а в будущем будут копировать его еще лучше. Важно подчеркнуть: мы твердо придерживаемся фундаментального принципа, согласно которому мыслительные процессы и в людях, и в LLM можно понять как физические процессы. На наш взгляд, ни естественный, ни искусственный интеллект не нуждается в капле невыразимой магии или некой духовной субстанции. И те и другие процессы разворачиваются в нейронной сети и являются глубоко эмерджентными во многих смыслах этого слова. Они возникают из взаимодействия нейронов, из опыта, направляющего процесс обучения, и из масштаба задействованных нейронных сетей.

Глава 9

Когда мы учимся, мы изменяем связи

В одном из самых знаменитых экспериментов в истории науки физиолог Иван Павлов исследовал механизмы обучения у собак. Как и любой владелец собаки, он знал: при виде или запахе пищи у животных начинается слюноотделение. Но можно ли вызвать слюноотделение с помощью постороннего сигнала? В своем эксперименте Павлов кормил собак одновременно со звуком метронома. Поначалу этот звук был для собак бессмысленным. Однако после многократного сочетания метронома с кормлением у животных начиналось слюноотделение от одного лишь звука – даже без пищи.

Собаки научились связывать звук метронома с едой. Они приобрели новое знание. Если говорить языком нейронных сетей, такое обучение можно представить как усиление связи между нейронами, кодирующими «еду», и нейронами, кодирующими «метроном», в мозге животных. На рисунке 9.1 показано, как подобная связь может формироваться в локальной нейронной сети.

Рисунок 9.1. Локальная сеть, моделирующая слюноотделение у павловских собак при звуке метронома – даже без пищи. Обучение происходит благодаря формированию новой связи (показана пунктиром) между элементом «Еда» и элементом «Метроном». Связь между элементом «Еда» и элементом «Слюноотделение» является врожденной

Согласно теории нейронных сетей, все наши «знания» заключены в связях между нейронами (глава 3). Часть этих связей существует с рождения и представляет собой врожденное «знание». К примеру, новорожденные «знают», что нужно плакать с разной громкостью, интенсивностью и мимикой в зависимости от того, какой именно дискомфорт они испытывают. Младенец вряд ли осознает это знание – оно заложено в связях между нейронами его развивающегося мозга и служит для передачи информации тем, кто о нем заботится. Другие связи формируются в процессе обучения на опыте. Под обучением мы понимаем изменения в силе связей, которые помогают организму осваивать новые действия или делать новые прогнозы. Мы, подобно павловским собакам, способны связывать между собой предметы и события, которые появляются одновременно (например, человека, который нас кормит, – с самой едой). Мы учимся на обратной связи (осваиваем удар в гольфе без подкрутки мяча). Мы закрепляем поведение, которое приносит максимум пользы при минимуме затрат (избегаем загруженной трассы, где застряли на прошлой неделе).

В этой главе мы рассмотрим, как возникают и изменяются связи в биологических и искусственных нейронных сетях, – иными словами, как эти системы обучаются. Мы заглянем «под капот» обучения с коррекцией ошибок, которое использовали в главах 7 и 8, а также изучим другие механизмы, позволяющие сетям учиться.

Прежде чем углубиться в механизмы формирования и изменения связей, сделаем важное замечание. В повседневной жизни мы часто учимся на уровне мысли. К примеру, если вам скажут, что львица Нала родила львенка Симбу, вы сразу поймете: Симба – львенок, а Нала – его мать. Подобная способность, судя по всему, возникает (и совершенствуется) в LLM. В четвертой части мы обсудим, как происходит такое обучение на уровне мысли у людей и машин.

Врожденные связи: надежные, но негибкие

По ветке, нависающей над мангровым болотом на высоте 2,5 м, ползет небольшое насекомое. Внезапно снизу