2. "Обучение с чистого листа" в мозгу

2.1 Краткое содержание / Оглавление

В предыдущем посте я представил задачу «безопасности подобного-мозгу СИИ». Следующие 6 постов (№2-№7) будут в основном про нейробиологию, в них я буду выстраивать более детальное понимание того, как может выглядеть подобный-мозгу СИИ (или, по крайней мере, его относящиеся к безопасности аспекты).

Этот пост сосредоточен на концепции, которую я называю «обучением с чистого листа», я выдвину гипотезу разделения, в котором 96% человеческого мозга (включая неокортекс) «обучается с чистого листа», а остальные 4% (включая ствол головного мозга) – нет. Эта гипотеза – центральная часть моего представления о том, как работает мозг, так что она требуется для дальнейших рассуждений в этой цепочке.

• В Разделе 2.2 я определю концепцию «обучения с чистого листа». Например, заявляя, что неокортекс «обучается с чистого листа», я имею в виду, что он изначально совершенно бесполезен для организма – выводит улучшающие приспособленность сигналы не чаще, чем случайно – пока не начинает обучаться (во время жизни индивида). Вот пара повседневных примеров штук, которые «обучаются с чистого листа»:
• В большинстве статей по глубинному обучению модель «учится с чистого листа» – она инициализирована случайными весами, так что поначалу её вывод – случайный мусор. Но по ходу обучения её веса обновляются и вывод модели со временем становится весьма полезным.
• Пустой жёсткий диск тоже «учится с чистого листа» – нельзя вытащить оттуда полезную информацию, пока её туда не запихнули.
• В Разделе 2.3 я проясню некоторые частые поводы к замешательству:
• «Обучение с чистого листа» – не то же самое, что «с нуля», потому что существуют встроенные алгоритм обучения, нейронная архитектура, гиперпараметры и т.д.
• «Обучение с чистого листа» – не то же самое, что «воспитание превыше природы», потому что (1) только некоторые части мозга обучаются с чистого листа, а другие – нет, и (2) алгоритмы обучения вовсе не обязательно обучаются внешнему окружению – они так же могут обучаться, например, как контролировать собственное тело.
• «Обучение с чистого листа» – не то же самое (и конкретнее), чем «пластичность мозга», потому что последняя также включает (например) жёстко генетически заданную цепь с всего одним конкретным подстраиваемым параметром, полу-перманентно изменяющимся в некоторых условиях.
• В Разделе 2.4 я опишу свою гипотезу о том, что две большие части мозга существуют исключительно для того, чтобы исполнять алгоритмы обучения с чистого листа – конкретно, конечный мозг (неокортекс, гиппокампус, миндалевидное тело, большая часть базальных ганглиев) и мозжечок. Вместе они составляют 96% от объёма человеческого мозга.
• В Разделе 2.5 я коснусь четырёх источников свидетельств, относящихся к моей гипотезе о том, что конечный мозг и мозжечок обучаются с нуля: (1) размышления о том, как мозг работает на высоком уровне, (2) неонатальные данные, (3) связь с гипотезой «однородности коры» и относящимися к ней проблемами, и (4) возможность, что некоторое свойство предварительной обработки в мозгу – так называемое «разделение паттернов» – включает рандомизацию, заставляющую последующие алгоритмы обучаться с чистого листа.
• В Разделе 2.6 я немного поговорю о том, является ли моя гипотеза мэйнстримной или выделяющейся. (Ответ: я не уверен.)
• В Разделе 2.7 я выдам намёки на то, почему обучение с чистого листа важно для безопасности СИИ – мы попадаем в ситуацию, где то, что мы хотим, чтобы пытался сделать СИИ (например, вылечить болезнь Альцгеймера) – концепт, погребённый в большой и сложной-для-интерпретации структуре данных. Поэтому написание относящегося к мотивации кода весьма не прямолинейно. Подробнее об этом будет в будущих постах.
• Раздел 2.8 будет первой из трёх частей моего обсуждения «сроков до подобного-мозгу СИИ», сосредоточенной на том, сколько времени займёт у учёных реверс-инжиниринг ключевых управляющих принципов обучающейся с чистого листа части мозга. (Остальное обсуждение сроков будет в следующем посте.)

2.2 Что такое «обучение с чистого листа»?

Как указано в введении выше, я предлагаю гипотезу, утверждающую, что большие части мозга – конечный мозг и мозжечок (см. Раздел 2.4 ниже) – «обучаются с чистого листа», в том смысле, что изначально они выдают не вкладывающиеся в эволюционно-адаптивное поведение случайные мусорные сигналы, но со временем становятся всё более полезными благодаря работающему во время жизни алгоритму обучения.

Вот два способа думать о гипотезе обучения с чистого листа:

• Как вам следует думать об обучении с чистого листа (если вы из машинного обучения): Представьте глубокую нейросеть, инициализированную случайными весами. Её нейронная архитектура может быть простой или невероятно сложной, это не важно. У неё точно есть склонности, из-за которых выучить одни виды паттернов для нее легче чем другие. Но их в любом случае надо выучить! Если её веса изначально случайны, то она изначально бесполезна и становится более полезной по мере получения обучающих данных. Идея в том, что эти части мозга (неокортекс и т.д.) схожим образом «инициализированы случайными весами» или обладают каким-то эквивалентным свойством.
• Как вам следует думать об обучении с чистого листа (если вы из нейробиологии): Представьте о связанной с памятью системе, вроде гиппокампуса. Способность формировать воспоминания – очень полезная для организма! …Но она не помогает от рождения!![1] Вам нужно накопить воспоминания перед тем, как их использовать! Моё предположение – что всё в конечном мозге и мозжечке попадает в ту же категорию – это всё разновидности модулей памяти. Они могут быть очень особыми разновидностями модулей памяти! Неокортекс, например, может обучиться и запомнить суперсложную сеть взаимосвязанных паттернов, к нему прилагаются мощные возможности составления запросов, он даже может делать запросы самому себе рекуррентными петлями, и т.д. Но всё равно, это форма памяти, и она изначально бесполезна, и становится всё более полезной для организма, накапливая выученное содержание.

2.3 Три вещи, которыми «обучение с чистого листа» НЕ ЯВЛЯЕТСЯ

2.3.1 Обучение с чистого листа – это НЕ «с нуля»

Я уже упомянул это, но я хочу быть максимально ясным: если неокортекс (к примеру) обучается с чистого листа, это не означает, что в нём нет жёстко генетически закодированного информационного содержания. Это означает, что жёстко генетически закодированное информационное содержание скорее всего что-то в этом духе:

• Обучающий(е) алгоритм(ы) – т.е. встроенные правила полу-перманентных изменений нейронов или их связей в зависимости от ситуации.
• Алгоритм(ы) вывода – т.е. встроенные правила того, какие выходные сигналы следует послать прямо сейчас, чтобы помочь выжить и преуспеть. Сами выходные сигналы, конечно, также зависят от ранее выученной информации.
• Архитектура нейронной сети – т.е. встроенная высокоуровневая диаграмма связей, определяющая, как разные части обучающегося модуля соединены друг с другом, входными и выходными сигналами.
• Гиперпараметры – т.е. разные части архитектуры могут иметь разные встроенные скорости обучения. Эти гиперпараметры тоже могут меняться при развитии (см. сенситивные периоды). Также может быть и встроенная способность изменять гиперпараметры от момента к моменту в ответ на специальные управляющие сигналы (в виде нейромодуляторов вроде ацетилхолина).

При наличии всех этих встроенных составляющих алгоритм обучения с чистого листа готов принимать снаружи входные данные и управляющие сигналы[2], и постепенно обучается делать что-то полезное.

Эта встроенная информация не обязательно проста. Может быть 50000 совершенно разных алгоритмов обучения в 50000 разных частях неокортекса, и это всё ещё будет с моей точки зрения считаться обучением с чистого листа! (Впрочем, я не думаю, что это так – см. Раздел 2.5.3 про «однородность».)

Представляя себе обучающийся с чистого листа алгоритм, *не* следует представлять пустоту, наполняемую данными. Стоит представлять *механизм*, который постоянно (1) записывает информацию в хранилище памяти, и (2) выполняет запросы к текущему содержанию хранилища памяти. «С чистого листа» просто означает, что хранилище памяти изначально пусто. Таких механизмов *много*, они следуют разным процедурам того, что записывать и как запрашивать. К примеру «справочная таблица» соответствует простому механизму, который просто записывает то, что видит. Другим механизмам соответствуют алгоритмы обучения с учителем, алгоритмы обучения с подкреплением, автокодировщики, и т.д., и т.п.

2.3.2 Обучение с чистого листа НЕ означает «воспитание превыше природы»

Есть тенденция ассоциировать «алгоритмы обучения с чистого листа» с стороной «воспитания» споров «природа против воспитания». Я думаю, это неверно. Даже напротив. Я думаю, что гипотеза обучения с чистого листа полностью совместима с возможностью того, что эволюционировавшее встроенное поведение играет большую роль.

Две причины:

Во-первых, некоторые части мозга совершенно точно НЕ выполняют алгоритмы обучения с чистого листа! Это в основном мозговой ствол и гипоталамус (больше про это ниже и в следующем посте). Эти не-обучающиеся-с-чистого-листа части мозга должны быть полностью ответственны за любое адаптивное поведение при рождении.[1] Правдоподобно ли это? Думаю, да, учитывая впечатляющий диапазон функциональности мозгового ствола. К примеру, в неокортексе есть цепи обработки визуальных и других сенсорных данных – но в мозговом стволе тоже! В неокортексе есть цепи моторного контроля – и в мозговом стволе тоже! В по крайней мере некоторых случаях полностью адаптивное поведение кажется исполняемым целиком в мозговом стволе: к примеру, у мышей есть цепь-обнаружения-приближающихся-птиц в мозговом стволе, напрямую соединённая с цепью-убегания-прочь в нём же. Так что моя гипотеза обучения с чистого листа не делает никаких общих заявлений о том, какие алгоритмы или функциональности присутствуют или отсутствуют в мозгу. Только заявления о том, что некоторые виды алгоритмов есть только в некоторых конкретных частях мозга.

Во-вторых, «обучение с чистого листа» - не то же самое, что «обучение из окружения». Вот искусственный пример.[3] Представьте, что мозговой ствол птицы имеет встроенную способность судить о том, как должно звучать хорошее птичье пение, но не инструкцию, как произвести хорошее птичье пение. Ну, алгоритм обучения с чистого листа может заполнить эту дыру – методом проб и ошибок вывести вторую способность из первой. Этот пример показывает, что алгоритмы обучения с чистого листа могут управлять поведением, которое мы естественно и корректно описываем как встроенное / «природное, а не воспитанное».

2.3.3 Обучение с чистого листа – это НЕ более общее понятие «пластичности»

«Пластичность» - это термин, означающий, что мозг полу-перманентно изменяет себя, обычно изменяя присутствие / отсутствие / силу синаптических связей нейронов, но иногда и другими механизмами, вроде изменений в экспрессии генов в нейронах.

Любой алгоритм обучения с чистого листа обязательно включает пластичность. Но не вся пластичность мозга – часть алгоритмов обучения с чистого листа. Другая возможность – то, что я называю «отдельными встроенными настраиваемыми параметрами». Вот таблица с примерами и того, и другого и тем, чем они отличаются:

	Алгоритмы обучения с чистого листа	Отдельные встроенные настраиваемые параметры
Стереотипный пример	Любая статья о глубоком обучении: есть *обучающий алгоритм*, который постепенно создаёт *обученную модель*, настраивая много её параметров.	Некоторые связи в крысином мозгу усиливаются, когда крыса выигрывает драку – по сути, считают, сколько драк крыса выиграла за свою жизнь. Потом такая связь используется для выполнения поведения «Выиграв много драк за свою жизнь – будь агрессивнее.» (ссылка)
Количество параметров, изменяемых на основании входных данных (т.е. как много измерений в пространстве всех возможных обученных моделей?)	Может быть много – сотни, тысячи, миллионы, и т.д.	Скорее всего мало, может даже один
Если масштабировать это вверх, будет ли это работать лучше после обучения?	Да, наверное.	А?? Что, чёрт побери, вообще значит «масштабировать»?

Я не думаю, что между этими штуками есть чёткая граница; наверное, есть спорная область, где одна перетекает в другую. По крайней мере, я думаю, что в теории она есть. На практике, мне кажется, существует довольно явное разделение – всегда, когда я узнаю о конкретном примере пластичности мозга, она явным образом попадает в одну или другую категорию.

К слову, как мне кажется, моя категоризация для нейробиологии несколько необычна. Нейробиологи чаще сосредотачиваются на низкоуровневых деталях реализации: «Источник пластичности – синаптические изменения или изменения экспрессии генов?», «Каков биохимический механизм?» и т.д. Это совсем другая тема. К примеру, готов поспорить, что один и то же низкоуровневый биохимический механизм синаптической пластичности может быть вовлечён и в алгоритмы обучения с чистого листа и в изменение отдельного встроенного настраиваемого параметра.

Почему я подымаю эту тему? Потому что я планирую заявить, что гипоталамус и мозговой ствол не выполняют или почти не выполняют алгоритмы обучения с чистого листа. Но они точно имеют отдельные встроенные настраиваемые параметры.

Для конкретики, вот три примера «отдельных встроенных настраиваемых параметров» в гипоталамусе и мозговом стволе:

• Уже упомянутая цепь в крысином гипоталамусе «если ты продолжаешь выигрывать драки, становись агрессивнее» – ссылка.
• Вот цепь в крысином гипоталамусе «если тебе опасно не хватает соли, увеличь базовое желание соли».
• Верхнее двухолмие в мозговом стволе содержит зрительную, слуховую и саккадную моторную область, и механизм, связывающий все три – так что, когда ты видишь вспышку или слышишь шум, ты немедленно направляешь взгляд в точности в правильном направлении. В этом механизме есть пластичность – к примеру, он может самокорректироваться у животного, носящего призматические очки. Я не знаю точных деталей, но полагаю, что это что-то вроде: Если видишь движение и переводишь на него взгляд, но движение не центрировано даже после саккады, то это генерирует сигнал об ошибке, сдвигающий соответствие областей. Может, вся эта система включает 8 настраиваемых параметров (масштаб и смещение, горизонталь и вертикаль, три области для выравнивания), а может она сложнее – опять же, я не знаю деталей.

Видна разница? Вернитесь к таблице, если всё ещё в замешательстве.

2.4 Моя гипотеза: конечный мозг и мозжечок обучаются с чистого листа, гипоталамус и мозговой ствол – нет

Моя гипотеза заключается в том, что ~96% человеческого мозга выполняет алгоритмы обучения с чистого листа. Главные исключения – мозговой ствол и гипоталамус, общим размером с большой палец. Источник картинки.

Вот моя гипотеза в трёх утверждениях:

Во-первых, я думаю, что весь конечный мозг обучается с чистого листа (и бесполезен при рождении[1]). Конечный мозг (также известный как «большой мозг») у людей – это в основном неокортекс, плюс гиппокампус, миндалевидное тело, большая часть базальных ганглиев и разнообразные более загадочные кусочки.

Несмотря на внешний вид, нравящаяся мне модель (изначально принадлежащая гениальному Ларри Свансону) заявляет, что весь конечный мозг организован в трёхслойную структуру (кора, полосатое тело, паллидум), и эта структура согласуется относительно маленьким количеством взаимосвязанных алгоритмов обучения. См. мой (довольно длинный и технический) пост Большая Картина Фазового Дофамина за подробностями.

(ОБНОВЛЕНИЕ: Узнав больше, я хочу это пересмотреть. Я думаю, что вся «кортикальная мантия» и всё «расширенное полосатое тело» обучаются с чистого листа. (Это включает штуки вроде гиппокампуса, миндалевидного тела, боковой перегородки, и т.д. - которые эмбриологически и/или цитоархитектурно развиваются вместе с корой и/или полосатым телом). Кто касается паллидума, я думаю, некоторые его части по сути являются расширением RAS мозгового ствола, так что им точно не место в этом списке. Про другие его части может оказаться и так, и так, в зависимости от того, как определить поверхность ввода/вывода некоторых алгоритмов обучения. Паллидум довольно маленький, так что мне не надо менять оценки объёма, включая число 96%. Я не буду проходить по всей цепочке и менять «конечный мозг» на «кортикальная мантия и расширенное полосатое тело» в миллионе мест, извините, придётся просто запомнить.)

Таламус технически не входит в конечный мозг, но по крайней мере его часть тесно связана с корой – некоторые исследователи описывают его функциональность как «дополнительный слой» коры. Так что я буду считать и его частью обучающегося с чистого листа конечного мозга.

Конечный мозг и таламус вместе составляют ~86% объёма человеческого мозга (ссылка).

Во-вторых, я думаю, что мозжечок тоже обучается с чистого листа (и тоже бесполезен при рождении). Мозжечок – это ~10% объёма взрослого мозга (ссылка). Больше про мозжечок будет в Посте №4.

В третьих, я думаю, что гипоталамус и мозговой ствол совершенно точно НЕ обучаются с чистого листа (и они очень активны и полезны прямо с рождения). Думаю, другие части промежуточного мозга – например, хабенула и шишковидное тело – тоже попадают в эту категорию.

Я не буду удивлён, если обнаружатся мелкие исключения из этой картины. Может, где-то в конечном мозге есть маленькое ядро, управляющее биологически-активным поведением, не обучаясь ему с чистого листа. Конечно, почему нет. Но сейчас я считаю, что такая картина по крайней мере приблизительно верна.

В следующих двух разделах я расскажу о свидетельствах, относящихся к моей гипотезе, и о том, что о ней думают другие люди из этой области.

2.5 Свидетельства того, что конечный мозг и мозжечок обучаются с чистого листа

2.5.1 Свидетельства общей картины

Из чтения и разговоров с людьми я вижу, что самые большие преграды к тому, чтобы поверить, что конечный мозг и мозжечок обучаются с чистого листа – это в подавляющем большинстве случаев не детализированные аргументы о данных нейробиологии, а скорее:

• Нерассмотрение этой гипотезы как возможности вовсе
• Замешательство касательно следствий гипотезы, в частности – как она встраивается в одну осмысленную картину мозга и поведения.

Раз вы досюда дочитали, №1 уже не должно быть проблемой.

Что по поводу №2? Типичный тип вопросов – это «Если конечный мозг и мозжечок обучаются с чистого листа, то как они делают X?» – для разных X. Если есть X, для которого мы совсем не можем ответить на этот вопрос, то это подразумевает, что гипотеза обучения с чистого листа неверна. Напротив, если мы можем найти действительно хорошие ответы на этот вопрос для многих X, то это свидетельство (хоть и не доказательство), того что гипотеза обучения с чистого листа верна. Следующие посты, я надеюсь, обеспечат вам такие свидетельства.

2.5.2 Неонатальное свидетельство

Если конечный мозг и мозжечок не могут производить биологически-адаптивный вывод, не научившись этому со временем, то из этого следует, что любое биологически-адаптивное поведение новорожденных[1] должно управляться мозговым стволом и гипоталамусом. Так ли это? Кажется, такие вещи должны быть экспериментально измеримы, верно? И в этой статье 1991 года действительно говорится «накопившиеся свидетельства приводят к выводу, что перцептомоторная активность новорожденных в основном контролируется подкорковыми механизмами». Но не знаю, изменилось ли что за прошедшие 30 лет – дайте мне знать, если видели другие упоминания этого.

На самом деле, этот вопрос сложнее, чем кажется. Представьте, что младенец совершает что-то биологически-адаптивное…

• Первый вопрос, который надо задать: в самом деле? Может, это плохой (или неверно интерпретированный) эксперимент. К примеру, если взрослый покажет младенцу язык, высунет ли младенец язык тоже, имитируя? Кажется простым вопросом, верно? Не-а, это источник споров уже десятилетия. Конкурирующая теория строится вокруг орального исследования: «высовывание языка кажется общим ответом на заметные стимулы и зависит от интереса ребёнка к стимулу»; показывающий язык взрослый просто активирует этот ответ, но так же делают мелькающие огоньки и звуки музыки. Я уверен, кто-то знает, каким экспериментам с новорожденными можно доверять, но я, по крайней мере пока не знаю. И я очень параноидально отношусь к тому, что две уважаемые книги в этой области (Учёный в кроватке,Происхождение Концептов) повторяют заявление об имитации будто это твёрдый как скала факт.
• Второй вопрос, который надо задать: результат ли это прижизненного обучения? Помните, даже у трёхмесячного ребёнка есть 4 миллиона секунд «обучающих данных». На самом деле, даже только что рождённый ребёнок возможно выполнял алгоритмы обучения с чистого листа в утробе.[1]
• Третий вопрос, который надо задать: какая часть мозга управляет этим поведением? Моя гипотеза заявляет, что не-выученное адаптивное поведение не может управляться конечным мозгом или мозжечком. Но моя гипотеза позволяет мозговому стволу управление таким поведением! И выяснение, какая часть мозга новорожденного в ответе за некоторое поведение может быть экспериментально сложным.

2.5.3 Свидетельство «однородности»

Гипотеза «однородности коры» заявляет, что все части неокортекса выполняют более-менее похожие алгоритмы. (…С некоторыми нюансами, особенно связанными с неоднородной нейронной архитектурой и гиперпараметрами). Мнения по поводу того, верна ли эта гипотеза (и в какой степени) расходятся – я кратко обсуждал свидетельства и аргументы тут. Я считаю, что весьма вероятно, что она верна, по крайней мере в слабом смысле, что будущий исследователь, имеющий очень хорошее детальное понимание того, как работает Область Неокортекса №147 будет очень хорошо продвинут в понимании того, как работает буквально любая другая часть неокортекса. Я не буду тут погружаться в это подробнее; мне кажется, это не совсем укладывается в тему этой цепочки.

Я упоминаю это потому, что если вы верите в однородность коры, то вам, наверное, следует верить и в то, что она обучается с чистого листа. Аргументация такая:

Неокортекс взрослого делает много явно различающихся вещей: обрабатывает зрительную информацию, слуховую информацию, занимается моторным контролем, языком, планированием и т.д. Как это совместимо с однородностью коры?

Обучение с чистого листа предоставляет правдоподобный способ. В конце концов, мы знаем, что один и тот же алгоритм обучения с чистого листа, если ему скормить очень разные входные данные и управляющие сигналы, может начать делать очень разные вещи: посмотрите как глубокие нейросети-трансформеры можно обучить генерировать текст на естественном языке, или картинки, или музыку, или сигналы моторного контроля робота, и т.д.

Если мы, напротив, примем однородность коры, но отвергнем обучение с чистого листа, то, эм-м-м, я не вижу осмысленных вариантов того, как это может работать.

Аналогично (но куда реже обсуждаемо, чем случай неокортекса), стоит ли нам верить в «однородность аллокортекса»? Для справки, аллокортекс – что-то вроде упрощённой версии неокортекса с тремя слоями вместо шести; считается, что до того, как эволюционировал неокортекс, ранние амниоты имели только аллокортекс. Он, как и неокортекс, делает много всякого разного: у взрослых людей гиппокампус вовлечён в ориентирование в пространстве и эпизодическую память, а грушевидная кора – в обработку запахов. Так что тут можно сделать аналогичный аргумент про обучение с чистого листа.

Двигаясь дальше, я уже упоминал выше (и больше в Большой Картине Фазового Дофамина, а ещё в Посте №5, Разделе 5.4.1) идею (Ларри Свансона), что весь конечный мозг кажется организованным в три слоя – «кору», «полосатое тело» и «паллидум». Я пока говорил только про кору; что насчёт «однородности полосатого тела» и «однородности паллидума»? Не ожидайте найти посвящённый этому обзор – на самом деле, предыдущее предложение судя по всему первое, где встречаются эти словосочетания. Но в каждом из этих слоёв есть как минимум некоторые общие черты: например, средние шиповатые нейроны вроде бы есть по всему полосатому телу. И я продолжаю считать, что описанная мной в Большой Картине Фазового Дофамина (и Постах №5-№6) модель – осмысленное первое приближение того, как может сочетаться «всё, что мы знаем о полосатом теле и паллидуме» с «несколькими вариациями конкретных алгоритмов обучения с чистого листа».

В случае мозжечка, есть по крайней мере какая-то литература по гипотезе однородности (ищите термин «universal cerebellar transform»), но, опять же, нет консенсуса. Мозжечок взрослого так же вовлечён в явно разные функции вроде моторной координации, языка, сознания и эмоций. Я лично считаю, что там тоже есть однородность, подробнее будут в Посте №4.

2.5.4 Локально-случайное разделение паттернов

Это другая причина, по которой лично я готов многое поставить на то, что конечный мозг и мозжечок обучаются с нуля. Она несколько специфична, но для меня довольно заметна; посмотрим, примете ли вы её.

2.5.4.1 Что такое разделение паттернов?

В мозгу есть частый мотив, называемый «разделением паттернов». Давайте я объясню, что это и откуда берётся.

Представьте, что вы инженер машинного обучения, работающий на сеть ресторанов. Ваш начальник даёт вам задание предсказать продажи для разных локаций, куда можно распространить франшизу.

Первое, что вы можете сделать – это собрать кучу потоков данных – местные уровни безработицы, местные рейтинги ресторанов, местные цены в магазинах, распространяется ли по миру сейчас новый коронавирус, и т.д. Я называю это «контекстные данные». Вы можете использовать контекстные данные как ввод нейросети. Выводом сети должно быть предсказание уровня продаж. Вы подправляете веса нейросети (используя обучения с учителем, собрав данные от существующих ресторанов), чтобы всё получилось. Никаких проблем!

Разделение паттернов – это когда вы добавляете в начало ещё один шаг. Вы берёте различные потоки контекстных данных и случайно комбинируете их многими разными способами. Затем вы добавляете немного нелинейности, и вуаля! Теперь у вас есть куда больше потоков контекстных данных, чем было изначально! Теперь они могут быть вводом для обучаемой нейросети.[4]

Иллюстрация (части) обработки сенсорных данных плодовой мухи. Высокий вертикальный серый прямоугольник чуть левее центра – это слой «разделения паттернов»; он принимает организованные сенсорные сигналы слева и перемешивает их большим количеством разных (локально) случайных комбинаций. Потом они посылаются направо, чтобы служить «контекстными» вводами модуля обучения с учителем. Источник картинки: Ли и пр..

В терминах машинного обучения, разделение паттернов – это вроде добавления очень большого скрытого слоя со стороны ввода с фиксированными весами. Если слой достаточно большой, то окажется, что некоторые его нейроны представляют полезные отображения, просто по везению. И тогда следующий слой может использовать эти полезные нейроны и игнорировать остальные.

Читатели из машинного обучения могут подумать «Ладно хорошо, но как-то тупо: зачем добавлять в начало дополнительный очень большой скрытый слой с необучаемыми весами? Почему просто не добавить туда скрытый слой нормального размера с обучаемыми весами? Не будет ли это проще и лучше?» Ну-у-у, пожалуй! Это действительно скорее всего было бы лучше в данном конкретном примере.[5]

Так зачем добавлять слой разделения паттернов вместо дополнительного обучаемого слоя? Ну, вспомните, что для биологических нейронов обратное распространение ошибки (или что-то эквивалентное) через много обучаемых слоёв – в лучшем случае сложная процедура, а в худшем совершенно невозможно. По крайней мере, таково моё нынешнее впечатление. Само по себе обратное распространение ошибки широко признано неосуществимым в биологических нейронах (см. «задача транспортных весов. Разные группы в области машинного обучения и нейробиологии воспринимали это как вызов и разработали огромное количество разных механизмов, (якобы) биологически правдоподобных и (якобы) тем или иным способом аналогичных по функциональности обратному распространению ошибки.[6] Я не читал все эти статьи. Но в любом случае, даже если возможно передавать поправки через два обучаемых слоя биологических нейронов (или 3 слоя, или N слоёв), не забывайте, что обучаться на ошибках, имея всего один обучаемый слой биологических нейронов – совсем просто. (Всё что нужно – набор идентичных синапсов, обновляемых по трёхфакторному правилу обучения. Подробнее будет в Посте №4.) Так что легко представить, что эволюция могла остановиться на варианте вроде разделения паттернов, получая некоторые преимущества дополнительного обучаемого слоя, но не затруднения с тем, чтобы действительно передавать ему поправки.

2.5.4.2 Где происходит разделение паттернов?

Считается, что разделение паттернов происходит в некотором количестве разных мест, в частности включающем крохотные и многочисленные нейроны, называемые «гранулярными клетками»:

• В «гранулярном слое» мозжечка есть разделяющие паттерны гранулярные клетки(ссылка). И их много! У взрослого человека их 50 миллиардов – больше половины нейронов всего мозга.
• Гиппокампус содержит разделяющие паттерны гранулярные клетки в «зубчатой извилине».
• В неокортексе есть разделяющие паттерны гранулярные клетки в его «слое 4», главном (при прямом прохождении сигнала) входном слое. Для ясности, часть неокортекса называется «агранулярной», что означает, что там этого гранулярного слоя нет. Но это просто потому, что не весь неокортекс обрабатывает ввод того вида, для которого задействуется разделение паттернов. Часть неокортекса вместо этого сцеплена с выводом (подробности здесь).
• Нервная система плодовой мухи имеет «грибовидное тело» состоящее из «клеток Кеньона», тоже по некоторым мнениям являющихся разделителями паттернов – см. ссылки здесь.

2.5.4.3 Почему разделение паттернов предполагает обучение с чистого листа?

Дело в том, что судя по всему, разделение паттернов – это локально случайный процесс. Что тут значит «локально»? Ну в общем случае не верно, что любой ввод с равной вероятностью окажется смешан с любым другим вводом. (По крайней мере, не в плодовых мухах.) Я заявляю только, что процесс включает случайность на малых масштабах – то есть, в конкретном микроскопическом кластере из десятков гранулярных клеток, какая клетка соединится с какими из ближайших входных сигналов? Я думаю, что ответ на такие вопросы: это происходит случайно.

Почему я говорю, что это вероятно (локально) случайно? Ну, я не могут быть уверен, но у меня есть пара причин.

• С алгоритмической точки зрения кажется, что (локальная) случайность будет работать, и она имеет некоторые приятные свойства, вроде статистической гарантии низкого перекрывания редких шаблонов активации.
• С точки зрения теории информации, если в мозжечке взрослого 50 миллиардов гранулярных клеток, то кажется довольно сложным представить, что их точные соединения детерминировано управляются геномом размером <1 гигабайта, всё ещё при этом соответствуя разным алгоритмическим и биологическим ограничениям.
• С экспериментальной точки зрения, я не уверен про позвоночных, но по крайней мере в случае плодовой мухи известно, что генетически идентичные мухи имеют разные связи клеток Кеньона (ссылка).

В любом случае, если разделение паттернов – это (локально) случайный процесс, то это означает, что нельзя сделать что-то полезное с выводами слоя разделения паттернов, кроме как научившись этому. Другими словами, мы остаёмся с алгоритмом обучения с чистого листа! (Причём с таким, который останется обучением с чистого листа даже при наличии эволюционного давления в сторону микроменеджмента изначальных параметров!)

2.5.5 Резюмируя: я не претендую на то, что я доказал гипотезу обучения с чистого листа в конечном мозге и мозжечке, но я попрошу вас подавить недоверие и читать дальше

В моей собственной голове, когда я сложил вместе все изложенные выше соображения (большую картину, неонатальные данные, однородность и локально случайное разделение паттернов), то я стал довольно уверенно относиться к своей гипотезе обучающихся с чистого листа конечного мозга и мозжечка. Но вообще-то тут всё предполагается, это не определённое авторитетное описание, которое должно удовлетворить любого скептика. Полноценная научная литература по обучению с чистого листа в конечном мозге и мозжечке, насколько мне известно, пока не написана.

Не поймите неправильно, я бы с удовольствием её написал! Я бы погрузился во все относящиеся к делу свидетельства, вроде всего описанного выше, плюс другие штуки вроде экспериментов на лишённых коры крысах, и т.д. Это было бы замечательно, и может быть, что я этим ещё займусь. (Или свяжитесь со мной, если хотите сотрудничать!)

Но пока что я собираюсь относиться к этой гипотезе как если бы она была верной. Это просто для удобства чтения – вся остальная цепочка будет исследовать следствия этой гипотезы, и было бы раздражающе, если бы я прибавлял извинения и оговорки в каждом предложении.

2.6 Моя гипотеза спорная или общепринятая?

Как ни странно, я просто не знаю! Это не особо горячая тема в нейробиологии. Я думаю, большинство даже не формулирует вопрос «какие части мозга обучаются с чистого листа» в явном виде, и уж тем более не считает это вопросом первостепенной важности.

(Я слышал от бывалого в этой области человека, что от вопроса «какие части мозга обучаются с чистого листа?» слишком уж попахивает «природой против воспитания». Что все уже разводили весёлые дебаты на тему «природа против воспитания» в 1990-х, и всем надоело, так что все перешли на другие темы! Я даже спросил о лучшем источнике на тему обучения с чистого листа в конечном мозге и мозжечке, и мне предложили книгу двадцатипятилетней давности! Это хорошая книга – я её уже прочитал. Но ну серьёзно, мы узнали что-то новое с 1996, верно??)

Несколько примеров:

• Нейробиолог Рэндалл О’Райли явно принимает, что неокортекс обучается с нуля (как и я). Он говорит об этом тут (30:00), цитируя эту статью о распознавании лиц младенцами как источник свидетельства. На самом деле, я думаю, что О’Райли согласился бы с большей частью моей гипотезы, а может быть вообще со всей.
• Я довольно сильно уверен, что Джефф Хокинс и Дайлип Джордж согласились бы с моей гипотезой, или, по крайней мере, с чем-то очень к ней близким. Больше про них в следующем посте.
• Комментатор предложил книгу Джорджа Эллиса и Марка Солмса «За пределами Эволюционной Психологии» (2018), которая (помимо прочего) заявляет нечто поразительно похожее на мою гипотезу: авторы приводят список «мягко-прошитых областей» мозга, состоящий из неокортекса, мозжечка и «частей лимбической системы, в частности большей части гиппокампуса и миндалевидного тела» (стр. 209). Почти идеальное совпадение с моим списком! Но их понятие «мягко-прошитых областей» определено несколько не совпадает с моим понятием «обучения с чистого листа», и я на самом деле не согласен с этой книгой во многих местах. Но в любом случае, в ней есть много относящихся к делу свидетельств и ссылок на литературу. По совпадению, книга написана в основном как аргумент против точки зрения «встроенных когнитивных модулей», пример которой – книга Стивена Пинкера «Как Работает Мозг» (1994). Так что неудивительно, что Стивен Пинкер не согласился бы (ну, я уверен на 99%) с моим заявлением, что неокортекс обучается с чистого листа – см., к примеру, его книгу «Чистый Лист», глава 5.
• Некоторые представители вычислительной нейробиологии, особенно тесно связанные с сообществом глубокого обучения, кажутся проявляющими большой энтузиазм по поводу алгоритмов обучения с чистого листа в мозгу в целом. Но обсуждения там кажутся недостаточно конкретными для ответа на мой вопрос. К примеру, я искал утверждения вроде «Прижизненные алгоритмы обучения – хорошая стартовая точка для понимания неокортекса, но плохая – для понимания продолговатого мозга». Но ничего подобного я не нашёл. Вместо этого я нашёл, например, статью «Подходы из глубокого обучения в нейробиологии» (за авторством 32 человек, включая Блейка Ричардса и Конрада Кординга), в которой говорится что-то вроде «Алгоритмы обучения очень важны в мозгу, и иногда они прижизненные, а иногда это только эволюция». Но какие части мозга подпадают в какую категорию? В статье не сказано.
• Моё смутное впечатление от периодического чтения статей с вычислительными моделями неокортекса, гиппокампуса, мозжечка и полосатого тела от разных групп авторов – что их модели как минимум часто основаны на обучении с чистого листа, но не всегда.

В целом, хоть я и не уверен, есть причины считать, что моя гипотеза не слишком далека от мейнстрима…

Но она «не слишком далека от мейнстрима» только в довольно узком смысле. Почти никто в нейробиологии не принимает эту гипотезу достаточно серьёзно, чтобы разобраться с её крупномасштабными следствиями. Как упомянуто выше, если вы (как я) считаете, что «если конечный мозг или мозжечок выполняют полезную функцию X, то они должны были тем или иным способом научиться выполнять эту функцию во время жизни организма», то это немедленно порождает миллион следующих вопросов вида «Как он учится делать X? Основано ли это на эмпирических данных? Каких? Откуда они берутся?» Хорошие обсуждения этих вопросов в литературе ищутся с трудом. А я задаю эти вопросы постоянно, как вы увидите, читая дальше.

В этой серии постов я собираюсь в основном говорить о высокоуровневом устройстве, окружающем обучение с чистого листа. Напротив, о деталях того, как работают алгоритмы обучения, я буду говорить относительно мало. Это сложно, и не особо важно для темы безопасности СИИ. И, по крайней мере в некоторых случаях, точных алгоритмов всё равно никто не знает.

2.7 Почему обучение с чистого листа важно для безопасности СИИ?

Основное обсуждение будет не в этом посте, но вот небольшое превью.

Самый важный вопрос в безопасности СИИ – это «Пытается ли СИИ сделать что-то, что мы не хотели, чтобы он пытался делать?»

Если нет, замечательно! Это иногда называют «согласованием намерений». Ладно, даже с согласованием намерений мы всё ещё не вполне можем объявить полную победу над риском происшествий – СИИ всё ещё может наломать дров, несмотря на хорошие намерения (см. Пост №11). Но мы добились большого прогресса, и, скорее всего, избежали худших проблем.

Напротив, если СИИ пытается сделать что-то, что не входило в наши намерения, то тут мы попадаем на очень плохое минное поле катастрофических происшествий. И по мере создания более и более способных СИИ происшествия становятся хуже, а не лучше, потому что СИИ становится компетентнее в выяснении, как лучше всего сделать то, что мы изначально совершенно не хотели, чтобы было сделано.

Так что критический вопрос: как СИИ приходит к попыткам сделать что-то одно, а не что-то другое? И следующий вопрос: если мы хотим, чтобы СИИ пытался сделать конкретную штуку X (где X – это «действовать этично» или «быть полезным», или что-то такое – больше про это в будущих постах), то какой код нам написать?

Обучение с чистого листа означает, что модель мира и здравого смысла СИИ включает одну или много структур данных, целиком построенных во время «жизни» / «обучения» СИИ. Содержимое этих структур данных вовсе не обязательно поддаётся человеческой интерпретации[7] – в конце концов, не люди его туда запихнули!

И, к сожалению, то, что мы хотим от СИИ – «действовать этично» или «разобраться с Альцгеймером», или что-то ещё – естественно определены в терминах абстрактных концепций. В лучшем случае, эти концепции погребены где-то в глубине больших структур данных. В худшем (например, на ранних стадиях обучения), у СИИ их может вообще не быть. Так как нам написать такой код, чтобы СИИ хотел разобраться с Альцгеймером?

На самом деле, у эволюции та же проблема! Эволюция с удовольствием связала бы абстрактный концепт «Иметь много биологических потомков» с положительной валентностью, но из-за обучения с чистого листа геном не знает, какой точный набор нейронов будет в итоге отображать этот концепт. (И в любом случае, не у всех людей есть концепт «биологических потомков».) Геном делает другие штуки вместо этого, и позднее в цепочке я поговорю о том, какие.

2.8 Сроки-до-подобного-мозгу-СИИ, часть 1/3: насколько сложен достаточный для СИИ реверс-инжиниринг обучающихся с чистого листа частей мозга?

Это не то, чтобы совсем по теме, так что я не хочу глубоко в это погружаться. Но в Разделе 1.5 предыдущего поста я упомянул популярное мнение, что мозг настолько ужасно сложен, что до «подобного-мозгу СИИ» (определённого в Разделе 1.3.2 предыдущего поста) вероятнее всего ещё века. Я там сказал, что совершенно с этим не согласен. Сейчас я могу немного сказать, почему.

В этом контексте мы можем разделить задачу «создания подобного-мозгу СИИ» на три части:

• Достаточный для СИИ реверс-инжиниринг обучающихся с чистого листа частей мозга (конечного мозга и мозжечка),
• Достаточный для СИИ реверс-инжиниринг всего остального (в основном мозгового ствола и гипоталамуса),
• Само создание СИИ, включая аппаратное ускорение кода, проведение обучения моделей, устранение возникающих проблем, и т.д.

Этот раздел — про №1. Я вернусь к №2 и №3 в Разделах 3.7 и 3.8 следующего поста.

Обучение с чистого листа тут имеет большое значение, потому что реверс-инжиниринг алгоритмов обучения с чистого листа куда проще, чем реверс-инжиниринг обученных моделей.

К примеру, подумайте о том, как Microscope от Open AI визуализирует разные нейроны глубокой нейросети. Это очень сложно! Но эту сложность не надо проектировать никакому человеку: она автоматически открывается обучающим алгоритмом. Сам он сравнительно прост: градиентный спуск и всё такое.

Вот ещё немного интуитивных соображений на этот счёт:

• Я думаю, что алгоритмы обучения с чистого листа почти что обязаны быть простыми, потому что им приходится базироваться на широко применимых закономерностях – «паттерны склонны повторяться», «паттерны часто локализованы во времени и пространстве», «штуки часто состоят из других штук» и так далее.
• Человеческие мозги смогли додуматься до квантовой механики. Я кое-как могу представить, как обучающийся алгоритм, основанный на простых общих принципах вроде «штуки часто состоят из других штук» (как выше) может со временем додуматься до квантовой механики. Я не могу представить, как это может сделать алгоритм-похожий-на-ужасающе-сложную-машину-Гольдберга. Квантовая механика дико отличается от чего угодно из окружения наших предков.
• Обучающийся алгоритм может обладать довольно сложными гиперпараметрами, нейронной архитектурой и прочим. Я это полностью признаю. К примеру, это исследование заявляет, что в неокортексе есть 180 архитектурно-различных областей. Но с другой стороны, будущим исследователям не придётся переизобретать всё это с нуля; они могут просто «списать ответы» с нейробиологической литературы. К тому же, не вся эта сложность необходима для человеческого интеллекта: как мы знаем из способности детей (иногда) полностью восстанавливаться после различных повреждений мозга. Часть сложности может просто помогать немного ускорить процесс обучения, или быть нужной для необязательных-для-СИИ штук вроде чувства запаха.
• В Разделе 2.5.3 я описал гипотезу «однородности коры» и схожие с ней гипотезы. Если она истинна, это потенциально сильно ограничивает потенциальную сложность понимания того, как работают эти части мозга. Но я не думаю, что всё, что я тут говорю, зависит от истинности гипотезы «однородности», тем более от её строгой истинности.

Вернёмся к основному вопросу. Через (скажем) 20 лет будем ли мы понимать конечный мозг и мозжечок достаточно хорошо, чтобы создать обучающуюся с чистого листа часть СИИ?

Я скажу: я не знаю! Может, да, может, нет.

Есть люди, которые со мной тут не согласятся. Они заявляют, что ответ – «Абсолютно стопроцентно нет! Смехотворно! Как ты посмел так подумать? Так может сказать только самоуверенный шарлатан, пытаясь вытащить деньги из инвесторов! Так не сказал бы серьёзный осторожный нейробиолог!!!» И т.д.

Мой ответ: я думаю, что это дико-необоснованная сверхуверенность. Я не вижу хороших причин отвергать это через (скажем) 20 лет, или даже 5. А может быть это займёт 100 лет! Я думаю, стоит оставаться в неуверенности. Как говорится – «Предсказывать тяжело, особенно про будущее».

• Я продолжаю говорить, что «обучение с чистого листа» подразумевает «бесполезно для поведения при рождении». Это упрощение, потому что «прижизненное обучение» может происходить ещё при вынашивании. Всё же уже тогда должно быть довольно много данных, на которых можно обучаться – интероцепция, звуки, моторный контроль, и т.д. Может быть, и волны сетчатки – они могут исполнять функцию фальшивых сенсорных данных, на которых можно обучаться.
• Техническая деталь: почему я говорю, что входные данные и управляющие сигналы происходят из-за пределов неокортекса? Не может ли одна часть неокортекса получать входные данные и/или управляющие сигналы из другой части неокортекса? Да, конечно. Однако, я тогда опишу это как «часть нейронной архитектуры неокортекса». Аналогично, в машинном обучении обычно НЕ говорят «12-й-слой-ConvNet получил входные данные из 11-слоя-ConvNet». Вместо этого скорее скажут «ConvNet (в целом) получает входные данные из-за пределов ConvNet». Это просто не особо важный вопрос формулировок.
• Я оформляю это как «выдуманный пример» потому что я пытаюсь донести простую концепцию и не хочу увязнуть в сложных не до конца изученных эмпирических деталях. Но вообще пример с птичьим пением не совсем выдуман – он как минимум «основан на реальных событиях». Смотри тут обсуждение статьи Гадагкара 2016 года, в которой описано, что часть дофаминовых нейронов в конечном мозге певчей птицы посылает сигналы, похожие на награду обучения с подкреплением качества пения, и эти сигналы отправляются конкретно в вокально-моторную систему, предположительно, обучая её петь лучше. Упущенная часть: какие вычисления эту предшествуют? Другими словами, как мозг птицу оценивает свой собственный успех в пении? К примеру, сравнивает ли он сгенерированный аудиальный ввод с встроенным шаблоном? Или шаблон как-то сложно генерируется – скажем, через слушанье пения взрослых птиц того же вида? Или как-то ещё? Я не уверен, что это известно: по крайней мере, это не известно мне.
• Почему это называется «разделением паттернов»? Это связано с тем, что разделитель паттернов имеет больше точек вывода, чем ввода. К примеру, ты можешь регулярно встречать пять разных «паттернов» сенсорных данных, и может быть, все они состоят из одного и того же набора 30 потоков ввода, но с небольшими различиями – может, один паттерн имеет немного более сильную активность такого-то и такого-то входного сигнала, чем другие, и т.д. Так что на стороне ввода мы можем сказать, что эти пять паттернов «перекрываются». Но на стороне вывода эти пять паттернов могут активировать совершенно разные множества нейронов. То есть, паттерны оказываются «разделены».
• В других примерах, я думаю, разделение паттернов служит и другим целям, например, делая активации нейронов более разреженными, что по некоторым причинам, включая недопущение припадков, очень важно.
• Если захотите погрузиться в быстро растущую литературу по биологически-правдоподобным алгоритмам, подобным обратному распространению ошибки, то начать можно с ссылок №12, 14, 34–38, 91, 93, и 94 из Подход глубокого обучения в нейробиологии.
• Есть поле «интерпретируемости машинного обучения», посвящённое интерпретации внутренностей обученных с чистого листа моделей – пример. Я (и все остальные, работающие над безопасностью СИИ) сильно одобряю усилия продвижения этого направления, включая рассмотрение куда больших моделей и моделей, обученных разными алгоритмами обучения. Ещё на эту тему: иногда я встречаю аргумент, что подобный-мозгу СИИ, использующий алгоритм обучения похожий на используемые мозгом, будет моделью, лучше, чем альтернативы, поддающейся человеческой интерпретации. Мне это кажется возможным, но далёким от гарантированного, и в любом случае «сравнительно лучше» – не то же самое, что «очень хорошо». Напомню, что в неокортексе ~100 триллионов синапсов, а у СИИ может быть и ещё куда больше.