Вы здесь

Понимание

Скотт Александер

Двое детей читают текст, написанный ИИ:

Хоббиты брызгали друг другу в лицо водой, пока оба не промокли до нитки.

Один другому говорит: «Ва-ау! Если давать ИИ читать больше текстов, со временем он поймет, что такое вода!»

Второй ребенок отвечает: «На самом деле, не поймет».

Первый ребенок говорит: «Ну, конечно, поймет! Он осознает, что вода — это жидкость, которой можно брызгаться, и что если обрызгать человека водой, тот намокнет. Что тут ещё понимать?»

Второй ребенок говорит: «Всё, что он понимает это лишь отношения между словами. Ни одно из этих слов не привязано к реальности. Для него не существует такого понятия как „вода“, также как не существует понятия „быть мокрым“. Буквы В-О-Д-А, стоящие неподалеку от букв Б-Р-Ы-З-Г-И, для него статистически связаны с буквами М-О-К-Н-У-Т-Ь».

Первый ребенок убегает в слезах.

Двое химиков наблюдают за спором детей. Первый химик говорит: «Ва-ау! Понаблюдав за ИИ, они смогли обсуждать природу воды!»

Второй химик иронично: «Действительно ли? Дети ведь и сами не понимают, что такое вода! Вода — это два атома водорода плюс один атом кислорода. И ни один из них не знает этого!».

Первый химик отвечает: «Да ладно. Они знают о воде достаточно, чтобы сказать, что понимают её. Они знают, как она выглядит, знают, какая она на вкус. Это в общем-то всё, что нужно знать о воде».

Второй химик отвечает: «Все это лишь связи между наборами сенсорных данных. Ребенок знает, что (изображение прозрачной блестящей штуки) = (ощущение влажности на коже) = (освежающий вкус). Он может использовать эти связи, чтобы делать предсказания, вроде, если на меня выльют ведро (изображение прозрачной блестящей штуки), то появится сильное (ощущение влажности на коже). Слово «вода» тут является узлом,связывающим все ощущения воедино. Делать предсказание о мире становится намного проще. Но не важно, насколько хорошо ты понимаешь эти связи, они никогда не приведут к идее H2O или любым другим химическим фактам, находящимся за пределами обычных сенсорных данных».

Первый химик говорит: «Возможно, им известны факты вроде „вода заставляет железо ржаветь“. Это химический факт».

Второй химик говорит: «Нет, они знают только, что (изображение прозрачной блестящей штуки + влажность + свежесть) заставляют (изображение тусклой металлической штуки + твердость) измениться на (изображение красных пятен + мягкость). Они не понимают, что H2O + Fe даёт оксиды железа. Им известно множество статистических связей между сенсорными данными, но ни одна из этих связей не ведет к химическим явлениям, стоящим за данными».

Первый химик говорит: «Тогда насколько мы сами можем говорить, что понимаем воду? Ведь за химическими реакциями стоят более глубокие уровни материи: квантовые поля, суперструны и уровни еще ниже этих. Все что у нас есть это статистические отношения, которые выполняются, несмотря на устройство нижних уровней».

Двое ангелов наблюдают за спором химиков. Первый ангел говорит: «Ва-ау! Увидев взаимосвязь между сенсорным данными и атомной моделью устройства мира, эти химики осознали, что существуют уровни понимания, недоступные людям».

Второй ангел говорит: «Нет, не осознали. Они лишь механически проводят аналогию от связи атомной модели с сенсорными данными. Они не знаю ничего о Термин на ангельском №1 или о Термин на ангельском №2. Они даже не могут выразить их в своём языке!».

Первый ангел говорит: «Да, но ведь указатели, которые они используют, вроде „уровни еще ниже этих“ будут иметь те же статистические отношения между моделью и реальностью, что и Термин на ангельском №5».

«Да, но это все равно, что сравнивать способность отвечать „Поло!“, когда тебе говорят „Марко!“ с глубоким историческим пониманием торговых отношений Европы и Азии в средних веках. Само по себе понимание того, что некоторые статистические модели подобны друг другу, не даст ни малейшего представления о том, какой Термин на ангельском №4 у этих моделей».

«Я не говорю, что люди действительно что-то понимают», — сказал первый ангел. — «Просто впечатляет, чего можно добиться, манипулируя символами ментального языка, построенного поверх сенсорных данных без всякой связи с соответствующим Термин на ангельском №3 вообще».

«Думаю, да, впечатляет», — сказал второй ангел. — «Для людей».

Бог сидит в верхнем пределе рая, один.

«Ва-ау!», — думает он про себя. — «Этот простенький клеточный автомат сегодня генерирует занятные паттерны. Интересно, что он сделает дальше!»

Примечание редактора сайта: Этот перевод взят из блога Антона Желтоухова.


Перевод: 
Антон Желтоухов
Оцените качество перевода: 
Средняя оценка: 4.8 (25 votes)
  • Короткая ссылка сюда: lesswrong.ru/557