Страница:
И наконец, теория утверждает, что если эти простые правила формального дискурса нарушаются, то возникают парадоксы и дискурс становится недействительным.
Таким образом, теория имеет дело с весьма абстрактными материями и впервые возникла в абстрактном мире логики. Если в этом мире демонстрируется, что последовательность утверждений генерирует парадокс, то вся структура аксиом, теорем и т.д., причастная к генерированию этого парадокса, отрицается и уничтожается. Ее как будто никогда не существовало. Но в реальном мире (или, по крайней мере, в наших описаниях реального мира) всегда присутствует время, и что-то, что однажды существовало, уже нельзя тотально отрицать подобным образом. Компьютер, сталкивающийся с парадоксом из-за ошибок в программе, сам не исчезает.
В логических "если... то..." не содержится времени. В компьютере же причины и следствия используются для симуляции логических "если... то..."; причем сами последовательности причин и следствий с необходимостью включают время. И напротив, можно сказать, что при научных рассуждениях логические "если... то..." используются для симуляции "если... то..." причин и следствий.
Компьютер в действительности никогда не сталкивается с логическим парадоксом, а только с симуляцией парадокса посредством цепочек причин и следствий. Поэтому компьютер не исчезает. Он просто "зависает".
Фактически существуют важные различия между миром логики и феноменальным миром, и эти различия нужно принимать во внимание всегда, когда наши аргументы базируются на существующей между ними важной, но частичной аналогии.
Тезисом настоящей статьи является то, что эта частичная аналогия может дать ученым-бихевиористам важный ключ к классификации феноменов, связанных с обучением. Следовало бы применить что-то вроде теории типов именно в области коммуникации животных и механизмов.
К сожалению, подобные вопросы не слишком часто обсуждаются в зоологических лабораториях, антропологических полевых лагерях или на собраниях психиатров. Поэтому необходимо показать, что эти абстрактные рассуждения важны для ученых-бихевиористов.
Рассмотрим следующий силлогизм:
a) изменения в частоте наблюдаемых видов поведения млекопитающих могут быть описаны и предсказаны в терминах различных "законов" подкрепления;
b) наблюдаемое у крыс явление "исследования" есть категория или класс поведения млекопитающих;
c) следовательно, изменения в частоте явлений "исследования" должны поддаваться описанию в терминах тех же "законов" подкрепления.
Скажем сразу: во-первых, эмпирические данные показывают, что вывод (с) неверен; во-вторых, если бы удалось показать верность вывода (с), то либо (а), либо (b) было бы неверным [1].
1 Вполне понятно, что одни и те же слова могут использоваться при описании как класса, так и его членов, и могут быть верными в обоих случаях. Слово "волна" является именем класса движений частиц. Мы также можем сказать, что волна сама "движется", но при этом мы ссылаемся на движение класса движений. Из-за трения это метадвижение будет терять скорость, как и движение частицы.
И для логики, и для естествознания будет лучше, если вывод (с) будет расширен и подкорректирован примерно таким образом:
a) если, как сказано в (b), явление "исследования" есть не вид поведения млекопитающего, а категория таких видов, тогда никакое описательное утверждение, верное для видов поведения, не может быть верным для явления "исследования". Если, напротив, описательные утверждения, верные для видов поведения, верны также и для "исследования", то это "исследование" есть вид поведения, а не категория видов поведения.
Весь вопрос сводится к тому, является ли различие между классом и его членами упорядочивающим принципом для изучаемых нами феноменов поведения.
Говоря менее формальным языком: когда крыса изучает определенный незнакомый объект, ей можно создать подкрепление (позитивное или негативное), и она соответственно научится приближаться к объекту или избегать его. Но сама цель исследования заключается именно в получении информации о том, к каким объектам можно приближаться, а каких следует избегать. Следовательно, обнаружение того, что данный объект представляет опасность, является успехом в деле сбора информации. Этот успех не разочарует крысу в смысле дальнейшего исследования других незнакомых объектов.
Можно утверждать a priori, что все восприятие и все реакции, все поведение и все классы поведения, все обучение и всю генетику, всю нейрофизиологию и эндокринологию, всю организацию и всю эволюцию - вообще все это - следует рассматривать как предмет, коммуникативный по своей природе и потому имеющий отношение к тем крупным обобщениям или "законам", которые применяются к феноменам коммуникации. Следовательно, мы предупреждены о возможности найти в наших данных те принципы порядка, которые предлагает нам фундаментальная теория коммуникации. Мы ожидаем, что Теория Логических Типов, Теория Информации и другие будут нашими проводниками.
"Обучение" компьютеров, крыс и людей
Слово "обучение" несомненно указывает на изменение некоторого рода. Однако какого рода это изменение - это вопрос деликатный.
Тем не менее, такой обширный общий знаменатель, как "изменение" дает возможность заключить, что наши описания "обучения" должны опираться на те же допущения, что и переменные того логического типа, который стал обычным в физических науках со времен Ньютона. Простейшая и самая знакомая форма изменения - это движение, и, даже работая на очень простом физическом уровне, мы должны структурировать наши описания в таких терминах, как "положение или нулевое движение", "постоянная скорость", "ускорение", "скорость изменения ускорения" и т.д. [2]
2 Уравнения Ньютона, описывающие движение "частицы", останавливаются на уровне "ускорения". Изменение ускорения может произойти только при деформации движущегося тела, но ньютоновские "частицы" не состояли из "частей" и потому не были способны (логически) к деформации или другим внутренним изменениям. Следовательно, они не были подвержены изменению ускорения.
Изменение указывает на процесс. Но процессы сами подвержены "изменениям". Процесс может ускориться, замедлиться или подвергнуться другим типам изменений, которые позволят сказать, что теперь это "другой" процесс.
Эти соображения показывают, что нам следует начать организовывать свои идеи относительно "обучения" с самого простейшего уровня.
Рассмотрим случай специфического отклика, или нулевого обучения. В этом случае объект выказывает минимальные изменения своего отклика при повторяющемся типе сенсорного воздействия. Феномены, достигающие такого уровня простоты, возникают в различных контекстах:
a) при экспериментальных условиях, когда "обучение" завершено и животное дает приблизительно 100% правильных ответов на повторяющиеся стимулы;
b) в случаях привыкания, когда животное перестает давать явный отклик на ранее беспокоивший стимул;
c) в случаях, когда паттерн отклика минимально детерминирован опытом и максимально детерминирован генетическими факторами;
d) в случаях, когда отклик становится высоко стереотипным;
e) в простых электронных цепях, где структура цепи не может быть изменена в результате прохождения импульсов по этой цепи, т.е. когда каузальные цепи между "стимулом" и "откликом", как говорят инженеры, "запаяны".
В обычной нетехнической речи слово "обучение" часто применяется к тому, что здесь называется "нулевым обучением", т.е. к простому получению информации от внешнего события таким образом, что подобное же событие в соответствующее время в будущем передаст ту же информацию. Например: я "научился" узнавать по фабричному гудку, когда наступает двенадцать часов.
Также интересно отметить, что в рамках нашего определения многие очень простые механические устройства выказывают по меньшей мере феномен нулевого обучения. Вопрос, следовательно, не в том, "могут ли машины учиться", а в том, какого уровня обучения достигла данная машина. Стоит уделить внимание экстремальному, хотя и гипотетическому, случаю.
"Игрок" в игре фон Неймана есть математическая фикция, сравнимая с евклидовой прямой в геометрии или ньютоновской частицей в физике. По определению, "игрок" способен выполнить все вычисления, необходимые для решения любой проблемы, возникающей в игре; он не способен не выполнить эти вычисления там, где они необходимы; он всегда подчиняется результатам своих вычислений. Такой "игрок" получает информацию от событий игры и действует в соответствии с этой информацией. Но его обучение ограничено тем, что здесь называется нулевым обучением.
Исследование этой формальной фикции расширяет наше определение нулевого обучения.
(1) От событий игры "игрок" может получать информацию более высокого или более низкого логического типа и использовать эту информацию для принятия решений более высокого или более низкого уровня. То есть его решения могут быть либо стратегическими, либо тактическими, и он может идентифицировать и отвечать как на тактические, так и на стратегические действия своего противника. Однако верно, что в формальном определении игры фон Неймана все проблемы, предоставляемые игрой, считаются вычислимыми, т.е. хотя игра и может содержать проблемы и информацию многих различных логических типов, иерархия этих типов строго конечна.
Становится ясно, что определение нулевого обучения не зависит ни от логической типизации получаемой организмом информации, ни от логической типизации принимаемых организмом адаптивных решений. Очень высокий (однако конечный) порядок сложности может характеризовать адаптивное поведение, не базирующееся ни на чем, превышающем нулевое обучение.
(2) "Игрок" может вычислить ценность полезной для себя информации, а также вычислить, что эта информация стоит того, чтобы ее получить путем "разведывательных" ходов. Или же он может делать пустые и пробные ходы в ожидании нужной информации.
Из этого следует, что крыса, занятая исследовательским поведением, может делать это на базе нулевого обучения.
(3) "Игрок" может вычислить, что ему могут быть выгодны случайные ходы. При игре в монетку он может вычислить, что, выбирая "орел" или "решку" случайным образом, он будет иметь равный шанс на победу. Если он использует некоторый план, то этот план проявится как паттерн (избыточность) в последовательности его ходов и его противник получит таким образом информацию. Следовательно, "игрок" выберет случайную игру.
(4) "Игрок" не способен на "ошибку". Он может (по серьезным причинам) делать случайные либо разведывательные ходы, но он по определению не способен "учиться методом проб и ошибок".
Если мы полагаем, что в названии этого учебного процесса слово "ошибка" означает то же, что мы имели в виду, когда говорили, что "игрок" не способен на ошибку, тогда "пробы и ошибки" исключаются из репертуара "игрока" фон Неймана. Фактически "игрок" фон Неймана заставляет нас очень тщательно исследовать то, что мы имеем в виду под "обучением методом проб и ошибок", а также, разумеется, всего, что имеется в виду под обучением любого рода. Предположение, связанное со значением слова "ошибка", нетривиально и должно быть исследовано.
В определенном смысле "игрок" может ошибаться. Например, он может принять решение по вероятностным соображениям и затем сделать ход, который в свете ограниченной доступной информации является правильным с наибольшей вероятностью. Когда же становится доступно больше информации, он может обнаружить, что ход был ошибочным. Но это открытие ничего не может прибавить к его будущим навыкам. По определению, игрок правильно использовал всю доступную информацию. Он правильно оценил вероятности и сделал ход, который был правильным с наибольшей вероятностью. Открытие того, что в некоторый момент он ошибся, не может иметь отношения к будущим ситуациям. Если впоследствии возникнет та же проблема, он проделает те же вычисления, придет к тем же решениям и будет прав. Более того, набор альтернатив, из которого он будет делать свой выбор, будет все тем же набором. И это правильно.
По контрасту, организм способен ошибаться многими "способами", на которые "игрок" не способен. Эти неправильные выборы уместно назвать "ошибками" в том случае, когда они имеют такой характер, что дают организму информацию, способную увеличивать его будущие навыки. Во всех этих случаях некоторая доступная информация либо игнорируется, либо используется некорректно. Можно классифицировать различные виды таких полезных ошибок.
Предположим, что внешнее событие содержит детали, которые могут сообщить организму:
a) из какого набора альтернатив он должен выбрать свой следующий ход;
b) какой элемент этого набора он должен выбрать. Такая ситуация допускает двоякого рода ошибки:
(1) организм может правильно использовать информацию, которая говорит, из какого набора альтернатив он должен выбрать, но выбрать неправильную альтернативу внутри этого набора;
(2) он может выбрать из неправильного набора альтернатив.
(Имеется также интересный класс случаев, в которых наборы альтернатив содержат общие элементы. Поэтому для организма есть возможность быть "правым", но по ошибочным причинам. Эта форма ошибки неизбежно является самоусиливающейся.)
Если теперь принять общее положение, что любое обучение, отличное от нулевого обучения, в некоторой степени сто-хастично (т.е. содержит компоненты "проб и ошибок"), то из этого следует, что упорядочение процесса обучения может быть построено на иерархической классификации типов ошибок, которые должны быть исправлены в различных учебных процессах. Нулевое обучение станет тогда обозначением для непосредственной основы всех тех актов (простых и сложных), которые не корректируются методом проб и ошибок; обучение-I будет уместным обозначением для пересмотра выбора внутри неизменного набора альтернатив; обучение-II будет обозначать пересмотр набора, из которого делается выбор, и т.д.
Обучение-I
Следуя формальной аналогии, задаваемой "законами" движения (т.е. "правилами" описания движений), мы попытаемся найти класс явлений, описание которого соответствует изменениям при нулевом обучении (так "движение" описывает изменение положения). Это случаи, при которых объект во время t=2 дает другой отклик, нежели во время t=1. Тут мы снова сталкиваемся со множеством случаев, различно связанных с опытом, физиологией, генетикой и механическими процессами.
(a) Существует феномен привыкания, т.е. замены ответа на каждое появление повторяющегося события на отсутствие Явного ответа. Существует также угасание (или потеря) привыкания, которое может произойти в результате более или менее длительного перерыва в последовательности повторений события-стимула. (Привыкание представляет особый интерес. Специфичность отклика, которую мы называем нулевым обучением, характерна для любой протоплазмы, однако интересно отметить, что "привыкание" -это, возможно, единственная форма обучения-I, которую живые существа могут достигать без обладания нервной цепью.)
(b) Самый знакомый и, возможно, самый изученный случай - это классическое павловское обусловливание. При t=2 собака выделяет слюну в ответ на звонок; она не делает этого при t=1.
(c) Существует "обучение", возникающее в контексте инструментального поощрения и инструментального избегания.
(d) Существует феномен обучения путем многократного повторения (rote learning), в котором одна единица поведения организма становится стимулом для другой единицы поведения.
(e) Существует обрыв (угасание или подавление) "завершенного" обучения, который может последовать за изменением или отсутствием подкрепления.
Одним словом, список видов обучения-I содержит то, что обычно и называют "обучением" в психологических лабораториях.
Отметим, что во всех случаях нашего описания обучения-I содержится предположение о "контексте". Это предположение нужно сделать явным. Определение обучения-I предполагает, что звонок (стимул) в некотором смысле "тот же" как при t=2, так и при t=1. Это предположение должно также описывать "контекст", который должен быть (теоретически) тем же самым в оба момента. Из этого следует, что события, случившиеся при t=1, в нашем описании не включаются в определение контекста при t=2, поскольку их включение сразу создало бы серьезные различия между "контекстом при t=1" и "контекстом при t=2". (Перефразируя Гераклита, "никакой мужчина не может два раза лишить невинности одну девушку".)
Имеющее характер конвенции предположение, что контекст может быть повторен, по крайней мере в некоторых случаях, является для автора этих строк краеугольным камнем того тезиса, что изучение поведения можно упорядочить в соответствии с Теорией Логических Типов. Без предположения о воспроизводимости контекста (и гипотезы, что для изучаемых нами организмов последовательности опыта в самом деле имеют подобную пунктуацию) получалось бы, что все "обучение" имеет только один тип, а именно нулевой. О павловском эксперименте мы просто сказали бы, что нервные цепи собаки с самого начала содержат такие "запаянные" характеристики, что в контексте А при t=1 она не выделяет слюны, а в полностью отличном контексте В при f=2 она будет выделять слюну. То, что мы раньше называли "обучением", теперь мы стали бы просто описывать как "различение" между событиями при t=1 и событиями при t=1 плюс t=2. Из этого логически вытекает, что на все вопросы типа: "Является ли это поведение выученным или врожденным?" ответы должны были бы даваться в пользу генетики.
Мы настаиваем, что без предположения о воспроизводимом контексте наш тезис теряет почву, как и вся вообще концепция "обучения". Если же, с другой стороны, предположение о воспроизводимом контексте принимается как верное для изучаемых нами организмов, тогда с необходимостью встает вопрос о логической типизации феномена обучения, поскольку само понятие "контекста" подвержено логической типизации.
Нам следует либо отказаться от понятия "контекст", либо, сохранив его, принять вместе с ним иерархические последовательности - стимулов, контекстов стимулов, контекстов контекстов стимулов и т.д. Эти последовательности могут быть представлены в форме иерархии логических типов следующим образом:
стимул есть элементарный сигнал, внутренний или внешний;
контекст стимулов есть мегасообщение, которое классифицируетэлементарные сигналы;
контекст контекстов стимулов есть мегаметасообщение, которое классифицирует метасообщения.
И так далее.
Та же иерархия могла бы быть построена на понятии "отклика" или понятии "подкрепления".
С другой стороны, следуя иерархической классификации ошибок, исправляемых стохастическим процессом "проб и ошибок", мы можем рассматривать "контекст" как коллективный термин для всех событий, сообщающих организму, какой из наборов альтернатив ему следует выбрать.
Здесь будет удобно ввести термин "маркер контекстов". Организм по-разному реагирует на "тот же" стимул в разных контекстах, и нам следовало бы поинтересоваться источником информации организма. Какое восприятие дает ему знать, что контекст А отличается от контекста В?
Во многих случаях специфического сигнала (указателя), классифицирующего (дифференцирующего) два контекста, может не быть, и организм будет вынужден получать эту информацию из актуального нагромождения событий, составляющих контекст в каждом случае. Однако в человеческой жизни (и, вероятно, в жизни других организмов) определенно существуют сигналы, чья главная функция классификация контекстов. Вполне резонно предположить, что, когда собака, проходившая длительное обучение в психологической лаборатории, видит перед собой некоторое оборудование, ей становится ясно, что ей предстоит последовательность контекстов совершенно определенного рода. Такой источник информации мы должны называть "маркером контекста", причем нужно немедленно отметить, что, по крайней мере на человеческом уровне, существуют также "маркеры контекста контекста". Например: аудитория смотрит постановку "Гамлета" и слышит, как герой размышляет о самоубийстве в контексте своих отношений с мертвым отцом, Офелией и другими. Зрители не бегут немедленно звонить в полицию, поскольку они получили информацию о контексте контекста Гамлета. Они знают, что это "игра", причем они получили эту информацию от множества "маркеров контекста контекста" - афиши, рядов кресел, занавеса и т.д. С другой стороны, шекспировский Король, у которого пьеса в пьесе вызывает укоры совести, игнорирует многие "маркеры контекста контекста".
На человеческом уровне очень многие и очень разные явления попадают в категорию "маркеров контекста". Приведу некоторые примеры:
a) трон Папы, с которого он делает заявления ex cathedra; эти заявления таким образом наделяются особым порядком важности;
b) плацебо, с помощью которого врач задает фазу для изменения субъективного ощущения пациента;
c) блестящие предметы, используемые некоторыми гипнотизерами для "индуцирования транса";
d) сирена воздушной тревоги, дающая "отбой";
e) рукопожатие боксеров перед боем;
f) соблюдение этикета.
Эти примеры, однако, принадлежат к социальной жизни чрезвычайно сложного организма; на этой же стадии гораздо полезнее поискать аналогичные феномены на предвербальном уровне.
Собака может увидеть поводок в руке хозяина и вести себя так, словно она знает, что это означает прогулку; или же она может получить информацию о приближении этого типа контекста от звука слова "гулять".
Когда крыса начинает последовательность исследовательских действий, делает ли она это в ответ на "стимул"? Или в ответ на контекст? Или в ответ на маркер контекста?
Эти вопросы выносят на поверхность формальные проблемы Теории Логических Типов, которые следует обсудить. В своей оригинальной форме теория имеет дело только со строго цифровой (digital) коммуникацией, и неясно, насколько далеко ее можно применять к аналоговым и иконическим (iconic) системам. То, что мы здесь называем "маркерами контекста", может быть либо цифровыми (например, слово "гулять"), либо аналоговыми сигналами: например, оживление в поведении хозяина может указывать на приближение прогулки; либо же маркером может служить некоторый элемент приближающегося контекста (поводок как элемент прогулки); либо в экстремальном случае сама прогулка во всей своей сложности может означать саму себя, без каких-либо указателей или маркеров, стоящих между собакой и опытом. Воспринимаемое событие само может сообщать о собственном появлении. В этом случае, конечно, не может быть ошибки типа "съедания меню". Более того, тут невозможно генерирование парадокса, поскольку в чисто аналоговой или иконической коммуникации не существует сигнала для "нет".
Фактически для аналоговой коммуникации не существует формальной теории и, в частности, нет эквивалента для теории информации или Теории Логических Типов. Этот пробел в формальном знании создает неудобства, когда мы покидаем разреженный мир логики и математики и сталкиваемся с феноменами из области естествознания. В природном мире коммуникация редко бывает чисто цифровой или чисто аналоговой. Часто дискретные цифровые точки собираются вместе для составления аналоговой картины подобно полутоновому блоку принтера; часто, как в случае маркеров контекста, существует непрерывная градация от наглядно очевидного (ostensive) через иконический и до чисто цифрового уровня. На цифровом полюсе этой шкалы все теоремы теории информации действуют в полную силу, но на наглядно очевидном аналоговом полюсе они бессмысленны.
Создается впечатление, что, хотя многое из поведенческой коммуникации даже у высших млекопитающих остается наглядно очевидным (аналоговым), внутренние механизмы этих существ стали цифровыми по крайней мере на нейронном уровне. Может показаться, что аналоговая коммуникация в некотором смысле более примитивна, чем цифровая, и существует широкая эволюционная тенденция к замене аналоговых механизмов цифровыми. Кажется, что эта тенденция работает быстрее в эволюции внутренних механизмов, чем в эволюции внешнего поведения.
Резюмируем сказанное выше:
a) положение о воспроизводимом контексте - необходимая предпосылка для любой теории, определяющей "обучение" как изменение;
b) это положение - не просто инструмент нашего описания, оно содержит имплицитную гипотезу, что для изучаемых нами организмов последовательность жизненного опыта, действий и т.д. каким-то образом сегментирована или размечена на последовательности ("контексты"), которые организм может либо уравнивать, либо дифференцировать;
c) часто подчеркиваемое различие между восприятием и действием, афферентным и эфферентным, входом и выходом не имеет большого значения для высших организмов в сложных ситуациях. С одной стороны, ЦНС может получить сообщение практически о каждой единице действия либо от внешних чувств, либо от эндоцептивных (endoceptive) механизмов, и в этом случае сообщение об этой единице попадает на вход. С другой стороны, у высших организмов перцепция ни в каком смысле не является процессом чисто пассивной восприимчивости, но по крайней мере частично детерминируется эфферентным контролем высших центров. Как известно, перцепция может изменяться с опытом. В принципе, мы должны принять обе возможности: что каждая единица выхода (действия) может создавать единицу на входе и что перцепты (единицы входа) могут в некоторых случаях принимать участие в формировании единицы выхода. Не случайно, что почти все органы чувств используются также для отправления сигналов между организмами. Муравьи общаются своими антеннами, собаки настораживают уши и т.д.;
Таким образом, теория имеет дело с весьма абстрактными материями и впервые возникла в абстрактном мире логики. Если в этом мире демонстрируется, что последовательность утверждений генерирует парадокс, то вся структура аксиом, теорем и т.д., причастная к генерированию этого парадокса, отрицается и уничтожается. Ее как будто никогда не существовало. Но в реальном мире (или, по крайней мере, в наших описаниях реального мира) всегда присутствует время, и что-то, что однажды существовало, уже нельзя тотально отрицать подобным образом. Компьютер, сталкивающийся с парадоксом из-за ошибок в программе, сам не исчезает.
В логических "если... то..." не содержится времени. В компьютере же причины и следствия используются для симуляции логических "если... то..."; причем сами последовательности причин и следствий с необходимостью включают время. И напротив, можно сказать, что при научных рассуждениях логические "если... то..." используются для симуляции "если... то..." причин и следствий.
Компьютер в действительности никогда не сталкивается с логическим парадоксом, а только с симуляцией парадокса посредством цепочек причин и следствий. Поэтому компьютер не исчезает. Он просто "зависает".
Фактически существуют важные различия между миром логики и феноменальным миром, и эти различия нужно принимать во внимание всегда, когда наши аргументы базируются на существующей между ними важной, но частичной аналогии.
Тезисом настоящей статьи является то, что эта частичная аналогия может дать ученым-бихевиористам важный ключ к классификации феноменов, связанных с обучением. Следовало бы применить что-то вроде теории типов именно в области коммуникации животных и механизмов.
К сожалению, подобные вопросы не слишком часто обсуждаются в зоологических лабораториях, антропологических полевых лагерях или на собраниях психиатров. Поэтому необходимо показать, что эти абстрактные рассуждения важны для ученых-бихевиористов.
Рассмотрим следующий силлогизм:
a) изменения в частоте наблюдаемых видов поведения млекопитающих могут быть описаны и предсказаны в терминах различных "законов" подкрепления;
b) наблюдаемое у крыс явление "исследования" есть категория или класс поведения млекопитающих;
c) следовательно, изменения в частоте явлений "исследования" должны поддаваться описанию в терминах тех же "законов" подкрепления.
Скажем сразу: во-первых, эмпирические данные показывают, что вывод (с) неверен; во-вторых, если бы удалось показать верность вывода (с), то либо (а), либо (b) было бы неверным [1].
1 Вполне понятно, что одни и те же слова могут использоваться при описании как класса, так и его членов, и могут быть верными в обоих случаях. Слово "волна" является именем класса движений частиц. Мы также можем сказать, что волна сама "движется", но при этом мы ссылаемся на движение класса движений. Из-за трения это метадвижение будет терять скорость, как и движение частицы.
И для логики, и для естествознания будет лучше, если вывод (с) будет расширен и подкорректирован примерно таким образом:
a) если, как сказано в (b), явление "исследования" есть не вид поведения млекопитающего, а категория таких видов, тогда никакое описательное утверждение, верное для видов поведения, не может быть верным для явления "исследования". Если, напротив, описательные утверждения, верные для видов поведения, верны также и для "исследования", то это "исследование" есть вид поведения, а не категория видов поведения.
Весь вопрос сводится к тому, является ли различие между классом и его членами упорядочивающим принципом для изучаемых нами феноменов поведения.
Говоря менее формальным языком: когда крыса изучает определенный незнакомый объект, ей можно создать подкрепление (позитивное или негативное), и она соответственно научится приближаться к объекту или избегать его. Но сама цель исследования заключается именно в получении информации о том, к каким объектам можно приближаться, а каких следует избегать. Следовательно, обнаружение того, что данный объект представляет опасность, является успехом в деле сбора информации. Этот успех не разочарует крысу в смысле дальнейшего исследования других незнакомых объектов.
Можно утверждать a priori, что все восприятие и все реакции, все поведение и все классы поведения, все обучение и всю генетику, всю нейрофизиологию и эндокринологию, всю организацию и всю эволюцию - вообще все это - следует рассматривать как предмет, коммуникативный по своей природе и потому имеющий отношение к тем крупным обобщениям или "законам", которые применяются к феноменам коммуникации. Следовательно, мы предупреждены о возможности найти в наших данных те принципы порядка, которые предлагает нам фундаментальная теория коммуникации. Мы ожидаем, что Теория Логических Типов, Теория Информации и другие будут нашими проводниками.
"Обучение" компьютеров, крыс и людей
Слово "обучение" несомненно указывает на изменение некоторого рода. Однако какого рода это изменение - это вопрос деликатный.
Тем не менее, такой обширный общий знаменатель, как "изменение" дает возможность заключить, что наши описания "обучения" должны опираться на те же допущения, что и переменные того логического типа, который стал обычным в физических науках со времен Ньютона. Простейшая и самая знакомая форма изменения - это движение, и, даже работая на очень простом физическом уровне, мы должны структурировать наши описания в таких терминах, как "положение или нулевое движение", "постоянная скорость", "ускорение", "скорость изменения ускорения" и т.д. [2]
2 Уравнения Ньютона, описывающие движение "частицы", останавливаются на уровне "ускорения". Изменение ускорения может произойти только при деформации движущегося тела, но ньютоновские "частицы" не состояли из "частей" и потому не были способны (логически) к деформации или другим внутренним изменениям. Следовательно, они не были подвержены изменению ускорения.
Изменение указывает на процесс. Но процессы сами подвержены "изменениям". Процесс может ускориться, замедлиться или подвергнуться другим типам изменений, которые позволят сказать, что теперь это "другой" процесс.
Эти соображения показывают, что нам следует начать организовывать свои идеи относительно "обучения" с самого простейшего уровня.
Рассмотрим случай специфического отклика, или нулевого обучения. В этом случае объект выказывает минимальные изменения своего отклика при повторяющемся типе сенсорного воздействия. Феномены, достигающие такого уровня простоты, возникают в различных контекстах:
a) при экспериментальных условиях, когда "обучение" завершено и животное дает приблизительно 100% правильных ответов на повторяющиеся стимулы;
b) в случаях привыкания, когда животное перестает давать явный отклик на ранее беспокоивший стимул;
c) в случаях, когда паттерн отклика минимально детерминирован опытом и максимально детерминирован генетическими факторами;
d) в случаях, когда отклик становится высоко стереотипным;
e) в простых электронных цепях, где структура цепи не может быть изменена в результате прохождения импульсов по этой цепи, т.е. когда каузальные цепи между "стимулом" и "откликом", как говорят инженеры, "запаяны".
В обычной нетехнической речи слово "обучение" часто применяется к тому, что здесь называется "нулевым обучением", т.е. к простому получению информации от внешнего события таким образом, что подобное же событие в соответствующее время в будущем передаст ту же информацию. Например: я "научился" узнавать по фабричному гудку, когда наступает двенадцать часов.
Также интересно отметить, что в рамках нашего определения многие очень простые механические устройства выказывают по меньшей мере феномен нулевого обучения. Вопрос, следовательно, не в том, "могут ли машины учиться", а в том, какого уровня обучения достигла данная машина. Стоит уделить внимание экстремальному, хотя и гипотетическому, случаю.
"Игрок" в игре фон Неймана есть математическая фикция, сравнимая с евклидовой прямой в геометрии или ньютоновской частицей в физике. По определению, "игрок" способен выполнить все вычисления, необходимые для решения любой проблемы, возникающей в игре; он не способен не выполнить эти вычисления там, где они необходимы; он всегда подчиняется результатам своих вычислений. Такой "игрок" получает информацию от событий игры и действует в соответствии с этой информацией. Но его обучение ограничено тем, что здесь называется нулевым обучением.
Исследование этой формальной фикции расширяет наше определение нулевого обучения.
(1) От событий игры "игрок" может получать информацию более высокого или более низкого логического типа и использовать эту информацию для принятия решений более высокого или более низкого уровня. То есть его решения могут быть либо стратегическими, либо тактическими, и он может идентифицировать и отвечать как на тактические, так и на стратегические действия своего противника. Однако верно, что в формальном определении игры фон Неймана все проблемы, предоставляемые игрой, считаются вычислимыми, т.е. хотя игра и может содержать проблемы и информацию многих различных логических типов, иерархия этих типов строго конечна.
Становится ясно, что определение нулевого обучения не зависит ни от логической типизации получаемой организмом информации, ни от логической типизации принимаемых организмом адаптивных решений. Очень высокий (однако конечный) порядок сложности может характеризовать адаптивное поведение, не базирующееся ни на чем, превышающем нулевое обучение.
(2) "Игрок" может вычислить ценность полезной для себя информации, а также вычислить, что эта информация стоит того, чтобы ее получить путем "разведывательных" ходов. Или же он может делать пустые и пробные ходы в ожидании нужной информации.
Из этого следует, что крыса, занятая исследовательским поведением, может делать это на базе нулевого обучения.
(3) "Игрок" может вычислить, что ему могут быть выгодны случайные ходы. При игре в монетку он может вычислить, что, выбирая "орел" или "решку" случайным образом, он будет иметь равный шанс на победу. Если он использует некоторый план, то этот план проявится как паттерн (избыточность) в последовательности его ходов и его противник получит таким образом информацию. Следовательно, "игрок" выберет случайную игру.
(4) "Игрок" не способен на "ошибку". Он может (по серьезным причинам) делать случайные либо разведывательные ходы, но он по определению не способен "учиться методом проб и ошибок".
Если мы полагаем, что в названии этого учебного процесса слово "ошибка" означает то же, что мы имели в виду, когда говорили, что "игрок" не способен на ошибку, тогда "пробы и ошибки" исключаются из репертуара "игрока" фон Неймана. Фактически "игрок" фон Неймана заставляет нас очень тщательно исследовать то, что мы имеем в виду под "обучением методом проб и ошибок", а также, разумеется, всего, что имеется в виду под обучением любого рода. Предположение, связанное со значением слова "ошибка", нетривиально и должно быть исследовано.
В определенном смысле "игрок" может ошибаться. Например, он может принять решение по вероятностным соображениям и затем сделать ход, который в свете ограниченной доступной информации является правильным с наибольшей вероятностью. Когда же становится доступно больше информации, он может обнаружить, что ход был ошибочным. Но это открытие ничего не может прибавить к его будущим навыкам. По определению, игрок правильно использовал всю доступную информацию. Он правильно оценил вероятности и сделал ход, который был правильным с наибольшей вероятностью. Открытие того, что в некоторый момент он ошибся, не может иметь отношения к будущим ситуациям. Если впоследствии возникнет та же проблема, он проделает те же вычисления, придет к тем же решениям и будет прав. Более того, набор альтернатив, из которого он будет делать свой выбор, будет все тем же набором. И это правильно.
По контрасту, организм способен ошибаться многими "способами", на которые "игрок" не способен. Эти неправильные выборы уместно назвать "ошибками" в том случае, когда они имеют такой характер, что дают организму информацию, способную увеличивать его будущие навыки. Во всех этих случаях некоторая доступная информация либо игнорируется, либо используется некорректно. Можно классифицировать различные виды таких полезных ошибок.
Предположим, что внешнее событие содержит детали, которые могут сообщить организму:
a) из какого набора альтернатив он должен выбрать свой следующий ход;
b) какой элемент этого набора он должен выбрать. Такая ситуация допускает двоякого рода ошибки:
(1) организм может правильно использовать информацию, которая говорит, из какого набора альтернатив он должен выбрать, но выбрать неправильную альтернативу внутри этого набора;
(2) он может выбрать из неправильного набора альтернатив.
(Имеется также интересный класс случаев, в которых наборы альтернатив содержат общие элементы. Поэтому для организма есть возможность быть "правым", но по ошибочным причинам. Эта форма ошибки неизбежно является самоусиливающейся.)
Если теперь принять общее положение, что любое обучение, отличное от нулевого обучения, в некоторой степени сто-хастично (т.е. содержит компоненты "проб и ошибок"), то из этого следует, что упорядочение процесса обучения может быть построено на иерархической классификации типов ошибок, которые должны быть исправлены в различных учебных процессах. Нулевое обучение станет тогда обозначением для непосредственной основы всех тех актов (простых и сложных), которые не корректируются методом проб и ошибок; обучение-I будет уместным обозначением для пересмотра выбора внутри неизменного набора альтернатив; обучение-II будет обозначать пересмотр набора, из которого делается выбор, и т.д.
Обучение-I
Следуя формальной аналогии, задаваемой "законами" движения (т.е. "правилами" описания движений), мы попытаемся найти класс явлений, описание которого соответствует изменениям при нулевом обучении (так "движение" описывает изменение положения). Это случаи, при которых объект во время t=2 дает другой отклик, нежели во время t=1. Тут мы снова сталкиваемся со множеством случаев, различно связанных с опытом, физиологией, генетикой и механическими процессами.
(a) Существует феномен привыкания, т.е. замены ответа на каждое появление повторяющегося события на отсутствие Явного ответа. Существует также угасание (или потеря) привыкания, которое может произойти в результате более или менее длительного перерыва в последовательности повторений события-стимула. (Привыкание представляет особый интерес. Специфичность отклика, которую мы называем нулевым обучением, характерна для любой протоплазмы, однако интересно отметить, что "привыкание" -это, возможно, единственная форма обучения-I, которую живые существа могут достигать без обладания нервной цепью.)
(b) Самый знакомый и, возможно, самый изученный случай - это классическое павловское обусловливание. При t=2 собака выделяет слюну в ответ на звонок; она не делает этого при t=1.
(c) Существует "обучение", возникающее в контексте инструментального поощрения и инструментального избегания.
(d) Существует феномен обучения путем многократного повторения (rote learning), в котором одна единица поведения организма становится стимулом для другой единицы поведения.
(e) Существует обрыв (угасание или подавление) "завершенного" обучения, который может последовать за изменением или отсутствием подкрепления.
Одним словом, список видов обучения-I содержит то, что обычно и называют "обучением" в психологических лабораториях.
Отметим, что во всех случаях нашего описания обучения-I содержится предположение о "контексте". Это предположение нужно сделать явным. Определение обучения-I предполагает, что звонок (стимул) в некотором смысле "тот же" как при t=2, так и при t=1. Это предположение должно также описывать "контекст", который должен быть (теоретически) тем же самым в оба момента. Из этого следует, что события, случившиеся при t=1, в нашем описании не включаются в определение контекста при t=2, поскольку их включение сразу создало бы серьезные различия между "контекстом при t=1" и "контекстом при t=2". (Перефразируя Гераклита, "никакой мужчина не может два раза лишить невинности одну девушку".)
Имеющее характер конвенции предположение, что контекст может быть повторен, по крайней мере в некоторых случаях, является для автора этих строк краеугольным камнем того тезиса, что изучение поведения можно упорядочить в соответствии с Теорией Логических Типов. Без предположения о воспроизводимости контекста (и гипотезы, что для изучаемых нами организмов последовательности опыта в самом деле имеют подобную пунктуацию) получалось бы, что все "обучение" имеет только один тип, а именно нулевой. О павловском эксперименте мы просто сказали бы, что нервные цепи собаки с самого начала содержат такие "запаянные" характеристики, что в контексте А при t=1 она не выделяет слюны, а в полностью отличном контексте В при f=2 она будет выделять слюну. То, что мы раньше называли "обучением", теперь мы стали бы просто описывать как "различение" между событиями при t=1 и событиями при t=1 плюс t=2. Из этого логически вытекает, что на все вопросы типа: "Является ли это поведение выученным или врожденным?" ответы должны были бы даваться в пользу генетики.
Мы настаиваем, что без предположения о воспроизводимом контексте наш тезис теряет почву, как и вся вообще концепция "обучения". Если же, с другой стороны, предположение о воспроизводимом контексте принимается как верное для изучаемых нами организмов, тогда с необходимостью встает вопрос о логической типизации феномена обучения, поскольку само понятие "контекста" подвержено логической типизации.
Нам следует либо отказаться от понятия "контекст", либо, сохранив его, принять вместе с ним иерархические последовательности - стимулов, контекстов стимулов, контекстов контекстов стимулов и т.д. Эти последовательности могут быть представлены в форме иерархии логических типов следующим образом:
стимул есть элементарный сигнал, внутренний или внешний;
контекст стимулов есть мегасообщение, которое классифицируетэлементарные сигналы;
контекст контекстов стимулов есть мегаметасообщение, которое классифицирует метасообщения.
И так далее.
Та же иерархия могла бы быть построена на понятии "отклика" или понятии "подкрепления".
С другой стороны, следуя иерархической классификации ошибок, исправляемых стохастическим процессом "проб и ошибок", мы можем рассматривать "контекст" как коллективный термин для всех событий, сообщающих организму, какой из наборов альтернатив ему следует выбрать.
Здесь будет удобно ввести термин "маркер контекстов". Организм по-разному реагирует на "тот же" стимул в разных контекстах, и нам следовало бы поинтересоваться источником информации организма. Какое восприятие дает ему знать, что контекст А отличается от контекста В?
Во многих случаях специфического сигнала (указателя), классифицирующего (дифференцирующего) два контекста, может не быть, и организм будет вынужден получать эту информацию из актуального нагромождения событий, составляющих контекст в каждом случае. Однако в человеческой жизни (и, вероятно, в жизни других организмов) определенно существуют сигналы, чья главная функция классификация контекстов. Вполне резонно предположить, что, когда собака, проходившая длительное обучение в психологической лаборатории, видит перед собой некоторое оборудование, ей становится ясно, что ей предстоит последовательность контекстов совершенно определенного рода. Такой источник информации мы должны называть "маркером контекста", причем нужно немедленно отметить, что, по крайней мере на человеческом уровне, существуют также "маркеры контекста контекста". Например: аудитория смотрит постановку "Гамлета" и слышит, как герой размышляет о самоубийстве в контексте своих отношений с мертвым отцом, Офелией и другими. Зрители не бегут немедленно звонить в полицию, поскольку они получили информацию о контексте контекста Гамлета. Они знают, что это "игра", причем они получили эту информацию от множества "маркеров контекста контекста" - афиши, рядов кресел, занавеса и т.д. С другой стороны, шекспировский Король, у которого пьеса в пьесе вызывает укоры совести, игнорирует многие "маркеры контекста контекста".
На человеческом уровне очень многие и очень разные явления попадают в категорию "маркеров контекста". Приведу некоторые примеры:
a) трон Папы, с которого он делает заявления ex cathedra; эти заявления таким образом наделяются особым порядком важности;
b) плацебо, с помощью которого врач задает фазу для изменения субъективного ощущения пациента;
c) блестящие предметы, используемые некоторыми гипнотизерами для "индуцирования транса";
d) сирена воздушной тревоги, дающая "отбой";
e) рукопожатие боксеров перед боем;
f) соблюдение этикета.
Эти примеры, однако, принадлежат к социальной жизни чрезвычайно сложного организма; на этой же стадии гораздо полезнее поискать аналогичные феномены на предвербальном уровне.
Собака может увидеть поводок в руке хозяина и вести себя так, словно она знает, что это означает прогулку; или же она может получить информацию о приближении этого типа контекста от звука слова "гулять".
Когда крыса начинает последовательность исследовательских действий, делает ли она это в ответ на "стимул"? Или в ответ на контекст? Или в ответ на маркер контекста?
Эти вопросы выносят на поверхность формальные проблемы Теории Логических Типов, которые следует обсудить. В своей оригинальной форме теория имеет дело только со строго цифровой (digital) коммуникацией, и неясно, насколько далеко ее можно применять к аналоговым и иконическим (iconic) системам. То, что мы здесь называем "маркерами контекста", может быть либо цифровыми (например, слово "гулять"), либо аналоговыми сигналами: например, оживление в поведении хозяина может указывать на приближение прогулки; либо же маркером может служить некоторый элемент приближающегося контекста (поводок как элемент прогулки); либо в экстремальном случае сама прогулка во всей своей сложности может означать саму себя, без каких-либо указателей или маркеров, стоящих между собакой и опытом. Воспринимаемое событие само может сообщать о собственном появлении. В этом случае, конечно, не может быть ошибки типа "съедания меню". Более того, тут невозможно генерирование парадокса, поскольку в чисто аналоговой или иконической коммуникации не существует сигнала для "нет".
Фактически для аналоговой коммуникации не существует формальной теории и, в частности, нет эквивалента для теории информации или Теории Логических Типов. Этот пробел в формальном знании создает неудобства, когда мы покидаем разреженный мир логики и математики и сталкиваемся с феноменами из области естествознания. В природном мире коммуникация редко бывает чисто цифровой или чисто аналоговой. Часто дискретные цифровые точки собираются вместе для составления аналоговой картины подобно полутоновому блоку принтера; часто, как в случае маркеров контекста, существует непрерывная градация от наглядно очевидного (ostensive) через иконический и до чисто цифрового уровня. На цифровом полюсе этой шкалы все теоремы теории информации действуют в полную силу, но на наглядно очевидном аналоговом полюсе они бессмысленны.
Создается впечатление, что, хотя многое из поведенческой коммуникации даже у высших млекопитающих остается наглядно очевидным (аналоговым), внутренние механизмы этих существ стали цифровыми по крайней мере на нейронном уровне. Может показаться, что аналоговая коммуникация в некотором смысле более примитивна, чем цифровая, и существует широкая эволюционная тенденция к замене аналоговых механизмов цифровыми. Кажется, что эта тенденция работает быстрее в эволюции внутренних механизмов, чем в эволюции внешнего поведения.
Резюмируем сказанное выше:
a) положение о воспроизводимом контексте - необходимая предпосылка для любой теории, определяющей "обучение" как изменение;
b) это положение - не просто инструмент нашего описания, оно содержит имплицитную гипотезу, что для изучаемых нами организмов последовательность жизненного опыта, действий и т.д. каким-то образом сегментирована или размечена на последовательности ("контексты"), которые организм может либо уравнивать, либо дифференцировать;
c) часто подчеркиваемое различие между восприятием и действием, афферентным и эфферентным, входом и выходом не имеет большого значения для высших организмов в сложных ситуациях. С одной стороны, ЦНС может получить сообщение практически о каждой единице действия либо от внешних чувств, либо от эндоцептивных (endoceptive) механизмов, и в этом случае сообщение об этой единице попадает на вход. С другой стороны, у высших организмов перцепция ни в каком смысле не является процессом чисто пассивной восприимчивости, но по крайней мере частично детерминируется эфферентным контролем высших центров. Как известно, перцепция может изменяться с опытом. В принципе, мы должны принять обе возможности: что каждая единица выхода (действия) может создавать единицу на входе и что перцепты (единицы входа) могут в некоторых случаях принимать участие в формировании единицы выхода. Не случайно, что почти все органы чувств используются также для отправления сигналов между организмами. Муравьи общаются своими антеннами, собаки настораживают уши и т.д.;