Страница:
Получив отказы в компании Intel и Массачусетсском технологическом институте, я пребывал в растерянности. Решив придерживаться одной из моих жизненных стратегий – не зная, как лучше действовать, лучше ничего не менять до тех пор, пока не прояснятся возможные варианты выбора, – я продолжал работать в индустрии информационных технологий. Мне нравился Бостон, но жена настояла на переезде в Калифорнию, что и свершилось в 1982 году (данное событие также вполне соответствовало моему жизненному кредо – всегда избирать путь наименьшего сопротивления). Я нашел работу в Силиконовой долине, в новой компании Grid Systems. Именно в этой фирме был создан первый портативный компьютер – отличное устройство, ставшее первым экспонатом в коллекции Музея современного искусства в Нью-Йорке. Сначала я работал в отделе маркетинга, потом – в инженерном отделе. Я разработал новый язык программирования под названием GridTask, принесший компании большой успех, и моя карьера быстро пошла в гору.
Но, несмотря ни на что, меня все так же преследовала загадка человеческого мозга и идея создания «разумных» компьютеров. Снедаемый желанием изучать живой мозг, я поступил на дистанционный курс «Физиология человека» (к счастью, на дистанционную форму обучения охотно принимают всех желающих). Получив базовые знания по биологии, я решил поступить в аспирантуру и заняться изучением разума с позиций биологической науки. Раз уж мир информационных технологий отверг начинания теоретика, изучающего проблемы мозга, то, возможно, мир биологии будет более гостеприимным в отношении ученого-кибернетика. В то время не существовало такого направления, как теоретическая биология, теоретической нейробиологии не было и в по-мине, и наиболее близкой кругу моих интересов я посчитал биофизику. Я тщательно подготовился, составил резюме, собрал рекомендательные письма, сдал вступительные экзамены, и – о счастье! – поступил в аспирантуру по специальности «Биофизика» в Калифорнийский университет (Беркли).
Я сгорал от нетерпения. «Наконец можно будет вплотную заняться изучением теории разума», – думал я. Работа в Grid Systems осталась позади, и в мои планы не входило возвращение в индустрию информационных технологий, что неминуемо означало ухудшение финансово-го благосостояния. Моя жена как раз созрела для того, чтобы подумать о продолжении рода, и тут я со счастливой миной бросаю свою прежнюю работу и перестаю быть кормильцем семьи. Трудно назвать такое решение путем наименьшего сопротивления, но я избрал свой путь сознательно и считал принятое решение наилучшим. К тому же меня поддержала и жена.
Джон Элленби, основатель Grid Systems, прощаясь со мной, сказал: «Я понимаю, что ты не намерен возвращаться в Grid или в кибернетику вообще, но человек предполагает, а Бог располагает. Вместо того чтобы сжигать все мосты, возьми лучше длительный отпуск за свой счет. И если все же через год-два тебе захочется вернуться в компанию, ты придешь на ту же должность и заработную плату плюс та же доля акций нашей компании». Это был очень благородный жест с его стороны. Я согласился, хотя и предчувствовал, что навсегда покидаю компьютерный бизнес.
2. Нейронные сети
Но, несмотря ни на что, меня все так же преследовала загадка человеческого мозга и идея создания «разумных» компьютеров. Снедаемый желанием изучать живой мозг, я поступил на дистанционный курс «Физиология человека» (к счастью, на дистанционную форму обучения охотно принимают всех желающих). Получив базовые знания по биологии, я решил поступить в аспирантуру и заняться изучением разума с позиций биологической науки. Раз уж мир информационных технологий отверг начинания теоретика, изучающего проблемы мозга, то, возможно, мир биологии будет более гостеприимным в отношении ученого-кибернетика. В то время не существовало такого направления, как теоретическая биология, теоретической нейробиологии не было и в по-мине, и наиболее близкой кругу моих интересов я посчитал биофизику. Я тщательно подготовился, составил резюме, собрал рекомендательные письма, сдал вступительные экзамены, и – о счастье! – поступил в аспирантуру по специальности «Биофизика» в Калифорнийский университет (Беркли).
Я сгорал от нетерпения. «Наконец можно будет вплотную заняться изучением теории разума», – думал я. Работа в Grid Systems осталась позади, и в мои планы не входило возвращение в индустрию информационных технологий, что неминуемо означало ухудшение финансово-го благосостояния. Моя жена как раз созрела для того, чтобы подумать о продолжении рода, и тут я со счастливой миной бросаю свою прежнюю работу и перестаю быть кормильцем семьи. Трудно назвать такое решение путем наименьшего сопротивления, но я избрал свой путь сознательно и считал принятое решение наилучшим. К тому же меня поддержала и жена.
Джон Элленби, основатель Grid Systems, прощаясь со мной, сказал: «Я понимаю, что ты не намерен возвращаться в Grid или в кибернетику вообще, но человек предполагает, а Бог располагает. Вместо того чтобы сжигать все мосты, возьми лучше длительный отпуск за свой счет. И если все же через год-два тебе захочется вернуться в компанию, ты придешь на ту же должность и заработную плату плюс та же доля акций нашей компании». Это был очень благородный жест с его стороны. Я согласился, хотя и предчувствовал, что навсегда покидаю компьютерный бизнес.
2. Нейронные сети
В январе 1986 года я приступил к учебе в аспирантуре. Прежде всего я решил составить обзор теорий разума и функций мозга. Я перечитал сотни работ анатомов, физиологов, лингвистов, философов, психологов, а также ученых-кибернетиков. В каждой из перечисленных сфер деятельности предлагалась своя терминология и особый взгляд на функционирование мозга. Все описания показались мне достаточно поверхностными и неопределенными. Лингвисты писали о разуме в терминах синтаксиса[4] и семантики[5], утверждая, что мозг и, соответственно, интеллект, можно полностью исследовать посредством языка. Изучавшие зрительное восприятие писали о двухмерном и трехмерном измерениях. Они полагали, что основой разума и функционирования мозга служит визуальное распознавание объектов окружающей среды. Компьютерщики писали о схемах и структурах – понятиях, специально введенных для описания информации, но не утруждали себя изучением живого разума. С другой стороны, анатомы и нейрофизиологи очень подробно описывали строение мозга и функционирование нейронов, но при этом даже и не пытались создать единую всеохватывающую теорию. Упорядочить это невероятное количество подходов и подкрепляющих их экспериментальных данных представлялось немыслимым.
И вот в сфере разработки искусственного интеллекта появилось новое многообещающее направление, а именно – нейронные сети, о которых заговорили еще в начале шестидесятых годов XX века. В умах руководителей организаций, осуществляющих финансирование исследований, нейронные сети и искусственный интеллект занимали конкурирующие позиции. Причем 800-фунтовой гориллой, которая легко вытесняла соперника с ринга, был искусственный интеллект. Исследования нейронных сетей финансировались плохо и на несколько лет были даже занесены в черный список. Но это не остановило немногочисленных энтузиастов, не перестававших заниматься нейронными сетями. Их счастливая звезда взошла в середине 1980-х годов. Трудно сказать наверняка, чем именно был вызван внезапный интерес к нейронным сетям, но, вне всякого сомнения, свою роль сыграла череда неудачных попыток создания искусственного интеллекта. Начался поиск альтернатив, и выбор пал на нейронные сети.
Создатели нейронных сетей (НС) оказались далеко впереди своих коллег, бившихся над разработкой искусственного интеллекта. НС были построены, хоть и весьма приблизительно, по принципу биологической нервной системы. Вместо того чтобы заниматься программированием, исследователи нейронных сетей, так называемые коннекционисты[6], сосредоточились на изучении того, какие типы поведения генерируют различные нейронные комбинации. Мозг состоит из нейронов, стало быть, мозг – это нейронная сеть. Задачи коннекционистов состояли в том, чтобы изучить неуловимые свойства разума путем изучения взаимодействия нейронов. Они рассчитывали, правильно воссоздав связи между группами нейронов, тем самым приблизиться к решению задач, которых не смог одолеть искусственный интеллект. Нейронные сети отличаются от компьютеров тем, что у них нет центрального микропроцессора и они не сохраняют информацию в центральном блоке памяти. Информация, занесенная в память нейронной сети, сосредоточена в связях – точно так же, как и в головном мозге человека.
На первый взгляд, разработка нейронных сетей полностью соответствовала сфере моих научных интересов. Однако на тот момент я четко видел три фактора, критических для понимания работы мозга.
Во-первых, в исследования мозга следует включать временной критерий, ведь скорость обработки потока информации чрезвычайно высока. Данные, поступающие в мозг и исходящие из него, никогда не пребывают в статическом состоянии. Во-вторых, мозг насквозь пронизан обратными связями. Например, обмен между неокортексом и таламусом, главным подкорковым центром, направляющим импульсы всех видов чувствительности (температурной, болевой и др.) к стволу мозга, подкорковым узлам и коре больших полушарий, построен таким образом, что количество обратных связей превышает количество исходящих почти в десять раз! Это значит, что на каждое волокно, подающее информацию в неокортекс, приходится десять волокон, отправляющих обратную информацию к органам чувств. Обратная связь также является превалирующей формой связи между нейронами внутри неокортекса. Роль обратной связи пока что до конца не изучена, но с уверенностью можно сказать, что эта связь вездесуща. Для нас это очень важно.
Наконец, в-третьих, любая модель (или теория мозга) должна соответствовать биологическому строению живого мозга. У неокортекса очень сложное строение, которое, как мы увидим позже, представляет собой повторяющуюся иерархию. Любая нейронная сеть, не имеющая таковой, не сможет воссоздать работу мозга.
Первые нейронные сети представляли собой крайне упрощенные v модели, которые не удовлетворяли ни одному из трех описанных выше требований. Большинство из них были трехслойными. Входной слой нейронов служил для ввода значений входных переменных. Нейроны этого слоя были связаны с нейронами промежуточного слоя, так называемыми скрытыми элементами. Скрытые элементы были связаны с последним слоем нейронов – элементами выхода. Связи между нейронами имели переменную силу. Это означало, что активность внутри одного нейрона могла усилить активность внутри второго и ослабить активность внутри третьего – в зависимости от силы связей. Изменяя силу связей, можно было «обучить» нейронную сеть соотношению входящих данных с исходящими.
Простейшие нейронные сети были предназначены для обработки статических данных, в них не была задействована обратная связь, и они не имели ничего общего с живым мозгом. Типичный пример нейронной сети – сеть с прямой передачей сигнала, в которой элементы выхода транслируют сигнал об ошибке, и этот сигнал подается на элементы входа. Может показаться, что трансляция ошибок является обратной связью, но на самом деле это не так. Обратная трансляция ошибок происходила только на стадии обучения, а в процессе собственно функционирования нейронной сети потоки информации всегда передавались одним и тем же способом. Никакой обратной связи между элементами входа и выхода не наблюдалось. Кроме того, модель не учитывала временной фактор. Статические входящие сигналы превращались в статические исходящие сигналы – и ничего более. Потом подавался следующий сигнал, и все повторялось сначала. Нейронная сеть не сохраняла никаких данных о произошедших событиях, даже о тех, что случились совсем недавно. Структура нейронных сетей не шла ни в какое сравнение со сложным иерархическим строением человеческого мозга.
Я рассчитывал, что разработчики нейронных сетей в будущем перейдут от простых моделей к более совершенным и реалистичным, однако этого не произошло. Складывалось впечатление, что из-за подтвержденной функциональности простейших нейронных сетей все исследователи на долгие годы готовы остановится на достигнутом уровне. Был найден новый и очень занятный инструмент; тысячи ученых, инженеров и студентов получали гранты, защищали диссертации, издавали книги о нейронных сетях. При помощи нейронных сетей составлялись прогнозы для фондового рынка, проводилась обработка документации для кредитования, осуществлялись графологические экспертизы и сотни других операций. Кто знает, возможно цели изобретателей нейронных сетей были гораздо более широкими, но в конечном счете эту сферу оккупировали те, кто меньше всего интересовался пониманием работы мозга и устройством человеческого разума.
Различия между нейронными сетями и работой мозга вопиющим образом нивелировались средствами массовой информации. В газетах, журналах, научных телепередачах нейронные сети называли «подобными мозгу человека» или «функционирующими совершенно по такому же принципу, что и человеческий мозг». В отличие от программируемого искусственного интеллекта нейронные сети обучались на примерах, и на основании этого их считали носителями разума. В качестве наиболее яркого примера могу привести NetTalk – нейронную сеть, способную переводить последовательности буквенных символов в звуки человеческой речи. Обученная работать с печатным текстом, нейронная сеть обрела компьютерный голос, читающий слова, и в федеральных новостях ее тут же окрестили «читающей машиной». В действительности механизм ее действия очень прост: она соотносит буквенные комбинации с предопределенными речевыми сигналами.
Попробую объяснить, используя аналогию, насколько далеки нейронные сети от настоящего мозга. Представьте себе, что, вместо того чтобы разбираться в работе мозга, мы решили исследовать цифровой компьютер. Потратив на это годы, мы придем к выводу, что компьютер состоит из сотен миллионов транзисторов, которые связаны между собой в очень точную и сложную схему. В то же время мы не поймем, ни как работает компьютер, ни почему транзисторы собраны именно в такую схему. И, если однажды мы соберем несколько транзисторов в одну схему, чтобы понять, как они работают, окажется, что три транзистора, собранные в определенную схему, преобразуются в усилитель. Слабый на одном конце сигнал многократно усиливается на другом. Такие усилители сейчас используются в радиоприемниках и телевизорах. Это важное открытие в свое время произвело фурор. Начался промышленный выпуск транзисторных радиоприемников, телевизоров и другой электроники с использованием усилителей транзисторного типа. Все это конечно, замечательно, но не вносит ясности в понимание устройства компьютера. Усилитель и компьютер состоят из транзисторов, но, тем не менее, у них нет практически ничего общего. Точно так же человеческий мозг и простейшая нейронная сеть состоят из нейронов – и это все, что их объединяет.
Летом 1987 года произошел случай, еще больше охладивший мой пыл в отношении нейронных сетей. Я участвовал в работе конференции, посвященной нейронным сетям, и побывал на презентации компании Nestor. Целью презентации была продажа приложения, созданного на основе нейронных сетей и предназначенного для распознавания рукописного текста. Стоимость продукта, безусловно, завоевавшего мое внимание, составляла 3 млн. долл. Хотя Nestor представляла приложение к нейронным сетям как значительно усложненное и модернизированное и говорила о нем как о блестящем научном открытии, я чувствовал, что проблема распознания рукописного текста может быть решена не столь изощренным, а более традиционным способом. В тот день я вернулся домой, непрестанно раздумывая над полученными впечатлениями. Два дня спустя я создал устройство для распознания рукописного текста – быстродействующее, небольшое по размеру и функциональное. В моем изобретении не использовались нейронные сети, да и принцип его работы не был имитацией функционирования головного мозга человека. И, хотя та конференция пробудила во мне интерес к созданию компьютеров с интерфейсом, включающим пишущий элемент (что в конечном счете спустя десятилетие привело к созданию PalmPilot), я убедился в том, что традиционные методы ни в чем не уступают нейронным сетям.
Система распознавания рукописного текста, созданная мною, в конце концов стала основой для системы ввода текста, получившей название Graffiti (последняя применялась в первых версиях «палмов»). А компания Nestor, насколько мне известно, просуществовала недолго.
Море внимания столь простому явлению, как нейронные сети! Большинство их возможностей легко воспроизводятся при помощи иных методов. И вот, наконец, вся эта шумиха вокруг НС потихоньку начинает спадать. Надо отдать должное изобретателям и исследователям нейронных сетей – они хотя бы не утверждали, что их детищу присущ интеллект. Первые нейронные сети были весьма простыми устройствами и значительно уступали программам, базирующимся на искусственном интеллекте. (Я вовсе не хочу, чтобы у вас сложилось впечатление, будто нейронные сети представляют собой упрощенную трехслойную структуру.) Ряд исследователей продолжили изучать нейронные сети различных модификаций. В настоящее время термин нейронные сети применяется для описания широкого диапазона моделей, в разной степени соответствующих биологическому «шаблону». Но не было предпринято даже малейших попыток воспроизвести общий принцип функционирования и архитектуру неокортекса.
По моему мнению, фундаментальной проблемой большинства нейронных сетей является следующая их особенность, присущая также программам, основывающимся на принципе искусственного интеллекта. И программы, базирующиеся на принципах искусственного интеллекта, и нейронные сети отягощены акцентом на поведении. Называют ли его «ответами», «моделями» или «выходными сигналами», предполагается, что именно в поведении, моделируемом НС или ИИ, заключается их «разумность». Об успешности компьютерной программы или нейронной сети судят по тому, выдает она правильный или желаемый выходной сигнал. Со времен Алана Тьюринга между интеллектом и поведением ставят знак равенства.
Но интеллект – это не просто разумный способ действий или разумное поведение. Действительно, поведение является проявлением интеллекта, но ни в коем случае не его ключевой характеристикой и не основным аспектом определения данного понятия. Это легко доказать в одно мгновение: вы остаетесь разумным, лежа в полной темноте, размышляя и осознавая себя самого и окружающий мир. Отрицая важность того, что происходит у вас в голове, и сосредоточиваясь, наоборот, на видимом поведении, ученые создали себе непреодолимое препятствие на пути познания человеческого интеллекта и создания по-настоящему разумных машин.
Прежде чем мы сформулируем новое определение интеллекта, я хочу рассказать вам о другом, коннекционистском, подходе, последователи которого подошли к пониманию работы мозга гораздо ближе. Основная проблема состоит в том, что важность указанного направления познания осознают лишь немногие ученые.
В то время как нейронные сети попали в центр внимания исследователей, небольшая отколовшаяся группа теоретиков разработала НС, положив в ее основу не поведение. Изобретение, названное автоассоциативной памятью, также состояло из простых «нейронов», сообщающихся друг с другом и генерирующих возбуждение при достижении определенного порога. В отличие от нейронных сетей предыдущих поколений (в которых информация проходила только в одном направлении) нейроны автоасссоциативной памяти были соединены большим числом обратных связей. Каждый выходящий сигнал в таких сетях преобразовывался в исходящий – как в телефонном разговоре. Благодаря этой цепи обратных связей ученые получили возможность наблюдать ряд интересных моментов.
Усвоив определенную модель активности, искусственные нейроны запомнили ее. Автоассоциативная сеть ассоциировала модели сами с собой, отсюда ее название – автоассоциативная память.
Результат подобной связи, на первый взгляд, может показаться смехотворным. Для воспроизведения модели, сохраненной в такой памяти, следовало предоставить указанную модель. Проиллюстрирую данный вывод наглядным примером. Допустим, вы пришли в магазин с намерением купить связку бананов. Когда продавец просит вас оплатить покупку, вы говорите ему, что расплатитесь… бананами. «Что же ценного тогда в этом открытии?» – спросите вы. А то, что автоассоциативная память обладает несколькими важными особенностями, присущими головному мозгу человека. Самая важная из них такова: нет необходимости предъявлять системе целую модель, которую вы желаете получить от нее, – достаточно ее фрагмента или видоизмененной по сравнению с желаемой модели. Автоассоциативная память способна воспроизвести сохраненную модель в неизмененном виде, даже если все, что у вас есть в наличии, – ее искаженный вариант.
Вернемся к нашему примеру. Представьте, что вы приходите в магазин с несколькими надкушенными бананами и получаете взамен целую связку. Или обращаетесь в банк с просьбой обменять надорванный и испорченный чек, и ваше желание удовлетворяют: вы получаете новенький, хрустящий документ.
В отличие от большинства нейронных сетей автоассоциативная память может быть разработана таким образом, что будет сохранять целые последовательности моделей, или временные паттерны. Такая ее особенность достигается путем добавления временной задержки к обратной связи. Благодаря этой задержке вы можете предоставлять автоассоциативной памяти последовательности моделей (что подобно звучанию мелодии), и она будет сохранять их.
Таким образом, я могу предоставить автоассоциативной памяти первые несколько нот песни Twinkle Twinkle Little Star, а система воспроизведет ее целиком. Имея в наличии лишь часть усвоенной последовательности, автоассоциативная память воссоздаст ее всю.
Как мы увидим ниже, именно таким способом обучаются люди – усваивая последовательности паттернов. И я предполагаю, что мозг использует эти цепи подобно тому, как это происходит в автоассоциативной памяти.
Принцип действия автоассоциативной памяти навел нас на мысль о потенциальном значении обратной связи и изменяющихся во времени входящих сигналов. Но в подавляющем большинстве машин, обладающих искусственным интеллектом, и в нейронных сетях фактору времени и обратной связи не придается должного значения. Подобную ошибку допускают и специалисты, практикующие в области когнитивной психологии.
Немногим отличаются от них ученые, занимающиеся проблемами головного мозга (нейробиологи, нейрологи). Они знают о том, что существует обратная связь (ведь они сами ее и открыли), но не предлагают теории, которая бы шла дальше неопределенных высказываний о «фазах» и «модуляциях» и которая бы демонстрировала существенную роль данного феномена в функционировании головного мозга в целом. Они склонны описывать мозг в терминах локализации тех или иных процессов, но почти не касаются того, в каких случаях и каким образом нейроны взаимодействуют друг с другом.
Это упущение частично объясняется ограниченностью существующих в данное время экспериментальных техник. Одной из наиболее предпочитаемых техник 1990-х годов (как вы помните, «Десятилетия мозга») была техника функционального изображения. Соответствующие механизмы строили изображения мозговой активности у людей. Однако они не были высокочувствительными – не выделяли быстрых изменений. Тогда ученые предложили участникам эксперимента сосредоточиться на единственной задаче: на протяжении довольно длительного времени их просили замереть, как перед объективом фотокамеры, но фиксировалось не изображение их внешности, а мыслей. В результате мы собрали много информации о том, где именно в мозге локализуются зоны, ответственные за решение разных задач, но очень мало знаем о том, какой путь в головном мозге проходят входящие сигналы, отражающие реальность и изменяющиеся во времени.
Техника функционального изображения позволяет нам понять, где именно в головном мозге происходят текущие процессы, но не предоставляет возможность осознать, каким образом мозговая активность меняется на протяжении времени. Ученые хотели бы получить такие данные, но у них нет подходящих методов.
Итак, многие ведущие нейробиологи впадают в так называемое заблуждение входа-выхода. Вы предоставляете системе входящий сигнал и смотрите, что получите на выходе. Диаграммы прохождения информационных потоков в головном мозге показывают, как потоки сигналов поступают вначале в первичные сенсорные зоны мозга (воспринимающие визуальные, звуковые, тактильные, обонятельные и вкусовые сигналы), а затем, посредством обратной связи, отправляют команды к мышцам. Вы чувствуете – и действуете.
Я не утверждаю, что никто из исследователей не уделял внимания факторам времени и обратной связи. В столь обширной сфере практически каждая идея имеет своих приверженцев. В последнее время интерес к проблемам обратной связи, временного фактора и прогностической функции мозга растет. Но акцент на разработке моделей искусственного интеллекта и нейронных сетей привел к тому, что другие подходы обесценились – им уделялось гораздо меньше внимания, чем они того заслуживают.
Как минимум, на протяжении двух столетий люди проводили аналогии между работой головного мозга и часовым механизмом, затем насосом, трубопроводом, паровым двигателем и, наконец, компьютером.
Многие десятилетия научная фантастика купалась в идеях искусственного интеллекта – от законов роботехники Айзека Азимова до «Звездных войн».
Идея разумных машин, которые осуществляют действия, прочно укоренилась в нашем сознании. Все механизмы, созданные людьми или существующие всего лишь в воображении, разработаны для выполнения каких-либо функций. У нас нет механизмов, которые думают, но есть такие, которые действуют. Даже наблюдая за другими людьми, мы обращаем внимание прежде всего на их поведение, а не на скрытые мысли.
Казалось бы, мысль о том, что именно поведение должно служить мерилом интеллекта, вполне разумна. Однако, оглядываясь на историю развития науки, мы приходим к выводу, что мнение, лежащее на поверхности, – именно то, что чаще всего мешает увидеть правду. Научные рамки понимания зачастую сложны, поскольку интуитивные, но неверные предположения затрудняют поиск правильного ответа.
И вот в сфере разработки искусственного интеллекта появилось новое многообещающее направление, а именно – нейронные сети, о которых заговорили еще в начале шестидесятых годов XX века. В умах руководителей организаций, осуществляющих финансирование исследований, нейронные сети и искусственный интеллект занимали конкурирующие позиции. Причем 800-фунтовой гориллой, которая легко вытесняла соперника с ринга, был искусственный интеллект. Исследования нейронных сетей финансировались плохо и на несколько лет были даже занесены в черный список. Но это не остановило немногочисленных энтузиастов, не перестававших заниматься нейронными сетями. Их счастливая звезда взошла в середине 1980-х годов. Трудно сказать наверняка, чем именно был вызван внезапный интерес к нейронным сетям, но, вне всякого сомнения, свою роль сыграла череда неудачных попыток создания искусственного интеллекта. Начался поиск альтернатив, и выбор пал на нейронные сети.
Создатели нейронных сетей (НС) оказались далеко впереди своих коллег, бившихся над разработкой искусственного интеллекта. НС были построены, хоть и весьма приблизительно, по принципу биологической нервной системы. Вместо того чтобы заниматься программированием, исследователи нейронных сетей, так называемые коннекционисты[6], сосредоточились на изучении того, какие типы поведения генерируют различные нейронные комбинации. Мозг состоит из нейронов, стало быть, мозг – это нейронная сеть. Задачи коннекционистов состояли в том, чтобы изучить неуловимые свойства разума путем изучения взаимодействия нейронов. Они рассчитывали, правильно воссоздав связи между группами нейронов, тем самым приблизиться к решению задач, которых не смог одолеть искусственный интеллект. Нейронные сети отличаются от компьютеров тем, что у них нет центрального микропроцессора и они не сохраняют информацию в центральном блоке памяти. Информация, занесенная в память нейронной сети, сосредоточена в связях – точно так же, как и в головном мозге человека.
На первый взгляд, разработка нейронных сетей полностью соответствовала сфере моих научных интересов. Однако на тот момент я четко видел три фактора, критических для понимания работы мозга.
Во-первых, в исследования мозга следует включать временной критерий, ведь скорость обработки потока информации чрезвычайно высока. Данные, поступающие в мозг и исходящие из него, никогда не пребывают в статическом состоянии. Во-вторых, мозг насквозь пронизан обратными связями. Например, обмен между неокортексом и таламусом, главным подкорковым центром, направляющим импульсы всех видов чувствительности (температурной, болевой и др.) к стволу мозга, подкорковым узлам и коре больших полушарий, построен таким образом, что количество обратных связей превышает количество исходящих почти в десять раз! Это значит, что на каждое волокно, подающее информацию в неокортекс, приходится десять волокон, отправляющих обратную информацию к органам чувств. Обратная связь также является превалирующей формой связи между нейронами внутри неокортекса. Роль обратной связи пока что до конца не изучена, но с уверенностью можно сказать, что эта связь вездесуща. Для нас это очень важно.
Наконец, в-третьих, любая модель (или теория мозга) должна соответствовать биологическому строению живого мозга. У неокортекса очень сложное строение, которое, как мы увидим позже, представляет собой повторяющуюся иерархию. Любая нейронная сеть, не имеющая таковой, не сможет воссоздать работу мозга.
Первые нейронные сети представляли собой крайне упрощенные v модели, которые не удовлетворяли ни одному из трех описанных выше требований. Большинство из них были трехслойными. Входной слой нейронов служил для ввода значений входных переменных. Нейроны этого слоя были связаны с нейронами промежуточного слоя, так называемыми скрытыми элементами. Скрытые элементы были связаны с последним слоем нейронов – элементами выхода. Связи между нейронами имели переменную силу. Это означало, что активность внутри одного нейрона могла усилить активность внутри второго и ослабить активность внутри третьего – в зависимости от силы связей. Изменяя силу связей, можно было «обучить» нейронную сеть соотношению входящих данных с исходящими.
Простейшие нейронные сети были предназначены для обработки статических данных, в них не была задействована обратная связь, и они не имели ничего общего с живым мозгом. Типичный пример нейронной сети – сеть с прямой передачей сигнала, в которой элементы выхода транслируют сигнал об ошибке, и этот сигнал подается на элементы входа. Может показаться, что трансляция ошибок является обратной связью, но на самом деле это не так. Обратная трансляция ошибок происходила только на стадии обучения, а в процессе собственно функционирования нейронной сети потоки информации всегда передавались одним и тем же способом. Никакой обратной связи между элементами входа и выхода не наблюдалось. Кроме того, модель не учитывала временной фактор. Статические входящие сигналы превращались в статические исходящие сигналы – и ничего более. Потом подавался следующий сигнал, и все повторялось сначала. Нейронная сеть не сохраняла никаких данных о произошедших событиях, даже о тех, что случились совсем недавно. Структура нейронных сетей не шла ни в какое сравнение со сложным иерархическим строением человеческого мозга.
Я рассчитывал, что разработчики нейронных сетей в будущем перейдут от простых моделей к более совершенным и реалистичным, однако этого не произошло. Складывалось впечатление, что из-за подтвержденной функциональности простейших нейронных сетей все исследователи на долгие годы готовы остановится на достигнутом уровне. Был найден новый и очень занятный инструмент; тысячи ученых, инженеров и студентов получали гранты, защищали диссертации, издавали книги о нейронных сетях. При помощи нейронных сетей составлялись прогнозы для фондового рынка, проводилась обработка документации для кредитования, осуществлялись графологические экспертизы и сотни других операций. Кто знает, возможно цели изобретателей нейронных сетей были гораздо более широкими, но в конечном счете эту сферу оккупировали те, кто меньше всего интересовался пониманием работы мозга и устройством человеческого разума.
Различия между нейронными сетями и работой мозга вопиющим образом нивелировались средствами массовой информации. В газетах, журналах, научных телепередачах нейронные сети называли «подобными мозгу человека» или «функционирующими совершенно по такому же принципу, что и человеческий мозг». В отличие от программируемого искусственного интеллекта нейронные сети обучались на примерах, и на основании этого их считали носителями разума. В качестве наиболее яркого примера могу привести NetTalk – нейронную сеть, способную переводить последовательности буквенных символов в звуки человеческой речи. Обученная работать с печатным текстом, нейронная сеть обрела компьютерный голос, читающий слова, и в федеральных новостях ее тут же окрестили «читающей машиной». В действительности механизм ее действия очень прост: она соотносит буквенные комбинации с предопределенными речевыми сигналами.
Попробую объяснить, используя аналогию, насколько далеки нейронные сети от настоящего мозга. Представьте себе, что, вместо того чтобы разбираться в работе мозга, мы решили исследовать цифровой компьютер. Потратив на это годы, мы придем к выводу, что компьютер состоит из сотен миллионов транзисторов, которые связаны между собой в очень точную и сложную схему. В то же время мы не поймем, ни как работает компьютер, ни почему транзисторы собраны именно в такую схему. И, если однажды мы соберем несколько транзисторов в одну схему, чтобы понять, как они работают, окажется, что три транзистора, собранные в определенную схему, преобразуются в усилитель. Слабый на одном конце сигнал многократно усиливается на другом. Такие усилители сейчас используются в радиоприемниках и телевизорах. Это важное открытие в свое время произвело фурор. Начался промышленный выпуск транзисторных радиоприемников, телевизоров и другой электроники с использованием усилителей транзисторного типа. Все это конечно, замечательно, но не вносит ясности в понимание устройства компьютера. Усилитель и компьютер состоят из транзисторов, но, тем не менее, у них нет практически ничего общего. Точно так же человеческий мозг и простейшая нейронная сеть состоят из нейронов – и это все, что их объединяет.
Летом 1987 года произошел случай, еще больше охладивший мой пыл в отношении нейронных сетей. Я участвовал в работе конференции, посвященной нейронным сетям, и побывал на презентации компании Nestor. Целью презентации была продажа приложения, созданного на основе нейронных сетей и предназначенного для распознавания рукописного текста. Стоимость продукта, безусловно, завоевавшего мое внимание, составляла 3 млн. долл. Хотя Nestor представляла приложение к нейронным сетям как значительно усложненное и модернизированное и говорила о нем как о блестящем научном открытии, я чувствовал, что проблема распознания рукописного текста может быть решена не столь изощренным, а более традиционным способом. В тот день я вернулся домой, непрестанно раздумывая над полученными впечатлениями. Два дня спустя я создал устройство для распознания рукописного текста – быстродействующее, небольшое по размеру и функциональное. В моем изобретении не использовались нейронные сети, да и принцип его работы не был имитацией функционирования головного мозга человека. И, хотя та конференция пробудила во мне интерес к созданию компьютеров с интерфейсом, включающим пишущий элемент (что в конечном счете спустя десятилетие привело к созданию PalmPilot), я убедился в том, что традиционные методы ни в чем не уступают нейронным сетям.
Система распознавания рукописного текста, созданная мною, в конце концов стала основой для системы ввода текста, получившей название Graffiti (последняя применялась в первых версиях «палмов»). А компания Nestor, насколько мне известно, просуществовала недолго.
Море внимания столь простому явлению, как нейронные сети! Большинство их возможностей легко воспроизводятся при помощи иных методов. И вот, наконец, вся эта шумиха вокруг НС потихоньку начинает спадать. Надо отдать должное изобретателям и исследователям нейронных сетей – они хотя бы не утверждали, что их детищу присущ интеллект. Первые нейронные сети были весьма простыми устройствами и значительно уступали программам, базирующимся на искусственном интеллекте. (Я вовсе не хочу, чтобы у вас сложилось впечатление, будто нейронные сети представляют собой упрощенную трехслойную структуру.) Ряд исследователей продолжили изучать нейронные сети различных модификаций. В настоящее время термин нейронные сети применяется для описания широкого диапазона моделей, в разной степени соответствующих биологическому «шаблону». Но не было предпринято даже малейших попыток воспроизвести общий принцип функционирования и архитектуру неокортекса.
По моему мнению, фундаментальной проблемой большинства нейронных сетей является следующая их особенность, присущая также программам, основывающимся на принципе искусственного интеллекта. И программы, базирующиеся на принципах искусственного интеллекта, и нейронные сети отягощены акцентом на поведении. Называют ли его «ответами», «моделями» или «выходными сигналами», предполагается, что именно в поведении, моделируемом НС или ИИ, заключается их «разумность». Об успешности компьютерной программы или нейронной сети судят по тому, выдает она правильный или желаемый выходной сигнал. Со времен Алана Тьюринга между интеллектом и поведением ставят знак равенства.
Но интеллект – это не просто разумный способ действий или разумное поведение. Действительно, поведение является проявлением интеллекта, но ни в коем случае не его ключевой характеристикой и не основным аспектом определения данного понятия. Это легко доказать в одно мгновение: вы остаетесь разумным, лежа в полной темноте, размышляя и осознавая себя самого и окружающий мир. Отрицая важность того, что происходит у вас в голове, и сосредоточиваясь, наоборот, на видимом поведении, ученые создали себе непреодолимое препятствие на пути познания человеческого интеллекта и создания по-настоящему разумных машин.
Прежде чем мы сформулируем новое определение интеллекта, я хочу рассказать вам о другом, коннекционистском, подходе, последователи которого подошли к пониманию работы мозга гораздо ближе. Основная проблема состоит в том, что важность указанного направления познания осознают лишь немногие ученые.
В то время как нейронные сети попали в центр внимания исследователей, небольшая отколовшаяся группа теоретиков разработала НС, положив в ее основу не поведение. Изобретение, названное автоассоциативной памятью, также состояло из простых «нейронов», сообщающихся друг с другом и генерирующих возбуждение при достижении определенного порога. В отличие от нейронных сетей предыдущих поколений (в которых информация проходила только в одном направлении) нейроны автоасссоциативной памяти были соединены большим числом обратных связей. Каждый выходящий сигнал в таких сетях преобразовывался в исходящий – как в телефонном разговоре. Благодаря этой цепи обратных связей ученые получили возможность наблюдать ряд интересных моментов.
Усвоив определенную модель активности, искусственные нейроны запомнили ее. Автоассоциативная сеть ассоциировала модели сами с собой, отсюда ее название – автоассоциативная память.
Результат подобной связи, на первый взгляд, может показаться смехотворным. Для воспроизведения модели, сохраненной в такой памяти, следовало предоставить указанную модель. Проиллюстрирую данный вывод наглядным примером. Допустим, вы пришли в магазин с намерением купить связку бананов. Когда продавец просит вас оплатить покупку, вы говорите ему, что расплатитесь… бананами. «Что же ценного тогда в этом открытии?» – спросите вы. А то, что автоассоциативная память обладает несколькими важными особенностями, присущими головному мозгу человека. Самая важная из них такова: нет необходимости предъявлять системе целую модель, которую вы желаете получить от нее, – достаточно ее фрагмента или видоизмененной по сравнению с желаемой модели. Автоассоциативная память способна воспроизвести сохраненную модель в неизмененном виде, даже если все, что у вас есть в наличии, – ее искаженный вариант.
Вернемся к нашему примеру. Представьте, что вы приходите в магазин с несколькими надкушенными бананами и получаете взамен целую связку. Или обращаетесь в банк с просьбой обменять надорванный и испорченный чек, и ваше желание удовлетворяют: вы получаете новенький, хрустящий документ.
В отличие от большинства нейронных сетей автоассоциативная память может быть разработана таким образом, что будет сохранять целые последовательности моделей, или временные паттерны. Такая ее особенность достигается путем добавления временной задержки к обратной связи. Благодаря этой задержке вы можете предоставлять автоассоциативной памяти последовательности моделей (что подобно звучанию мелодии), и она будет сохранять их.
Таким образом, я могу предоставить автоассоциативной памяти первые несколько нот песни Twinkle Twinkle Little Star, а система воспроизведет ее целиком. Имея в наличии лишь часть усвоенной последовательности, автоассоциативная память воссоздаст ее всю.
Как мы увидим ниже, именно таким способом обучаются люди – усваивая последовательности паттернов. И я предполагаю, что мозг использует эти цепи подобно тому, как это происходит в автоассоциативной памяти.
Принцип действия автоассоциативной памяти навел нас на мысль о потенциальном значении обратной связи и изменяющихся во времени входящих сигналов. Но в подавляющем большинстве машин, обладающих искусственным интеллектом, и в нейронных сетях фактору времени и обратной связи не придается должного значения. Подобную ошибку допускают и специалисты, практикующие в области когнитивной психологии.
Немногим отличаются от них ученые, занимающиеся проблемами головного мозга (нейробиологи, нейрологи). Они знают о том, что существует обратная связь (ведь они сами ее и открыли), но не предлагают теории, которая бы шла дальше неопределенных высказываний о «фазах» и «модуляциях» и которая бы демонстрировала существенную роль данного феномена в функционировании головного мозга в целом. Они склонны описывать мозг в терминах локализации тех или иных процессов, но почти не касаются того, в каких случаях и каким образом нейроны взаимодействуют друг с другом.
Это упущение частично объясняется ограниченностью существующих в данное время экспериментальных техник. Одной из наиболее предпочитаемых техник 1990-х годов (как вы помните, «Десятилетия мозга») была техника функционального изображения. Соответствующие механизмы строили изображения мозговой активности у людей. Однако они не были высокочувствительными – не выделяли быстрых изменений. Тогда ученые предложили участникам эксперимента сосредоточиться на единственной задаче: на протяжении довольно длительного времени их просили замереть, как перед объективом фотокамеры, но фиксировалось не изображение их внешности, а мыслей. В результате мы собрали много информации о том, где именно в мозге локализуются зоны, ответственные за решение разных задач, но очень мало знаем о том, какой путь в головном мозге проходят входящие сигналы, отражающие реальность и изменяющиеся во времени.
Техника функционального изображения позволяет нам понять, где именно в головном мозге происходят текущие процессы, но не предоставляет возможность осознать, каким образом мозговая активность меняется на протяжении времени. Ученые хотели бы получить такие данные, но у них нет подходящих методов.
Итак, многие ведущие нейробиологи впадают в так называемое заблуждение входа-выхода. Вы предоставляете системе входящий сигнал и смотрите, что получите на выходе. Диаграммы прохождения информационных потоков в головном мозге показывают, как потоки сигналов поступают вначале в первичные сенсорные зоны мозга (воспринимающие визуальные, звуковые, тактильные, обонятельные и вкусовые сигналы), а затем, посредством обратной связи, отправляют команды к мышцам. Вы чувствуете – и действуете.
Я не утверждаю, что никто из исследователей не уделял внимания факторам времени и обратной связи. В столь обширной сфере практически каждая идея имеет своих приверженцев. В последнее время интерес к проблемам обратной связи, временного фактора и прогностической функции мозга растет. Но акцент на разработке моделей искусственного интеллекта и нейронных сетей привел к тому, что другие подходы обесценились – им уделялось гораздо меньше внимания, чем они того заслуживают.
* * * * *
Не трудно понять, почему люди – как специалисты, так и непрофессионалы – считают, что поведение определяет интеллект.Как минимум, на протяжении двух столетий люди проводили аналогии между работой головного мозга и часовым механизмом, затем насосом, трубопроводом, паровым двигателем и, наконец, компьютером.
Многие десятилетия научная фантастика купалась в идеях искусственного интеллекта – от законов роботехники Айзека Азимова до «Звездных войн».
Идея разумных машин, которые осуществляют действия, прочно укоренилась в нашем сознании. Все механизмы, созданные людьми или существующие всего лишь в воображении, разработаны для выполнения каких-либо функций. У нас нет механизмов, которые думают, но есть такие, которые действуют. Даже наблюдая за другими людьми, мы обращаем внимание прежде всего на их поведение, а не на скрытые мысли.
Казалось бы, мысль о том, что именно поведение должно служить мерилом интеллекта, вполне разумна. Однако, оглядываясь на историю развития науки, мы приходим к выводу, что мнение, лежащее на поверхности, – именно то, что чаще всего мешает увидеть правду. Научные рамки понимания зачастую сложны, поскольку интуитивные, но неверные предположения затрудняют поиск правильного ответа.