Мне все это представляется лишь первыми метрами бесконечной дороги в том направлении, которое желательно для создателей искусственного интеллекта — до этого бессильных, потому что над элементарным сенсориумом норнов можно надстроить последующие операционные программы, очень сложные, но более результативные и более похожие на инстинктивные движения. Я не уверен, что случится именно так, но если мои предположения все же сбудутся, то XXI век окажется населен виртуально-фантоматическими тварями, которые сначала будут выполнять простые действия и напоминать, допустим, осу Sphex, которая безошибочно нападает на гусениц и впрыскивает им, живым, свои яйцеклетки, то есть сначала мы будем иметь дело с реализацией инстинктивного насекомоподобного поведения, которое сможет сделать людей-летчиков лишними. Таким образом, без участия человека началась бы эволюция тварей виртуального происхождения, облеченных в материю, но позже результаты этой начальной фазы, в которой то, что виртуально, преобразуется в то, что реально, могли бы иметь дальнейшие последствия, о которых даже страшно подумать.
3
В то время, когда я пишу эти строки, во Франции продолжается забастовка летчиков компании Air France, парализовавшая почти все воздушное движение над страной и сделавшая десятки тысяч людей жертвами спора между профсоюзом пилотов и работодателями. Ясно, что будущие поколения норнов могли бы заменить людей с такими трагическими последствиями для последних, что мы вошли бы в истинный ад безработицы. То, что я написал, звучит, возможно, несколько апокалиптически и вместе с тем фантасмагорично, но следует отметить, что полвека тому назад Норберт Винер в книге «Human use of human beings» предвидел возможность наступления эпохи безработицы, вызванной теми или иными последствиями автоматизации, которые все вместе будут внуками или правнуками кибернетики, чья концепция была заложена самим же Винером.
Душа в машине
Дорога без возврата
Беды от избытка
3
В то время, когда я пишу эти строки, во Франции продолжается забастовка летчиков компании Air France, парализовавшая почти все воздушное движение над страной и сделавшая десятки тысяч людей жертвами спора между профсоюзом пилотов и работодателями. Ясно, что будущие поколения норнов могли бы заменить людей с такими трагическими последствиями для последних, что мы вошли бы в истинный ад безработицы. То, что я написал, звучит, возможно, несколько апокалиптически и вместе с тем фантасмагорично, но следует отметить, что полвека тому назад Норберт Винер в книге «Human use of human beings» предвидел возможность наступления эпохи безработицы, вызванной теми или иными последствиями автоматизации, которые все вместе будут внуками или правнуками кибернетики, чья концепция была заложена самим же Винером.
Душа в машине
Эссе написано в июле 1998 г.
Понятием «душа в машине» — the ghost in the machine — некоторые психологи подкрепляют утверждение, что, якобы, человек является существом «двойственным», то есть состоящим из «материи» и «души».
Сознание является не технологической проблемой, так как конструктора не интересует, чувствует ли машина, а только интересует, действует ли она. Таким образом, «технология сознания» может появиться только «мимоходом»: вдруг окажется, что определенный класс кибернетических машин обладает субъективным миром психических переживаний.
Но каким образом можно узнать о наличии сознания в машине? Эта проблема имеет не только абстрактно-философское значение, ибо предположение, что некая машина, отправляемая на лом из-за того, что ее ремонт не окупится, обладает сознанием, превращает наше решение — уничтожить материальный предмет вроде граммофона — в акт уничтожения индивидуальности, осознанного убийства. Граммофон можно оснастить пластинкой и выключателем таким образом, что при попытке сдвинуть его с места он издавал бы крики: «Ах, умоляю, подари мне жизнь!» Как можно отличить такой, без сомнения, бездушный аппарат от мыслящей машины? Только вступая с ней в разговор. Английский математик Аллан Тьюринг (Allan Turing) в своей работе «Может ли машина мыслить?» предложил в качестве решающего критерия, который бы позволил уверенно отличить человека от машины, «игру в имитацию», заключающуюся в том, что мы задаем Кому-то произвольные вопросы и на основании ответов должны сделать вывод, является ли этот Кто-то человеком или машиной. Если мы не сможем отличить машину от человека, следует признать, что машина ведет себя как человек, то есть обладает сознанием.
Со своей стороны, отмечу, что игру можно усложнить. Можно рассмотреть два вида машин. Первый является «обычной» цифровой машиной, которая устроена как человеческий мозг; с ней можно играть в шахматы, разговаривать о книгах, о мире и вообще на любую тему. Если бы мы ее вскрыли, то увидели бы огромное количество соединений, подобно соединениям нейронов в мозгу, кроме этого — блоки памяти и т. д. и т. п.
Второй вид машин совсем другой. Это увеличенный до размеров планеты (или космоса) граммофон. В такой машине хранится огромное количество, например сто триллионов, ответов на всевозможные вопросы. Таким образом, когда мы спрашиваем, машина ничего «не понимает», но форма вопроса, то есть очередность вибраций нашего голоса, приводит в движение передатчик, который запускает пластинку или ленту с записанным ответом. Не будем задумываться о технической стороне дела. Понятно, что такая машина неэкономична, что ее никто не создаст, потому что это невозможно, а главное — неизвестно, зачем ее создавать. Но нас интересует теоретическая сторона. Потому что если заключение о том, имеет ли машина сознание, делается на основе поведения, а не внутреннего строения, не придем ли мы неосмотрительно к выводу, что «космический граммофон» им обладает — и тем самым выскажем нонсенс? (А скорее, неправду.)
Но можно ли запрограммировать все возможные вопросы? В обычной жизни средний человек не отвечает даже на один биллион их. Мы же на всякий случай записали их во много раз больше. Что же делать? Мы должны вести нашу игру, используя достаточно развитую стратегию. Мы задаем машине (то есть Кому-то, потому что не знаем, с кем имеем дело: разговор ведется, например, по телефону) вопрос, любит ли она анекдоты. Машина отвечает: да, она любит хорошие анекдоты. Рассказываем ей анекдот. Машина смеется (то есть смеется голос в трубке). Или этот анекдот был в ней записан и это позволило ей правильно отреагировать, то есть засмеяться, или это в самом деле мыслящая машина (либо человек, этого мы не знаем). Мы какое-то время разговариваем с машиной, а затем неожиданно спрашиваем, помнит ли она рассказанный анекдот. Она должна его помнить, если действительно мыслит. Она ответит «да». Мы попросим, чтобы она повторила его своими словами. Вот это уже очень трудно запрограммировать, потому что таким образом мы вынуждаем конструктора «космограммофона» записать не только отдельные ответы на все возможные вопросы, но и целые последовательности разговоров, которые могут вестись. Это потребует, конечно, памяти, то есть дисков или лент, которые и вся солнечная система не вместит. Предположим, машина не сможет повторить наш анекдот — и тем самым будет разоблачена. Задетый за живое конструктор берется усовершенствовать машину: пристраивает ей такую память, благодаря которой она сможет вкратце повторить сказанное. Но тем самым он сделает первый шаг от машины-граммофона к машине мыслящей. Так как бездушная машина не может распознать идентичность вопросов аналогичного содержания, но сформулированных с незначительными формальными отклонениями, например: «Вчера было хорошо на улице?», «Вчера была прекрасная погода?», «Погожим ли был предыдущий день?» и т. п., то для машины бездушной они будут вопросами разными, а для машины мыслящей — одинаковыми. Конструктор вновь разоблаченной машины вынужден опять ее перерабатывать. В конце концов, после долгой серии переделок он введет в машину возможности индукции и дедукции, способность ассоциировать, схватывать тождественную «форму» по-разному сформулированных, но одинаковых по содержанию высказываний, пока в результате не получит машину, которая будет просто «обычной» мыслящей машиной.
Таким образом возникает интересная проблема: когда именно в машине появилось сознание? Предположим, что конструктор не переделывал эти машины, а относил каждую в музей, следующую же модель создавал заново. В музее стоит 10 тысяч машин — столько было очередных моделей. Результатом стал плавный переход от «бездушного автомата», вроде играющего шкафа, к «мыслящей машине». Должны ли мы признать машиной, имеющей сознание, машину номер 7852 или только номер 9973? Они отличаются друг от друга тем, что первая не умела объяснить, почему она смеется над рассказанным анекдотом, а только говорила, что анекдот очень смешон, а вторая умела. Но некоторые люди смеются над шутками, хотя и не могут объяснить, что именно в них смешно: как известно, теория юмора — твердый орешек. Разве эти люди лишены сознания? Нет, они, наверное, просто не очень быстро реагируют или малообразованны, их ум не обладает навыками аналитического подхода к проблемам; но мы спрашиваем не о том, умная ли машина или скорее туповатая, мы только спрашиваем, имеет ли она сознание или нет.
Казалось бы, следует признать, что у модели номер 1 — ноль сознания, модель номер 10000 имеет полное сознание, а у всех промежуточных сознания «все больше». Это утверждение показывает, насколько безнадежна мысль о возможности точно локализовать сознание. Отсоединение отдельных элементов («нейронов») машины спровоцирует только слабые, количественные изменения («ослабления») сознания так же, как это делает в живом мозге прогрессирующая болезнь или нож хирурга. Проблема не имеет ничего общего ни с использованным для конструкции материалом, ни с размерами «мыслящего» устройства. Электрическую мыслящую машину можно построить из отдельных блоков, соответствующих, положим, мозговым извилинам. Теперь разделим эти блоки и разместим по всей Земле таким образом, чтобы один находился в Москве, второй в Париже, третий в Мельбурне, четвертый в Иокогаме и т. д. Отделенные друг от друга, эти блоки «психически мертвы», а соединенные (например, телефонными кабелями), они стали бы одной интегральной «индивидуальностью», единым «мыслящим гомеостатом». Сознание такой машины не находится ни в Москве, ни в Париже, ни в Иокогаме, но, в определенном смысле, находится в каждом из этих городов и в то же время ни в одном из них. О таком сознании трудно сказать, что оно, как Висла, протянулось от Татр до Балтийского моря. Впрочем, подобный пример демонстрирует, хотя и не так ярко, работу человеческого мозга, потому что кровеносные сосуды, белковые молекулы и ткани находятся внутри мозга, но не внутри сознания, и опять-таки нельзя сказать, что сознание находится под самым сводом черепа или, скорее всего, ниже, над ушами, по обеим сторонам головы. Оно «рассеяно» по всему гомеостату, по его функциональной сети. Ничего больше заявить на эту тему не получится, если мы хотим соединить сознание с возможностью рассуждать.
Вышеприведенный отрывок скопирован из моей «Суммы технологии», он был написан в середине 1963 года. С точки зрения сегодняшней ситуации это слишком сильное упрощение дороги, которую необходимо пройти до имитации описанной мною цели. Мы уже предполагаем, что «сознание» и «интеллект» — это, в определенном смысле, разные сути бытия. Мы знаем, что существуют разные состояния сознания, даже если их шкала находится между сном и реальностью. Но и сновидения могут быть насыщены разнообразными событиями, имитирующими реальность, сознательно переживаемую наяву. В свою очередь, каждый человек, даже если он не является ни психологом, ни психиатром, по собственному опыту знает, что сознание наяву тоже может иметь различные состояния. Человек в состоянии болезненного жара может осознавать, что его сознание нарушено. Различные химические вещества могут самым разным образом формировать человеческое сознание. Кроме того, есть множество действий, которые человек делает машинально: например, сознание шофера «не успевает» за его реакциями в ситуациях с неожиданной последовательностью событий. Вместе с тем машинально можно делать и глупости, — чаще всего мы их называем «поступками по рассеянности».
Все это сказано в отношении моего текста тридцатипятилетней давности, в котором я задумался над «ростками» сознания в машине, и делал я это потому, что мне казалось, будто люди сильно отличаются друг от друга умственными способностями, а сознание всем дано примерно одинаковое.
Дороги напрямик, по прямой и восходящей линии, от полного автомата, каковым является компьютер, к машине, которой можно было бы приписать сознание, нет. Вместе с тем о работе нашего мозга мы уже знаем столько, чтобы понимать, что так называемая каллотомия, или рассечение большой белой спайки, соединяющей полушария мозга, не ликвидирует сознание, но создает в разделенных полушариях две его разновидности. Кроме того, мы знаем, что мозг является системой, построенной из огромного количества функциональных модулей, которые в отдельных областях мозга создали среду, формирующую сознание. Поясню сказанное примером. В коре мозга есть зона, отвечающая за цветовое зрение. Ее повреждение приводит к тому, что человек видит всё без цвета, как в черно-белом кино. Чем лучше мы разбираемся в функциональной ориентации модулей мозга, тем больше удивляемся тому, как, с точки зрения инженерной экономии, хаотично устроен мозг, хотя при осознании самих себя мы не отдаем себе в этом отчета. Сегодня нам кажется, что мы уже можем конструировать отдельные модули, функционально похожие на модули мозга. Обычно это псевдонейронные сети различной сложности. Вместе с тем мы еще не умеем ни создать их в достаточном количестве, ни соединить таким образом, чтобы созданное произведение могло имитировать сознание. Следовательно, прямой дороги от бездумного автомата к сознательно мыслящей машине нет. Есть, однако, много сложных дорог, которые в будущем приведут нас к цели и, возможно, эту цель превзойдут. О такой возможности я написал книгу «Голем XIV».
…Ползучим способом, то есть очень медленно, расширяются фронты внедрения так называемого искусственного интеллекта. Об этих успехах несколько дней назад сообщила на первой странице английская газета «International Herald Tribune», заявив в заголовке, что то science fiction становится реальностью. Если же присмотреться к тому, на что этот искусственный интеллект уже способен, оказывается, что речь идет не об интеллекте, тождественном человеческому, а скорее о большой области усовершенствованных автоматов. Множество офисных функций, таких как банковские, включая функции кассиров, уже могут быть полностью компьютеризованы, или «обезлюднены».
Автоматизацией охватывается также деятельность, требующая деликатных исследований, включая психиатрическую медицину и хирургические операции. Но в этом я не вижу ни следа интеллекта, понимаемого личностно, индивидуалистически, эмоционально и целеустремленно. Это означает, что ошибка при хирургической операции может повлечь за собой исправление операционной программы, но не станет поводом привлечь механическое устройство к суду.
Несмотря на все усилия ученых, еще не родился Некто, заменяющий человека, а появился лишь очень исполнительный, но тоже подверженный ошибкам Никто. Границу этого большого прогресса в самостоятельности устройств, построенных людьми, я описал когда-то в одном из романов как ситуацию, в которой искусственно усовершенствованная среда становится более интеллектуальной, нежели обитающие в ней люди. Нечто подобное нам пока не грозит, но движение в этом направлении уже заметно.
Текст представляет собой фрагмент статьи из еженедельника «Przekroj», №29/2001
Понятием «душа в машине» — the ghost in the machine — некоторые психологи подкрепляют утверждение, что, якобы, человек является существом «двойственным», то есть состоящим из «материи» и «души».
Сознание является не технологической проблемой, так как конструктора не интересует, чувствует ли машина, а только интересует, действует ли она. Таким образом, «технология сознания» может появиться только «мимоходом»: вдруг окажется, что определенный класс кибернетических машин обладает субъективным миром психических переживаний.
Но каким образом можно узнать о наличии сознания в машине? Эта проблема имеет не только абстрактно-философское значение, ибо предположение, что некая машина, отправляемая на лом из-за того, что ее ремонт не окупится, обладает сознанием, превращает наше решение — уничтожить материальный предмет вроде граммофона — в акт уничтожения индивидуальности, осознанного убийства. Граммофон можно оснастить пластинкой и выключателем таким образом, что при попытке сдвинуть его с места он издавал бы крики: «Ах, умоляю, подари мне жизнь!» Как можно отличить такой, без сомнения, бездушный аппарат от мыслящей машины? Только вступая с ней в разговор. Английский математик Аллан Тьюринг (Allan Turing) в своей работе «Может ли машина мыслить?» предложил в качестве решающего критерия, который бы позволил уверенно отличить человека от машины, «игру в имитацию», заключающуюся в том, что мы задаем Кому-то произвольные вопросы и на основании ответов должны сделать вывод, является ли этот Кто-то человеком или машиной. Если мы не сможем отличить машину от человека, следует признать, что машина ведет себя как человек, то есть обладает сознанием.
Со своей стороны, отмечу, что игру можно усложнить. Можно рассмотреть два вида машин. Первый является «обычной» цифровой машиной, которая устроена как человеческий мозг; с ней можно играть в шахматы, разговаривать о книгах, о мире и вообще на любую тему. Если бы мы ее вскрыли, то увидели бы огромное количество соединений, подобно соединениям нейронов в мозгу, кроме этого — блоки памяти и т. д. и т. п.
Второй вид машин совсем другой. Это увеличенный до размеров планеты (или космоса) граммофон. В такой машине хранится огромное количество, например сто триллионов, ответов на всевозможные вопросы. Таким образом, когда мы спрашиваем, машина ничего «не понимает», но форма вопроса, то есть очередность вибраций нашего голоса, приводит в движение передатчик, который запускает пластинку или ленту с записанным ответом. Не будем задумываться о технической стороне дела. Понятно, что такая машина неэкономична, что ее никто не создаст, потому что это невозможно, а главное — неизвестно, зачем ее создавать. Но нас интересует теоретическая сторона. Потому что если заключение о том, имеет ли машина сознание, делается на основе поведения, а не внутреннего строения, не придем ли мы неосмотрительно к выводу, что «космический граммофон» им обладает — и тем самым выскажем нонсенс? (А скорее, неправду.)
Но можно ли запрограммировать все возможные вопросы? В обычной жизни средний человек не отвечает даже на один биллион их. Мы же на всякий случай записали их во много раз больше. Что же делать? Мы должны вести нашу игру, используя достаточно развитую стратегию. Мы задаем машине (то есть Кому-то, потому что не знаем, с кем имеем дело: разговор ведется, например, по телефону) вопрос, любит ли она анекдоты. Машина отвечает: да, она любит хорошие анекдоты. Рассказываем ей анекдот. Машина смеется (то есть смеется голос в трубке). Или этот анекдот был в ней записан и это позволило ей правильно отреагировать, то есть засмеяться, или это в самом деле мыслящая машина (либо человек, этого мы не знаем). Мы какое-то время разговариваем с машиной, а затем неожиданно спрашиваем, помнит ли она рассказанный анекдот. Она должна его помнить, если действительно мыслит. Она ответит «да». Мы попросим, чтобы она повторила его своими словами. Вот это уже очень трудно запрограммировать, потому что таким образом мы вынуждаем конструктора «космограммофона» записать не только отдельные ответы на все возможные вопросы, но и целые последовательности разговоров, которые могут вестись. Это потребует, конечно, памяти, то есть дисков или лент, которые и вся солнечная система не вместит. Предположим, машина не сможет повторить наш анекдот — и тем самым будет разоблачена. Задетый за живое конструктор берется усовершенствовать машину: пристраивает ей такую память, благодаря которой она сможет вкратце повторить сказанное. Но тем самым он сделает первый шаг от машины-граммофона к машине мыслящей. Так как бездушная машина не может распознать идентичность вопросов аналогичного содержания, но сформулированных с незначительными формальными отклонениями, например: «Вчера было хорошо на улице?», «Вчера была прекрасная погода?», «Погожим ли был предыдущий день?» и т. п., то для машины бездушной они будут вопросами разными, а для машины мыслящей — одинаковыми. Конструктор вновь разоблаченной машины вынужден опять ее перерабатывать. В конце концов, после долгой серии переделок он введет в машину возможности индукции и дедукции, способность ассоциировать, схватывать тождественную «форму» по-разному сформулированных, но одинаковых по содержанию высказываний, пока в результате не получит машину, которая будет просто «обычной» мыслящей машиной.
Таким образом возникает интересная проблема: когда именно в машине появилось сознание? Предположим, что конструктор не переделывал эти машины, а относил каждую в музей, следующую же модель создавал заново. В музее стоит 10 тысяч машин — столько было очередных моделей. Результатом стал плавный переход от «бездушного автомата», вроде играющего шкафа, к «мыслящей машине». Должны ли мы признать машиной, имеющей сознание, машину номер 7852 или только номер 9973? Они отличаются друг от друга тем, что первая не умела объяснить, почему она смеется над рассказанным анекдотом, а только говорила, что анекдот очень смешон, а вторая умела. Но некоторые люди смеются над шутками, хотя и не могут объяснить, что именно в них смешно: как известно, теория юмора — твердый орешек. Разве эти люди лишены сознания? Нет, они, наверное, просто не очень быстро реагируют или малообразованны, их ум не обладает навыками аналитического подхода к проблемам; но мы спрашиваем не о том, умная ли машина или скорее туповатая, мы только спрашиваем, имеет ли она сознание или нет.
Казалось бы, следует признать, что у модели номер 1 — ноль сознания, модель номер 10000 имеет полное сознание, а у всех промежуточных сознания «все больше». Это утверждение показывает, насколько безнадежна мысль о возможности точно локализовать сознание. Отсоединение отдельных элементов («нейронов») машины спровоцирует только слабые, количественные изменения («ослабления») сознания так же, как это делает в живом мозге прогрессирующая болезнь или нож хирурга. Проблема не имеет ничего общего ни с использованным для конструкции материалом, ни с размерами «мыслящего» устройства. Электрическую мыслящую машину можно построить из отдельных блоков, соответствующих, положим, мозговым извилинам. Теперь разделим эти блоки и разместим по всей Земле таким образом, чтобы один находился в Москве, второй в Париже, третий в Мельбурне, четвертый в Иокогаме и т. д. Отделенные друг от друга, эти блоки «психически мертвы», а соединенные (например, телефонными кабелями), они стали бы одной интегральной «индивидуальностью», единым «мыслящим гомеостатом». Сознание такой машины не находится ни в Москве, ни в Париже, ни в Иокогаме, но, в определенном смысле, находится в каждом из этих городов и в то же время ни в одном из них. О таком сознании трудно сказать, что оно, как Висла, протянулось от Татр до Балтийского моря. Впрочем, подобный пример демонстрирует, хотя и не так ярко, работу человеческого мозга, потому что кровеносные сосуды, белковые молекулы и ткани находятся внутри мозга, но не внутри сознания, и опять-таки нельзя сказать, что сознание находится под самым сводом черепа или, скорее всего, ниже, над ушами, по обеим сторонам головы. Оно «рассеяно» по всему гомеостату, по его функциональной сети. Ничего больше заявить на эту тему не получится, если мы хотим соединить сознание с возможностью рассуждать.
Вышеприведенный отрывок скопирован из моей «Суммы технологии», он был написан в середине 1963 года. С точки зрения сегодняшней ситуации это слишком сильное упрощение дороги, которую необходимо пройти до имитации описанной мною цели. Мы уже предполагаем, что «сознание» и «интеллект» — это, в определенном смысле, разные сути бытия. Мы знаем, что существуют разные состояния сознания, даже если их шкала находится между сном и реальностью. Но и сновидения могут быть насыщены разнообразными событиями, имитирующими реальность, сознательно переживаемую наяву. В свою очередь, каждый человек, даже если он не является ни психологом, ни психиатром, по собственному опыту знает, что сознание наяву тоже может иметь различные состояния. Человек в состоянии болезненного жара может осознавать, что его сознание нарушено. Различные химические вещества могут самым разным образом формировать человеческое сознание. Кроме того, есть множество действий, которые человек делает машинально: например, сознание шофера «не успевает» за его реакциями в ситуациях с неожиданной последовательностью событий. Вместе с тем машинально можно делать и глупости, — чаще всего мы их называем «поступками по рассеянности».
Все это сказано в отношении моего текста тридцатипятилетней давности, в котором я задумался над «ростками» сознания в машине, и делал я это потому, что мне казалось, будто люди сильно отличаются друг от друга умственными способностями, а сознание всем дано примерно одинаковое.
Дороги напрямик, по прямой и восходящей линии, от полного автомата, каковым является компьютер, к машине, которой можно было бы приписать сознание, нет. Вместе с тем о работе нашего мозга мы уже знаем столько, чтобы понимать, что так называемая каллотомия, или рассечение большой белой спайки, соединяющей полушария мозга, не ликвидирует сознание, но создает в разделенных полушариях две его разновидности. Кроме того, мы знаем, что мозг является системой, построенной из огромного количества функциональных модулей, которые в отдельных областях мозга создали среду, формирующую сознание. Поясню сказанное примером. В коре мозга есть зона, отвечающая за цветовое зрение. Ее повреждение приводит к тому, что человек видит всё без цвета, как в черно-белом кино. Чем лучше мы разбираемся в функциональной ориентации модулей мозга, тем больше удивляемся тому, как, с точки зрения инженерной экономии, хаотично устроен мозг, хотя при осознании самих себя мы не отдаем себе в этом отчета. Сегодня нам кажется, что мы уже можем конструировать отдельные модули, функционально похожие на модули мозга. Обычно это псевдонейронные сети различной сложности. Вместе с тем мы еще не умеем ни создать их в достаточном количестве, ни соединить таким образом, чтобы созданное произведение могло имитировать сознание. Следовательно, прямой дороги от бездумного автомата к сознательно мыслящей машине нет. Есть, однако, много сложных дорог, которые в будущем приведут нас к цели и, возможно, эту цель превзойдут. О такой возможности я написал книгу «Голем XIV».
…Ползучим способом, то есть очень медленно, расширяются фронты внедрения так называемого искусственного интеллекта. Об этих успехах несколько дней назад сообщила на первой странице английская газета «International Herald Tribune», заявив в заголовке, что то science fiction становится реальностью. Если же присмотреться к тому, на что этот искусственный интеллект уже способен, оказывается, что речь идет не об интеллекте, тождественном человеческому, а скорее о большой области усовершенствованных автоматов. Множество офисных функций, таких как банковские, включая функции кассиров, уже могут быть полностью компьютеризованы, или «обезлюднены».
Автоматизацией охватывается также деятельность, требующая деликатных исследований, включая психиатрическую медицину и хирургические операции. Но в этом я не вижу ни следа интеллекта, понимаемого личностно, индивидуалистически, эмоционально и целеустремленно. Это означает, что ошибка при хирургической операции может повлечь за собой исправление операционной программы, но не станет поводом привлечь механическое устройство к суду.
Несмотря на все усилия ученых, еще не родился Некто, заменяющий человека, а появился лишь очень исполнительный, но тоже подверженный ошибкам Никто. Границу этого большого прогресса в самостоятельности устройств, построенных людьми, я описал когда-то в одном из романов как ситуацию, в которой искусственно усовершенствованная среда становится более интеллектуальной, нежели обитающие в ней люди. Нечто подобное нам пока не грозит, но движение в этом направлении уже заметно.
Текст представляет собой фрагмент статьи из еженедельника «Przekroj», №29/2001
Дорога без возврата
Эссе написано в сентябре 1998 г.
1
Я долго противился собственной компьютеризации. Но когда компьютер наконец появился, его понадобилось оснастить печатающим устройством. Затем потребовался модем. Следом появился факс, как-то по необходимости и мимоходом… Это, собственно, и есть дорога, с которой нет возврата. Начало невинно и приносит с собой новые удобства. Продолжение не является входом в ад, но если ад существует, то он наверняка компьютеризован.
2
Новый компьютер устаревает столь быстро, что через несколько лет он уже рухлядь. Поколения новых компьютеров сталкивают в неизвестную пропасть сконструированные ранее и расхваливаемые при покупке. Американцы, любители статистических подсчетов, говорят, что жизнь компьютера коротка: от трех до пяти лет. Популяция этих устройств, о которых полвека назад никто даже не мог подумать, насчитывает сегодня в мире сотни миллионов экземпляров. Естественным образом, по крайней мере мне, приходит в голову вопрос: что происходит с миллионами устаревших компьютеров. Умирают ли они? Имеют ли свои кладбища? Или завершают путь на свалках? Где можно найти их останки? Складов для умерших компьютеров, скорее всего, нет.
Должен признаться, что в моем подвале стоит, укутанный почти как мумия, компьютер Apple 1984 года, купленный для сына, посещавшего тогда American International School в Вене. В свое время компьютер работал хорошо, но не смогу вспомнить, какую имел производительность и информационную емкость. Ему, можно сказать, повезло. Его никто никуда не выбросил. Прошло немного лет, и по отношению к современному поколению обычных средних компьютеров он представляется тем же, чем телеграфный ключ Морзе по отношению к спутниковым передатчикам.
Однако хочу повторить вопрос: что происходит с компьютерами, вытесняемыми новым поколением? Из американской прессы можно узнать, что их судьба складывается по-разному: одни попадают в магазины, другие — в подвалы, на чердаки, но не «каннибализируются». Все-таки они устаревают. Сердцем компьютера является жесткий диск, а его кровеносной, или скорее нервной системой, — процессоры. Однако сравнивать эти центры с человеческим мозгом или мозгом животных — значительное преувеличение.
3
Здесь моя мысль делает мгновенный и неожиданный даже для меня поворот. Каждый знает, что осознанное отравление или заражение мыслящей системы, каковой является мозг, карается. В то же время можно заразить вирусами компьютер, причем коварно и чаще всего не опасаясь суда или тюрьмы, если только речь не идет о действии, признаваемом преступлением или хотя бы поступком, угрожающим значительным общественным ценностям, хранилищем которых является любой банк или генеральный штаб. Выслеживанием хакеров, способных, находясь в одном полушарии Земли, поражать память компьютеров в другом, занимаются исключительно службы специального назначения. Сейчас широко распространилось и значительно развилось искусство шифрования информации, пересылаемой из одного компьютера в другой, — не просто как ветвь криптографии, а скорее как выросший из нее настоящий баобаб. Пока одни трудятся над программированием антивирусных заграждений, другие стараются выследить различных вирусоманов, особенно в сетях, передающих важную информацию, искажение или утрата которой чревата негативными финансовыми последствиями.
4
Если присмотреться к усилиям, затрачиваемым на решение этих проблем в глобальном масштабе, окажется, что мы имеем дело с процессом, который ускользнул и продолжает ускользать из-под власти и воли своих создателей. Их первым намерением было создание сети соединений, не имеющих единого центра, — чтобы удар врага, даже атомный, не мог полностью поразить организованную таким образом коммуникационную связь. За возникновение замысла, который родил эту децентрализацию, давшую начало Интернету и иным сетям, мы должны быть благодарны стратегии холодной войны. Я уверен, что никому, совершенно никому из разработчиков даже в голову не приходило, что они неосознанно исполнили роль учеников мага-чернокнижника, вызвавших силы, которыми невозможно успешно управлять. Сети разрослись сверх всякого предела. Не какие-либо проблемы, чреватые военно-политическими угрозами, а сексуальные извращения, словно лавинообразно размножающиеся паразиты, расползлись по сетям. Наверное, никто в эпоху рождения ЭНИАКа не думал, что возможны педофильские пандемии, которые, подобно непрерывно поддерживаемому и разрастающемуся пожару, нельзя затоптать или погасить. Дело в том, что осуществить эффективную и фактическую цензуру всей мировой сети — то же самое, что сеть уничтожить. Она проникла в военную, хозяйственную, политическую и бытовую области, а также в миллионы личных дел. Успешное удаление из сети порнографической иконографии, которую табуирует даже самая нестрогая культура, — это, честно говоря, мечты отсеченной головы.
5
Сосуды человеческого сердца имеют сеть дополнительных каналов, рано или поздно начинающих функционировать вследствие непрерывного старения стенок сосудов, в результате которого в конце концов происходит инфаркт. В электронной сети тоже могут происходить инфаркты, но они являются результатом информационной толчеи и требуют создания новых соединений, еще не переполненных сообщениями. Таким образом возникают новые уровни сети над старыми. Так появляется своего рода специализация, когда банки соединяются с банками, университеты с университетами, телевизионные студии с другими студиями и т. д. При этом адреса абонентов должны становиться все более длинными. Страшно подумать, какими длинными они окажутся, когда задачей сети станет всесторонняя связь между миллиардами отправителей и получателей.
6
Пока же процессы разрастания, борьбы, соперничества, конкуренции, скольжения (surfing) по сети находятся в состоянии развития. Не осмелюсь предсказывать, станет ли сеть через сто лет нашим главным врагом, а может, и убийцей, каким уже стала мировая моторизация. Хорошо известно, что люди соглашаются с тем, чего желают или что считают неизбежным. В дорожных авариях в США погибло больше американцев, чем во время вьетнамской войны. Но смерть солдат вызывала горе и протест, а над жертвами автомобильных аварий никто, кроме родственников, не плачет. Это утверждение, возможно, кажется патетическим, но не является ничем иным, кроме как суммированием фактов, которые сдвинули с места наш мир, разогнались и двигаются вместе с нами в неизвестном направлении. Очевидно, проще всего уйти от проблемы, сказав, что двадцать первый век будет веком информатики. Название это, однако, ничего не проясняет. Мы не знаем, окажется ли электронный молох Древом Познания, о котором без намеков на технологию поведала нам Библия.
Врезка: Компьютер и мозг
…Компьютерам можно давать определенные команды, и они их исполнят, иногда даже лучше, чем мы бы этого хотели… Речь идет о деятельности, которую можно алгоритмизировать. Устройства, способного навести порядок в помещении, не разбивая половину посуды и не выбрасывая в мусор ребенка вместо сломанной куклы, все еще нет. Наибольшая проблема состоит в распознавании окружающего и ориентации в неизвестной обстановке. Касается это и человека, особенно если дело происходит в полумраке. Однажды я возвращался домой вечером, и мне показалось, что у ворот меня встречает жена, но это была всего-навсего ветвь черешни. В такой ситуации разум или мозг дополняют образ в соответствии с тем, что разум уже знает и что ему кажется.
Компьютеры не способны спать, и тем более видеть сны, не умеют пока выполнять созидающую работу, не обладают волевыми или телеологическими склонностями, то есть не способны переориентироваться на избранную ими, а не программистами цель. Эти ограничения можно долго перечислять. Мы идем вперед медленным шагом: прогресс есть, но такой странный, что даже совершеннейшие суперкомпьютеры, перерабатывающие триллионы битов в секунду, не имеют и следа индивидуальных черт. Компьютер — это не Некто; это всегда Никто. Этот Никто способен сделать много хороших вещей, иногда даже лучше, чем человек…
Сфера эмоций, аффектов этим устройствам совершенно недоступна, и даже не столько недоступна, сколько невоспроизводима ими. Актер играет кого-то и может делать это прекрасно, но он отлично знает, что не является этим «кем-то»; знает, что не является Гамлетом, Офелией или Полонием. Компьютер ничего не знает, потому что никого не играет и никому не подражает. В развлекательной беллетристике можно написать, например, что компьютер, который моделировал взрыв сверхновой, разлетелся на куски. В действительности это невозможно, ибо речь идет об информации, которая не выступает в материальном облике; во время моделирования взрыва вулкана из монитора не выплескиваются потоки кипящей лавы. Но понемногу, понемногу, введением элементов так называемой виртуальной реальности, которую я когда-то назвал фантоматикой, человек начинает окутываться плащом, имитирующим реальность, и сегодня мы не знаем, как далеко зайдем в этом направлении…
фрагменты статьи из еженедельника «Tygodnik powszechny», №31/2001
1
Я долго противился собственной компьютеризации. Но когда компьютер наконец появился, его понадобилось оснастить печатающим устройством. Затем потребовался модем. Следом появился факс, как-то по необходимости и мимоходом… Это, собственно, и есть дорога, с которой нет возврата. Начало невинно и приносит с собой новые удобства. Продолжение не является входом в ад, но если ад существует, то он наверняка компьютеризован.
2
Новый компьютер устаревает столь быстро, что через несколько лет он уже рухлядь. Поколения новых компьютеров сталкивают в неизвестную пропасть сконструированные ранее и расхваливаемые при покупке. Американцы, любители статистических подсчетов, говорят, что жизнь компьютера коротка: от трех до пяти лет. Популяция этих устройств, о которых полвека назад никто даже не мог подумать, насчитывает сегодня в мире сотни миллионов экземпляров. Естественным образом, по крайней мере мне, приходит в голову вопрос: что происходит с миллионами устаревших компьютеров. Умирают ли они? Имеют ли свои кладбища? Или завершают путь на свалках? Где можно найти их останки? Складов для умерших компьютеров, скорее всего, нет.
Должен признаться, что в моем подвале стоит, укутанный почти как мумия, компьютер Apple 1984 года, купленный для сына, посещавшего тогда American International School в Вене. В свое время компьютер работал хорошо, но не смогу вспомнить, какую имел производительность и информационную емкость. Ему, можно сказать, повезло. Его никто никуда не выбросил. Прошло немного лет, и по отношению к современному поколению обычных средних компьютеров он представляется тем же, чем телеграфный ключ Морзе по отношению к спутниковым передатчикам.
Однако хочу повторить вопрос: что происходит с компьютерами, вытесняемыми новым поколением? Из американской прессы можно узнать, что их судьба складывается по-разному: одни попадают в магазины, другие — в подвалы, на чердаки, но не «каннибализируются». Все-таки они устаревают. Сердцем компьютера является жесткий диск, а его кровеносной, или скорее нервной системой, — процессоры. Однако сравнивать эти центры с человеческим мозгом или мозгом животных — значительное преувеличение.
3
Здесь моя мысль делает мгновенный и неожиданный даже для меня поворот. Каждый знает, что осознанное отравление или заражение мыслящей системы, каковой является мозг, карается. В то же время можно заразить вирусами компьютер, причем коварно и чаще всего не опасаясь суда или тюрьмы, если только речь не идет о действии, признаваемом преступлением или хотя бы поступком, угрожающим значительным общественным ценностям, хранилищем которых является любой банк или генеральный штаб. Выслеживанием хакеров, способных, находясь в одном полушарии Земли, поражать память компьютеров в другом, занимаются исключительно службы специального назначения. Сейчас широко распространилось и значительно развилось искусство шифрования информации, пересылаемой из одного компьютера в другой, — не просто как ветвь криптографии, а скорее как выросший из нее настоящий баобаб. Пока одни трудятся над программированием антивирусных заграждений, другие стараются выследить различных вирусоманов, особенно в сетях, передающих важную информацию, искажение или утрата которой чревата негативными финансовыми последствиями.
4
Если присмотреться к усилиям, затрачиваемым на решение этих проблем в глобальном масштабе, окажется, что мы имеем дело с процессом, который ускользнул и продолжает ускользать из-под власти и воли своих создателей. Их первым намерением было создание сети соединений, не имеющих единого центра, — чтобы удар врага, даже атомный, не мог полностью поразить организованную таким образом коммуникационную связь. За возникновение замысла, который родил эту децентрализацию, давшую начало Интернету и иным сетям, мы должны быть благодарны стратегии холодной войны. Я уверен, что никому, совершенно никому из разработчиков даже в голову не приходило, что они неосознанно исполнили роль учеников мага-чернокнижника, вызвавших силы, которыми невозможно успешно управлять. Сети разрослись сверх всякого предела. Не какие-либо проблемы, чреватые военно-политическими угрозами, а сексуальные извращения, словно лавинообразно размножающиеся паразиты, расползлись по сетям. Наверное, никто в эпоху рождения ЭНИАКа не думал, что возможны педофильские пандемии, которые, подобно непрерывно поддерживаемому и разрастающемуся пожару, нельзя затоптать или погасить. Дело в том, что осуществить эффективную и фактическую цензуру всей мировой сети — то же самое, что сеть уничтожить. Она проникла в военную, хозяйственную, политическую и бытовую области, а также в миллионы личных дел. Успешное удаление из сети порнографической иконографии, которую табуирует даже самая нестрогая культура, — это, честно говоря, мечты отсеченной головы.
5
Сосуды человеческого сердца имеют сеть дополнительных каналов, рано или поздно начинающих функционировать вследствие непрерывного старения стенок сосудов, в результате которого в конце концов происходит инфаркт. В электронной сети тоже могут происходить инфаркты, но они являются результатом информационной толчеи и требуют создания новых соединений, еще не переполненных сообщениями. Таким образом возникают новые уровни сети над старыми. Так появляется своего рода специализация, когда банки соединяются с банками, университеты с университетами, телевизионные студии с другими студиями и т. д. При этом адреса абонентов должны становиться все более длинными. Страшно подумать, какими длинными они окажутся, когда задачей сети станет всесторонняя связь между миллиардами отправителей и получателей.
6
Пока же процессы разрастания, борьбы, соперничества, конкуренции, скольжения (surfing) по сети находятся в состоянии развития. Не осмелюсь предсказывать, станет ли сеть через сто лет нашим главным врагом, а может, и убийцей, каким уже стала мировая моторизация. Хорошо известно, что люди соглашаются с тем, чего желают или что считают неизбежным. В дорожных авариях в США погибло больше американцев, чем во время вьетнамской войны. Но смерть солдат вызывала горе и протест, а над жертвами автомобильных аварий никто, кроме родственников, не плачет. Это утверждение, возможно, кажется патетическим, но не является ничем иным, кроме как суммированием фактов, которые сдвинули с места наш мир, разогнались и двигаются вместе с нами в неизвестном направлении. Очевидно, проще всего уйти от проблемы, сказав, что двадцать первый век будет веком информатики. Название это, однако, ничего не проясняет. Мы не знаем, окажется ли электронный молох Древом Познания, о котором без намеков на технологию поведала нам Библия.
Врезка: Компьютер и мозг
…Компьютерам можно давать определенные команды, и они их исполнят, иногда даже лучше, чем мы бы этого хотели… Речь идет о деятельности, которую можно алгоритмизировать. Устройства, способного навести порядок в помещении, не разбивая половину посуды и не выбрасывая в мусор ребенка вместо сломанной куклы, все еще нет. Наибольшая проблема состоит в распознавании окружающего и ориентации в неизвестной обстановке. Касается это и человека, особенно если дело происходит в полумраке. Однажды я возвращался домой вечером, и мне показалось, что у ворот меня встречает жена, но это была всего-навсего ветвь черешни. В такой ситуации разум или мозг дополняют образ в соответствии с тем, что разум уже знает и что ему кажется.
Компьютеры не способны спать, и тем более видеть сны, не умеют пока выполнять созидающую работу, не обладают волевыми или телеологическими склонностями, то есть не способны переориентироваться на избранную ими, а не программистами цель. Эти ограничения можно долго перечислять. Мы идем вперед медленным шагом: прогресс есть, но такой странный, что даже совершеннейшие суперкомпьютеры, перерабатывающие триллионы битов в секунду, не имеют и следа индивидуальных черт. Компьютер — это не Некто; это всегда Никто. Этот Никто способен сделать много хороших вещей, иногда даже лучше, чем человек…
Сфера эмоций, аффектов этим устройствам совершенно недоступна, и даже не столько недоступна, сколько невоспроизводима ими. Актер играет кого-то и может делать это прекрасно, но он отлично знает, что не является этим «кем-то»; знает, что не является Гамлетом, Офелией или Полонием. Компьютер ничего не знает, потому что никого не играет и никому не подражает. В развлекательной беллетристике можно написать, например, что компьютер, который моделировал взрыв сверхновой, разлетелся на куски. В действительности это невозможно, ибо речь идет об информации, которая не выступает в материальном облике; во время моделирования взрыва вулкана из монитора не выплескиваются потоки кипящей лавы. Но понемногу, понемногу, введением элементов так называемой виртуальной реальности, которую я когда-то назвал фантоматикой, человек начинает окутываться плащом, имитирующим реальность, и сегодня мы не знаем, как далеко зайдем в этом направлении…
фрагменты статьи из еженедельника «Tygodnik powszechny», №31/2001
Беды от избытка
Эссе написано в сентябре 1998 г.
1
В добрые старые времена механизмы — локомотивы, автомобили, швейные машинки или холодильники — были столь простыми, что обслуживать их (а если понадобится, то и отремонтировать) мог мастер средних способностей. Сейчас, когда миром овладела компьютерная мания, даже обычную тягу, соединяющую педаль газа с дроссельной заслонкой карбюратора, заменили компьютерной связью. Мы наслушались столько интересного, необычного и хвалебного о компьютерах, которые якобы уже стали почти разумными, что самое время поделиться большими сомнениями. Нигде в мире компьютеры, даже самые лучшие и дорогие, не работают со стопроцентной надежностью. Например, в американских космических челноках, где точность преобразования информации отделяет жизнь от смерти, бортовой электроникой управляет не один суперкомпьютер, а по крайней мере четыре, а то и пять, работающих независимо. Зависание операционных систем, тупое упорство, по сравнению с которым упрямство осла приобретает почти эйнштейновское качество, ограниченный набор команд, множество задержек из-за недостаточной производительности — все это хорошо известно людям, имеющим дело с процессами, необходимым звеном которых являются компьютеры. Пока издательства рассчитывались с авторами через бухгалтеров (часто не располагавших даже механическими вычислительными устройствами), время между подведением баланса и передачей писателю гонорара было, как правило, меньше, чем сейчас, хотя быстродействие электронных систем, казалось бы, должно сократить этот срок. Вдобавок литературный агент порой находил ошибки в расчетах издательств, но так как общественное мнение уже признало компьютеры безошибочными, любые неточности приписываются людям, обслуживающим компьютеры.
1
В добрые старые времена механизмы — локомотивы, автомобили, швейные машинки или холодильники — были столь простыми, что обслуживать их (а если понадобится, то и отремонтировать) мог мастер средних способностей. Сейчас, когда миром овладела компьютерная мания, даже обычную тягу, соединяющую педаль газа с дроссельной заслонкой карбюратора, заменили компьютерной связью. Мы наслушались столько интересного, необычного и хвалебного о компьютерах, которые якобы уже стали почти разумными, что самое время поделиться большими сомнениями. Нигде в мире компьютеры, даже самые лучшие и дорогие, не работают со стопроцентной надежностью. Например, в американских космических челноках, где точность преобразования информации отделяет жизнь от смерти, бортовой электроникой управляет не один суперкомпьютер, а по крайней мере четыре, а то и пять, работающих независимо. Зависание операционных систем, тупое упорство, по сравнению с которым упрямство осла приобретает почти эйнштейновское качество, ограниченный набор команд, множество задержек из-за недостаточной производительности — все это хорошо известно людям, имеющим дело с процессами, необходимым звеном которых являются компьютеры. Пока издательства рассчитывались с авторами через бухгалтеров (часто не располагавших даже механическими вычислительными устройствами), время между подведением баланса и передачей писателю гонорара было, как правило, меньше, чем сейчас, хотя быстродействие электронных систем, казалось бы, должно сократить этот срок. Вдобавок литературный агент порой находил ошибки в расчетах издательств, но так как общественное мнение уже признало компьютеры безошибочными, любые неточности приписываются людям, обслуживающим компьютеры.