Страница:
возможно, что робота даже придется переделывать, чтобы он в сложившейся
ситуации мог выполнять другую работу.
Для этих целей нам понадобятся люди, которых мы будем называть...
например, специалистами по роботам, роботехниками. Существует предположение,
что к тому моменту, когда придуманная мной Сьюзен Кэлвин закончит колледж,
только в Соединенных Штатах будет около двух миллионов таких специалистов и
еще шесть миллионов в других странах мира. Так что Сьюзен не будет одиноко.
К этим специалистам мы прибавим людей, которые будут работать в быстро
развивающихся отраслях промышленности, прямо и косвенно связанных с
производством роботов. Вполне может получиться, что благодаря появлению
роботов количество рабочих мест значительно увеличится по сравнению с тем
количеством, которое исчезнет. Впрочем, разумеется, эти работы будут сильно
отличаться друг от друга, и потому потребуется некоторый переходный период
для того, чтобы те, кто лишился своей старой работы, смогли переучиться,
чтобы получить новую.
Это будет возможно не в каждом случае, и, следовательно, потребуется
ввести некоторые изменения в системе социальной защиты населения, чтобы
помочь тем, кто, в силу возраста или темперамента, не сможет приспособиться
к изменившимся обстоятельствам.
В прошлом развитие технологий всегда требовало пересмотра системы
образования. Крестьянам не требовалось знать грамоту, однако рабочим на
заводах это было необходимо. И потому после промышленной революции
индустриальным странам пришлось открыть государственные школы, где их
граждане могли получить образование. В настоящий момент в связи с новым
скачком в развитии экономики и высоких технологий необходимо внести
изменения в программы общеобразовательных школ. К обучению науке и технике
следует подходить очень серьезно и организовать его таким образом, чтобы
люди могли постоянно учиться, поскольку изменения будут происходить с такой
скоростью, что они просто не смогут существовать за счет знаний,
приобретенных в молодости.
Подождите! Я упомянул роботехников, но этот термин можно принять лишь в
широком смысле. Сьюзен Кэлвин не была таким специалистом: ее профессия
называлась "робопсихолог". Она занималась "разумом" роботов, их
"мыслительными процессами". Я еще ни разу не слышал, чтобы кто-нибудь
употребил этот термин в реальной жизни, но, полагаю, придет время, когда его
станут использовать не реже, чем термин "роботехника" после того, как я его
изобрел. В конце концов, ученые пытаются создать роботов, которые способны
видеть, понимать устные приказы, отвечать. Поскольку предполагается, что
роботы будут выполнять все больше и больше работ, причем их эффективность
будет постоянно расти, а разнообразие задач станет необъятным, они начнут
казаться нам "умными". По правде говоря, даже сейчас некоторые ученые очень
серьезно работают над решением проблемы "искуственного интеллекта".
Впрочем, если нам и удастся сконструировать и построить роботов,
которые будут казаться нам умными, весьма сомнительно, что их можно будет
считать разумными в том смысле, в каком разумен человек. Во-первых, их
"мозг" сделан из материалов, отличающихся от тех, из которых "построен" наш
мозг. Во-вторых, их мозг будет состоять из различных компонентов,
соединенных и систематизированных совсем не так, как у нас. К тому же почти
наверняка робот станет подходить к проблеме, которую ему следует решить,
совершенно иначе.
Разумность робота и человека могут настолько отличаться друг от друга,
что на свет, вполне возможно, появится новая наука - "робопсихология". Вот
тут-то и придет время Сьюзен Кэлвин. Именно она и ее коллеги смогут
разобраться в проблемах, решить которые обычные психологи будут не в силах.
Эта область знаний может оказаться самой важной во всей роботехнике,
поскольку, если мы сумеем детально изучить два совершенно разных интеллекта,
возможно, мы научимся понимать, что такое интеллект в гораздо более
фундаментальном и широком смысле, чем это возможно сейчас. И что самое
главное, мы сумеем лучше понять, что представляет собой интеллект человека,
а это практически невозможно сделать, изучая только его.
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
В 1942 году я изобрел Три закона роботехники. Самым важным из них
является, естественно, Первый закон. Он гласит: "Робот не может причинить
вред человеку или своим бездействием допустить, чтобы человеку был причинен
вред". В своих рассказах я всегда старался подчеркнуть, что законы, особенно
Первый, являются неотъемлемой частью робота, и он не может их нарушить.
Кроме того, я старался, хотя, возможно, и не так настойчиво, дать
понять своим читателям, что эти законы не являются врожденными. Материал, из
которых сделан робот, не содержит в себе этих законов. Они совершенно
сознательно вносятся в мозг готового робота, иными словами, в компьютеры,
которые контролируют его деятельность. Может так получиться, что какой-то
определенный робот окажется не наделен знанием Трех законов, поскольку его
примитивная конструкция не позволяет внести в него поведенческие схемы,
достаточно сложные, чтобы он был вынужден им подчиняться, или поскольку
человек, который создает робота, решит сознательно не вносить в его мозг
знание Трех законов.
Пока - и, возможно, так будет еще достаточно долго - мы имеем дело с
первой причиной. Роботы слишком примитивны, чтобы предвидеть, что какой-то
их поступок может причинить вред человеку, и изменить свое поведение, чтобы
этого не произошло. В настоящий момент у нас имеются лишь
компьютеризированные устройства, которые способны выполнять набор
определенных действий и не могут отойти в сторону от данных им инструкций. В
результате роботы уже стали причиной смерти людей (как, впрочем, и обычные
машины). Это ужасно, но вполне объяснимо, и мы можем предполагать, что по
мере создания роботов с более сложной системой восприятия и способностью
гибкого реагирования на изменение ситуации увеличится вероятность того, что
в них будут внесены защитные блоки, эквивалентные Трем законам.
А как насчет второй альтернативы? Станут ли люди сознательно создавать
роботов, не наделяя их знанием Законов роботехники? Боюсь, что такая
возможность тоже существует. Уже идут разговоры о роботах-охранниках. Роботы
могут патрулировать какие-нибудь территории или даже охранять вестибюли. В
их задачу будет входить общение с людьми, которые появляются на данной
территории или в здании. Вероятно, тот, кто имеет право войти или приглашен,
получит карточку, идентифицирующую его личность, и тогда робот его
пропустит. В наше время, когда столько внимания уделяется вопросам
безопасности, такие идеи могут показаться вполне разумными, поскольку они
явятся надежным способом борьбы с вандализмом и терроризмом, - получается,
что робот будет выполнять роль дрессированной сторожевой собаки.
Однако стремление к безопасности порождает усложнение системы. Робот
сумеет остановить непрошенного гостя, но сигнала тревоги может оказаться
недостаточно. Людям захочется наделить его способностью изгнать посетителя,
даже если при этом робот причинит ему вред - собака ведь тоже может увусить
вас за ноги или перегрызть глотку. Я что произойдет, если, например, глава
фирмы забудет свою карточку в других брюках и, расстроившись, не успеет
покинуть здание достаточно быстро? Или ребенок случайно войдет на охраняемую
территорию? Я подозреваю, что если робот причинит вред человеку, который не
имеет никаких дурных намерений, мгновенно поднимется шум и ученые получат
задание внести соответствующие изменения, чтобы ошибка не повторилась.
Расмотрим другую крайность - разговоры об оружии. Компьютеризированные
самолеты, танки, артиллерия и тому подобное, которые с нечеловеческим
упорством будут без устали сражаться с врагом. В качестве довода в защиту
подобного оружия можно сказать, что таким образом мы сохраним жизнь
солдатам. Устроившись со всеми удобствами у себя дома, мы предоставим
машинам воевать за нас. Если какие-то из них будут уничтожены - ну, это же
всего лишь машины. Такой подход к ведению военных действий может оказаться
особенного полезным, если у вас такие машины есть, а у врага - нет.
Но даже и в этом случае, можем ли мы быть абсолютно уверены в том, что
машины сумеют безошибочно отличать врагов от друзей? В ситуации, когда все
наше оружие контролируют руки и мозги людей, существует проблема
"дружественного огня". Американское оружие может случайно убить американских
солдат или гражданских людей, что нередко происходило в прошлом. Речь идет
об ошибках, которые допускали люди, однако от этого не легче. А что, если
наше роботизированное оружие откроет "дружественный огонь" и начнет
уничтожать американцев или даже американскую собственность? Принять такое
будет еще труднее (в особенности если враг разработает специальные
стратегические мероприятия, направленные на то, чтобы сбить программы наших
роботов и повернуть их огонь против нас). Нет, я уверен, что попытки
применения роботов без специальных защитных систем провалятся и в конце
концов мы все равно вернемся к Трем законам.
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
В эссе "Наши разумные инструменты" я упомянул о том, что может
сложиться ситуация, когда роботы станут такими умными, что в конце концов
нас заменят. Я предположил с некоторым цинизмом, что, учитывая поведение
людей, подобная замена может оказаться очень даже полезной. С тех пор прошло
время, и роботы начали занимать все более важное место в промышленности, и
хотя они продолжают оставаться довольно тупыми (если говорить об уровне
интеллектуального развития), они очень быстро развиваются.
В таком случае, пожалуй, нам следует еще раз взглянуть на возможность
возникновения ситуации, когда роботы (или компьютеры, которые в
действительности управляют роботами) нас заменят. Результат, разумеется,
зависит от того, насколько разумны будут компьютеры и станут ли они
настолько умнее нас, что наступит время, когда они будут относиться к нам
как к домашним животным (в лучшим случае) или паразитам (в худшем).
Получается, что степень разумности - штука настолько простая, что ее можно
измерить каким-нибудь прибором вроде линейки или градусника либо при помощи
теста, а потом выразить цифрами. Если умственное развитие среднего человека
можно обозначить цифрой 100 по шкале интеллектуального развития, получается,
что, как только компьютер минует эту отметку, у нас появятся проблемы.
Впрочем, так ли все просто? Вне всякого сомнения, такая сложная вещь,
как интеллект, должна характеризоваться множеством факторов и иметь массу
разнообразных видов - если можно так сказать. Мне представляется, что нужно
обладать до определенной степени развитым интеллектом, чтобы написать
логично выстроенное эссе, выбрать правильные слова и поставить их в
правильном порядке. Я также полагаю, что человек, изучающий сложное
устройство, должен быть наделен развитым интеллектом, иначе он не поймет,
как оно работает и что следует сделать, чтобы его усовершенствовать - или
починить, если оно вдруг сломалось. Что касается литературного труда, я
обладаю чрезвычайно высокоразвитым интеллектом; а вот в работе с разного
рода машинами и устройствами я абсолютно ничего не понимаю. В таком случае,
кто я - гений или идиот? Ответ таков: ни то ни другое. Просто какие-то вещи
получаются у меня хорошо, а какие-то плохо. Это можно сказать про любого из
нас.
В таком случае давайте немного поразмышляем о природе интеллекта
человека и компьютера. Мозг человека состоит из протеина и нуклеиновых
кислот; он развивался в течение трех миллиардов лет путем проб и ошибок;
главными силами, толкавшими его вперед, были приспособление и выживание. С
другой стороны, компьютеры состоят из металла и электронных схем; они
являются продуктом экспериментов и разработок, которыми люди занимаются вот
уже сорок лет; главной силой, заставляющей людей усовершенствовать
компьютеры, является их желание создать машину, которая облегчила бы жизнь
человеку. Если сами люди отличаются друг от друга уровнем и качеством своего
интеллекта, разве не естественно, что интеллекты человека и машины будут
категорически отличаться друг от друга в силу того, что они возникли и
развивались в абсолютно разных условиях, сделаны из разных материалов и их
усовершенствование обуславливают такие разные силы?
Может показаться, что компьютеры, даже самые простые, исключительно
эффективны в определенных вопросах и областях. Они обладают солидной
памятью, реагируют практически мгновенно и демонстрируют способность
совершать бесконечное число повторяющихся арифметических действий без ошибок
и видимой усталости. Если это можно считать мерилом интеллекта, в таком
случае компьютеры уже стали намного умнее нас. Благодаря тому, что они
настолько нас превосходят, мы используем их миллионами разных способов и
отлично знаем, что наша экономика развалится, если все компьютеры
одновременно перестанут работать.
Однако эта способность компьютера не является единственным
определителем разумности. По правде говоря, мы считаем ее такой
незначительной, что, вне зависимости от скорости и сложности решения,
относимся к компьютеру как к громадной логарифмической линейке, не
обладающей вообще никаким разумом. Когда речь идет о человеке, наделенном
развитым интеллектом, мы имеем в виду его способность увидеть проблему в
целом, интуитивно найти ее решение, разглядеть новые комбинации, построить
необычные предположения и творческие догадки. Можем ли мы запрограммировать
компьютер, чтобы он вел себя так же? Вряд ли, поскольку мы не знаем, как это
у нас получается.
В таком случае складывается впечатление, что компьютеры будут с каждым
днем становиться все эффективнее в выполнении простых однообразных задач с
ближней перспективой и их "мозг" станет развиваться именно в этом
направлении. А человек (благодаря накоплению знаний и все лучшему пониманию
того, что представляет собой человеческий мозг, а также благодаря успехам
генной инженерии) сумеет развивать до бесконечности свои творческие
способности. Оба этих вида интеллекта имеют свои преимущества, и в сочетании
мозг человека и компьютера - дополняя и компенсируя недостатки друг друга -
смогут продвигаться вперед гораздо быстрее, чем по одиночке. Соперничество
или замена будут тут совершенно ни при чем, два разума станут работать
вместе; добиваясь более значительных результатов, чем если бы они
действовали каждый сам по себе в соответствии со своей природой.
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
Я написал свой первый рассказ "Робби" в мае 1939 года, когда мне было
всего девятнадцать лет.
Мой рассказ отличался от увидевших свет раньше тем, что я твердо решил
не делать из своих роботов символов. Они не должны были стать символами
высокомерия человека. Они не должны были стать примером человеческих
амбиций, покушающихся на владения Всевышнего. Они не должны были стать новой
Вавилонской башней, требующей наказания.
Кроме того, я не хотел, чтобы роботов считали символом меньшинства. Они
не должны были стать жалкими существами, которых несправедливо обижают, что
послужило бы мне поводом для завуалированных намеков на притеснения, которым
подвергаются евреи, чернокожие и прочие страдающие члены нашего общества.
Естественно, меня такое положение глубоко возмущает, о чем я множество раз
говорил в многочисленных статьях и эссе - но не в рассказах о роботах.
В таком случае, чем же являются мои роботы? Они всего лишь устройства.
Инструменты. Машины, которые призваны служить людям. И я наделил их знанием
Трех законов. Иным словами, робот не мог убить своего создателя. Объявив
этот чрезвычайно популярный сюжет вне закона, я получил возможность
рассмотреть другие, более рациональные последствия своего поступка.
Поскольку я начал писать рассказы о роботах в 1939 году, в них нет
упоминаний об электронных компьютерах, которые тогда еще не были изобретены,
а я не предвидел их появления. Впрочем, я предполагал, что мозг робота
должен до определенной степени быть "электронным", и само понятие не
казалось принадлежащим далекому будущему. Позитрон - субатомная частица,
похожая на электрон, но имеющая противоположный электрический заряд, - был
обнаружен всего за четыре года до того, как я написал свой первый рассказ о
роботах. Все эти открытия звучали очень фантастично, и потому я наделил
своих роботов "позитронными мозгами" и представил себе, что их мысли состоят
из потоков позитронов, которые мгновенно возникают и так же мгновенно
перестают существовать. В результате серия таких рассказов получила название
"рассказы о позитронных роботах", но в них не придавалось особого значения
предпочтению позитронов по сравнению с электронами.
Сначала я не старался систематизировать или даже вообще описывать
защитные устройства, которыми, по моим представлениям, должны были быть
снабжены роботы. Однако поскольку мне не хотелось создавать для роботов
ситуации, в которых они могут убить своего создателя, я уделял особое
внимание тому факту, что робот не в состоянии причинить вред человеку,
постоянно подчеркивая, что этот закон внедрен в его позитронный мозг.
И потому в самой первой увидевшей свет версии рассказа "Робби" один из
героев говорит: "Он просто не может не быть верным, любящим, добрым. Он
просто устроен так".
Написав рассказ "Робби", который Джон Кэмпбелл из "Эстаундинг сайенс
фикшн" отказался напечатать, я сочинил несколько других рассказов, которые
Кэмпбелл принял. И 21 декабря 1940 года я пришел к нему с идеей о роботе,
умеющем читать мысли (так появился "Лжец"), но Джона не устроили никакие мои
объяснения по поводу того, почему робот вел себя именно так, а не иначе. Он
хотел получить четко сформулированные законы, которые защищали бы людей от
роботов, чтобы мы смогли лучше понимать их поведение. И тогда мы с ним
вместе разработали концепцию, которая позднее стала называться "Три закона
роботехники". Идея принадлежала мне и была взята из уже написанных
рассказов, но конкретные формулировки (если я все правильно помню) мы
разработали вместе.
Три закона были логичны и звучали вполне разумно. Прежде всего, когда я
начал писать рассказы о своих роботах, я подумал, что следует позаботиться о
безопасности человека. Более того, я прекрасно понимал, что, даже не
стараясь сознательно причинить человеку вред, своей бездеятельностью робот
может навлечь на него беду. Я никак не мог забыть циничного произведения
Артура Хью Клоу "Последний декалог", в котором десять заповедей переписаны в
сатирическом стиле Макиавелли. Чаще всего цитируется такая: "Не убий, но и
не слишком старайся сохранить другому жизнь".
Именно по этой причине я настаивал на том, что Первый закон
(безопасность) должен состоять из двух позиций:
1. Робот не может причинить вред человеку или своим бездействием
допустить, чтобы человеку был причинен вред.
Позаботившись о безопасности, мы решили перейти ко Второму закону
(служба). Естественно, следуя необходимости выполнять приказы людей, робот
не должен забывать об их безопасности. Значит, Второй закон гласит:
2. Робот должен повиноваться всем приказам, которые отдает человек,
кроме тех случаев, когда эти приказы противоречат Первому закону.
И наконец, нам требовался третий закон (осторожность). Робот - дорогая
машина, значит, необходимо ее беречь. Но не в ущерб безопасности и службе
человеку. Итак, Третий закон выглядит следующим образом:
3. Робот должен заботиться о своей безопасности в той мере, в какой это
не противоречит Первому и Второму законам.
Разумеется, эти законы сформулированы в словах, что является в
определенной степени несовершенством. В позитронном мозгу они выражены в
сложных математических формулах (в которых я ничего не понимаю). Однако даже
при этом они достаточно двусмысленны. Что считать вредом для человека?
Должен ли робот подчиняться приказам, которые отдает ему ребенок, или
сумасшедший, или человек с дурными намерениями? Должен ли он отдать свое
дорогостоящее и полезное существование, чтобы предотвратить незначительный
вред, который может быть причинен маловажному человеку? Что есть
"незначительный" и что есть "маловажный"?
По мнению автора, эта двусмысленность не является недоработкой Трех
законов. Если бы Три закона были идеальными и не вызывали никаких сомнений,
разве могли бы мы писать наши рассказы? Именно в хитроумных закоулках
сомнений и лежат сюжеты, которые становятся фундаментом - уж простите за
каламбур - "Города роботов".
Я не старался облечь в слова Три закона в своем рассказе "Лжец",
который появился в мае 1941 года. Однако в следующем рассказе под названием
"Хоровод", появившемся в марте 1942 года, я уделил им самое пристальное
внимание. В этом номере на седьмой строке страницы сто, один из героев
говорит: "Теперь слушай. Начнем с Трех основных законов роботехники - трех
правил, которые прочно закреплены в позитронном мозгу", и дальше я их
цитирую. Насколько мне известно, это первое появление в печати слова
"роботехника", которое я изобрел.
С тех пор в течение более чем сорока лет, когда я написал множество
рассказов и романов о роботах, ни разу не возникло такой ситуации, чтобы мне
пришлось модифицировать Три закона. Однако время шло, мои роботы становились
более сложными и разносторонними, и я почувствовал, что можно внести
кое-какие изменения. Таким образом, в "Роботах и Империи", романе,
опубликованном в 1985 году, я заговорил о том, что в достаточной степени
продвинутый робот может почувствовать себя обязанным предотвратить вред,
который, возможно, будет причинен всему человечеству в целом, а не какому-то
отдельному индивидууму. Я назвал его "Нулевым законом роботехники" и все еще
продолжаю над ним работать.
Изобретение Трех законов роботехники - пожалуй, самый крупный вклад,
внесенный мной в научную фантастику. Теперь их часто цитируют даже те, кто
не имеет никакого отношения к данной области литературы, и уж точно можно
сказать, что история роботехники не будет считаться полной без упоминания
Трех законов. В 1985 году издательство "Джон Уайли и сыновья" опубликовало
"Руководство по промышленной роботехнике" под редакцией Саймона Й. Нофа, и
по просьбе главного редактора я написал вступление, касающееся Трех законов.
Сейчас авторы произведений научной фантастики произвели на свет целое
море самых разнообразных идей, доступных остальным писателям. Именно по этой
причине я никогда не возражал против того, чтобы мои коллеги, посвящающие
свои произведения роботам, пользовались моими Тремя законами.
Однако я категорически выступал против прямого их цитирования другими
авторами. Относитесь к Трем законам как к данности, но не повторяйте их -
такова моя позиция. Понятия принадлежат всем, а слова - только мне!
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
Три моих первых романа о роботах были в основе своей посвящены
таинственным убийствам, в роли детектива выступал Илайджа Бейли. Из этих
трех во втором романе - "Обнаженное солнце" - местом преступления является
запертая комната, в которой находят труп и никакого оружия, хотя с самого
начала ясно, что спрятать или вынести оружие было невозможно.
Мне удалось придумать вполне удовлетворительное решение, но я больше
никогда не писал ничего подобного.
Четвертый роман о роботах - "Роботы и Империя" - изначально не является
историей о загадочном убийстве. Илайджа Бейли умер собственной смертью в
преклонном возрасте, а дальше повествование поворачивает в сторону вселенной
"Основания", так что становится ясно, что обе мои известные серии - о
роботах и "Основание" - сливаются вместе в единое, расширенное целое. (Нет,
я сделал это не случайно. Мною двигала необходимость, возникшая после
написания в 1980-х годах продолжения серий, созданных в 1940-х и 1950-х.)
В "Роботах и Империи" герой-робот по имени Жискар, которого я очень
люблю, рассуждает о "Законах науки о человеке", могущей, по моему мнению,
впоследствии положить начало науке психоистории, играющей существенную роль
в серии "Основание".
Строго говоря, Законы науки о человеке должны являться описанием (в
сжатой форме) поведения человека. Естественно, такого описания в природе не
существует. Даже психологи, изучающие данные проблемы с научной точки зрения
(по крайней мере, я на это очень надеюсь), не могут представить никаких
"законов" и отделываются лишь длинными и запутанными рассуждениями на тему о
том, что люди делают, по их мнению. Когда психолог говорит, что человек
ситуации мог выполнять другую работу.
Для этих целей нам понадобятся люди, которых мы будем называть...
например, специалистами по роботам, роботехниками. Существует предположение,
что к тому моменту, когда придуманная мной Сьюзен Кэлвин закончит колледж,
только в Соединенных Штатах будет около двух миллионов таких специалистов и
еще шесть миллионов в других странах мира. Так что Сьюзен не будет одиноко.
К этим специалистам мы прибавим людей, которые будут работать в быстро
развивающихся отраслях промышленности, прямо и косвенно связанных с
производством роботов. Вполне может получиться, что благодаря появлению
роботов количество рабочих мест значительно увеличится по сравнению с тем
количеством, которое исчезнет. Впрочем, разумеется, эти работы будут сильно
отличаться друг от друга, и потому потребуется некоторый переходный период
для того, чтобы те, кто лишился своей старой работы, смогли переучиться,
чтобы получить новую.
Это будет возможно не в каждом случае, и, следовательно, потребуется
ввести некоторые изменения в системе социальной защиты населения, чтобы
помочь тем, кто, в силу возраста или темперамента, не сможет приспособиться
к изменившимся обстоятельствам.
В прошлом развитие технологий всегда требовало пересмотра системы
образования. Крестьянам не требовалось знать грамоту, однако рабочим на
заводах это было необходимо. И потому после промышленной революции
индустриальным странам пришлось открыть государственные школы, где их
граждане могли получить образование. В настоящий момент в связи с новым
скачком в развитии экономики и высоких технологий необходимо внести
изменения в программы общеобразовательных школ. К обучению науке и технике
следует подходить очень серьезно и организовать его таким образом, чтобы
люди могли постоянно учиться, поскольку изменения будут происходить с такой
скоростью, что они просто не смогут существовать за счет знаний,
приобретенных в молодости.
Подождите! Я упомянул роботехников, но этот термин можно принять лишь в
широком смысле. Сьюзен Кэлвин не была таким специалистом: ее профессия
называлась "робопсихолог". Она занималась "разумом" роботов, их
"мыслительными процессами". Я еще ни разу не слышал, чтобы кто-нибудь
употребил этот термин в реальной жизни, но, полагаю, придет время, когда его
станут использовать не реже, чем термин "роботехника" после того, как я его
изобрел. В конце концов, ученые пытаются создать роботов, которые способны
видеть, понимать устные приказы, отвечать. Поскольку предполагается, что
роботы будут выполнять все больше и больше работ, причем их эффективность
будет постоянно расти, а разнообразие задач станет необъятным, они начнут
казаться нам "умными". По правде говоря, даже сейчас некоторые ученые очень
серьезно работают над решением проблемы "искуственного интеллекта".
Впрочем, если нам и удастся сконструировать и построить роботов,
которые будут казаться нам умными, весьма сомнительно, что их можно будет
считать разумными в том смысле, в каком разумен человек. Во-первых, их
"мозг" сделан из материалов, отличающихся от тех, из которых "построен" наш
мозг. Во-вторых, их мозг будет состоять из различных компонентов,
соединенных и систематизированных совсем не так, как у нас. К тому же почти
наверняка робот станет подходить к проблеме, которую ему следует решить,
совершенно иначе.
Разумность робота и человека могут настолько отличаться друг от друга,
что на свет, вполне возможно, появится новая наука - "робопсихология". Вот
тут-то и придет время Сьюзен Кэлвин. Именно она и ее коллеги смогут
разобраться в проблемах, решить которые обычные психологи будут не в силах.
Эта область знаний может оказаться самой важной во всей роботехнике,
поскольку, если мы сумеем детально изучить два совершенно разных интеллекта,
возможно, мы научимся понимать, что такое интеллект в гораздо более
фундаментальном и широком смысле, чем это возможно сейчас. И что самое
главное, мы сумеем лучше понять, что представляет собой интеллект человека,
а это практически невозможно сделать, изучая только его.
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
В 1942 году я изобрел Три закона роботехники. Самым важным из них
является, естественно, Первый закон. Он гласит: "Робот не может причинить
вред человеку или своим бездействием допустить, чтобы человеку был причинен
вред". В своих рассказах я всегда старался подчеркнуть, что законы, особенно
Первый, являются неотъемлемой частью робота, и он не может их нарушить.
Кроме того, я старался, хотя, возможно, и не так настойчиво, дать
понять своим читателям, что эти законы не являются врожденными. Материал, из
которых сделан робот, не содержит в себе этих законов. Они совершенно
сознательно вносятся в мозг готового робота, иными словами, в компьютеры,
которые контролируют его деятельность. Может так получиться, что какой-то
определенный робот окажется не наделен знанием Трех законов, поскольку его
примитивная конструкция не позволяет внести в него поведенческие схемы,
достаточно сложные, чтобы он был вынужден им подчиняться, или поскольку
человек, который создает робота, решит сознательно не вносить в его мозг
знание Трех законов.
Пока - и, возможно, так будет еще достаточно долго - мы имеем дело с
первой причиной. Роботы слишком примитивны, чтобы предвидеть, что какой-то
их поступок может причинить вред человеку, и изменить свое поведение, чтобы
этого не произошло. В настоящий момент у нас имеются лишь
компьютеризированные устройства, которые способны выполнять набор
определенных действий и не могут отойти в сторону от данных им инструкций. В
результате роботы уже стали причиной смерти людей (как, впрочем, и обычные
машины). Это ужасно, но вполне объяснимо, и мы можем предполагать, что по
мере создания роботов с более сложной системой восприятия и способностью
гибкого реагирования на изменение ситуации увеличится вероятность того, что
в них будут внесены защитные блоки, эквивалентные Трем законам.
А как насчет второй альтернативы? Станут ли люди сознательно создавать
роботов, не наделяя их знанием Законов роботехники? Боюсь, что такая
возможность тоже существует. Уже идут разговоры о роботах-охранниках. Роботы
могут патрулировать какие-нибудь территории или даже охранять вестибюли. В
их задачу будет входить общение с людьми, которые появляются на данной
территории или в здании. Вероятно, тот, кто имеет право войти или приглашен,
получит карточку, идентифицирующую его личность, и тогда робот его
пропустит. В наше время, когда столько внимания уделяется вопросам
безопасности, такие идеи могут показаться вполне разумными, поскольку они
явятся надежным способом борьбы с вандализмом и терроризмом, - получается,
что робот будет выполнять роль дрессированной сторожевой собаки.
Однако стремление к безопасности порождает усложнение системы. Робот
сумеет остановить непрошенного гостя, но сигнала тревоги может оказаться
недостаточно. Людям захочется наделить его способностью изгнать посетителя,
даже если при этом робот причинит ему вред - собака ведь тоже может увусить
вас за ноги или перегрызть глотку. Я что произойдет, если, например, глава
фирмы забудет свою карточку в других брюках и, расстроившись, не успеет
покинуть здание достаточно быстро? Или ребенок случайно войдет на охраняемую
территорию? Я подозреваю, что если робот причинит вред человеку, который не
имеет никаких дурных намерений, мгновенно поднимется шум и ученые получат
задание внести соответствующие изменения, чтобы ошибка не повторилась.
Расмотрим другую крайность - разговоры об оружии. Компьютеризированные
самолеты, танки, артиллерия и тому подобное, которые с нечеловеческим
упорством будут без устали сражаться с врагом. В качестве довода в защиту
подобного оружия можно сказать, что таким образом мы сохраним жизнь
солдатам. Устроившись со всеми удобствами у себя дома, мы предоставим
машинам воевать за нас. Если какие-то из них будут уничтожены - ну, это же
всего лишь машины. Такой подход к ведению военных действий может оказаться
особенного полезным, если у вас такие машины есть, а у врага - нет.
Но даже и в этом случае, можем ли мы быть абсолютно уверены в том, что
машины сумеют безошибочно отличать врагов от друзей? В ситуации, когда все
наше оружие контролируют руки и мозги людей, существует проблема
"дружественного огня". Американское оружие может случайно убить американских
солдат или гражданских людей, что нередко происходило в прошлом. Речь идет
об ошибках, которые допускали люди, однако от этого не легче. А что, если
наше роботизированное оружие откроет "дружественный огонь" и начнет
уничтожать американцев или даже американскую собственность? Принять такое
будет еще труднее (в особенности если враг разработает специальные
стратегические мероприятия, направленные на то, чтобы сбить программы наших
роботов и повернуть их огонь против нас). Нет, я уверен, что попытки
применения роботов без специальных защитных систем провалятся и в конце
концов мы все равно вернемся к Трем законам.
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
В эссе "Наши разумные инструменты" я упомянул о том, что может
сложиться ситуация, когда роботы станут такими умными, что в конце концов
нас заменят. Я предположил с некоторым цинизмом, что, учитывая поведение
людей, подобная замена может оказаться очень даже полезной. С тех пор прошло
время, и роботы начали занимать все более важное место в промышленности, и
хотя они продолжают оставаться довольно тупыми (если говорить об уровне
интеллектуального развития), они очень быстро развиваются.
В таком случае, пожалуй, нам следует еще раз взглянуть на возможность
возникновения ситуации, когда роботы (или компьютеры, которые в
действительности управляют роботами) нас заменят. Результат, разумеется,
зависит от того, насколько разумны будут компьютеры и станут ли они
настолько умнее нас, что наступит время, когда они будут относиться к нам
как к домашним животным (в лучшим случае) или паразитам (в худшем).
Получается, что степень разумности - штука настолько простая, что ее можно
измерить каким-нибудь прибором вроде линейки или градусника либо при помощи
теста, а потом выразить цифрами. Если умственное развитие среднего человека
можно обозначить цифрой 100 по шкале интеллектуального развития, получается,
что, как только компьютер минует эту отметку, у нас появятся проблемы.
Впрочем, так ли все просто? Вне всякого сомнения, такая сложная вещь,
как интеллект, должна характеризоваться множеством факторов и иметь массу
разнообразных видов - если можно так сказать. Мне представляется, что нужно
обладать до определенной степени развитым интеллектом, чтобы написать
логично выстроенное эссе, выбрать правильные слова и поставить их в
правильном порядке. Я также полагаю, что человек, изучающий сложное
устройство, должен быть наделен развитым интеллектом, иначе он не поймет,
как оно работает и что следует сделать, чтобы его усовершенствовать - или
починить, если оно вдруг сломалось. Что касается литературного труда, я
обладаю чрезвычайно высокоразвитым интеллектом; а вот в работе с разного
рода машинами и устройствами я абсолютно ничего не понимаю. В таком случае,
кто я - гений или идиот? Ответ таков: ни то ни другое. Просто какие-то вещи
получаются у меня хорошо, а какие-то плохо. Это можно сказать про любого из
нас.
В таком случае давайте немного поразмышляем о природе интеллекта
человека и компьютера. Мозг человека состоит из протеина и нуклеиновых
кислот; он развивался в течение трех миллиардов лет путем проб и ошибок;
главными силами, толкавшими его вперед, были приспособление и выживание. С
другой стороны, компьютеры состоят из металла и электронных схем; они
являются продуктом экспериментов и разработок, которыми люди занимаются вот
уже сорок лет; главной силой, заставляющей людей усовершенствовать
компьютеры, является их желание создать машину, которая облегчила бы жизнь
человеку. Если сами люди отличаются друг от друга уровнем и качеством своего
интеллекта, разве не естественно, что интеллекты человека и машины будут
категорически отличаться друг от друга в силу того, что они возникли и
развивались в абсолютно разных условиях, сделаны из разных материалов и их
усовершенствование обуславливают такие разные силы?
Может показаться, что компьютеры, даже самые простые, исключительно
эффективны в определенных вопросах и областях. Они обладают солидной
памятью, реагируют практически мгновенно и демонстрируют способность
совершать бесконечное число повторяющихся арифметических действий без ошибок
и видимой усталости. Если это можно считать мерилом интеллекта, в таком
случае компьютеры уже стали намного умнее нас. Благодаря тому, что они
настолько нас превосходят, мы используем их миллионами разных способов и
отлично знаем, что наша экономика развалится, если все компьютеры
одновременно перестанут работать.
Однако эта способность компьютера не является единственным
определителем разумности. По правде говоря, мы считаем ее такой
незначительной, что, вне зависимости от скорости и сложности решения,
относимся к компьютеру как к громадной логарифмической линейке, не
обладающей вообще никаким разумом. Когда речь идет о человеке, наделенном
развитым интеллектом, мы имеем в виду его способность увидеть проблему в
целом, интуитивно найти ее решение, разглядеть новые комбинации, построить
необычные предположения и творческие догадки. Можем ли мы запрограммировать
компьютер, чтобы он вел себя так же? Вряд ли, поскольку мы не знаем, как это
у нас получается.
В таком случае складывается впечатление, что компьютеры будут с каждым
днем становиться все эффективнее в выполнении простых однообразных задач с
ближней перспективой и их "мозг" станет развиваться именно в этом
направлении. А человек (благодаря накоплению знаний и все лучшему пониманию
того, что представляет собой человеческий мозг, а также благодаря успехам
генной инженерии) сумеет развивать до бесконечности свои творческие
способности. Оба этих вида интеллекта имеют свои преимущества, и в сочетании
мозг человека и компьютера - дополняя и компенсируя недостатки друг друга -
смогут продвигаться вперед гораздо быстрее, чем по одиночке. Соперничество
или замена будут тут совершенно ни при чем, два разума станут работать
вместе; добиваясь более значительных результатов, чем если бы они
действовали каждый сам по себе в соответствии со своей природой.
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
Я написал свой первый рассказ "Робби" в мае 1939 года, когда мне было
всего девятнадцать лет.
Мой рассказ отличался от увидевших свет раньше тем, что я твердо решил
не делать из своих роботов символов. Они не должны были стать символами
высокомерия человека. Они не должны были стать примером человеческих
амбиций, покушающихся на владения Всевышнего. Они не должны были стать новой
Вавилонской башней, требующей наказания.
Кроме того, я не хотел, чтобы роботов считали символом меньшинства. Они
не должны были стать жалкими существами, которых несправедливо обижают, что
послужило бы мне поводом для завуалированных намеков на притеснения, которым
подвергаются евреи, чернокожие и прочие страдающие члены нашего общества.
Естественно, меня такое положение глубоко возмущает, о чем я множество раз
говорил в многочисленных статьях и эссе - но не в рассказах о роботах.
В таком случае, чем же являются мои роботы? Они всего лишь устройства.
Инструменты. Машины, которые призваны служить людям. И я наделил их знанием
Трех законов. Иным словами, робот не мог убить своего создателя. Объявив
этот чрезвычайно популярный сюжет вне закона, я получил возможность
рассмотреть другие, более рациональные последствия своего поступка.
Поскольку я начал писать рассказы о роботах в 1939 году, в них нет
упоминаний об электронных компьютерах, которые тогда еще не были изобретены,
а я не предвидел их появления. Впрочем, я предполагал, что мозг робота
должен до определенной степени быть "электронным", и само понятие не
казалось принадлежащим далекому будущему. Позитрон - субатомная частица,
похожая на электрон, но имеющая противоположный электрический заряд, - был
обнаружен всего за четыре года до того, как я написал свой первый рассказ о
роботах. Все эти открытия звучали очень фантастично, и потому я наделил
своих роботов "позитронными мозгами" и представил себе, что их мысли состоят
из потоков позитронов, которые мгновенно возникают и так же мгновенно
перестают существовать. В результате серия таких рассказов получила название
"рассказы о позитронных роботах", но в них не придавалось особого значения
предпочтению позитронов по сравнению с электронами.
Сначала я не старался систематизировать или даже вообще описывать
защитные устройства, которыми, по моим представлениям, должны были быть
снабжены роботы. Однако поскольку мне не хотелось создавать для роботов
ситуации, в которых они могут убить своего создателя, я уделял особое
внимание тому факту, что робот не в состоянии причинить вред человеку,
постоянно подчеркивая, что этот закон внедрен в его позитронный мозг.
И потому в самой первой увидевшей свет версии рассказа "Робби" один из
героев говорит: "Он просто не может не быть верным, любящим, добрым. Он
просто устроен так".
Написав рассказ "Робби", который Джон Кэмпбелл из "Эстаундинг сайенс
фикшн" отказался напечатать, я сочинил несколько других рассказов, которые
Кэмпбелл принял. И 21 декабря 1940 года я пришел к нему с идеей о роботе,
умеющем читать мысли (так появился "Лжец"), но Джона не устроили никакие мои
объяснения по поводу того, почему робот вел себя именно так, а не иначе. Он
хотел получить четко сформулированные законы, которые защищали бы людей от
роботов, чтобы мы смогли лучше понимать их поведение. И тогда мы с ним
вместе разработали концепцию, которая позднее стала называться "Три закона
роботехники". Идея принадлежала мне и была взята из уже написанных
рассказов, но конкретные формулировки (если я все правильно помню) мы
разработали вместе.
Три закона были логичны и звучали вполне разумно. Прежде всего, когда я
начал писать рассказы о своих роботах, я подумал, что следует позаботиться о
безопасности человека. Более того, я прекрасно понимал, что, даже не
стараясь сознательно причинить человеку вред, своей бездеятельностью робот
может навлечь на него беду. Я никак не мог забыть циничного произведения
Артура Хью Клоу "Последний декалог", в котором десять заповедей переписаны в
сатирическом стиле Макиавелли. Чаще всего цитируется такая: "Не убий, но и
не слишком старайся сохранить другому жизнь".
Именно по этой причине я настаивал на том, что Первый закон
(безопасность) должен состоять из двух позиций:
1. Робот не может причинить вред человеку или своим бездействием
допустить, чтобы человеку был причинен вред.
Позаботившись о безопасности, мы решили перейти ко Второму закону
(служба). Естественно, следуя необходимости выполнять приказы людей, робот
не должен забывать об их безопасности. Значит, Второй закон гласит:
2. Робот должен повиноваться всем приказам, которые отдает человек,
кроме тех случаев, когда эти приказы противоречат Первому закону.
И наконец, нам требовался третий закон (осторожность). Робот - дорогая
машина, значит, необходимо ее беречь. Но не в ущерб безопасности и службе
человеку. Итак, Третий закон выглядит следующим образом:
3. Робот должен заботиться о своей безопасности в той мере, в какой это
не противоречит Первому и Второму законам.
Разумеется, эти законы сформулированы в словах, что является в
определенной степени несовершенством. В позитронном мозгу они выражены в
сложных математических формулах (в которых я ничего не понимаю). Однако даже
при этом они достаточно двусмысленны. Что считать вредом для человека?
Должен ли робот подчиняться приказам, которые отдает ему ребенок, или
сумасшедший, или человек с дурными намерениями? Должен ли он отдать свое
дорогостоящее и полезное существование, чтобы предотвратить незначительный
вред, который может быть причинен маловажному человеку? Что есть
"незначительный" и что есть "маловажный"?
По мнению автора, эта двусмысленность не является недоработкой Трех
законов. Если бы Три закона были идеальными и не вызывали никаких сомнений,
разве могли бы мы писать наши рассказы? Именно в хитроумных закоулках
сомнений и лежат сюжеты, которые становятся фундаментом - уж простите за
каламбур - "Города роботов".
Я не старался облечь в слова Три закона в своем рассказе "Лжец",
который появился в мае 1941 года. Однако в следующем рассказе под названием
"Хоровод", появившемся в марте 1942 года, я уделил им самое пристальное
внимание. В этом номере на седьмой строке страницы сто, один из героев
говорит: "Теперь слушай. Начнем с Трех основных законов роботехники - трех
правил, которые прочно закреплены в позитронном мозгу", и дальше я их
цитирую. Насколько мне известно, это первое появление в печати слова
"роботехника", которое я изобрел.
С тех пор в течение более чем сорока лет, когда я написал множество
рассказов и романов о роботах, ни разу не возникло такой ситуации, чтобы мне
пришлось модифицировать Три закона. Однако время шло, мои роботы становились
более сложными и разносторонними, и я почувствовал, что можно внести
кое-какие изменения. Таким образом, в "Роботах и Империи", романе,
опубликованном в 1985 году, я заговорил о том, что в достаточной степени
продвинутый робот может почувствовать себя обязанным предотвратить вред,
который, возможно, будет причинен всему человечеству в целом, а не какому-то
отдельному индивидууму. Я назвал его "Нулевым законом роботехники" и все еще
продолжаю над ним работать.
Изобретение Трех законов роботехники - пожалуй, самый крупный вклад,
внесенный мной в научную фантастику. Теперь их часто цитируют даже те, кто
не имеет никакого отношения к данной области литературы, и уж точно можно
сказать, что история роботехники не будет считаться полной без упоминания
Трех законов. В 1985 году издательство "Джон Уайли и сыновья" опубликовало
"Руководство по промышленной роботехнике" под редакцией Саймона Й. Нофа, и
по просьбе главного редактора я написал вступление, касающееся Трех законов.
Сейчас авторы произведений научной фантастики произвели на свет целое
море самых разнообразных идей, доступных остальным писателям. Именно по этой
причине я никогда не возражал против того, чтобы мои коллеги, посвящающие
свои произведения роботам, пользовались моими Тремя законами.
Однако я категорически выступал против прямого их цитирования другими
авторами. Относитесь к Трем законам как к данности, но не повторяйте их -
такова моя позиция. Понятия принадлежат всем, а слова - только мне!
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
Три моих первых романа о роботах были в основе своей посвящены
таинственным убийствам, в роли детектива выступал Илайджа Бейли. Из этих
трех во втором романе - "Обнаженное солнце" - местом преступления является
запертая комната, в которой находят труп и никакого оружия, хотя с самого
начала ясно, что спрятать или вынести оружие было невозможно.
Мне удалось придумать вполне удовлетворительное решение, но я больше
никогда не писал ничего подобного.
Четвертый роман о роботах - "Роботы и Империя" - изначально не является
историей о загадочном убийстве. Илайджа Бейли умер собственной смертью в
преклонном возрасте, а дальше повествование поворачивает в сторону вселенной
"Основания", так что становится ясно, что обе мои известные серии - о
роботах и "Основание" - сливаются вместе в единое, расширенное целое. (Нет,
я сделал это не случайно. Мною двигала необходимость, возникшая после
написания в 1980-х годах продолжения серий, созданных в 1940-х и 1950-х.)
В "Роботах и Империи" герой-робот по имени Жискар, которого я очень
люблю, рассуждает о "Законах науки о человеке", могущей, по моему мнению,
впоследствии положить начало науке психоистории, играющей существенную роль
в серии "Основание".
Строго говоря, Законы науки о человеке должны являться описанием (в
сжатой форме) поведения человека. Естественно, такого описания в природе не
существует. Даже психологи, изучающие данные проблемы с научной точки зрения
(по крайней мере, я на это очень надеюсь), не могут представить никаких
"законов" и отделываются лишь длинными и запутанными рассуждениями на тему о
том, что люди делают, по их мнению. Когда психолог говорит, что человек