Страница:
реагирует определенным образом на определенный стимулятор, он имеет в виду,
что так происходит с некоторыми людьми в некоторый момент. Другие в другой
момент могут вести себя иначе или вовсе никак не реагировать.
Если мы будем действительно дожидаться появления неких правил поведения
человека с целью создания науки психоистории, я полагаю, мы будем вынуждены
ждать очень долго.
В таком случае, что нам делать с Законами науки о человеке? Думаю,
нужно потихоньку начать и постепенно развивать их - если у нас, конечно,
получится.
Таким образом, в "Роботах и Империи" появляется робот Жискар, который
поднимает эти вопросы. Будучи роботом, он должен смотреть на все
происходящее с точки зрения Трех законов роботехники, которые жестко
предписывают ему, как он должен себя вести, поскольку он обязан им
подчиняться и не может их нарушить.
1. Робот не может причинить вред человеку или своим бездействием
допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые отдает человек,
кроме тех случаев, когда эти приказы противоречат Первому закону.
3. Робот должен заботиться о своей безопасности в той мере, в какой это
не противоречит Первому и Второму законам.
Мне кажется, робот не может не думать о том, что человеческим существам
следует вести себя таким образом, чтобы роботам стало легче выполнять эти
Три закона.
По правде говоря, я считаю, что люди, придерживающиеся этических норм,
должны стараться облегчить жизнь роботам, как на их месте поступили бы
роботы. Данные размышления стали темой рассказа "Двухсотлетний человек",
опубликованного в 1976 году. Один герой-человек говорит:
"Раз человек имеет право отдать роботу любой приказ, лишь бы он не был
во вред другому человеку, то простая порядочность не должна позволять ему
отдавать роботу распоряжения во вред этому роботу, за исключением тех
случаев, когда этого бесспорно требует спасение человеческой жизни. Чем
больше власть, тем больше и ответственность, и если роботы подчинены Трем
законам, гарантирующим безопасность людей, неужели так уж много - попросить,
чтобы люди ввели закон-другой для защиты роботов?"
Например, Первый закон состоит из двух частей. Первая: "робот не может
причинить вред человеку" - однозначна, и с ней ничего не нужно делать.
Вторая: "или своим бездействием допустить, чтобы человеку был причинен
вред", - дает нам некоторые возможности для полета фантазии. Человек может
пострадать от какого-то неодушевленного предмета. На него упадет что-нибудь
тяжелое, или он поскользнется и свалится в озеро, или с ним случится любой
из тысяч несчастных случаев, предвидеть которые невозможно. В такой ситуации
робот должен попытаться спасти человека: вытащить в безопасное место,
поддержать и тому подобное. Или человеку будет угрожать какое-нибудь живое
существо, например лев, и тогда робот тоже обязан прийти ему на помощь.
А что, если человеку угрожает другой человек? Здесь роботу придется
принимать решение, что ему делать. Сможет ли он спасти одного человека, не
причинив вред другому? Или если избежать этого невозможно, какие действия
следует предпринять, чтобы вред был минимальным?
Роботам жилось бы намного легче, если бы люди так же беспокоились о
благополучии других людей, как должны это делать роботы. И разумеется, любой
кодекс морали потребует от человека заботиться о других и стараться сделать
все, чтобы им не был причинен вред. Что, в конце концов, и является
мандатом, который люди дали роботам. Получается, что Первый закон науки о
человеке с точки зрения роботов должен звучать так:
1. Человек не может допустить вред человеку или своим бездействием
допустить, чтобы человеку был причинен вред.
Если этот закон будет выполняться, роботам останется лишь оберегать
людей от несчастных случаев с неодушевленными предметами и живыми существами
(не людьми), что освободит их от решения этических проблем. Разумеется,
робот должен оберегать человека от вреда, который может неосознанно
причинить ему другое человеческое существо. Кроме того, он обязан быть готов
прийти ему на помощь, если другой человек по объективным причинам не в
состоянии оказать ему эту помощь достаточно быстро. Однако даже робот может
неосознанно навредить человеку, и даже робот может не проявить достаточной
сноровки и не успеть попасть к месту действия, да и умений ему может не
хватить, чтобы предпринять необходимые меры. Ничто в нашем мире не идеально.
Таким образом, мы подходим ко Второму закону роботехники, который
требует, чтобы робот повиновался всем приказам, отданным ему человеком, если
они не вступают в конфликт с Первым законом. Это означает, что человек имеет
право приказывать роботу все, что угодно, без ограничений, если только его
желания не причинят вред другому человеку.
Но ведь человек может приказать роботу нечто невыполнимое или его воля
поставит робота перед дилеммой, которая может повредить позитронный мозг. В
расскаже "Лжец", опубликованном в 1940 году, человек совершенно сознательно
поставил перед роботом задачу, которая сожгла его мозг, и машина перестала
существовать.
Мы можем даже представить ситуацию, когда появятся достаточно разумные
роботы, которые будут в состоянии избежать гибели, если их вынудят делать
нечто бессмысленно сложное или злостное. Следовательно, Второй закон науки о
человеке должен гласить:
2. Человек должен отдавать роботу приказы, которые не вредят
существованию робота, если только эти приказы не явятся причиной вреда или
неудобства для других людей.
Целью Третьего закона роботехники было защитить роботов, но с точки
зрения робота он может показаться не слишком надежным. Робот должен
пожертвовать собой, если того потребуют Первый и Второй законы. Когда речь
идет о Первом законе, тут не может быть никаких возражений. Робот обязан
забыть о собственной безопасности, если это единственный путь защитить
человека или предотвратить опасность, которая ему угрожает. Если мы
признаем, что любое человеческое существо важнее любого робота (по правде
говоря, я признаю это не вполне охотно), то такая формулировка неизбежноа.
С другой стороны, должен ли робот жертвовать собой, выполняя
какой-нибудь несущественный или даже вредоносный приказ? В "Двухсотлетнем
человеке" хулиганы сознательно приказывают роботу разобрать себя на части
исключительно ради собственного развлечения. Получается, что Третий закон
науки о человеке должен звучать следующим образом:
3. Человек не должен причинять вреда роботу или своим бездействием
допустить, чтобы роботу был причинен вред, кроме тех случаев, когда робот
вынужден пожертвовать собой, чтобы спасти человека или выполнить жизненно
важный приказ.
Естественно, мы не можем навязать эти законы, как в ситуации с законами
роботехники. Мы не в силах запрограммировать мозг человека, как мозг робота.
Однако это начало, и я искренне считаю, что, если нам предстоит управлять
умными роботами, мы должны быть за них ответственны, как сказал мой герой из
рассказа "Двухсотлетний человек".
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
Робот - это робот, а организм - это организм.
Организм, как нам известно, состоит из клеток. С молекулярной точки
зрения, главными являются нуклеиновые кислоты и протеины. Они находятся в
жидкой среде, которую поддерживает костная структура. Бессмысленно
продолжать рассуждать на данную тему, поскольку мы все знакомы со строением
организмов и сами являемся одной из его разновидностей.
С другой стороны, робот (как его принято описывать в
научно-фантастической литературе) это объект, относительно похожий на
человека, построенный из надежного металла, не подверженного ржавлению.
Фантасты редко описывают внутреннее строение роботов, поскольку это не имеет
принципиального значения для сюжета, да они и не особенно разбираются в
технических деталях.
Однако из рассказов часто складывается впечатление, что внутри робота
имеется масса проводов, по которым проводится электричество, и никаких
трубок для тока крови. Источник питания, как правило, не называется, или
становится ясно, что он имеет отношение к атомной энергии.
А как насчет мозга?
Когда я написал свои первые рассказы о роботах в 1939 и 1940 годах, я
представил себе "позитронный мозг" губчатого типа из сплава платины и
иридия. Я выбрал именно такой материал, потому что он особенно инерционен и
меньше всего подвержен химическим реакциям. Губчатый он для того, чтобы
обеспечить большую поверхность, на которой могут создаваться и разрушаться
электрические схемы. "Позитронный" - поскольку за четыре года до моего
первого рассказа о роботах был открыт позитрон как противовес электрону, и
потому "позитронный" вместо "электронный" неплохо звучало с точки зрения
фантастики.
Разумеется, сегодня мой позитронный мозг из сплава платины и иридия
безнадежно устарел. Даже через десять лет после его изобретения он казался
архаичным. К концу 1940-х годов мы уже понимали, что мозг робота должен быть
чем-то вроде компьютера. Действительно, если робот настолько сложен, каким
он описывается в моих более свежих романах, его мозг должен быть похож на
мозг человека и состоять из крошечных микрочипов, не крупнее клеток мозга.
А теперь давайте представим себе нечто не являющееся ни организмом, ни
роботом, а комбинацией и того и лругого. Возможно, мы имеем право
рассматривать его как организм-робот или "орбот". Вне всякого сомнения, это
не слишком удачное название, посокльку мы всего лишь переставили две буквы.
Сказать "оргабот" - значит придумать довольно уродливое слово.
Мы можем назвать это создание робот-организм, или "роботанизм" (что,
несомненно, еще хуже), или "роборг". Лично мне кажется, что "роборг" звучит
не так уж плохо, но и это имя не годится.
Давным-давно Норберт Винер назвал науку о компьютерах кибернетикой, и
потому, если мы будем рассматривать нечто среднее между организмом и
роботом, кибернетическим устройством по своей природе, у нас может
получиться "кибернетический организм", или "киборг". Это слово действительно
прекрасно прижилось и постоянно используется.
Чтобы понять, каким должен быть киборг, давайте начнем с человеческого
организма и постепенно подойдем к роботу. А когда мы с этим покончим,
повторим тот же процесс - только в обратном направлении.
Чтобы перейти от человеческого организма к роботу, мы должны начать с
замены частей человеческого организма на части робота. В некоторых областях
мы уже к этому перешли. Например, большинство моих зубов сделано из металла,
который является главным строительным материалом для роботов.
Естественно, части, которые мы будем заменять, не обязательно должны
быть механическими. Кое-какие из моих зубов сделаны из керамики, и их
невозможно отличить от настоящих. Однако даже несмотря не то, что керамика
внешне (и до определенной степени по своему химическому составу) не
отличается от природного материала, из которого состоят мои зубы, она не
несет в себе никаких признаков живой материи.
Пойдем дальше. Моя грудина, которая была распилена в длину для
проведения операции много лет назад, соединена металлическими скобами. У
моей невестки искуственный бедренный сустав. Я знаю людей, у которых
искуственные руки или ноги, и такие конечности с каждым годом становятся все
сложнее по своей констркуции, так что их владельцы могут ими пользоваться
почти как настоящими. Мы знаем про людей, которые прожили несколько дней или
даже месяцев с искуственным сердцем, и таких, чья жизнь продлена на годы при
помощи электрокардиостимулятора.
Мы можем представить себе времена, когда та или иная часть
человеческого организма будет заменена неорганическими материалами или
устройствами, созданными инженерами. Существует ли хотя бы что-нибудь, что
невозможно заменить - по крайней мере, в нашем воображении?
Я думаю, ответ очевиден. Замените любую часть человеческого тела или
организма - конечности, сердце, печень, кости и тому подобное, но человек
все равно останется человеком. С искуственными частями тела, но все равно
человеком.
А как насчет мозга?
Вне всякого сомнения, единственное, что делает нас людьми, это мозг. А
индивидуальностями нас делает исключительно сложное его строение, чувства,
знания, память. Вы не можете взять и заменить мозг мыслящим устройством,
изготовленным на заводе. Необходимо внести нечто такое, что включает в себя
все, известное человеческому мозгу, обладает его памятью и полностью
повторяет схему его работы.
Искуственная конечность может действовать не идентично настоящей, но,
однако, выполнять некоторые необходимые функции. То же самое мы скажем об
искуственной почке, легком или печени. Искуственный мозг должен стать точной
копией мозга, который он заменяет, или человек перестанет быть тем
человеческим существом, которым он был.
Значит, самым сложным в переходе от человеческого организма к роботу
является мозг.
А наоборот?
В "Двухсотлетнем человеке" я описал превращение моего героя-робота,
Эндрю Мартина, в человека. Очень медленно, понемногу он менял себя, пока
внешне не стал неотличим от человека. Он демонстрировал интеллект, равный
человеческому (или даже превосходящий его). Он был историком, художником,
ученым, администратором. Сумел провести законы, гарантирующие роботам
определенные права, и завоевал всеобщее уважение и восхищение.
Однако ему так и не удалось добиться того, чтобы его считали человеком.
И главная причина здесь тоже заключалась в проблеме мозга. Он понял, что
должен решить эту задачу, прежде чем одолеть последний барьер.
И тут мы подходим к дихотомии тела и мозга. Настоящим киборгом следует
считать такого, у которго тело и мозг не соответствуют друг другу. Значит,
мы имеем две группы совершенных киборгов:
а) мозг робота в теле человека;
б) мозг человека в теле робота.
Совершенно очевидно, что мы оцениваем человеческое существо (или
робота) по первому внешнему впечатлению, которое он производит.
Я легко могу представить себе мужчину, который, увидев женщину
поразительной красоты, с благоговением замрет на месте. "Какая красавица!" -
скажет или подумает он. И без проблем представит себе, как влюбляется в нее
с первого взгляда. В романах так происходит довольно регулярно. Разумеется,
женщина, увидевшая потрясающе красивого мужчину, отреагирует на него точно
так же.
Если вы теряете голову от восхитительно красивого человека, вряд ли вы
станете задавать себе вопрос, наделила ли его (или ее) природа развитым
интеллектом, хорошим характером, здравым смыслом, добротой и благородством.
Если в конце концов выясняется, что красота - единственное достоинство
данного человека, вы все равно найдете этому массу оправданий и будете
оставаться жертвой (по крайней мере, некоторое время) условного рефлекса,
который вызывает эротические реакции. Разумеется, наступит момент, когда вы
устанете от прекрасной внешности без какого-либо внутреннего содержания, но
кто знает, сколько должно пройти времени, чтобы это произошло?
С другой стороны, человек с огромным количеством положительных качеств,
но вполне заурядной внешностью может не обратить на себя ваше внимание, если
только вы не обладаете достаточно развитым интеллектом, чтобы увидеть эти
качества и понять, что с данным человеком вас ждет долгая и счастливая
жизнь.
Я хочу сказать, что киборг с мозгом робота в теле человека будет принят
большинством, если не всеми, как человеческое существо, в то время как
киборг с мозгом человека в теле робота будет рассматриваться большинством,
если не всеми, как робот. В конце концов, мы все, по крайней мере для
большинства, то, чем мы кажемся внешне.
Однако эти два диаметрально противоположных киборга поставят перед
людьми совершенно разные проблемы.
Представьте себе мозг робота в теле человека и задайте вопрос, зачем
нужен такой перенос. Мозг робота будет чувствовать себя намного лучше в теле
робота, поскольку тело человека менее надежно. Возьмем, например, тело
молодого здорового человека, мозг которго поврежден в результате травмы или
болезни. Вы можете подумать: "Зачем пропадать такому прекрасному телу?
Давайте снабдим его мозгом робота, и он сможет прожить полноценную жизнь".
Если вы так поступите, человеческое существо, получившееся в
результате, не будет иметь ничего общего с изначальным. Вы будете иметь
совсем другого человека. Вы сохраните не индивидуальность, а лишь
определенное бездушное тело. А человеческое тело, какое угодно прекрасное,
без мозга, который ему соответствует, - вещь дешевая. Каждый день на свет
появляется полмиллиона новых тел. Нет никакой нужды сохрантяь какое-то из
них, если поврежден мозг.
С другой стороны, как насчет человеческого мозга в теле робота? Наш
мозг не вечен, но он может существовать до девяноста лет, не становясь
совершенно бесполезным. Причем известно множество случаев, когда и в
девяносто лет люди сохраняли остроту ума и были способны продуцировать
разумные и любопытные мысли. Однако мы знаем и такие случаи, когда
великолепный мозг погибал после двадцати или тридцати лет существования,
потому что тело, в котором он находился, умирало в результате травмы или
болезни. В таком случае выходит, что у нас есть серьезные основания для
переноса абсолюьно здорового (или гениального) мозга в тело робота, чтобы
продлить его полезное существование.
Таким образом, когда мы говрим "киборг", мы практически всегда думаем о
мозге человека, помещенном в тело робота, и считаем получившийся результат
роботом.
Мы можем сказать, что мозг человека - это мозг человека, что он
главное, и не важно, где он находится, - и будем правы. Я уверен, что любой
здравомыслящий суд решит, что киборг с мозгом человека должен иметь все
права человека. Он может голосовать, не должен становиться рабом, и тому
подобное.
Однако представим себе такое заявление, обращенное к киборгу: "Докажи,
что у тебя мозг человека, а не робота, прежде чем мы позволим тебе получить
все права человека".
Самый простой способ для киборга представить необходимые доказательства
- это продемонстрировать, что его не ограничивают Три закона роботехники.
Поскольку они навязывают ему социально приемлемое поведение, это означает,
что он должен вести себя как человек (иными словами, отвратительно). В таком
случае самым простым и веским аргументом будет хорошенько врезать тому, кто
задал вопрос, причем так, чтобы сломать ему челюсть, - роботу это вполне по
силам. (В рассказе "Улики", который увидел свет в 1947 году, я решил
прибегнуть именно к такому способу доказательства, однако должен признаться,
что в моем рассказе имеется подвох.)
Но если киборг должен постоянно демонстрировать грубую физическую силу,
чтобы доказать, что он обладает мозгом человека, это не прибавит ему друзей.
Поэтому, даже если его и примут в обществе в качестве человека,
позволят голосовать, снимать номера в гостиницах и делать прочие вещи,
которые делают обычные люди, все же должны существовать определенные
факторы, отличающие киборга от настоящего человеческого существа. Киборг
сильнее человека, а его металлические кулаки могут представлять для нас
семертельную опасность. В таком случае ему следует запретить вступать в
драку с человеком даже в случае самозащиты, заниматься различными видами
спорта на одном уровне с людьми и тому подобное.
Но разве обязательно помещать мозг человека в металлическое тело? А
почему бы не использовать тело из керамики, пластика и разных волокон, чтобы
на ощупь оно не отличалось от человеческого?
Однако я подозреваю, что проблемы киборгов все равно таким способом не
решатся. Киборги будут другими. Люди все равно заметят даже совсем
незначительные отличия.
Нам известно, что люди, имеющие настоящие человеческие мозги и тела,
ненавидят друг друга только потому, что у них кожа или волосы разного цвета,
не такой разрез глаз, другой формы нос, губы.
Нам известно, что люди, которые не различаются ни одной из физических
характеристик, становящихся причиной для ненависти, могут находиться в
состоянии войны друг с другом по вопросам, не имеющих никакого отношения к
внешности, - я имею в виду религиозные и политические разногласия, языковые
барьеры или даже гражданские войны.
Давайте посмотрим правде в глаза: серьезные трудности возникнут у
киборгов в любом случае
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
Будет ли робот мечтать стать человеком?
Можете ответить вопросом на вопрос: мечтает ли "шевроле" стать
"кадиллаком"?
Мой ответный вопрос содержит в себе завуалированное утверждение, что
машина не может мечтать.
Но загвоздка в том, что робот - это не совсем машина, по крайней мере в
том, что касается его потенциала. Робот сделан так, чтобы максимально -
насколько это возможно - походить на человека, а где-то имеется пограничная
линия, через которую в будущем мы вполне можем перешагнуть.
Давайте применим мои рассуждения к жизни. Земляной червь не мечтает
стать змеей, гиппопотам не стремится превратиться в слона. У нас нет никаких
оснований считать, что подобные существа обладают самосознанием и хотят
стать чем-то бoльшим, чем они есть на самом деле. Шимпанзе и гориллы,
похоже, обладают самосознанием, но у нас нет никаких оснований полагать, что
они хотят стать людьми.
Однако человек размышляет о загробной жизни и мечтает стать ангелом.
Где-то жизнь пересекла пограничную линию. В какой-то точке в мире появился
вид живых существ, которые обладают не только самосознанием, но и
способностью быть недовольными собой.
Возможно, когда-нибудь мы пересечем похожую границу в вопросах создания
роботов.
Но если мы уверены, что наступит день, когда робот станет мечтать о
том, чтобы превратиться в человека, как это будет выглядеть? Вполне
возможно, что он захочет получить социальный и юридический статус, который
дается человеку при рождении. Такова тема моего рассказа "Двухсотлетний
человек". Преследуя эту цель, мой главный герой-робот был готов отказаться
от всех качеств, присущих роботу. Он расставался с ними постепенно, отдавал
одно за другим, вплоть до бессмертия.
Однако этот рассказ можно назвать скорее философским, чем реалистичным.
Что такого имеет человек, чему может позавидовать робот, - каким его
физическим или интеллектуальным качествам? Ни один разумный робот не захочет
иметь столь ненадежное, слабое тело или станет завидовать тому, что человек
не в состоянии выжить при малейших переменах в окружающей среде, или тому,
что он нуждается во сне, способен совершать глупейшие ошибки, подвержен
инфекционным и прочим болезням или становится беспомощным из-за собственных
эмоций.
Скорее робот позавидует умению человека любить и дружить, его неуемному
любопытству, желанию экспериментировать. Однако я полагаю, что робот,
мечтающий стать человеком, довольно скоро сообразит, что больше всего ему
хочется понять (но как раз этого ему понять не дано), что такое чувство
юмора, присущее нам, людям.
Мы не станем утверждать, что чувством юмора обладают все без исключения
люди, хотя оно и присутствует во всех абсолютно культурах. Я был знаком со
многими людьми, которые не смеялись, а смотрели с удивлением и даже с
презрением, если я пытался шутить. Мне не нужно ходить далеко за примером.
Мой собственный отец только пожимал плечами на мои самые забавные замечания,
словно считал их недостойными внимания серьезного человека. К счастью, моя
мать всегда смеялась моим шуткам, иначе я вырос бы эмоционально
неполноценным.
Самым поразительным в чувстве юмора является то, что ни один человек не
признается в его отсутствии. Люди спокойно говорят, что ненавидят собак и не
любят детей, с радостью сообщают, что мухлюют с налогами или обманывают
своего супруга, и не станут протестовать, если их посчитают жестокими или
нечестными, а просто поменяют слова и назовут себя реалистами и деловыми
людьми.
Однако обвините их в отсутствии чувства юмора, и они всякий раз станут
яростно протестовать, вне зависимости от того, сколько раз они
демонстрировали, что его у них попросту нет. Например, мой отец всегда
утверждал, что у него потрясающее чувство юмора и он с удовольствием это
докажет, когда услышит шутку, над которой стоит посмеяться (на моей памяти
ему так ни разу и не довелось такой шутки услышать).
Почему же люди протестуют против обвинений в том, что у них нет чувства
юмора? По-видимому, они понимают (в глубине души), что чувство юмора - это
типично человеческая характеристика, гораздо более важная, чем все
остальные, и отказываются быть причисленными к разряду существ, стоящих на
более низкой ступени развития.
Я только один раз взял чувство юмора за тему своего
научно-фантастического рассказа - "Шутник" появился в 1956 году в
декабрьском номере "Инфинити сайенс фикшн", и был снова напечатан в моем
что так происходит с некоторыми людьми в некоторый момент. Другие в другой
момент могут вести себя иначе или вовсе никак не реагировать.
Если мы будем действительно дожидаться появления неких правил поведения
человека с целью создания науки психоистории, я полагаю, мы будем вынуждены
ждать очень долго.
В таком случае, что нам делать с Законами науки о человеке? Думаю,
нужно потихоньку начать и постепенно развивать их - если у нас, конечно,
получится.
Таким образом, в "Роботах и Империи" появляется робот Жискар, который
поднимает эти вопросы. Будучи роботом, он должен смотреть на все
происходящее с точки зрения Трех законов роботехники, которые жестко
предписывают ему, как он должен себя вести, поскольку он обязан им
подчиняться и не может их нарушить.
1. Робот не может причинить вред человеку или своим бездействием
допустить, чтобы человеку был причинен вред.
2. Робот должен повиноваться всем приказам, которые отдает человек,
кроме тех случаев, когда эти приказы противоречат Первому закону.
3. Робот должен заботиться о своей безопасности в той мере, в какой это
не противоречит Первому и Второму законам.
Мне кажется, робот не может не думать о том, что человеческим существам
следует вести себя таким образом, чтобы роботам стало легче выполнять эти
Три закона.
По правде говоря, я считаю, что люди, придерживающиеся этических норм,
должны стараться облегчить жизнь роботам, как на их месте поступили бы
роботы. Данные размышления стали темой рассказа "Двухсотлетний человек",
опубликованного в 1976 году. Один герой-человек говорит:
"Раз человек имеет право отдать роботу любой приказ, лишь бы он не был
во вред другому человеку, то простая порядочность не должна позволять ему
отдавать роботу распоряжения во вред этому роботу, за исключением тех
случаев, когда этого бесспорно требует спасение человеческой жизни. Чем
больше власть, тем больше и ответственность, и если роботы подчинены Трем
законам, гарантирующим безопасность людей, неужели так уж много - попросить,
чтобы люди ввели закон-другой для защиты роботов?"
Например, Первый закон состоит из двух частей. Первая: "робот не может
причинить вред человеку" - однозначна, и с ней ничего не нужно делать.
Вторая: "или своим бездействием допустить, чтобы человеку был причинен
вред", - дает нам некоторые возможности для полета фантазии. Человек может
пострадать от какого-то неодушевленного предмета. На него упадет что-нибудь
тяжелое, или он поскользнется и свалится в озеро, или с ним случится любой
из тысяч несчастных случаев, предвидеть которые невозможно. В такой ситуации
робот должен попытаться спасти человека: вытащить в безопасное место,
поддержать и тому подобное. Или человеку будет угрожать какое-нибудь живое
существо, например лев, и тогда робот тоже обязан прийти ему на помощь.
А что, если человеку угрожает другой человек? Здесь роботу придется
принимать решение, что ему делать. Сможет ли он спасти одного человека, не
причинив вред другому? Или если избежать этого невозможно, какие действия
следует предпринять, чтобы вред был минимальным?
Роботам жилось бы намного легче, если бы люди так же беспокоились о
благополучии других людей, как должны это делать роботы. И разумеется, любой
кодекс морали потребует от человека заботиться о других и стараться сделать
все, чтобы им не был причинен вред. Что, в конце концов, и является
мандатом, который люди дали роботам. Получается, что Первый закон науки о
человеке с точки зрения роботов должен звучать так:
1. Человек не может допустить вред человеку или своим бездействием
допустить, чтобы человеку был причинен вред.
Если этот закон будет выполняться, роботам останется лишь оберегать
людей от несчастных случаев с неодушевленными предметами и живыми существами
(не людьми), что освободит их от решения этических проблем. Разумеется,
робот должен оберегать человека от вреда, который может неосознанно
причинить ему другое человеческое существо. Кроме того, он обязан быть готов
прийти ему на помощь, если другой человек по объективным причинам не в
состоянии оказать ему эту помощь достаточно быстро. Однако даже робот может
неосознанно навредить человеку, и даже робот может не проявить достаточной
сноровки и не успеть попасть к месту действия, да и умений ему может не
хватить, чтобы предпринять необходимые меры. Ничто в нашем мире не идеально.
Таким образом, мы подходим ко Второму закону роботехники, который
требует, чтобы робот повиновался всем приказам, отданным ему человеком, если
они не вступают в конфликт с Первым законом. Это означает, что человек имеет
право приказывать роботу все, что угодно, без ограничений, если только его
желания не причинят вред другому человеку.
Но ведь человек может приказать роботу нечто невыполнимое или его воля
поставит робота перед дилеммой, которая может повредить позитронный мозг. В
расскаже "Лжец", опубликованном в 1940 году, человек совершенно сознательно
поставил перед роботом задачу, которая сожгла его мозг, и машина перестала
существовать.
Мы можем даже представить ситуацию, когда появятся достаточно разумные
роботы, которые будут в состоянии избежать гибели, если их вынудят делать
нечто бессмысленно сложное или злостное. Следовательно, Второй закон науки о
человеке должен гласить:
2. Человек должен отдавать роботу приказы, которые не вредят
существованию робота, если только эти приказы не явятся причиной вреда или
неудобства для других людей.
Целью Третьего закона роботехники было защитить роботов, но с точки
зрения робота он может показаться не слишком надежным. Робот должен
пожертвовать собой, если того потребуют Первый и Второй законы. Когда речь
идет о Первом законе, тут не может быть никаких возражений. Робот обязан
забыть о собственной безопасности, если это единственный путь защитить
человека или предотвратить опасность, которая ему угрожает. Если мы
признаем, что любое человеческое существо важнее любого робота (по правде
говоря, я признаю это не вполне охотно), то такая формулировка неизбежноа.
С другой стороны, должен ли робот жертвовать собой, выполняя
какой-нибудь несущественный или даже вредоносный приказ? В "Двухсотлетнем
человеке" хулиганы сознательно приказывают роботу разобрать себя на части
исключительно ради собственного развлечения. Получается, что Третий закон
науки о человеке должен звучать следующим образом:
3. Человек не должен причинять вреда роботу или своим бездействием
допустить, чтобы роботу был причинен вред, кроме тех случаев, когда робот
вынужден пожертвовать собой, чтобы спасти человека или выполнить жизненно
важный приказ.
Естественно, мы не можем навязать эти законы, как в ситуации с законами
роботехники. Мы не в силах запрограммировать мозг человека, как мозг робота.
Однако это начало, и я искренне считаю, что, если нам предстоит управлять
умными роботами, мы должны быть за них ответственны, как сказал мой герой из
рассказа "Двухсотлетний человек".
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
Робот - это робот, а организм - это организм.
Организм, как нам известно, состоит из клеток. С молекулярной точки
зрения, главными являются нуклеиновые кислоты и протеины. Они находятся в
жидкой среде, которую поддерживает костная структура. Бессмысленно
продолжать рассуждать на данную тему, поскольку мы все знакомы со строением
организмов и сами являемся одной из его разновидностей.
С другой стороны, робот (как его принято описывать в
научно-фантастической литературе) это объект, относительно похожий на
человека, построенный из надежного металла, не подверженного ржавлению.
Фантасты редко описывают внутреннее строение роботов, поскольку это не имеет
принципиального значения для сюжета, да они и не особенно разбираются в
технических деталях.
Однако из рассказов часто складывается впечатление, что внутри робота
имеется масса проводов, по которым проводится электричество, и никаких
трубок для тока крови. Источник питания, как правило, не называется, или
становится ясно, что он имеет отношение к атомной энергии.
А как насчет мозга?
Когда я написал свои первые рассказы о роботах в 1939 и 1940 годах, я
представил себе "позитронный мозг" губчатого типа из сплава платины и
иридия. Я выбрал именно такой материал, потому что он особенно инерционен и
меньше всего подвержен химическим реакциям. Губчатый он для того, чтобы
обеспечить большую поверхность, на которой могут создаваться и разрушаться
электрические схемы. "Позитронный" - поскольку за четыре года до моего
первого рассказа о роботах был открыт позитрон как противовес электрону, и
потому "позитронный" вместо "электронный" неплохо звучало с точки зрения
фантастики.
Разумеется, сегодня мой позитронный мозг из сплава платины и иридия
безнадежно устарел. Даже через десять лет после его изобретения он казался
архаичным. К концу 1940-х годов мы уже понимали, что мозг робота должен быть
чем-то вроде компьютера. Действительно, если робот настолько сложен, каким
он описывается в моих более свежих романах, его мозг должен быть похож на
мозг человека и состоять из крошечных микрочипов, не крупнее клеток мозга.
А теперь давайте представим себе нечто не являющееся ни организмом, ни
роботом, а комбинацией и того и лругого. Возможно, мы имеем право
рассматривать его как организм-робот или "орбот". Вне всякого сомнения, это
не слишком удачное название, посокльку мы всего лишь переставили две буквы.
Сказать "оргабот" - значит придумать довольно уродливое слово.
Мы можем назвать это создание робот-организм, или "роботанизм" (что,
несомненно, еще хуже), или "роборг". Лично мне кажется, что "роборг" звучит
не так уж плохо, но и это имя не годится.
Давным-давно Норберт Винер назвал науку о компьютерах кибернетикой, и
потому, если мы будем рассматривать нечто среднее между организмом и
роботом, кибернетическим устройством по своей природе, у нас может
получиться "кибернетический организм", или "киборг". Это слово действительно
прекрасно прижилось и постоянно используется.
Чтобы понять, каким должен быть киборг, давайте начнем с человеческого
организма и постепенно подойдем к роботу. А когда мы с этим покончим,
повторим тот же процесс - только в обратном направлении.
Чтобы перейти от человеческого организма к роботу, мы должны начать с
замены частей человеческого организма на части робота. В некоторых областях
мы уже к этому перешли. Например, большинство моих зубов сделано из металла,
который является главным строительным материалом для роботов.
Естественно, части, которые мы будем заменять, не обязательно должны
быть механическими. Кое-какие из моих зубов сделаны из керамики, и их
невозможно отличить от настоящих. Однако даже несмотря не то, что керамика
внешне (и до определенной степени по своему химическому составу) не
отличается от природного материала, из которого состоят мои зубы, она не
несет в себе никаких признаков живой материи.
Пойдем дальше. Моя грудина, которая была распилена в длину для
проведения операции много лет назад, соединена металлическими скобами. У
моей невестки искуственный бедренный сустав. Я знаю людей, у которых
искуственные руки или ноги, и такие конечности с каждым годом становятся все
сложнее по своей констркуции, так что их владельцы могут ими пользоваться
почти как настоящими. Мы знаем про людей, которые прожили несколько дней или
даже месяцев с искуственным сердцем, и таких, чья жизнь продлена на годы при
помощи электрокардиостимулятора.
Мы можем представить себе времена, когда та или иная часть
человеческого организма будет заменена неорганическими материалами или
устройствами, созданными инженерами. Существует ли хотя бы что-нибудь, что
невозможно заменить - по крайней мере, в нашем воображении?
Я думаю, ответ очевиден. Замените любую часть человеческого тела или
организма - конечности, сердце, печень, кости и тому подобное, но человек
все равно останется человеком. С искуственными частями тела, но все равно
человеком.
А как насчет мозга?
Вне всякого сомнения, единственное, что делает нас людьми, это мозг. А
индивидуальностями нас делает исключительно сложное его строение, чувства,
знания, память. Вы не можете взять и заменить мозг мыслящим устройством,
изготовленным на заводе. Необходимо внести нечто такое, что включает в себя
все, известное человеческому мозгу, обладает его памятью и полностью
повторяет схему его работы.
Искуственная конечность может действовать не идентично настоящей, но,
однако, выполнять некоторые необходимые функции. То же самое мы скажем об
искуственной почке, легком или печени. Искуственный мозг должен стать точной
копией мозга, который он заменяет, или человек перестанет быть тем
человеческим существом, которым он был.
Значит, самым сложным в переходе от человеческого организма к роботу
является мозг.
А наоборот?
В "Двухсотлетнем человеке" я описал превращение моего героя-робота,
Эндрю Мартина, в человека. Очень медленно, понемногу он менял себя, пока
внешне не стал неотличим от человека. Он демонстрировал интеллект, равный
человеческому (или даже превосходящий его). Он был историком, художником,
ученым, администратором. Сумел провести законы, гарантирующие роботам
определенные права, и завоевал всеобщее уважение и восхищение.
Однако ему так и не удалось добиться того, чтобы его считали человеком.
И главная причина здесь тоже заключалась в проблеме мозга. Он понял, что
должен решить эту задачу, прежде чем одолеть последний барьер.
И тут мы подходим к дихотомии тела и мозга. Настоящим киборгом следует
считать такого, у которго тело и мозг не соответствуют друг другу. Значит,
мы имеем две группы совершенных киборгов:
а) мозг робота в теле человека;
б) мозг человека в теле робота.
Совершенно очевидно, что мы оцениваем человеческое существо (или
робота) по первому внешнему впечатлению, которое он производит.
Я легко могу представить себе мужчину, который, увидев женщину
поразительной красоты, с благоговением замрет на месте. "Какая красавица!" -
скажет или подумает он. И без проблем представит себе, как влюбляется в нее
с первого взгляда. В романах так происходит довольно регулярно. Разумеется,
женщина, увидевшая потрясающе красивого мужчину, отреагирует на него точно
так же.
Если вы теряете голову от восхитительно красивого человека, вряд ли вы
станете задавать себе вопрос, наделила ли его (или ее) природа развитым
интеллектом, хорошим характером, здравым смыслом, добротой и благородством.
Если в конце концов выясняется, что красота - единственное достоинство
данного человека, вы все равно найдете этому массу оправданий и будете
оставаться жертвой (по крайней мере, некоторое время) условного рефлекса,
который вызывает эротические реакции. Разумеется, наступит момент, когда вы
устанете от прекрасной внешности без какого-либо внутреннего содержания, но
кто знает, сколько должно пройти времени, чтобы это произошло?
С другой стороны, человек с огромным количеством положительных качеств,
но вполне заурядной внешностью может не обратить на себя ваше внимание, если
только вы не обладаете достаточно развитым интеллектом, чтобы увидеть эти
качества и понять, что с данным человеком вас ждет долгая и счастливая
жизнь.
Я хочу сказать, что киборг с мозгом робота в теле человека будет принят
большинством, если не всеми, как человеческое существо, в то время как
киборг с мозгом человека в теле робота будет рассматриваться большинством,
если не всеми, как робот. В конце концов, мы все, по крайней мере для
большинства, то, чем мы кажемся внешне.
Однако эти два диаметрально противоположных киборга поставят перед
людьми совершенно разные проблемы.
Представьте себе мозг робота в теле человека и задайте вопрос, зачем
нужен такой перенос. Мозг робота будет чувствовать себя намного лучше в теле
робота, поскольку тело человека менее надежно. Возьмем, например, тело
молодого здорового человека, мозг которго поврежден в результате травмы или
болезни. Вы можете подумать: "Зачем пропадать такому прекрасному телу?
Давайте снабдим его мозгом робота, и он сможет прожить полноценную жизнь".
Если вы так поступите, человеческое существо, получившееся в
результате, не будет иметь ничего общего с изначальным. Вы будете иметь
совсем другого человека. Вы сохраните не индивидуальность, а лишь
определенное бездушное тело. А человеческое тело, какое угодно прекрасное,
без мозга, который ему соответствует, - вещь дешевая. Каждый день на свет
появляется полмиллиона новых тел. Нет никакой нужды сохрантяь какое-то из
них, если поврежден мозг.
С другой стороны, как насчет человеческого мозга в теле робота? Наш
мозг не вечен, но он может существовать до девяноста лет, не становясь
совершенно бесполезным. Причем известно множество случаев, когда и в
девяносто лет люди сохраняли остроту ума и были способны продуцировать
разумные и любопытные мысли. Однако мы знаем и такие случаи, когда
великолепный мозг погибал после двадцати или тридцати лет существования,
потому что тело, в котором он находился, умирало в результате травмы или
болезни. В таком случае выходит, что у нас есть серьезные основания для
переноса абсолюьно здорового (или гениального) мозга в тело робота, чтобы
продлить его полезное существование.
Таким образом, когда мы говрим "киборг", мы практически всегда думаем о
мозге человека, помещенном в тело робота, и считаем получившийся результат
роботом.
Мы можем сказать, что мозг человека - это мозг человека, что он
главное, и не важно, где он находится, - и будем правы. Я уверен, что любой
здравомыслящий суд решит, что киборг с мозгом человека должен иметь все
права человека. Он может голосовать, не должен становиться рабом, и тому
подобное.
Однако представим себе такое заявление, обращенное к киборгу: "Докажи,
что у тебя мозг человека, а не робота, прежде чем мы позволим тебе получить
все права человека".
Самый простой способ для киборга представить необходимые доказательства
- это продемонстрировать, что его не ограничивают Три закона роботехники.
Поскольку они навязывают ему социально приемлемое поведение, это означает,
что он должен вести себя как человек (иными словами, отвратительно). В таком
случае самым простым и веским аргументом будет хорошенько врезать тому, кто
задал вопрос, причем так, чтобы сломать ему челюсть, - роботу это вполне по
силам. (В рассказе "Улики", который увидел свет в 1947 году, я решил
прибегнуть именно к такому способу доказательства, однако должен признаться,
что в моем рассказе имеется подвох.)
Но если киборг должен постоянно демонстрировать грубую физическую силу,
чтобы доказать, что он обладает мозгом человека, это не прибавит ему друзей.
Поэтому, даже если его и примут в обществе в качестве человека,
позволят голосовать, снимать номера в гостиницах и делать прочие вещи,
которые делают обычные люди, все же должны существовать определенные
факторы, отличающие киборга от настоящего человеческого существа. Киборг
сильнее человека, а его металлические кулаки могут представлять для нас
семертельную опасность. В таком случае ему следует запретить вступать в
драку с человеком даже в случае самозащиты, заниматься различными видами
спорта на одном уровне с людьми и тому подобное.
Но разве обязательно помещать мозг человека в металлическое тело? А
почему бы не использовать тело из керамики, пластика и разных волокон, чтобы
на ощупь оно не отличалось от человеческого?
Однако я подозреваю, что проблемы киборгов все равно таким способом не
решатся. Киборги будут другими. Люди все равно заметят даже совсем
незначительные отличия.
Нам известно, что люди, имеющие настоящие человеческие мозги и тела,
ненавидят друг друга только потому, что у них кожа или волосы разного цвета,
не такой разрез глаз, другой формы нос, губы.
Нам известно, что люди, которые не различаются ни одной из физических
характеристик, становящихся причиной для ненависти, могут находиться в
состоянии войны друг с другом по вопросам, не имеющих никакого отношения к
внешности, - я имею в виду религиозные и политические разногласия, языковые
барьеры или даже гражданские войны.
Давайте посмотрим правде в глаза: серьезные трудности возникнут у
киборгов в любом случае
-----------------------------------------------------
Scan & OCR: Гуцу Анатолий (Atlantis)
-----------------------------------------------------
Будет ли робот мечтать стать человеком?
Можете ответить вопросом на вопрос: мечтает ли "шевроле" стать
"кадиллаком"?
Мой ответный вопрос содержит в себе завуалированное утверждение, что
машина не может мечтать.
Но загвоздка в том, что робот - это не совсем машина, по крайней мере в
том, что касается его потенциала. Робот сделан так, чтобы максимально -
насколько это возможно - походить на человека, а где-то имеется пограничная
линия, через которую в будущем мы вполне можем перешагнуть.
Давайте применим мои рассуждения к жизни. Земляной червь не мечтает
стать змеей, гиппопотам не стремится превратиться в слона. У нас нет никаких
оснований считать, что подобные существа обладают самосознанием и хотят
стать чем-то бoльшим, чем они есть на самом деле. Шимпанзе и гориллы,
похоже, обладают самосознанием, но у нас нет никаких оснований полагать, что
они хотят стать людьми.
Однако человек размышляет о загробной жизни и мечтает стать ангелом.
Где-то жизнь пересекла пограничную линию. В какой-то точке в мире появился
вид живых существ, которые обладают не только самосознанием, но и
способностью быть недовольными собой.
Возможно, когда-нибудь мы пересечем похожую границу в вопросах создания
роботов.
Но если мы уверены, что наступит день, когда робот станет мечтать о
том, чтобы превратиться в человека, как это будет выглядеть? Вполне
возможно, что он захочет получить социальный и юридический статус, который
дается человеку при рождении. Такова тема моего рассказа "Двухсотлетний
человек". Преследуя эту цель, мой главный герой-робот был готов отказаться
от всех качеств, присущих роботу. Он расставался с ними постепенно, отдавал
одно за другим, вплоть до бессмертия.
Однако этот рассказ можно назвать скорее философским, чем реалистичным.
Что такого имеет человек, чему может позавидовать робот, - каким его
физическим или интеллектуальным качествам? Ни один разумный робот не захочет
иметь столь ненадежное, слабое тело или станет завидовать тому, что человек
не в состоянии выжить при малейших переменах в окружающей среде, или тому,
что он нуждается во сне, способен совершать глупейшие ошибки, подвержен
инфекционным и прочим болезням или становится беспомощным из-за собственных
эмоций.
Скорее робот позавидует умению человека любить и дружить, его неуемному
любопытству, желанию экспериментировать. Однако я полагаю, что робот,
мечтающий стать человеком, довольно скоро сообразит, что больше всего ему
хочется понять (но как раз этого ему понять не дано), что такое чувство
юмора, присущее нам, людям.
Мы не станем утверждать, что чувством юмора обладают все без исключения
люди, хотя оно и присутствует во всех абсолютно культурах. Я был знаком со
многими людьми, которые не смеялись, а смотрели с удивлением и даже с
презрением, если я пытался шутить. Мне не нужно ходить далеко за примером.
Мой собственный отец только пожимал плечами на мои самые забавные замечания,
словно считал их недостойными внимания серьезного человека. К счастью, моя
мать всегда смеялась моим шуткам, иначе я вырос бы эмоционально
неполноценным.
Самым поразительным в чувстве юмора является то, что ни один человек не
признается в его отсутствии. Люди спокойно говорят, что ненавидят собак и не
любят детей, с радостью сообщают, что мухлюют с налогами или обманывают
своего супруга, и не станут протестовать, если их посчитают жестокими или
нечестными, а просто поменяют слова и назовут себя реалистами и деловыми
людьми.
Однако обвините их в отсутствии чувства юмора, и они всякий раз станут
яростно протестовать, вне зависимости от того, сколько раз они
демонстрировали, что его у них попросту нет. Например, мой отец всегда
утверждал, что у него потрясающее чувство юмора и он с удовольствием это
докажет, когда услышит шутку, над которой стоит посмеяться (на моей памяти
ему так ни разу и не довелось такой шутки услышать).
Почему же люди протестуют против обвинений в том, что у них нет чувства
юмора? По-видимому, они понимают (в глубине души), что чувство юмора - это
типично человеческая характеристика, гораздо более важная, чем все
остальные, и отказываются быть причисленными к разряду существ, стоящих на
более низкой ступени развития.
Я только один раз взял чувство юмора за тему своего
научно-фантастического рассказа - "Шутник" появился в 1956 году в
декабрьском номере "Инфинити сайенс фикшн", и был снова напечатан в моем