Страница:
– Да, сэр. Минуточку! – Дональд на несколько секунд замер, отрешившись от действительности, потом снова ожил. – Боюсь, сэр, это не может ждать! Это запись предварительной беседы с роботом Горацио. Робопсихологу Патрас удалось вывести его из ступора.
– Что там, Дональд?
– Сэр, полагаю, вам лучше прочесть самому. Нельзя допускать, чтобы кто-нибудь заметил ваши чувства, а это сообщение показалось мне весьма… – э-э… тревожным. Мне будет очень неприятно об этом говорить.
Крэш досадливо хмыкнул. Похоже, рассудок Дональда становится все более нежным и хрупким. Что ж, полицейским роботам приходится несладко, но, кто бы знал, сколько от этого неудобств!
– Ладно, ладно! Напечатай, что там передают. Я просмотрю, пока лекция не началась.
Внутри Дональда что-то зажужжало, щелкнуло, и на груди робота открылась щель, из которой страница за страницей стали выползать отпечатанные листы бумаги. Дональд подхватывал их левой рукой и перекладывал в правую. Собрав все, он передал их Крэшу.
Крэш начал читать, отдавая то, что уже прочел, обратно Дональду.
Прочитав очередной листок, Альвар выругался.
– Я же говорил, сэр, очень тревожное сообщение!
Альвар кивнул. Он не отважился бы обсуждать это с Дональдом в таком людном месте. Лучше вообще промолчать. Несомненно, Дональд пришел к тем же выводам.
Неудивительно, что Дональд счел сообщение «тревожным»! И неудивительно, что этого беднягу Горацио так переклинило! Если верить сообщению, они имеют дело с роботом, у которого нет Трех Законов.
Нет. Это невероятно! Какой сумасшедший мог создать робота без Трех Законов?! Должно быть какое-то другое объяснение. Наверное, произошла ошибка.
Но только этого Калибана создала женщина, которая совсем недавно с этой самой сцены говорила о том, что роботы вредят человечеству. Так какого черта она тогда прикрывает мерзавца-робота, который на нее напал? Альвар Крэш передал Дональду последний листок, и робот аккуратно сложил их все в выдвижной ящичек на боку.
– Что будем делать, сэр? – спросил Дональд.
Делать? Чудесный вопрос. Ситуация взрывоопасна! Теоретически у шерифа были теперь причины возбудить против Фреды Ливинг уголовное дело. Но не сейчас! Что же можно сделать? Вылезти на сцену и арестовать ее посреди выступления? Нет. Это даст поселенцам прекрасный повод умыть руки и убраться с Инферно. Фреда Ливинг как-то в этом замешана, это ясно. Но как – вот в чем вопрос! Кроме того, Альвар почему-то был уверен, что ему необходимо выслушать то, что она собирается сказать, чтобы продолжать это дело.
Однако ему было пока чем заняться и кроме ареста Фреды Ливинг.
– Мы не можем позволить себе взять под стражу Фреду Ливинг, Дональд, как бы нам ни хотелось. Только не сейчас, пока рядом с ней – Правитель и Тоня Велтон. Но как только эта чертова лекция закончится, мы возьмем Тераха и Эншоу. Пришло время кое о чем порасспросить этих двоих.
Что до Фреды Ливинг, может, сегодня и не понадобится ее арестовывать. Но облегчать ей жизнь Крэш не собирался. Он устремил тяжелый взгляд на сцену, ожидая, когда отдернут занавес.
Наконец – и все равно слишком скоро – Фреда услышала звук, которого так долго ждала. И вздрогнула от страха. Раздался удар гонга. Слушатели начали понемногу успокаиваться, затихать. Пора было начинать. Робот – работник сцены – махнул рукой Правителю Грегу, и тот кивнул. Подошел к Фреде Ливинг и тронул ее за плечо.
– Готовы, доктор?
– Что? А! Да-да, конечно!
– Тогда, думаю, надо начинать. – Он провел Фреду к креслу за столом у дальнего края сцены, где уже сидели Тоня Велтон, Губер и Йомен Терах.
Рядом с каждым из них вытянулись личные роботы. Старый Тетлак Губера, который сопровождал его с незапамятных времен. Робот Йомена – самой последней модели, жутко усовершенствованный, как там его имя? Бертран? Что-то вроде того. В «Лаборатории Ливинг» шутили, что Йомен меняет личных роботов чаще, чем нижнее белье. Рядом с Тоней Велтон застыла Ариэль.
Забавный парадокс – Тоня прибыла сюда, на Инферно, чтобы искоренить привычку людей во всем полагаться на роботов, и вот у нее самой есть робот, которого Фреда подарила ей в лучшие дни. А сама Фреда теперь обходится без робота.
Фреда внезапно поняла, что занавес уже отдернут, что зал вяло аплодирует Правителю, из задних рядов послышались один-два выкрика, а Правитель уже начал представлять ее, Фреду. Господи, он, кажется, уже заканчивает! Господи!.. О чем она только думала все это время?! Может, это из-за ранения или какое-то побочное действие лекарств? А может, просто она подсознательно старается не думать ни о чем, чтобы не бояться?
– …Не ожидаю, что все вы согласитесь с тем, что она скажет, – говорил Правитель. – Я и сам со многим не согласен. Но я уверен, что мы должны прислушаться к идеям доктора Ливинг. Несомненно, они – и новости, которые она расскажет, – будут ужасным потрясением для всех нас. А теперь, леди и джентльмены, предоставим слово доктору Фреде Ливинг! – Правитель с улыбкой на лице повернулся к ней. Зал откликнулся бурей рукоплесканий.
Не вполне уверенная, что не стоит прямо сейчас развернуться и сбежать отсюда через запасной выход, Фреда поднялась и прошла к кафедре. Хэнто Грег отступил к столику и сел рядом с Йоменом.
Она оказалась совсем одна. Глядя на колышущееся море лиц, Фреда думала, что вся эта затея – сущее сумасшествие. Но она уже стояла на кафедре, и не оставалось ничего, кроме как начать лекцию. Пути назад не было.
Фреда откашлялась и заговорила.
14
– Что там, Дональд?
– Сэр, полагаю, вам лучше прочесть самому. Нельзя допускать, чтобы кто-нибудь заметил ваши чувства, а это сообщение показалось мне весьма… – э-э… тревожным. Мне будет очень неприятно об этом говорить.
Крэш досадливо хмыкнул. Похоже, рассудок Дональда становится все более нежным и хрупким. Что ж, полицейским роботам приходится несладко, но, кто бы знал, сколько от этого неудобств!
– Ладно, ладно! Напечатай, что там передают. Я просмотрю, пока лекция не началась.
Внутри Дональда что-то зажужжало, щелкнуло, и на груди робота открылась щель, из которой страница за страницей стали выползать отпечатанные листы бумаги. Дональд подхватывал их левой рукой и перекладывал в правую. Собрав все, он передал их Крэшу.
Крэш начал читать, отдавая то, что уже прочел, обратно Дональду.
Прочитав очередной листок, Альвар выругался.
– Я же говорил, сэр, очень тревожное сообщение!
Альвар кивнул. Он не отважился бы обсуждать это с Дональдом в таком людном месте. Лучше вообще промолчать. Несомненно, Дональд пришел к тем же выводам.
Неудивительно, что Дональд счел сообщение «тревожным»! И неудивительно, что этого беднягу Горацио так переклинило! Если верить сообщению, они имеют дело с роботом, у которого нет Трех Законов.
Нет. Это невероятно! Какой сумасшедший мог создать робота без Трех Законов?! Должно быть какое-то другое объяснение. Наверное, произошла ошибка.
Но только этого Калибана создала женщина, которая совсем недавно с этой самой сцены говорила о том, что роботы вредят человечеству. Так какого черта она тогда прикрывает мерзавца-робота, который на нее напал? Альвар Крэш передал Дональду последний листок, и робот аккуратно сложил их все в выдвижной ящичек на боку.
– Что будем делать, сэр? – спросил Дональд.
Делать? Чудесный вопрос. Ситуация взрывоопасна! Теоретически у шерифа были теперь причины возбудить против Фреды Ливинг уголовное дело. Но не сейчас! Что же можно сделать? Вылезти на сцену и арестовать ее посреди выступления? Нет. Это даст поселенцам прекрасный повод умыть руки и убраться с Инферно. Фреда Ливинг как-то в этом замешана, это ясно. Но как – вот в чем вопрос! Кроме того, Альвар почему-то был уверен, что ему необходимо выслушать то, что она собирается сказать, чтобы продолжать это дело.
Однако ему было пока чем заняться и кроме ареста Фреды Ливинг.
– Мы не можем позволить себе взять под стражу Фреду Ливинг, Дональд, как бы нам ни хотелось. Только не сейчас, пока рядом с ней – Правитель и Тоня Велтон. Но как только эта чертова лекция закончится, мы возьмем Тераха и Эншоу. Пришло время кое о чем порасспросить этих двоих.
Что до Фреды Ливинг, может, сегодня и не понадобится ее арестовывать. Но облегчать ей жизнь Крэш не собирался. Он устремил тяжелый взгляд на сцену, ожидая, когда отдернут занавес.
Наконец – и все равно слишком скоро – Фреда услышала звук, которого так долго ждала. И вздрогнула от страха. Раздался удар гонга. Слушатели начали понемногу успокаиваться, затихать. Пора было начинать. Робот – работник сцены – махнул рукой Правителю Грегу, и тот кивнул. Подошел к Фреде Ливинг и тронул ее за плечо.
– Готовы, доктор?
– Что? А! Да-да, конечно!
– Тогда, думаю, надо начинать. – Он провел Фреду к креслу за столом у дальнего края сцены, где уже сидели Тоня Велтон, Губер и Йомен Терах.
Рядом с каждым из них вытянулись личные роботы. Старый Тетлак Губера, который сопровождал его с незапамятных времен. Робот Йомена – самой последней модели, жутко усовершенствованный, как там его имя? Бертран? Что-то вроде того. В «Лаборатории Ливинг» шутили, что Йомен меняет личных роботов чаще, чем нижнее белье. Рядом с Тоней Велтон застыла Ариэль.
Забавный парадокс – Тоня прибыла сюда, на Инферно, чтобы искоренить привычку людей во всем полагаться на роботов, и вот у нее самой есть робот, которого Фреда подарила ей в лучшие дни. А сама Фреда теперь обходится без робота.
Фреда внезапно поняла, что занавес уже отдернут, что зал вяло аплодирует Правителю, из задних рядов послышались один-два выкрика, а Правитель уже начал представлять ее, Фреду. Господи, он, кажется, уже заканчивает! Господи!.. О чем она только думала все это время?! Может, это из-за ранения или какое-то побочное действие лекарств? А может, просто она подсознательно старается не думать ни о чем, чтобы не бояться?
– …Не ожидаю, что все вы согласитесь с тем, что она скажет, – говорил Правитель. – Я и сам со многим не согласен. Но я уверен, что мы должны прислушаться к идеям доктора Ливинг. Несомненно, они – и новости, которые она расскажет, – будут ужасным потрясением для всех нас. А теперь, леди и джентльмены, предоставим слово доктору Фреде Ливинг! – Правитель с улыбкой на лице повернулся к ней. Зал откликнулся бурей рукоплесканий.
Не вполне уверенная, что не стоит прямо сейчас развернуться и сбежать отсюда через запасной выход, Фреда поднялась и прошла к кафедре. Хэнто Грег отступил к столику и сел рядом с Йоменом.
Она оказалась совсем одна. Глядя на колышущееся море лиц, Фреда думала, что вся эта затея – сущее сумасшествие. Но она уже стояла на кафедре, и не оставалось ничего, кроме как начать лекцию. Пути назад не было.
Фреда откашлялась и заговорила.
14
– Благодарю вас, друзья! Сегодня я хочу представить вашему вниманию анализ Трех Законов роботехники. Но прежде чем мы углубимся в оценку собственно Законов и их взаимоотношений, я хотела бы провести небольшой экскурс в историю.
На прошлой лекции я говорила, что люди ставят роботов на низшую социальную ступень и что презрение и бестолковое использование роботов унижает и развращает и тех, и других. И о том, что, перекладывая на роботов все, даже самые простые обязанности, мы, люди, тем самым теряем способность к самостоятельным действиям. Есть нечто такое, что объединяет все эти вопросы в один, что красной нитью проходит через все, о чем я говорила.
Это, леди и джентльмены, Три Закона роботехники. Без них не обходится ничего, что касается роботов.
Фреда ненадолго замолчала, скользнула взглядом по залу и натолкнулась на взгляд Альвара Крэша, сидевшего в первом ряду. Фреда удивилась – он смотрел мрачно, почти злобно. Что же случилось? Крэш – человек рассудительный. Отчего же он так злится? Узнал что-то новое? От такой догадки Фреда почувствовала, что у нее начинают подгибаться колени. Нельзя сейчас об этом думать! Не сейчас! Надо продолжать лекцию.
– Прошлую лекцию я начала с вопроса: «Что для нас роботы?» Сейчас же я спрашиваю: «Что такое Три Закона роботехники? Для чего они нужны?» Когда я впервые задала этот вопрос себе самой, он меня поразил. Это почти то же самое, что спрашивать: «Что такое люди?» или «Для чего мы живем?» Эти вопросы затрагивают такие глубинные основы жизни, что на них практически нет вразумительного ответа. Люди – это люди. Жизнь – это жизнь. Какие еще нужны объяснения? И можно понимать это как нам угодно. Но в отношении роботов, господа, все обстоит несколько иначе. Еще раз напомню – и сами роботы, и Три Закона созданы людьми, и созданы, несомненно, с определенной целью. Поэтому мы можем ответить, для чего нужны Три Закона. Давайте же разберем этот вопрос!
Каждый из Трех Законов основан на нескольких важных правилах, очевидных или скрытых. Все исходные правила, на которых основываются Три Закона, вытекают из общечеловеческих моральных принципов. Это очевидно, хотя о математических выкладках относительно того, как Законы роботехники заложены в позитронный мозг, вряд ли кто из вас хотел бы сейчас послушать. Признаться, я сама очень долго не могла в этом разобраться.
В ответ на это признание в зале засмеялись. Хорошо. Они по-прежнему хотят ее слушать. Фреда глянула в свои заметки, немного нервно отхлебнула из стакана, и продолжила:
– Достаточно сказать, что эта технология приводит к результатам, которые от нее требовались. Таким образом, Три Закона означают примерно следующее. Первое – роботы не должны быть опасными. Второе – роботов можно использовать для любых нужд. И третье – они должны быть экономными, насколько это возможно.
Дальнейшие математические расчеты, если говорить терминами социологов, показывают, что такая иерархия требований типична для моральных норм любого человеческого общества. Если извлечь краткие выводы из правил поведения в идеальном обществе, мы получим ряд законов, каждый из которых вступает в противоречие с менее значимым. Получится примерно следующее: не вреди, помогай другим, заботься о собственной сохранности. Короче, Три Закона заключают в себе основные моральные установки людей, идеал, к которому они стремились во все времена, но которого так и не достигли. Все это звучит вполне обнадеживающе, вполне убедительно. Но на самом деле не все так просто.
Во-первых, нельзя забывать, что Три Закона заложены в саму сущность позитронного мозга как математические аксиомы, безусловные истины, без каких бы то ни было полутонов и условностей. Но жизнь полна условностей, случаев, когда жесткие рамки не всегда приводят к лучшим результатам. В реальной жизни зачастую важнее личная оценка ситуации.
Во-вторых, у нас, людей, законов гораздо больше, чем три. Вернемся снова к оценке Трех Законов. Они являются очень хорошим приближением к правилам поведения высокоморального человека. Но только приближением! Они слишком незыблемы, слишком просты! Они не охватывают всех случаев жизни, они не годятся для сложных и неординарных ситуаций, когда в первую очередь важно решение, принятое на основе личной оценки положения. Ни одно существо, строго следующее Трем Законам, не способно разобраться со всеми возможными ситуациями, которые могут встретиться в жизни. Другими словами, Три Закона лишают роботов возможности существовать как свободные личности. Несложный подсчет показывает, что роботы, действуя в рамках Трех Законов, но без жесткого контроля со стороны человека, быстро выйдут из строя, если попробуют вести себя в сложных ситуациях как люди. То есть из-за Трех Законов роботы не способны справиться без посторонней помощи со всем, с чем могут столкнуться в обществе, населенном не одними только роботами.
У них нет понятия об условностях жизни. Не ведая тысяч дополнительных законов и обычаев, правил поведения, моральных норм, которыми руководствуются люди в той или иной ситуации, роботы не способны принимать решения и выносить самостоятельные суждения, как мы, люди.
Представьте, что преступник стреляет в полицейского. Несомненно, полицейский станет защищаться и, не задумываясь, предпримет даже опасные для жизни преступника меры. Общественные нормы морали не запрещают – и даже рекомендуют – полицейскому ранить или убить опасного преступника. Потому что для общества жизнь полицейского, который защищает это самое общество, намного важнее, чем жизнь преступника. А теперь представьте, что рядом с полицейским оказался робот. Робот, несомненно, станет защищать полицейского от преступника – но он так же рьяно бросится защищать и преступника от полицейского! Робот, конечно же, постарается не дать полицейскому выстрелить в злодея. Потому что он обязан не допустить, чтобы человеку был причинен вред – неважно, какому человеку. Робот помешает полицейскому стрелять, загородив собой преступника, и даст злодею возможность удрать. Или попытается обезоружить обоих. Робот загородит собой от выстрелов обоих, несмотря на то что погибнет при этом сам. Несмотря на то, что после его гибели перестрелка все равно возобновится!
Собственно, у такой ситуации может быть множество исходов, и самых разных. Если рядом окажется робот, полицейский скорее всего не задержит преступника. Из-за этого робота может случиться и кое-что похуже – могут погибнуть и полицейский, и преступник, и робот. Или только полицейский и робот. Или только робот – но преступнику удастся скрыться. А может случиться и так, что погибнут полицейский и преступник, а робот уцелеет до тех пор, пока его не доконает противоречие Первого и Второго Законов. Короче, вмешательство робота в подобной ситуации привело бы к несчастью.
Теоретически роботы способны выносить независимые суждения и пережить без особых затруднений смерть преступника. Робот может прийти к выводу, что и для настоящего, и для будущего благополучия общества – то есть всех людей – необходимо, чтобы верх взял полицейский. И помощь преступнику или вмешательство в действия полицейского принесут людям только вред. Потому что если преступник избежит наказания, он обязательно снова начнет вредить людям, так или иначе. Тем не менее в действительности только самые высокоорганизованные роботы со специально отрегулированным соотношением напряжений Первого Закона способны справиться с такой ситуацией.
Все законы и правила поведения, согласно которым живут люди, предназначены как раз для того, чтобы разобраться в путанице таких вот сложных случаев. И мы, люди, настолько привыкли следовать этим правилам, что даже не замечаем их! Как войти в зал, когда обед уже начался, как вежливо обратиться к вдове своего дедушки, которая еще раз вышла замуж, когда надо и когда не надо цитировать источники в научном исследовании – мы так хорошо все это знаем, что даже не замечаем, что знаем. Для других, не таких повседневных, случаев тоже есть масса правил и условностей.
Например, все мы знаем, что убийство – это преступление. Тем не менее убийство при самозащите, при борьбе с преступником, посягающим на вашу жизнь, преступлением не считается. Но степень опасности преступника, соответствие защиты нападению, смягчающие и отягчающие обстоятельства, непреднамеренное убийство – все это полутона и оттенки серого в четком и ясном черно-белом законе против убийства. Но, как мы видим на моем примере с полицейским и преступником, ни одно из этих соображений не влияет на напряженность Первого Закона у роботов. Этот Закон не оставляет места оценке обстоятельств, вынесению самостоятельного суждения. Вместо этого у робота есть только оценка соотношения Первого, Второго и Третьего Законов – большего им не дано!
Так что же такое Три Закона? Чтобы ответить на этот вопрос, надо вспомнить, что Три Закона созданы как модель идеальной морали, чтобы обеспечить послушание и исполнительность роботов. Три Закона не рассчитаны на то, чтобы моделировать человеческое поведение! Но, как бы то ни было, им приходится это делать – хоть и упрощенно, и схематично.
Мы разобрали цели создания Трех Законов. Теперь коснемся их истории.
Все мы знаем Три Закона с пеленок. Мы относимся к ним как к природному явлению, неизменному и не зависящему от нас. И не видим причины делать что-то иное, кроме как просто принимать их, как они есть, вместе с миром, в котором живем.
Но это не единственный выход для нас. Повторю еще раз: Три Закона созданы людьми. Они основаны на человеческих суждениях и жизненном опыте, приобретенном в прошлом. В конце концов, эти Три Закона не менее поддаются оценке и преобразованию, чем все прочие изобретения человечества – такие, как колесо, космический корабль или компьютер. Все это изменилось со времени изобретения или вообще кануло в прошлое – уступив место новым открытиям, новым установлениям.
Мы можем понять, как и почему было создано все это, – и найти пути усовершенствования, изменения к лучшему, так чтобы оно соответствовало запросам настоящего. Времена ведь меняются! И точно так же, если будет нужно, мы можем изменить Три Закона!
Зал ахнул, как одно огромное существо, и буквально взорвался возмущенными криками. Фреде казалось, что эти выкрики обрушиваются на нее, как сокрушительные удары. Но она знала, что так все и будет. Она взяла себя в руки и ответила:
– Нет! Мы не станем вести себя так! Мы ведь пришли сюда, чтобы культурно обсудить важные вопросы. Как же можно называть наше общество самым развитым и цивилизованным в истории человечества, если простое предложение нового образа мыслей, небольшое отступление от общепринятых традиций превращает нас в толпу? Вы кричите так, будто мои слова – преступление против религии, которой, по вашему убеждению, у вас нет! Неужели вы в самом деле верите, что Три Закона – нечто вечное и незыблемое, что-то вроде магической формулы, заложенной в основу бытия?!
Это подействовало. Поселенцы раздулись от гордости за свое здравомыслие. По крайней мере, пока. В зале еще пошумели, покричали, но понемногу все успокоилось, они приготовились слушать дальше. Фреда еще немного подождала, пока шум утихнет, и продолжила:
– Три Закона – изобретение человечества. И, как любое такое изобретение, они отражают потребности того времени и места, когда и где были созданы. Хотя роботы, которых мы используем сейчас, во многом гораздо совершеннее тех, первых, моделей, но в главном они остались такими же, как и тысячи лет назад. Мозг наших роботов практически не изменился с тех пор, когда люди только начинали осваивать космос. Они – продукт культуры, исчезнувшей задолго до того, как были построены первые подземные города на Земле, до того, как первые колонисты заселили Аврору.
Я понимаю, что это кажется невероятным, но вы не можете этого не признать. Подумайте сами! Загляните в это отдаленное прошлое, и вы сами увидите! И не обязательно справляться у своих роботов. Все нужные сведения есть в справочнике. Посмотрите только, каким был мир, в котором создавались первые роботы. И вы увидите, что Три Закона придумали во времена, совсем непохожие на нынешнее.
Вам встретится часто повторяющееся словосочетание «комплекс Франкенштейна». Это ссылка на старинную легенду, ныне забытую, о том, как некий чародей сложил вместе части тел казненных преступников и оживил создание, которое получилось, – ужасающего монстра. В одних вариантах легенды этого монстра наделяют добрым и мягким характером, в других его выставляют закоренелым злодеем и убийцей. Но все варианты сходятся на том, что этого монстра все вокруг боялись и ненавидели. И в большинстве вариантов легенды и монстра, и его создателя убивает разъяренная толпа, боясь того, что вот-вот вся история повторится, когда еще один искусник откроет секрет оживления мертвой плоти.
С этим чудовищем, леди и джентльмены, часто сравнивали роботов, когда первые настоящие роботы только появились. Чудовище, сделанное из кусков мертвых тел. Извращенное, неестественное создание с самыми низкими и злобными порывами. И страх перед этим мифическим чудовищем, перенесенный на настоящих роботов, назывался «комплексом Франкенштейна». Я понимаю, что трудно в такое поверить, но к роботам относились не как к безупречно послушным слугам, а как к могучим, грозным, устрашающим чудовищам. Люди хватали своих детей и бежали прочь, завидев робота, настоящего, нормального робота с Тремя Законами, заложенными в позитронный мозг.
По залу пронесся ропот недоверия, но они по-прежнему слушали Фреду, увлеченные причудливым древним миром, о котором она рассказывала.
– Можно поведать еще очень и очень многое о тех незапамятных временах, когда создавались Три Закона. И нам трудно будет не то что понять – даже поверить в такое. Потому что первые роботы появились в мире, полном ненависти и страха, когда люди Земли сплачивались в могущественные военные организации и блоки. Они вооружались чудовищной силы оружием, способным разнести на куски саму Землю, и каждый боялся, как бы противники не начали войну первыми! Подумать только, ведь оружие тогда было главной политической силой, а все остальное – культура, мораль – играло второстепенную, незначительную роль. И чтобы не дать противнику себя опередить, каждая из сторон стремилась создать все более мощное, скоростное, совершенное оружие!
Вопрос был не в том, кто прав, а в том, у кого больше этих кошмарных машин разрушения! Все новейшие технологии были направлены в первую очередь на создание оружия, и только потом – мирных инструментов и приспособлений. Представляете, тогда исследователь, вставая из-за лабораторного стола, думал о своем открытии не «для чего бы лучше применить это новшество?», а «как бы перебить с помощью моей находки побольше врагов?». И все машины и приспособления, насколько возможно, превращались в машины смерти, бесконечно искажая общественную мораль. И первые подземные города на Земле стали наследием этих времен. Их придумали вовсе не из-за экономичности и удобства, а для того, чтобы защититься от ядерных бомб, которые в мгновение ока могли уничтожить жизнь на поверхности планеты.
В те же самые времена сумасшедшей, нескончаемой гонки вооружений, когда «комплекс Франкенштейна» цвел махровым цветом, общество сделало первые шаги к новой автоматике, и переход к ней оказался очень непростым. В те времена люди работали не потому, что им этого хотелось, не для того, чтобы реализовать потребность в творчестве или чувствовать себя нужными. Они работали, потому что должны были это делать! За работу они получали определенную плату и на это покупали себе еду и жилье. Автоматические машины, и роботы в том числе, брали на себя все больше и больше работы, и, как следствие, все меньше и меньше работы – и меньше платы за труд – доставалось людям. Роботы могли создать полнейшее изобилие, но это не было нужно их владельцам – роботов тогда могли себе позволить только очень богатые люди. И представьте теперь, как ненавидели и возмущались простые люди роботами, созданиями, которые вырывают у тебя изо рта последний кусок. Представьте, как бы вы злились, не имея возможности как-то бороться с этим грабежом!
И заметьте еще вот что: до самой эры Колонизации роботы были чрезвычайно редкими и дорогими. Сейчас мы ничуть не удивимся, видя человека, окруженного сотней собственных роботов. Но в первые несколько тысяч лет существования роботов их было во много тысяч раз меньше, чем людей. А к редким и дорогим вещам и отношение совершенно другое, чем к относительно дешевым и общедоступным. Человек, у которого был собственный робот, стоивший во много раз больше, чем все его остальное имущество, никогда бы не додумался использовать робота вместо якоря!
И вот в такой культурной среде формировались Три Закона роботехники. Расхожие байки о кошмарных бездушных чудовищах, слепленных из мертвой плоти; нависшая над миром смертельная опасность, готовая в любой момент выйти из-под контроля; глубокая неприязнь к разумным машинам, отнимающим у бедняков кусок хлеба; недостаток в роботах, из-за которого их воспринимали как дорогостоящую редкость. Заметьте, я говорю сейчас о том, как люди воспринимали роботов, а не о том, каковы были роботы на самом деле. Так вот, эти люди считали роботов жадными до чужого добра чудовищами!
Фреда перевела дыхание и окинула взглядом притихший зал. Ее слушатели потрясенно внимали невероятному рассказу. Фреда продолжила:
– Вот, говорят, что мы, колонисты, – слабые, никчемные людишки, порабощенные собственными роботами. Точно так же много чего поговаривают и о наших друзьях поселенцах, которые зарылись под землю и прячутся там, уверяя самих себя, что жить в пещерах куда лучше, чем под открытым небом, на вольном воздухе. Это их культурное наследие со времен подземных городов-убежищ Земли. Эти два взгляда на жизнь зачастую предстают как взаимоисключающие. Одна культура – слабая и ущербная, в то время как другая – здравая и разумная. Но мне кажется более разумным рассматривать сильные и слабые стороны каждой из них по отдельности. И, по-моему, обе они весьма далеки от совершенства.
Так или иначе, никто не станет возражать, что общество, временной период, в котором создавались Три Закона, гораздо ущербнее нашего. Маниакальная подозрительность, страх, ужасные войны – Земля была тогда кошмарным местом! И наши предки, улетевшие колонизировать новые миры, оставили все это позади. Именно из-за того, что наши предки колонисты не хотели признавать такого наследия, они долго избегали любых контактов с материнской планетой. Тысячелетия мы не желали признаться самим себе в том, что у нас с поселенцами на Земле – общие корни. Мы не допускали их в свои пятьдесят миров, считали неполноценными людьми, и отношения между двумя народами никак не могли наладиться. Другими словами, нас разделяла вражда давно забытых веков. Истоки подозрительности и недоверия между поселенцами и колонистами таятся в страхе и ненависти, доставшихся нам с тех незапамятных времен. Недостатки пережили общество, которое их породило.
Должна сказать еще раз, что все изобретения человечества – отражение своей эпохи. Если это так, то Три Закона – наследие довольно мрачных времен. Тех времен, когда машин боялись и ненавидели, когда новые технологии были направлены во зло, когда винтовка, сделанная роботом, ценилась только потому, что стоила дешевле сделанной человеком, тех времен, когда даже самые богатые люди жили, по нашим меркам, как нищие, а бедняки, по вполне понятным причинам, ненавидели богатых. Я могу сказать много нелицеприятного о нашей с вами культуре, основанной на труде роботов, но есть в ней и много светлых сторон, много непреложных достоинств. В нашем с вами мире сохранилось такое понятие, как «бедность». Но, по крайней мере, никто сейчас не может себе даже представить, что такое настоящая нищета на самом деле. Мы не боимся друг друга, и наши машины обслуживают нас, а не наоборот. Мы создали много прекрасного и величественного.
На прошлой лекции я говорила, что люди ставят роботов на низшую социальную ступень и что презрение и бестолковое использование роботов унижает и развращает и тех, и других. И о том, что, перекладывая на роботов все, даже самые простые обязанности, мы, люди, тем самым теряем способность к самостоятельным действиям. Есть нечто такое, что объединяет все эти вопросы в один, что красной нитью проходит через все, о чем я говорила.
Это, леди и джентльмены, Три Закона роботехники. Без них не обходится ничего, что касается роботов.
Фреда ненадолго замолчала, скользнула взглядом по залу и натолкнулась на взгляд Альвара Крэша, сидевшего в первом ряду. Фреда удивилась – он смотрел мрачно, почти злобно. Что же случилось? Крэш – человек рассудительный. Отчего же он так злится? Узнал что-то новое? От такой догадки Фреда почувствовала, что у нее начинают подгибаться колени. Нельзя сейчас об этом думать! Не сейчас! Надо продолжать лекцию.
– Прошлую лекцию я начала с вопроса: «Что для нас роботы?» Сейчас же я спрашиваю: «Что такое Три Закона роботехники? Для чего они нужны?» Когда я впервые задала этот вопрос себе самой, он меня поразил. Это почти то же самое, что спрашивать: «Что такое люди?» или «Для чего мы живем?» Эти вопросы затрагивают такие глубинные основы жизни, что на них практически нет вразумительного ответа. Люди – это люди. Жизнь – это жизнь. Какие еще нужны объяснения? И можно понимать это как нам угодно. Но в отношении роботов, господа, все обстоит несколько иначе. Еще раз напомню – и сами роботы, и Три Закона созданы людьми, и созданы, несомненно, с определенной целью. Поэтому мы можем ответить, для чего нужны Три Закона. Давайте же разберем этот вопрос!
Каждый из Трех Законов основан на нескольких важных правилах, очевидных или скрытых. Все исходные правила, на которых основываются Три Закона, вытекают из общечеловеческих моральных принципов. Это очевидно, хотя о математических выкладках относительно того, как Законы роботехники заложены в позитронный мозг, вряд ли кто из вас хотел бы сейчас послушать. Признаться, я сама очень долго не могла в этом разобраться.
В ответ на это признание в зале засмеялись. Хорошо. Они по-прежнему хотят ее слушать. Фреда глянула в свои заметки, немного нервно отхлебнула из стакана, и продолжила:
– Достаточно сказать, что эта технология приводит к результатам, которые от нее требовались. Таким образом, Три Закона означают примерно следующее. Первое – роботы не должны быть опасными. Второе – роботов можно использовать для любых нужд. И третье – они должны быть экономными, насколько это возможно.
Дальнейшие математические расчеты, если говорить терминами социологов, показывают, что такая иерархия требований типична для моральных норм любого человеческого общества. Если извлечь краткие выводы из правил поведения в идеальном обществе, мы получим ряд законов, каждый из которых вступает в противоречие с менее значимым. Получится примерно следующее: не вреди, помогай другим, заботься о собственной сохранности. Короче, Три Закона заключают в себе основные моральные установки людей, идеал, к которому они стремились во все времена, но которого так и не достигли. Все это звучит вполне обнадеживающе, вполне убедительно. Но на самом деле не все так просто.
Во-первых, нельзя забывать, что Три Закона заложены в саму сущность позитронного мозга как математические аксиомы, безусловные истины, без каких бы то ни было полутонов и условностей. Но жизнь полна условностей, случаев, когда жесткие рамки не всегда приводят к лучшим результатам. В реальной жизни зачастую важнее личная оценка ситуации.
Во-вторых, у нас, людей, законов гораздо больше, чем три. Вернемся снова к оценке Трех Законов. Они являются очень хорошим приближением к правилам поведения высокоморального человека. Но только приближением! Они слишком незыблемы, слишком просты! Они не охватывают всех случаев жизни, они не годятся для сложных и неординарных ситуаций, когда в первую очередь важно решение, принятое на основе личной оценки положения. Ни одно существо, строго следующее Трем Законам, не способно разобраться со всеми возможными ситуациями, которые могут встретиться в жизни. Другими словами, Три Закона лишают роботов возможности существовать как свободные личности. Несложный подсчет показывает, что роботы, действуя в рамках Трех Законов, но без жесткого контроля со стороны человека, быстро выйдут из строя, если попробуют вести себя в сложных ситуациях как люди. То есть из-за Трех Законов роботы не способны справиться без посторонней помощи со всем, с чем могут столкнуться в обществе, населенном не одними только роботами.
У них нет понятия об условностях жизни. Не ведая тысяч дополнительных законов и обычаев, правил поведения, моральных норм, которыми руководствуются люди в той или иной ситуации, роботы не способны принимать решения и выносить самостоятельные суждения, как мы, люди.
Представьте, что преступник стреляет в полицейского. Несомненно, полицейский станет защищаться и, не задумываясь, предпримет даже опасные для жизни преступника меры. Общественные нормы морали не запрещают – и даже рекомендуют – полицейскому ранить или убить опасного преступника. Потому что для общества жизнь полицейского, который защищает это самое общество, намного важнее, чем жизнь преступника. А теперь представьте, что рядом с полицейским оказался робот. Робот, несомненно, станет защищать полицейского от преступника – но он так же рьяно бросится защищать и преступника от полицейского! Робот, конечно же, постарается не дать полицейскому выстрелить в злодея. Потому что он обязан не допустить, чтобы человеку был причинен вред – неважно, какому человеку. Робот помешает полицейскому стрелять, загородив собой преступника, и даст злодею возможность удрать. Или попытается обезоружить обоих. Робот загородит собой от выстрелов обоих, несмотря на то что погибнет при этом сам. Несмотря на то, что после его гибели перестрелка все равно возобновится!
Собственно, у такой ситуации может быть множество исходов, и самых разных. Если рядом окажется робот, полицейский скорее всего не задержит преступника. Из-за этого робота может случиться и кое-что похуже – могут погибнуть и полицейский, и преступник, и робот. Или только полицейский и робот. Или только робот – но преступнику удастся скрыться. А может случиться и так, что погибнут полицейский и преступник, а робот уцелеет до тех пор, пока его не доконает противоречие Первого и Второго Законов. Короче, вмешательство робота в подобной ситуации привело бы к несчастью.
Теоретически роботы способны выносить независимые суждения и пережить без особых затруднений смерть преступника. Робот может прийти к выводу, что и для настоящего, и для будущего благополучия общества – то есть всех людей – необходимо, чтобы верх взял полицейский. И помощь преступнику или вмешательство в действия полицейского принесут людям только вред. Потому что если преступник избежит наказания, он обязательно снова начнет вредить людям, так или иначе. Тем не менее в действительности только самые высокоорганизованные роботы со специально отрегулированным соотношением напряжений Первого Закона способны справиться с такой ситуацией.
Все законы и правила поведения, согласно которым живут люди, предназначены как раз для того, чтобы разобраться в путанице таких вот сложных случаев. И мы, люди, настолько привыкли следовать этим правилам, что даже не замечаем их! Как войти в зал, когда обед уже начался, как вежливо обратиться к вдове своего дедушки, которая еще раз вышла замуж, когда надо и когда не надо цитировать источники в научном исследовании – мы так хорошо все это знаем, что даже не замечаем, что знаем. Для других, не таких повседневных, случаев тоже есть масса правил и условностей.
Например, все мы знаем, что убийство – это преступление. Тем не менее убийство при самозащите, при борьбе с преступником, посягающим на вашу жизнь, преступлением не считается. Но степень опасности преступника, соответствие защиты нападению, смягчающие и отягчающие обстоятельства, непреднамеренное убийство – все это полутона и оттенки серого в четком и ясном черно-белом законе против убийства. Но, как мы видим на моем примере с полицейским и преступником, ни одно из этих соображений не влияет на напряженность Первого Закона у роботов. Этот Закон не оставляет места оценке обстоятельств, вынесению самостоятельного суждения. Вместо этого у робота есть только оценка соотношения Первого, Второго и Третьего Законов – большего им не дано!
Так что же такое Три Закона? Чтобы ответить на этот вопрос, надо вспомнить, что Три Закона созданы как модель идеальной морали, чтобы обеспечить послушание и исполнительность роботов. Три Закона не рассчитаны на то, чтобы моделировать человеческое поведение! Но, как бы то ни было, им приходится это делать – хоть и упрощенно, и схематично.
Мы разобрали цели создания Трех Законов. Теперь коснемся их истории.
Все мы знаем Три Закона с пеленок. Мы относимся к ним как к природному явлению, неизменному и не зависящему от нас. И не видим причины делать что-то иное, кроме как просто принимать их, как они есть, вместе с миром, в котором живем.
Но это не единственный выход для нас. Повторю еще раз: Три Закона созданы людьми. Они основаны на человеческих суждениях и жизненном опыте, приобретенном в прошлом. В конце концов, эти Три Закона не менее поддаются оценке и преобразованию, чем все прочие изобретения человечества – такие, как колесо, космический корабль или компьютер. Все это изменилось со времени изобретения или вообще кануло в прошлое – уступив место новым открытиям, новым установлениям.
Мы можем понять, как и почему было создано все это, – и найти пути усовершенствования, изменения к лучшему, так чтобы оно соответствовало запросам настоящего. Времена ведь меняются! И точно так же, если будет нужно, мы можем изменить Три Закона!
Зал ахнул, как одно огромное существо, и буквально взорвался возмущенными криками. Фреде казалось, что эти выкрики обрушиваются на нее, как сокрушительные удары. Но она знала, что так все и будет. Она взяла себя в руки и ответила:
– Нет! Мы не станем вести себя так! Мы ведь пришли сюда, чтобы культурно обсудить важные вопросы. Как же можно называть наше общество самым развитым и цивилизованным в истории человечества, если простое предложение нового образа мыслей, небольшое отступление от общепринятых традиций превращает нас в толпу? Вы кричите так, будто мои слова – преступление против религии, которой, по вашему убеждению, у вас нет! Неужели вы в самом деле верите, что Три Закона – нечто вечное и незыблемое, что-то вроде магической формулы, заложенной в основу бытия?!
Это подействовало. Поселенцы раздулись от гордости за свое здравомыслие. По крайней мере, пока. В зале еще пошумели, покричали, но понемногу все успокоилось, они приготовились слушать дальше. Фреда еще немного подождала, пока шум утихнет, и продолжила:
– Три Закона – изобретение человечества. И, как любое такое изобретение, они отражают потребности того времени и места, когда и где были созданы. Хотя роботы, которых мы используем сейчас, во многом гораздо совершеннее тех, первых, моделей, но в главном они остались такими же, как и тысячи лет назад. Мозг наших роботов практически не изменился с тех пор, когда люди только начинали осваивать космос. Они – продукт культуры, исчезнувшей задолго до того, как были построены первые подземные города на Земле, до того, как первые колонисты заселили Аврору.
Я понимаю, что это кажется невероятным, но вы не можете этого не признать. Подумайте сами! Загляните в это отдаленное прошлое, и вы сами увидите! И не обязательно справляться у своих роботов. Все нужные сведения есть в справочнике. Посмотрите только, каким был мир, в котором создавались первые роботы. И вы увидите, что Три Закона придумали во времена, совсем непохожие на нынешнее.
Вам встретится часто повторяющееся словосочетание «комплекс Франкенштейна». Это ссылка на старинную легенду, ныне забытую, о том, как некий чародей сложил вместе части тел казненных преступников и оживил создание, которое получилось, – ужасающего монстра. В одних вариантах легенды этого монстра наделяют добрым и мягким характером, в других его выставляют закоренелым злодеем и убийцей. Но все варианты сходятся на том, что этого монстра все вокруг боялись и ненавидели. И в большинстве вариантов легенды и монстра, и его создателя убивает разъяренная толпа, боясь того, что вот-вот вся история повторится, когда еще один искусник откроет секрет оживления мертвой плоти.
С этим чудовищем, леди и джентльмены, часто сравнивали роботов, когда первые настоящие роботы только появились. Чудовище, сделанное из кусков мертвых тел. Извращенное, неестественное создание с самыми низкими и злобными порывами. И страх перед этим мифическим чудовищем, перенесенный на настоящих роботов, назывался «комплексом Франкенштейна». Я понимаю, что трудно в такое поверить, но к роботам относились не как к безупречно послушным слугам, а как к могучим, грозным, устрашающим чудовищам. Люди хватали своих детей и бежали прочь, завидев робота, настоящего, нормального робота с Тремя Законами, заложенными в позитронный мозг.
По залу пронесся ропот недоверия, но они по-прежнему слушали Фреду, увлеченные причудливым древним миром, о котором она рассказывала.
– Можно поведать еще очень и очень многое о тех незапамятных временах, когда создавались Три Закона. И нам трудно будет не то что понять – даже поверить в такое. Потому что первые роботы появились в мире, полном ненависти и страха, когда люди Земли сплачивались в могущественные военные организации и блоки. Они вооружались чудовищной силы оружием, способным разнести на куски саму Землю, и каждый боялся, как бы противники не начали войну первыми! Подумать только, ведь оружие тогда было главной политической силой, а все остальное – культура, мораль – играло второстепенную, незначительную роль. И чтобы не дать противнику себя опередить, каждая из сторон стремилась создать все более мощное, скоростное, совершенное оружие!
Вопрос был не в том, кто прав, а в том, у кого больше этих кошмарных машин разрушения! Все новейшие технологии были направлены в первую очередь на создание оружия, и только потом – мирных инструментов и приспособлений. Представляете, тогда исследователь, вставая из-за лабораторного стола, думал о своем открытии не «для чего бы лучше применить это новшество?», а «как бы перебить с помощью моей находки побольше врагов?». И все машины и приспособления, насколько возможно, превращались в машины смерти, бесконечно искажая общественную мораль. И первые подземные города на Земле стали наследием этих времен. Их придумали вовсе не из-за экономичности и удобства, а для того, чтобы защититься от ядерных бомб, которые в мгновение ока могли уничтожить жизнь на поверхности планеты.
В те же самые времена сумасшедшей, нескончаемой гонки вооружений, когда «комплекс Франкенштейна» цвел махровым цветом, общество сделало первые шаги к новой автоматике, и переход к ней оказался очень непростым. В те времена люди работали не потому, что им этого хотелось, не для того, чтобы реализовать потребность в творчестве или чувствовать себя нужными. Они работали, потому что должны были это делать! За работу они получали определенную плату и на это покупали себе еду и жилье. Автоматические машины, и роботы в том числе, брали на себя все больше и больше работы, и, как следствие, все меньше и меньше работы – и меньше платы за труд – доставалось людям. Роботы могли создать полнейшее изобилие, но это не было нужно их владельцам – роботов тогда могли себе позволить только очень богатые люди. И представьте теперь, как ненавидели и возмущались простые люди роботами, созданиями, которые вырывают у тебя изо рта последний кусок. Представьте, как бы вы злились, не имея возможности как-то бороться с этим грабежом!
И заметьте еще вот что: до самой эры Колонизации роботы были чрезвычайно редкими и дорогими. Сейчас мы ничуть не удивимся, видя человека, окруженного сотней собственных роботов. Но в первые несколько тысяч лет существования роботов их было во много тысяч раз меньше, чем людей. А к редким и дорогим вещам и отношение совершенно другое, чем к относительно дешевым и общедоступным. Человек, у которого был собственный робот, стоивший во много раз больше, чем все его остальное имущество, никогда бы не додумался использовать робота вместо якоря!
И вот в такой культурной среде формировались Три Закона роботехники. Расхожие байки о кошмарных бездушных чудовищах, слепленных из мертвой плоти; нависшая над миром смертельная опасность, готовая в любой момент выйти из-под контроля; глубокая неприязнь к разумным машинам, отнимающим у бедняков кусок хлеба; недостаток в роботах, из-за которого их воспринимали как дорогостоящую редкость. Заметьте, я говорю сейчас о том, как люди воспринимали роботов, а не о том, каковы были роботы на самом деле. Так вот, эти люди считали роботов жадными до чужого добра чудовищами!
Фреда перевела дыхание и окинула взглядом притихший зал. Ее слушатели потрясенно внимали невероятному рассказу. Фреда продолжила:
– Вот, говорят, что мы, колонисты, – слабые, никчемные людишки, порабощенные собственными роботами. Точно так же много чего поговаривают и о наших друзьях поселенцах, которые зарылись под землю и прячутся там, уверяя самих себя, что жить в пещерах куда лучше, чем под открытым небом, на вольном воздухе. Это их культурное наследие со времен подземных городов-убежищ Земли. Эти два взгляда на жизнь зачастую предстают как взаимоисключающие. Одна культура – слабая и ущербная, в то время как другая – здравая и разумная. Но мне кажется более разумным рассматривать сильные и слабые стороны каждой из них по отдельности. И, по-моему, обе они весьма далеки от совершенства.
Так или иначе, никто не станет возражать, что общество, временной период, в котором создавались Три Закона, гораздо ущербнее нашего. Маниакальная подозрительность, страх, ужасные войны – Земля была тогда кошмарным местом! И наши предки, улетевшие колонизировать новые миры, оставили все это позади. Именно из-за того, что наши предки колонисты не хотели признавать такого наследия, они долго избегали любых контактов с материнской планетой. Тысячелетия мы не желали признаться самим себе в том, что у нас с поселенцами на Земле – общие корни. Мы не допускали их в свои пятьдесят миров, считали неполноценными людьми, и отношения между двумя народами никак не могли наладиться. Другими словами, нас разделяла вражда давно забытых веков. Истоки подозрительности и недоверия между поселенцами и колонистами таятся в страхе и ненависти, доставшихся нам с тех незапамятных времен. Недостатки пережили общество, которое их породило.
Должна сказать еще раз, что все изобретения человечества – отражение своей эпохи. Если это так, то Три Закона – наследие довольно мрачных времен. Тех времен, когда машин боялись и ненавидели, когда новые технологии были направлены во зло, когда винтовка, сделанная роботом, ценилась только потому, что стоила дешевле сделанной человеком, тех времен, когда даже самые богатые люди жили, по нашим меркам, как нищие, а бедняки, по вполне понятным причинам, ненавидели богатых. Я могу сказать много нелицеприятного о нашей с вами культуре, основанной на труде роботов, но есть в ней и много светлых сторон, много непреложных достоинств. В нашем с вами мире сохранилось такое понятие, как «бедность». Но, по крайней мере, никто сейчас не может себе даже представить, что такое настоящая нищета на самом деле. Мы не боимся друг друга, и наши машины обслуживают нас, а не наоборот. Мы создали много прекрасного и величественного.