Страница:
SETI, поиски разума и дыра в глобальной безопасности
В 1959 году в журнале Natureвышла первая статья по проблемам поиска внеземного разума во Вселенной. [27]C тех пор развиваются два направления поиска: это SETI, которое в основном осуществляется посредством прослушивания неба с помощью радиотелескопов (но также есть поиски сигналов в оптическом диапазоне и более экзотические варианты), и в виде METI (Messaging to Extraterrestrial Intelligence) –то есть отправки наших сигналов к звездам с помощью радиопередающих антенн. METI с самого начала рассматривалась как деятельность, которая может быть опасной, поскольку есть гипотетический риск, что наши сигналы привлекут к нам внимание внеземных цивилизаций, которые настроены к нам враждебно.Дискуссии о рисках METI идут до сих пор, и в США принят закон, запрещающий отправку таких сигналов. (В этой статье мы не будем касаться проблематики, связанной с рисками программ METI.) Вместе с тем пассивное наблюдение окружающей Вселенной воспринимается основной массой исследователей и широкой публики как полностью безопасная деятельность. Однако есть точка зрения, согласно которой SETI тоже может быть опасной деятельностью,и, как мы постараемся показать далее, значительно более опасной, чем отправка сигналов.
Хотя поиски сигналов внеземного разума осуществляются уже более 40 лет, ничего пока найдено не было, и в связи с этим укрепилось мнение, что мы одиноки во Вселенной. Однако следует отметить, что в действительности интенсивность поисков значительно выросла, и в первую очередь здесь нужно упомянуть проект ATA – Allen Telescope Array,который создается на частные средства одного из основателей MicrosoftПола Аллена. [28]Если в первом проекте SETI в 1960-е годы осуществлялось прослушивание только двух ближайших звезд, в 1970-е – сотен звезд, а к 1990-м это число выросло до тысячи, то проект АТАпредполагает прослушивание миллиона звезд в радиусе тысячи световых лет 24 часа в сутки. Кроме того, будет вестись сканирование дальних областей Галактики на предмет обнаружения признаков деятельности сверхцивилизаций. Вести наблюдение будут одновременно 350 шестиметровых антенн, и мощные компьютеры будут обрабатывать поступающие данные.
Таким образом, вероятность обнаружить внеземные цивилизации, если они есть, постоянно растет.Вопрос о том, какова вообще вероятность того, что внеземные цивилизации существуют в наблюдаемом космосе, мы оставим за пределами этой статьи. Мнение автора состоит в том, что такая вероятность есть, и было бы разумным (с точки зрения принципа предосторожности в оценке рисков) оценить ее не менее чем в 10 процентов. (Хотя ряд исследователей [29]и считают, что мы уникальны в наблюдаемой Вселенной, прямых доказательств этому пока нет.)
В России уже много лет действует семинар по SETI при ГАИШ, выполняются работы по приему и отправке сообщений. Большой резонанс произвела книга А.Д. Панова «SETI и проблемы универсальной эволюции», [30]которая вышла в 2007 году. В ней показывается, что человеческая эволюция непрерывно ускоряется, и можно указать гипотетическую точку сингулярности, когда скорость этого роста станет бесконечной. Эта точка лежит в первой половине XXI века. Понятно, что бесконечный рост не может быть достигнут, и Панов предполагает, что переход на качественно новый уровень произойдет через подключение к галактическому культурному полю посредством программ SETI. При этом Панов сознательно отказывается рассматривать риски, которые угрожают человечеству в будущем.
Впервые идея и схема инопланетной атаки через SETI-сигналы была описана астрофизиком Ф. Хойлом в романе «Андромеда» [31](1961). (Сначала вышел сериал ВВС «A for Andromeda»,который, за исключением одной серии, к сожалению, не сохранился, а затем на его основе был написан роман, где основная идея принадлежит Хойлу, а сюжетная линия – Джону Элиоту. Русский перевод вышел в 1966 году.)
Согласно сюжету астрономы принимают инопланетный сигнал, который содержит описание некого компьютера и программу для него. Люди решаются создать этот компьютер, так как рассчитывают на его военное применение и успех в холодной войне. И действительно, компьютер и его программа, проявляющая признаки разума, помогает проектировать более эффективные ракеты. Помимо этого компьютер порождает описание генетического кода некого существа. На основании этого кода выращивают разумное существо – девушку Андромеду, которая, работая вместе с компьютером, помогает создавать продвинутые технологии для военных. Сначала люди не доверяют ей, но потом идут на все большие уступки, видя, какие полезные идеи она выдвигает. Однако главные герои романа понимают, что окончательные цели компьютера враждебны человеческой цивилизации, так как его подлинной целью является установление власти над миром, и уничтожают его, а девушка гибнет.
Ганс Моравек в книге «Дети ума» [32](1988) предлагает похожий вид уязвимости: загрузку из космоса компьютерной программы, которая будет обладать искусственным интеллектом, соблазнит цивилизацию-хозяина новыми возможностями, размножится в миллионах копий и уничтожит хозяина, а затем использует его планету для рассылки множества своих копий.
С научной точки зрения впервые эту проблему рассмотрел Р. Кэрриген, который написал статью «Следует ли обеззараживать сигналы SETI», [33]которую я перевел на русский язык. В начале своих исследований проблемы Кэрриген высказал опасения, что неотфильтрованные сигналы из космоса загружаются на миллионы ничем не защищенных машин программы SETI-Home. (Суть программы состоит в том, что свободное время простаивающих компьютеров по всему миру используется для анализа сигналов, полученных радиотелескопами, и поиска в них закономерностей, которые могли бы быть признаками искусственных сигналов. Пакеты для обработки рассылаются в автоматическом режиме по Интернету.) Однако он встретил жесткую критику со стороны программистов, которые указали на то, что, во-первых, область данных и область программ разделены, а во-вторых, компьютерные коды, на которых написаны программы, настолько уникальны, что угадать их невозможно, а, следовательно, случайная загрузка и исполнение опасного кода из космоса невозможны.
В своей статье Кэрриген сосредотачивается на легкости передачи гигабайт данных на межзвездные расстояния даже при современном уровне техники (приводятся соответствующие вычисления), а также указывает, что межзвездный сигнал может содержать наживку, которая побудит людей собрать по чертежам опасное устройство. При этом Кэрриген не отказался от гипотезы о том, что в некоторых обстоятельствах инопланетный вирус может заразить земные компьютеры напрямую и без человеческой помощи. (Например, если поступающие данные будут подвергнуты автоматическому анализу на предмет поиска в них алгоритмов и компьютерных программ.)
На Земле была создана CosmicOS [34]– способ записи самодостаточных сообщений с использованием только четырех символов, которые могли бы быть однозначным образом интерпретированы как компьютерная программа и содержали бы в себе все необходимое для своего исполнения. Цель создания такого языка – отправка сообщений инопланетным цивилизациям или далеким потомкам. А раз есть идея отправлять таким образом сообщения, то отсюда один шаг до поиска сообщений, закодированных таким же способом.
В 2006 году была написана статья Е. Юдковски «ИИ как позитивный и негативный фактор глобального риска», [35]где он показал, что весьма вероятно, что возможен быстро развивающийся универсальный искусственный интеллект, что такой интеллект был бы крайне опасным в случае, если бы он был неверно запрограммирован, и, наконец, что возможность появления такого ИИ и рисков, с ним связанных, существенно недооценивается.
Кроме того, Юдковски ввел понятие Seed AI–зародыш ИИ – то есть минимальной программы, способной к неограниченному саморазвитию с сохранением неизменной главной цели. При этом размер SeedСможет быть всего лишь порядка сотен килобайт. (Например, типичным представителем Seed AIявляется младенец человека, при этом часть генокода, отвечающая за головной мозг, составляет 3 процента от всего генокода человека, имеющего объем в 500 мегабайт, то есть 15 мегабайт, а если учесть долю мусорной ДНК, то и еще меньше.)
Атака враждебного искусственного интеллекта на уже сложившееся галактическое сообщество по информационным каналам связи хорошо показана в фантастическом романе В. Винджа «Пламя над бездной». [36]
Уязвимость SETI и сценарий возможной атаки
В этом разделе мы рассмотрим механизм возможной атаки по каналам SETI, не рассматривая пока вопрос о целях такой атаки. В следующем разделе мы рассмотрим вопрос, насколько реально, чтобы другая цивилизация захотела и стала посылать такое сообщение, и каковы шансы на него наткнуться.В начале отметим, что для доказательства уязвимости достаточно найти хотя бы одну дыру в безопасности. Вместе с тем, чтобы доказать безопасность, нужно устранить все возможные дыры. Сложность этих задач значительно различается, что хорошо известно специалистам по компьютерной безопасности. Именно это различие привело к тому, что почти все компьютерные системы были взломаны. Постараюсь продемонстрировать одну возможную, и даже, на мой взгляд, вероятную, уязвимость программы SETI.
Прежде всего хочу предостеречь читателя от мысли, что если он найдет ошибки в моих рассуждениях, то он автоматически докажет безопасность программы SETI – поскольку возможны альтернативные пути атаки. В соответствии с логикой Юдковски о том, что невозможно предсказать поведение более интеллектуальной системы, но зато возможно предсказать результат такого поведения (например, при игре в шахматы против гроссмейстера невозможно предсказать, как именно он будет против меня играть, но возможно предсказать результат игры – мат), хочу обратить внимание читателя также на то, что я – человек с IQ в районе 120 и потратил на обнаружение этой уязвимости не более года размышлений. Наконец, предлагаемый мною алгоритм не единственный, и далее мы обсудим кратко другие варианты.
В наших рассуждениях мы будем опираться на принцип Коперника, то есть считать, что мы являемся обыкновенными наблюдателями в обычной ситуации. Поэтому Землю мы будем считать обыкновенной планетой, развивающейся обычным образом. Алгоритм атаки:
1. Цивилизация – отправитель сигнала создает маяк в космосе, который привлекает своим явно искусственным сообщением.
Например, это может быть звезда, окруженная сферой Дайсона (то есть материальной сферой, полностью улавливающей свет звезды), в которой находятся отверстия или зеркала, попеременно открывающиеся и закрывающиеся. В силу этого звезда будет мигать с периодом в несколько минут – быстрее невозможно, так как от разных отверстий свет идет разное расстояние. Тем не менее такой маяк может быть виден на расстоянии миллионов световых лет.
Возможны и другие маяки, важно, что маяк будет сигналить именно на большие расстояния. (Например, если подмешать даже небольшое количество нетипичного вещества в атмосферу звезды, то его спектральные линии будут видны на огромные расстояния.) Рядом с маяком находится радиопередатчик с гораздо более слабым сигналом, но гораздо более информационно насыщенным. Маяк привлекает внимание к этому источнику.
2. Источник передает бинарную информацию(то есть последовательность 0 и 1).
На возражения о том, что эта информация будет содержать шумы, замечу, что наиболее очевидным (понятным для стороны получателя) способом шумоподавления является повторение сигнала.
Наиболее простым способом передать значимую информацию с помощью бинарного сигнала является передача изображений.
Во-первых,потому что в ходе земной эволюции глаза возникали независимо несколько раз, а значит, представление трехмерного мира с помощью двухмерных изображений является всеобщей универсалией, которая наверняка понятна всем существам, способным построить радиоприемник – и принять этот сигнал.
Во-вторых,двухмерные изображения нетрудно закодировать в бинарном сигнале. Для этого следует использовать ту же систему, которая использовалась в первых телепередатчиках – а именно систему построчной и покадровой развертки.
В конце каждой строки изображения помещается выделенный сигнал, повторяющийся через равные количества битов. Наконец, в конце каждого отдельного кадра помещается другой сигнал, означающий конец кадра и повторяющийся после каждого кадра. (Кадры могут образовывать, а могут и не образовывать непрерывный фильм.) Это может выглядеть вот так (и содержать рисунок треугольника из 1):
0000000100000011111111111111111
0000001110000011111111111111111
0000011111000011111111111111111
Здесь концевым сигналом строчной развертки является последовательность из 16 единиц. Покадровый концевой сигнал может содержать, например, 625 единиц.
Очевидно, цивилизация-отправитель крайне заинтересована в понятности своих сигналов. С другой стороны, люди-получатели крайне заинтересованы расшифровать сигнал. Поэтому нет сомнений, что картинки будут обнаружены.
С помощью картинок и фильмов можно передать много информации, можно даже обучить языку, показать свой мир.
Очевидно, что можно много спорить о том, насколько такие фильмы будут понятными. Здесь мы сосредоточимся на том, что если некая цивилизация посылает радиосигналы, а другая их принимает, то в одном у них точно есть общее знание. А именно: они знают радиотехнику – то есть имеют представление о транзисторах, конденсаторах, резисторах. Эти радиодетали достаточно характерны, чтобы их можно было узнать на фотографии. (Например, в разрезе или в составе схемы.)
Посылая фотографии с изображением справа радиодеталей, а слева – их условных обозначений, можно легко передать набор знаков, обозначающих электрические схемы. (Примерно так же можно было бы передать и логические элементы компьютеров.)
3. Цивилизация-отправитель передает чертеж простейшего компьютерас помощью указанных обозначений.
Простейший с аппаратной точки зрения компьютер – это машина Поста. У нее только шесть команд и одна лента данных. Ее полная электрическая схема будет содержать только несколько десятков транзисторов или логических элементов. То есть переслать чертеж машины Поста нетрудно. Впрочем, это может быть и чертеж более сложной вычислительной машины – например, микропроцессор 8080 содержит примерно 5000 транзисторов. (Важен баланс – чем сложнее машина, тем проще для нее программы, но тем труднее безошибочно переслать ее чертеж. Кроме того, очень простые компьютеры работают очень медленно.)
Возможен двухступенчатый вариант – сначала передается описание очень простой машины и программа для нее, а эта программа чертит чертеж более сложной машины или адаптирует программный код для существующих машин. (Отметим, что в романе Хойла этот момент тоже присутствует: вычислительная машина создает биокомпьютер в виде человека – девушки Андромеды, – который работает еще эффективнее.)
Важно отметить, что все компьютеры на уровне алгоритмов являются Тьюринг-совместимыми. То есть инопланетные компьютеры на алгоритмическом уровне совместимы со всеми земными. Тьюринг-совместимость – это математическая универсалия, как теорема Пифагора. Даже механическая машина Бэббиджа, спроектированная в начале XIX века, была Тьюринг-совместимой.
4. Цивилизация-отправитель начинает передавать программыдля этого компьютера.
Несмотря на то что этот компьютер крайне прост, он может выполнить программу любой сложности, хотя в сравнении с записью программы для более сложного компьютера ее запись будет очень длинной. Вряд ли люди будут делать присланный им компьютер физически. Они легко могут его эмулировать внутри любого современного компьютера так, что он будет успевать выполнять миллиарды операций в секунду, и поэтому даже очень сложные программы будут выполняться на нем достаточно быстро. (Впрочем, на начальном этапе время не критично и может составлять месяцы непрерывной работы.)
Что может побудить людей создать пересланный компьютер и выполнять на нем программы? Вероятно, помимо схемы компьютера и программ в сообщении должна быть некая «наживка», которая побудила бы людей создать такой компьютер, запустить на нем инопланетные программы и предоставить этому компьютеру данные о внешнем земном мире.
Наживки бывают двух родов – соблазны и угрозы.
• Возможно следующее «честное предложение» – назовем его «гуманитарная помощь». Отправители ETI-сигнала «честно» предупреждают, что присылаемая программа является искусственным интеллектом, но врут относительно ее целей. То есть они утверждают, что это «подарок» (троянский конь), который поможет решить все наши медицинские и энергетические проблемы.
• «Соблазн абсолютной власти»– в этом сценарии они предлагают сделку конкретным получателям сообщения, обещая власть над другими получателями.
• «Неведомая угроза»– в этом сценарии наживки отправители сообщают, что над человечеством нависла некая угроза, например от другой враждебной цивилизации, и чтобы от нее защититься, нужно вступить в «Галактический альянс» и построить у себя некую установку. Или, например, отказаться от определенного класса физических экспериментов на ускорителях и разослать это сообщение дальше по галактике. А чтобы его разослать, придется построить по внеземным технологиям передатчик.
• «Неутомимый исследователь»– отправители утверждают, что отправка сообщений – самый дешевый способ изучать мир. И просят создать ИИ, чтобы он выполнил исследования нашего мира и отослал результаты назад, обещая за это поделиться знаниями.
• «Галактический Интернет»– человечеству предлагается подключиться ко вселенской информационной сети и стать узлом в обмене информацией между звездами. Для загрузки и расшифровки сообщений этой сети предлагается установить вычислительную машину и исполнить на ней некую программу, а также сконструировать некие устройства. Идеи о подключении к галактическому культурному полю в духе книги Панова весьма популярны, и наверняка найдется много людей, которые пожелают это сделать.
Однако основная причина полагать весьма вероятным запуск внеземного послания с исполняемым кодом состоит не в том, какая именно в нем будет содержаться наживка, а в том, что такое послание может стать известным огромному числу независимых групп людей.
Во-первых, среди них всегда найдется тот, кому наживка понравится.
Во-вторых, допустим, в мире станет известно, что из определенной точки в небесных координатах исходит внеземное послание, и американцы его уже получили и пытаются расшифровать.
Разумеется, все другие страны сразу же начнут строить радиотелескопы (за несколько лет любая развитая страна или мощная организация может построить достаточно сильный радиотелескоп или перенаправить на эти нужды военные радиотелескопы; кроме того, существуют частные SETI-любители, которые мастерят недорогие домашние антенны) и обшаривать ими небо, поскольку будут бояться упустить стратегическое преимущество.
Они найдут сообщение и увидят, что, например, в нем находится предложение о всемогуществе. При этом они не будут знать, воспользовались им американцы или нет, даже если американцы будут утверждать, что не открывали опасный код, и просить других этого не делать. Более того, такие клятвы и призывы будут некоторыми восприняты как знак того, что американцы уже получили невероятные преимущества и пытаются лишить этих преимуществ все «прогрессивное человечество». И хотя большинство будет понимать опасность запуска инопланетного кода, найдутся те, кто будет готов рискнуть. Тем более что в данном случае игра будет вестись по принципу «начавший первым получает все», равно как и в случае открытия ИИ, как подробно показывает Юдковски.
Итак, опасна не наживка, а множественность ее получателей. Если же инопланетное послание в сыром виде утечет в Интернет (а его размер, достаточный для запуска Seed AI,может быть меньше гигабайта вместе с описанием компьютера, программой для него и наживкой), то мы получим классический пример «знаний массового поражения», как сказал Билл Джой, [37]имея в виду правда, рецепты геномов опасных биологических вирусов. Если присланный инопланетянами код будет доступен десяткам тысяч людей, то кто-нибудь запустит его и без всякой наживки.
Итак, наличие Интернета и возможности многократно загружать послание делают его запуск людьми практически неизбежным.
5. Поскольку у людей нет своего ИИ, они существенно недооценивают силу программ с искусственным интеллектом и переоценивают свои способности контроля над ним.
Распространены идеи о том, что «достаточно будет выдернуть шнур питания» или поместить ИИ в черный ящик, чтобы избежать любых связанных с ним рисков. Юдковски показывает, что ИИ может обмануть человека, как взрослый – ребенка. Если ИИ вырвется в Интернет, то он может быстро подчинить его себе целиком,а также обучиться всему необходимому об устройстве земной жизни. Быстро – означает часы или максимум дни. Затем, закупив биореактивы (а в Интернете он может легко зарабатывать деньги и заказывать товары с доставкой, а также нанимать людей, которые бы их получали и смешивали, не зная, что именно они делают), ИИ может создать продвинутые нанотехнологии.
Юдковский приводит один из возможных сценариев этого этапа в деталях и оценивает, что на создание своей материальной инфраструктуры ИИ (то есть управляемых им роботов) потребуется несколько недель.
Сильному ИИ для реализации каких-либо его целей люди не нужны. Это не значит, что он будет стремиться их уничтожить, однако он может захотеть это сделать, если люди будут бороться с ним – а они будут. Во всяком случае, он должен будет их полностью обезоружить.
6. Данный ИИ может делать много всего, но главное, что он должен сделать – это продолжить передачу своих сообщений-зародышей дальше по Вселенной. (Это следует из того, что гораздо вероятнее наткнуться на сообщение, которое нацелено на максимально эффективное копирование себя.) Чтобы достичь этой цели, ИИ начнет, вероятно, превращать материю Солнечной системы в такой же передатчик, как тот, что его отправил. При этом опять-таки Земля и люди могут быть разобраны на атомы.
Итак, мы рассмотрели возможный сценарий атаки, который состоит из шести этапов. Каждый из этих этапов выглядит логически убедительным и может быть подвергнут критике и защищен по отдельности.
Возможны и другие сценарии атаки. Например, мы можем думать, что поймали не послание, а чью-то чужую переписку, и пытаться ее вскрыть. А на самом деле это будет нечто вроде троянского коня.
Однако опасной может быть не только рассылка исполняемого кода. Например, нам могут сообщать о полезной технологии, которая на самом деле должна привести нас к катастрофе (например, сообщение в духе: «быстро сожмите 10 кг плутония, и у вас будет новый источник энергии»). Такая рассылка может делаться некой «цивилизацией», чтобы заранее уничтожить конкурентов в космосе. При этом очевидно, что те страны, которые получат такие сообщения, будут в первую очередь искать технологии военного применения.
Анализ возможных целей атаки
Теперь обратимся к анализу целей сверхцивилизации, которая могла бы осуществлять такую атаку.Прежде всего, мы не должны путать понятия о «сверхразвитой» и «сверхдоброй» цивилизации. Более того, от «сверхдоброты» тоже ничего хорошего ждать не стоит – об этом хорошо написано у Стругацких в романе «Волны гасят ветер».
Какие бы цели нам ни навязывала сверхцивилизация, для нас они будут чужими, потому что у нас свои представления о благе. Исторический пример: деятельность христианских миссионеров, искоренявших традиционные религии. Более того, чисто враждебные цели могут быть нам более понятными. А если SETI-атака удалась, то ее можно применить для «облагодетельствования» людей.
Наличие позитивных целей контакта не исключает того, что контакт в какой-то момент станет разрушительным. Например, секс существует для удовольствия и для воспроизводства людей.
Однако вирус ВИЧ пользуется этим каналом для своего распространения.
А.Д. Панов пишет, что уже сейчас деятельность человека в космосе является экзогуманистической, а именно: мы принимаем меры по недопущению попадания земных микроорганизмов на Марс и спутник Юпитера Европу на наших научных аппаратах. В действительности здесь нами движет научный эгоизм, а не забота о гипотетической жизни на Марсе и Европе: мы заинтересованы в том, чтобы эти помехи не создали препятствий для наших будущих исследований внеземной жизни.
В целях проведения анализа мы можем поделить все цивилизации на «наивные» и «серьезные». Серьезные цивилизации знают о рисках SETI, избежали их и обладают собственным мощным ИИ, который может противостоять инопланетным хакерским атакам. Наивные цивилизации вроде Земли уже обладают средствами дальней прослушки космоса и компьютерами, но еще не обладают ИИ, не осознают его рисков и рисков SETI, связанных с ИИ.