Страница:
У нас больше шанса запретить космические вооружения, чем нанотехнологию, и это могло бы даже быть лучшим способом минимизировать наши краткосрочные риски. В выборе долгосрочной стратегии контроля гонки вооружений, однако мы должны рассматривать больше, чем следующий шаг. Анализ, который я обрисовал в этой главе подсказывает, что традиционные подходы к контролю вооружений, основанные на переговорах о проверяемых ограничениях, не могут справиться с нанотехнологией. Если это так, то нам нужно разработать альтернативные подходы. Активные щиты – что кажется существенным, в конченом счёте могут предложить новую стабилизирующую альтернативу гонке вооружений в космосе. Исследуя эту альтернативу, мы можем исследовать основные вопросы, общие для всех активных щитов. Если мы в этом случае их разработаем, мы получим опыт и построим институциональные механизмы, которые могут позже оказаться существенными для нашего выживания.
Активные щиты – новый выбор, основанный на новых технологиях. Чтобы заставить их работать, потребуется творческий, междисциплинарный синтез идей в проектировании, стратегии и международных отношениях. Они предложат новые возможности, которые могут позволить нам избежать старых тупиков. Они очевидно предложат ответ на старый вопрос защиты без угрозы – но не простой ответ.
Нам понадобится подходящая система институтов. Чтобы безопасно управлять сложными технологиями, эта система должна иметь способы оценивать относящиеся к делу факты. Чтобы управлять безопасно большой мощью, она должна включать эффективные способы контроля и балансы, а её цели и методы должны сохраняться открытыми для тщательного общественного контроля. Наконец, поскольку это поможет нам заложить основы нового мира, лучше, чтобы оно направлялось нашими общими интересами, в рамках надёжных принципов.
Мы не начинаем с нуля; мы будем строить на основе тех институтов, которые у нас есть. Они различны. Не все из наших институтов – государственные чиновники в массивных серых зданиях; они включают такие расплывчатые и живые образования, как свободная пресса, исследовательское сообщество и сеть активистов. Эти децентрализованные институты помогают нам контролировать серые бюрократические машины.
Отчасти мы встречаемся с новой версией древней и общей проблемы ограничения злоупотребления властью. Это не представляет никакой значительной, фундаментальной новизны, и принципы и институты либеральной демократии, которым много сотен лет, подсказывают, как это может быть решено. Демократические правительства уже имеют физическую власть, чтобы взорвать континенты и захватить, посадить в тюрьму и убить их жителей. Но мы можем жить с этими возможностями, потому что эти правительства достаточно покорные и стабильные.
Грядущие годы возложат большую ношу на наши институты. Принципы представительного правительства, свободы слова, процесса сбора налогов, правила законов и защита прав человека будут оставаться решающими. Чтобы подготовиться к новым видам бремени, нам понадобится расширить и вдохнуть новую жизнь в эти принципы и институты, которые их поддерживают; защита свободы слова относительно технических вопросов может быть решающей. Хотя мы сталкиваемся с серьёзным вызовом, есть повод надеяться, что мы сможем на него достойно ответить.
Есть также, конечно, очевидные причины для сомнения, что мы сможем на него достойно ответить. Но отчаяние заразно и противно, и оставляет людей в подавленном состоянии. Кроме того отчаяние кажется неоправданным, вопреки знакомым проблемам: зло – слишком ли мы злы, чтобы делать правильные вещи? Некомпетентность – слишком ли мы глупы, чтобы делать правильные вещи? Лень – слишком ли мы ленивы, чтобы подготовиться?
Хотя это был бы слишком поспешным предсказывать радужное будущее, эти проблемы не кажутся непреодолимыми.
Демократические правительства – большие, небрежные и иногда безответственные за жестокости, однако они не кажутся злом, в целом, хотя они могут включать людей, которые заслуживают этого ярлыка. В действительности их лидеры получают власть во многом выказывая поддержку общепризнанным идеям добра. Наша главная опасность в том, что стратегии, которые кажутся хорошими, могут вести к несчастью, или что действительно хорошие стратегии не будут найдены, опубликованы и воплощены во время, чтобы возыметь действие. Демократии страдают больше от лени и некомпетентности, чем от зла.
Некомпетентность будет кончено неизбежна, но должна ли она быть фатальной? Мы, человеческие существа, по своей природе глупы и невежественны, однако мы иногда ухитряемся объединить наши кусочки компетентности и знания, чтобы достигать великих вещей. Никто не знает, как долететь до Луны и никто никогда не узнает, однако дюжина людей прошлась по её поверхности. Мы преуспели в технических вопросах, потому что научились строить институты, которые собирают многих людей вместе, чтобы генерировать и проверять идеи. Эти институты добиваются надёжности путём избыточности, и качество их результатов зависит от во многом от того, как сильно это нас заботит и как напряжённо мы работаем. Когда мы концентрируем достаточно внимания и ресурсов на надёжности, мы часто преуспеваем. Это – то, почему полёты на Луну закончились успешно без гибели в космосе и почему никакое ядерное оружие никогда не было запущено и не взорвалось по случайности. И это то, почему мы можем суметь управлять нанотехнологией и продвинутым ИИ с достаточной осторожностью, чтобы гарантировать компетентную работу. Неустойчивые люди с ограниченными способностями могут объединиться, чтобы образовать стабильные, компетентные институты.
Лень – интеллектуальная, моральная и физическая – кажется возможно нашей самой большой опасностью. Мы можем только отвечать на великие вызовы великими усилиями. Сделают ли достаточно людей достаточные усилия? Никто не может этого сказать, поскольку никто не может сказать за любого другого. Но успех не потребует неожиданного всеобщего прозрения и мобилизации. Он потребует только растущего сообщества людей, пытающихся разработать, опубликовать и воплотить работоспособные решения, и чтобы они имели хорошую и растущую меру успеха.
Это не так невероятно. Забота о технологии стала широко распространённой, также как идея ускоряющегося изменения потребует лучшего предвидения. Лень не поймает в западню каждого, и введённые в заблуждение мыслители не будут вести по ложному направлению усилия всех. Смертоносные псевдо-решения (такие как запрещение исследований) проиграют битву идей, если достаточно людей разоблачат их. И хотя мы сталкиваемся в большим вызовом, успех сделает возможным осуществление великих мечтаний. Великие надежды и страхи могут подвигнуть достаточно людей, чтобы дать возможность человеческой расе выиграть.
Страстное участие и действие не будут достаточны; мы также будем нуждаться в хорошо обоснованных стратегиях. Это потребует больше чем хороших намерений и чётких целей: мы должны также отслеживать фактические связи в мире, которые будут связывать то, что мы делаем, с тем, что мы получаем. По мере того, как мы приближаемся к технологическому кризису беспрецедентной сложности, имеет смысл попытаться улучшить наши институты оценки важных технических фактов. Как ещё мы можем направлять ведущую силу и минимизировать угрозу последней некомпетентности?
Институты эволюционируют. Чтобы вывести лучшие институты для нахождения фактов, мы можем копировать, адаптировать и расширять наши прошлые успехи. Они включают свободную прессу, научное сообщество, и суды. Все имеют свои достоинства, и некоторые из этих достоинств могут быть объединены.
Глава 13. НАХОЖДЕНИЕ ФАКТОВ
Собрание экспертов
От междоусобиц к честному судебному процессу
Один из подходов
Почему бы не справедливый судебный процесс?
Построение справедливого судебного процесса
Обществу нужны лучшие способы понимания технологии – это давно уже очевидно. Вызовы будущего просто делают нашу потребность более насущной.
Обещания технологии манит нас вперёд, а давление конкуренции делает остановку практически невозможной. По мере того, как гонка технологий ускоряется, новые разработки входят в нашу жизнь всё быстрее, а фатальные ошибки становятся более вероятными. Нам нужно создать лучший баланс между нашим предвидением и нашей скорость продвижения. Мы не можем сделать много, чтобы замедлить рост технологии, но мы можем ускорить скорость предвидения. И с лучшим предвидением, у нас будет больше шансов направлять гонку технологий в безопасном направлении.
Предлагались различные способы для управления технологией. "Люди должны контролировать технологию" – неплохой лозунг, но он может иметь два возможных значения. Если это значит, что мы должны заставить технологию служить человеческим потребностям, то он вполне имеет смысл. Но если он означает, что люди как целое должны принимать технические решения, то в нём очень мало смысла. Электорат не может оценить внутренние взаимосвязи между технологией, экономикой, окружающей средой и жизнью; у людей нет необходимых знаний. Сами люди согласны: в соответствии с исследованием Государственным фондом науки США 85 процентов взрослых людей в США считают, что большинство граждан не имеет знаний, необходимых, чтобы выбирать, какие технологии разрабатывать. Публика в целом оставляет технические суждения техническим экспертам.
К сожалению, оставление суждений экспертам вызывает проблемы. В "Совете и разногласии" Примак и фон Хиппель отмечают, что "до той степени, до которой Администрация может преуспевать в удерживании нежелательной информации в секрете и публику в неведении, благополучие общества может быть принесено в жертву с безнаказанностью для удобства бюрократов и частной выгоды." Люди у руля подвергаются большей критике, когда новое лекарство вызывает единственную смерть, чем когда его отсутствие вызывает тысячи смертей. Они и выдают неправильное регулирование соответственно этому. Военные бюрократы имеют законный интерес в трате денег, скрытии ошибок и продолжении своих проектов. Они и управляют неправильно соответственно этому. Этот вид проблемы такой фундаментальный и естественный, что больше примеров вряд ли нужно. Везде секретность и туман создают чиновникам больший комфорт; везде личная выгода искажает фактические утверждения по вопросам, касающимся общественности. По мере того, как технологии становятся всё более сложными и важными, эта модель становится всё более опасной.
Некоторые авторы рассматривают правление секретных технократов практически неизбежным. В "Создании альтернативных видов будущего" Хейзел Хендерсон доказывает, что сложные технологии " становятся по сути своей тоталитарными
" (её курсив), потому что ни избиратели, ни законодатели не могут их понять. В "Повторном посещении будущего человечества" Харрисон Браун также утверждает, что соблазн обойти демократические процессы в решении сложных кризисов приносит опасность, "что если индустриальная цивилизация выживет, она станет всё более тоталитарной по природе." Если это было бы так, то вероятно это означало бы обречённость: мы не можем остановить гонку технологий, а мир тоталитарных государств, основанный на совершенной технологии не нуждающийся ни в работниках, ни в солдатах, мог бы вполне избавиться от большей части населения.
К счастью, демократия и свобода сталкивалась с подобными вызовами в прошлом. Государства становились слишком сложными для прямой демократии, но появилась представительная демократия. Государственная власть угрожала разрушить свободу, но появилась власть закона. Технология стала сложной, но это не даёт нам никакой причины игнорировать людей, сбрасывать со счетов закон и приветствовать диктатора. Нам нужны способы, чтобы управлять технической сложностью в демократических рамках, используя экспертов как инструменты, чтобы прояснять наше видение, не давая им контроля над нашими жизнями. Но технические эксперты сегодня втянуты в систему междоусобиц между узкими группами.
Чтобы завоевать влияние в нашей массовой демократии, группы пытаются переплюнуть друг друга. Когда их взгляды относятся к обществу, они выносят их на публику путём рекламных компаний. Когда их взгляды относятся к государству, они выносят их к законодательной власти путём лоббирования. Когда их взгляды имеют драматический оттенок, они выносят их на публику через кампании в СМИ. Группы продвигают своих любимых экспертов, сражение выходит на публику и тихие учёные и инженеры тонут в шуме.
По мере того, как общественный конфликт нарастает, люди начинают сомневаться в заявлениях экспертов. Они оценивают утверждения очевидным образом – по его источнику. ("Конечно, она заявляет, что разлив нефти безопасен – она работает на Эксон." "Конечно, он говорит, что Эксон лжёт – он работает на Нейдер.")
Когда авторитетные эксперты теряют доверие, демагоги могут присоединиться к битве на равной ноге. Журналисты страждут противоречий, стараясь объективно освещать картину, и редко руководствуются техническими соображениями – выносят все стороны прямо на публику. Осторожные утверждения, делаемые добросовестными учёными создают мало впечатления; другие учёные не видят другого выбора кроме как принять демагогический стиль. Дебаты становятся острыми и гневными, расхождения во взглядах растут и дым битв затемняет сами факты. Часто за этим следует паралич глупости.
Наша величайшая проблема в том, что мы делаем с проблемами. Дебаты бушуют по поводу ядерной энергии, энергии каменного угля, химических отходов. Имеющие хорошие намерения группы, подкрепляемые экспертами сталкиваются вновь и вновь вокруг скучных технических фактов – скучных, то есть за исключением их важности: Какие последствия имеют малые дозы радиации и как вероятна авария на ядерном реакторе? Каковы причины и последствия кислотных дождей? Насколько хорошо могла бы защита с космическим базированием защищать от ракетных атак? Говорят ли пять случаев лейкемии в пределах трёх миль данной свалки отходов о смертельной опасности или это просто игра случая?
Более существенные вопросы – впереди: насколько безопасные репликаторы? Будут ли системы активных щитов безопасны и надёжны? Будет ли обратима процедура биостаза? Можем ли мы доверять системе ИИ?
Споры о технических фактах питают более широкие диспуты о стратегии. Люди могут иметь различающиеся ценности (как, чтобы бы вы предпочли, энцефалит или отравление пестицидами?), но их взгляды на относящиеся к делу факты расходятся ещё больше. (как часто эти комары переносят энцефалит? Как токсичны эти пестициды?) Когда различающиеся взгляды на скучные факты ведут к разногласиям относительно важных стратегий, люди могут удивляться, "Как они нам могут противоречить по таким важным стратегическим вопросам, если только у них нет дурных мотивов?" Споры насчёт фактов могут таким образом настроить потенциальных союзников друг против друга. Это мешает нашим усилиям в понимании и решении наших проблем.
Люди обсуждают факты на протяжении тысячелетий; только особое положение технических диспутов ново. Общества разработали методы для оценки фактов о людях. Эти методы подсказывают, как мы могли бы судить факты о технологии.
Они использовали испытание битвой: противники сражались, и закон подтверждал победителя.
Они использовали взаимную клятву: соседи клялись в честности обвиняемого; если клялись достаточно, обвинения снимались.
Они использовали испытание "божьим судом": в одном из них обвиняемый связывался и его бросали в реку; те, кто тонул, были невиновны, а те, кто выплывал – виновны.
Они использовали суд секретных комитетов: советники короля встречались, чтобы судить и выносить приговор, который казался подходящим. В Англии они встречались в комнате, которая называлась Звёздный кабинет.
Эти методы предположительно определяли, кто что делал – факты относительно человеческих событий, но все имели серьёзные недостатки. Сегодня мы использованием аналогичные методы, чтобы определять, что является причиной чего – факты относительно науки и технологии:
Мы использованием испытание сражением в прессе: оппоненты бросаются со шпагами наголо друг на друга до тех пор, пока доказательства одной стороны не терпят политической смерти. К сожалению, это часто напоминает бесконечные междоусобицы.
Мы использованием клятвы: эксперты клянутся относительно определённых фактов; если клянётся достаточно в одном и том же, факты объявляются истинными.
Мы использованием суждения секретных комитетов: избранные эксперты встречаются, чтобы оценивать факты и рекомендовать те действия, которые кажутся подходящими. В Соединённых Штатах они часто встречаются в комитетах в Национальной Академии наук.
Испытание Божьим судом вышло из моды, но битвы в прессе вполне могут напоминать пытки тихих учёных с их самоуважением.
Англичане упразднили заседания Звёздного кабинета в 1641 году, и они считали это большим достижением. Испытание сражением, клятвой, и божьим судом также стали историей. Мы сейчас ценим честный процесс, по крайней мере когда судим людей.
Судебные процедуры иллюстрируют принципы должного процесса: утверждение должно быть конкретно. Обе стороны должны иметь шанс высказаться и встретить друг друга, чтобы опровергать чужие аргументы и проводить перекрёстный допрос. Процесс может быть публичным, чтобы предотвратить скрытые нелепости. Дебаты должны происходить перед жюри, которое обе стороны принимают как беспристрастное. Наконец, судья должен быть арбитром в процессе и следить за выполнением правил.
Чтобы понять ценность честного процесса, представьте противоположное: процесс, попирающий все эти принципы дал бы одной стороне сказать, а другой никакого шанса провести перекрёстный допрос или ответить на аргументы. Он встречался бы в тайне, допускал бы смутную клевету, и не имел бы судьи, чтобы следить за какими бы то ни было правилами, которые могли бы оставаться неизменными. Присяжные приходили бы уже со своими готовыми решениями. Короче говоря, это напоминало бы толпу линчевателей, встречающуюся в закрытом сарае, или мошеннический комитет, составляющий отчёт.
Опыт показывает ценность честного судебного процесса в оценке фактов по поводу людей; мог бы он также быть ценным в оценке фактов о науке и технологии? Честный процесс – это фундаментальная идея, не ограничиваемая судами закона. Некоторые исследователи ИИ, например, встраивают принципы честного судебного процесса в свои компьютерные программы. По-видимому, честный судебный процесс должен оказаться полезным в оценке технических фактов.
В действительности, научная литература, главный форум науки, уже воплощает форму честного судебного процесса: в хороших журналах, научные утверждения должны быть конкретны. В теории, имея достаточно времени и настойчивости, все стороны могут высказать своих взгляды в диспуте, поскольку журнал остаётся открытым для противоречий. Хотя оппоненты могут не встречаться лицом к лицу, они встречаются на расстоянии; они задают вопросы и отвечают в медленном движении, через письма и статьи. Рефери, также как присяжные, оценивают основания и аргументацию. Редакторы, как судьи, следят за правилами процедуры. Публикация оставляет дебаты открытыми для публичного изучения.
И в журналах, и в судах, конфликтующие идеи сталкиваются друг с другом, подчиняясь правилам, разработанным, чтобы обеспечить справедливую, организованную борьбу. Эти правила иногда терпят неудачу, поскольку они нарушаются или не адекватны, но они – лучшее, что мы разработали. Несовершенный справедливый судебный процесс доказал, что он лучше, чем вообще без него.
Почему учёные ценят журналы с редакционным арбитражем? Не потому что они верят всем журналам с арбитражем, или доверяют всему, что печатается в одном из них. Даже лучшая система справедливого судебного процесса не произведёт поток чистой истины. Скорее, они ценят журналы с арбитражем потому что они (журналы) склонны отражать основательную критическую дискуссию. Действительно они должны это делать: поскольку журналы конкурируют друг с другом за бумагу, престиж и читателя, лучшие журналы должны быть действительно хороши. Журналы работают медленно, однако после достаточного количества раундов публикаций и критицизма они часто вырабатывают консенсус.
Опыт доказывает ценность и судов, и журналов. Их глубинное подобие говорит о том, что их ценность происходит из общего источника – честного судебного процесса. Честный процесс может приводить к неудаче, но всё же это – лучший известный подход для нахождения фактов.
Но сегодня суды и журналы не достаточны. Жизненно важные технические диспуты продолжаются и продолжаются из-за того, что у нас нет никакого быстрого, хорошо организованного способа выявлять факты (и описывать границы нашего незнания). Суды не подходят, чтобы иметь дело с техническими вопросами. Журналы лучше, но они также имеют недостатки. Они формировались во времена технологий более низкого уровня и более медленного прогресса, развиваясь так, чтобы соответствовать ограничениям печати, скорости почты и потребностям академической науки. Но сегодня, во время, когда мы отчаянно нуждаемся в лучших и более стремительных технических суждениях, мы обнаруживаем себя в мире, в котором есть телефоны, реактивные самолёты, копировальные аппараты, экспресс и электронная почта. Можем ли мы использовать современные технологии, чтобы ускорить технические дебаты?
Конечно, учёные уже используют несколько подходов. Реактивные самолёты переносят учёных через континенты на конференции, где представляются и обсуждаются доклады. Но конференции плохо управляют противоречием; общественный этикет и плотные расписания ограничивают накал и глубину дебатов.
Учёные также соединяются в неформальные исследовательские сети, соединяемые телефоном, почтой, компьютерами и копировальными аппаратами; они ускоряют обмен и обсуждение. Но они по сути своей – частные институты. Они также не способны обеспечить достоверную публичную процедуру для отработки противоречий.
Конференции, журналы и неформальные сети имеют некоторые аналогичные ограничения. Они обычно фокусируются на технических вопросах научной важности, а не на технических вопросах уровня важности общественной стратегии. Более того, они обычно концентрируются на научных вопросах. Журналы имеют склонность пренебрегать технологическими вопросами, которые не имеют внутри себя научного интереса; они часто обращаются с ними как с новостями, которые не стоят проверки рефери. Более того, наши сегодняшние институты не имеют какого-либо сбалансированного способа представления знания, когда оно всё ещё запутано в противоречиях. Хотя научные обзорные статьи часто представляют и взвешивают несколько идей, они это делают с точки зрения одного автора.
Все эти недостатки имеют общий источник: научные институты приспособились продвигать науку, а не просеивать факты для людей, принимающих политические решения. Эти институты служат своей цели достаточно хорошо, но они плохо служат другим целям. Хотя это – не полное отсутствие чего-либо, тем не менее они оставляют реальную потребность.
Активные щиты – новый выбор, основанный на новых технологиях. Чтобы заставить их работать, потребуется творческий, междисциплинарный синтез идей в проектировании, стратегии и международных отношениях. Они предложат новые возможности, которые могут позволить нам избежать старых тупиков. Они очевидно предложат ответ на старый вопрос защиты без угрозы – но не простой ответ.
Власть, зло, некомпетентность и лень
Я обрисовал, как нанотехнология и продвинутый ИИ дадут огромную власть ведущей силе – власть, которая может быть использована чтобы уничтожить жизнь, или чтобы расширить и освободить её. Поскольку мы не можем остановить эти технологии, представляется, что мы должны как-то справиться с возникновением концентрации власти, большей, чем любая другая в истории.Нам понадобится подходящая система институтов. Чтобы безопасно управлять сложными технологиями, эта система должна иметь способы оценивать относящиеся к делу факты. Чтобы управлять безопасно большой мощью, она должна включать эффективные способы контроля и балансы, а её цели и методы должны сохраняться открытыми для тщательного общественного контроля. Наконец, поскольку это поможет нам заложить основы нового мира, лучше, чтобы оно направлялось нашими общими интересами, в рамках надёжных принципов.
Мы не начинаем с нуля; мы будем строить на основе тех институтов, которые у нас есть. Они различны. Не все из наших институтов – государственные чиновники в массивных серых зданиях; они включают такие расплывчатые и живые образования, как свободная пресса, исследовательское сообщество и сеть активистов. Эти децентрализованные институты помогают нам контролировать серые бюрократические машины.
Отчасти мы встречаемся с новой версией древней и общей проблемы ограничения злоупотребления властью. Это не представляет никакой значительной, фундаментальной новизны, и принципы и институты либеральной демократии, которым много сотен лет, подсказывают, как это может быть решено. Демократические правительства уже имеют физическую власть, чтобы взорвать континенты и захватить, посадить в тюрьму и убить их жителей. Но мы можем жить с этими возможностями, потому что эти правительства достаточно покорные и стабильные.
Грядущие годы возложат большую ношу на наши институты. Принципы представительного правительства, свободы слова, процесса сбора налогов, правила законов и защита прав человека будут оставаться решающими. Чтобы подготовиться к новым видам бремени, нам понадобится расширить и вдохнуть новую жизнь в эти принципы и институты, которые их поддерживают; защита свободы слова относительно технических вопросов может быть решающей. Хотя мы сталкиваемся с серьёзным вызовом, есть повод надеяться, что мы сможем на него достойно ответить.
Есть также, конечно, очевидные причины для сомнения, что мы сможем на него достойно ответить. Но отчаяние заразно и противно, и оставляет людей в подавленном состоянии. Кроме того отчаяние кажется неоправданным, вопреки знакомым проблемам: зло – слишком ли мы злы, чтобы делать правильные вещи? Некомпетентность – слишком ли мы глупы, чтобы делать правильные вещи? Лень – слишком ли мы ленивы, чтобы подготовиться?
Хотя это был бы слишком поспешным предсказывать радужное будущее, эти проблемы не кажутся непреодолимыми.
Демократические правительства – большие, небрежные и иногда безответственные за жестокости, однако они не кажутся злом, в целом, хотя они могут включать людей, которые заслуживают этого ярлыка. В действительности их лидеры получают власть во многом выказывая поддержку общепризнанным идеям добра. Наша главная опасность в том, что стратегии, которые кажутся хорошими, могут вести к несчастью, или что действительно хорошие стратегии не будут найдены, опубликованы и воплощены во время, чтобы возыметь действие. Демократии страдают больше от лени и некомпетентности, чем от зла.
Некомпетентность будет кончено неизбежна, но должна ли она быть фатальной? Мы, человеческие существа, по своей природе глупы и невежественны, однако мы иногда ухитряемся объединить наши кусочки компетентности и знания, чтобы достигать великих вещей. Никто не знает, как долететь до Луны и никто никогда не узнает, однако дюжина людей прошлась по её поверхности. Мы преуспели в технических вопросах, потому что научились строить институты, которые собирают многих людей вместе, чтобы генерировать и проверять идеи. Эти институты добиваются надёжности путём избыточности, и качество их результатов зависит от во многом от того, как сильно это нас заботит и как напряжённо мы работаем. Когда мы концентрируем достаточно внимания и ресурсов на надёжности, мы часто преуспеваем. Это – то, почему полёты на Луну закончились успешно без гибели в космосе и почему никакое ядерное оружие никогда не было запущено и не взорвалось по случайности. И это то, почему мы можем суметь управлять нанотехнологией и продвинутым ИИ с достаточной осторожностью, чтобы гарантировать компетентную работу. Неустойчивые люди с ограниченными способностями могут объединиться, чтобы образовать стабильные, компетентные институты.
Лень – интеллектуальная, моральная и физическая – кажется возможно нашей самой большой опасностью. Мы можем только отвечать на великие вызовы великими усилиями. Сделают ли достаточно людей достаточные усилия? Никто не может этого сказать, поскольку никто не может сказать за любого другого. Но успех не потребует неожиданного всеобщего прозрения и мобилизации. Он потребует только растущего сообщества людей, пытающихся разработать, опубликовать и воплотить работоспособные решения, и чтобы они имели хорошую и растущую меру успеха.
Это не так невероятно. Забота о технологии стала широко распространённой, также как идея ускоряющегося изменения потребует лучшего предвидения. Лень не поймает в западню каждого, и введённые в заблуждение мыслители не будут вести по ложному направлению усилия всех. Смертоносные псевдо-решения (такие как запрещение исследований) проиграют битву идей, если достаточно людей разоблачат их. И хотя мы сталкиваемся в большим вызовом, успех сделает возможным осуществление великих мечтаний. Великие надежды и страхи могут подвигнуть достаточно людей, чтобы дать возможность человеческой расе выиграть.
Страстное участие и действие не будут достаточны; мы также будем нуждаться в хорошо обоснованных стратегиях. Это потребует больше чем хороших намерений и чётких целей: мы должны также отслеживать фактические связи в мире, которые будут связывать то, что мы делаем, с тем, что мы получаем. По мере того, как мы приближаемся к технологическому кризису беспрецедентной сложности, имеет смысл попытаться улучшить наши институты оценки важных технических фактов. Как ещё мы можем направлять ведущую силу и минимизировать угрозу последней некомпетентности?
Институты эволюционируют. Чтобы вывести лучшие институты для нахождения фактов, мы можем копировать, адаптировать и расширять наши прошлые успехи. Они включают свободную прессу, научное сообщество, и суды. Все имеют свои достоинства, и некоторые из этих достоинств могут быть объединены.
Глава 13. НАХОЖДЕНИЕ ФАКТОВ
Страх нельзя запретить, но он может быть спокойным и без паники; и он может быть уменьшен разумом и оценкой.
Ванневар Буш.
Собрание экспертов
От междоусобиц к честному судебному процессу
Один из подходов
Почему бы не справедливый судебный процесс?
Построение справедливого судебного процесса
Обществу нужны лучшие способы понимания технологии – это давно уже очевидно. Вызовы будущего просто делают нашу потребность более насущной.
Обещания технологии манит нас вперёд, а давление конкуренции делает остановку практически невозможной. По мере того, как гонка технологий ускоряется, новые разработки входят в нашу жизнь всё быстрее, а фатальные ошибки становятся более вероятными. Нам нужно создать лучший баланс между нашим предвидением и нашей скорость продвижения. Мы не можем сделать много, чтобы замедлить рост технологии, но мы можем ускорить скорость предвидения. И с лучшим предвидением, у нас будет больше шансов направлять гонку технологий в безопасном направлении.
Предлагались различные способы для управления технологией. "Люди должны контролировать технологию" – неплохой лозунг, но он может иметь два возможных значения. Если это значит, что мы должны заставить технологию служить человеческим потребностям, то он вполне имеет смысл. Но если он означает, что люди как целое должны принимать технические решения, то в нём очень мало смысла. Электорат не может оценить внутренние взаимосвязи между технологией, экономикой, окружающей средой и жизнью; у людей нет необходимых знаний. Сами люди согласны: в соответствии с исследованием Государственным фондом науки США 85 процентов взрослых людей в США считают, что большинство граждан не имеет знаний, необходимых, чтобы выбирать, какие технологии разрабатывать. Публика в целом оставляет технические суждения техническим экспертам.
К сожалению, оставление суждений экспертам вызывает проблемы. В "Совете и разногласии" Примак и фон Хиппель отмечают, что "до той степени, до которой Администрация может преуспевать в удерживании нежелательной информации в секрете и публику в неведении, благополучие общества может быть принесено в жертву с безнаказанностью для удобства бюрократов и частной выгоды." Люди у руля подвергаются большей критике, когда новое лекарство вызывает единственную смерть, чем когда его отсутствие вызывает тысячи смертей. Они и выдают неправильное регулирование соответственно этому. Военные бюрократы имеют законный интерес в трате денег, скрытии ошибок и продолжении своих проектов. Они и управляют неправильно соответственно этому. Этот вид проблемы такой фундаментальный и естественный, что больше примеров вряд ли нужно. Везде секретность и туман создают чиновникам больший комфорт; везде личная выгода искажает фактические утверждения по вопросам, касающимся общественности. По мере того, как технологии становятся всё более сложными и важными, эта модель становится всё более опасной.
Некоторые авторы рассматривают правление секретных технократов практически неизбежным. В "Создании альтернативных видов будущего" Хейзел Хендерсон доказывает, что сложные технологии " становятся по сути своей тоталитарными
" (её курсив), потому что ни избиратели, ни законодатели не могут их понять. В "Повторном посещении будущего человечества" Харрисон Браун также утверждает, что соблазн обойти демократические процессы в решении сложных кризисов приносит опасность, "что если индустриальная цивилизация выживет, она станет всё более тоталитарной по природе." Если это было бы так, то вероятно это означало бы обречённость: мы не можем остановить гонку технологий, а мир тоталитарных государств, основанный на совершенной технологии не нуждающийся ни в работниках, ни в солдатах, мог бы вполне избавиться от большей части населения.
К счастью, демократия и свобода сталкивалась с подобными вызовами в прошлом. Государства становились слишком сложными для прямой демократии, но появилась представительная демократия. Государственная власть угрожала разрушить свободу, но появилась власть закона. Технология стала сложной, но это не даёт нам никакой причины игнорировать людей, сбрасывать со счетов закон и приветствовать диктатора. Нам нужны способы, чтобы управлять технической сложностью в демократических рамках, используя экспертов как инструменты, чтобы прояснять наше видение, не давая им контроля над нашими жизнями. Но технические эксперты сегодня втянуты в систему междоусобиц между узкими группами.
Собрание экспертов
Правительство и промышленность, а также их критики, обычно назначают экспертные комитеты, которые встречаются в тайне, если встречаются вообще. Эти комитеты претендуют на то, что им можно доверять, основываясь на том, кто они есть, а не на том, как они работают. Противостоящие группы нанимают оппозиционирующих нобелевских лауреатов.Чтобы завоевать влияние в нашей массовой демократии, группы пытаются переплюнуть друг друга. Когда их взгляды относятся к обществу, они выносят их на публику путём рекламных компаний. Когда их взгляды относятся к государству, они выносят их к законодательной власти путём лоббирования. Когда их взгляды имеют драматический оттенок, они выносят их на публику через кампании в СМИ. Группы продвигают своих любимых экспертов, сражение выходит на публику и тихие учёные и инженеры тонут в шуме.
По мере того, как общественный конфликт нарастает, люди начинают сомневаться в заявлениях экспертов. Они оценивают утверждения очевидным образом – по его источнику. ("Конечно, она заявляет, что разлив нефти безопасен – она работает на Эксон." "Конечно, он говорит, что Эксон лжёт – он работает на Нейдер.")
Когда авторитетные эксперты теряют доверие, демагоги могут присоединиться к битве на равной ноге. Журналисты страждут противоречий, стараясь объективно освещать картину, и редко руководствуются техническими соображениями – выносят все стороны прямо на публику. Осторожные утверждения, делаемые добросовестными учёными создают мало впечатления; другие учёные не видят другого выбора кроме как принять демагогический стиль. Дебаты становятся острыми и гневными, расхождения во взглядах растут и дым битв затемняет сами факты. Часто за этим следует паралич глупости.
Наша величайшая проблема в том, что мы делаем с проблемами. Дебаты бушуют по поводу ядерной энергии, энергии каменного угля, химических отходов. Имеющие хорошие намерения группы, подкрепляемые экспертами сталкиваются вновь и вновь вокруг скучных технических фактов – скучных, то есть за исключением их важности: Какие последствия имеют малые дозы радиации и как вероятна авария на ядерном реакторе? Каковы причины и последствия кислотных дождей? Насколько хорошо могла бы защита с космическим базированием защищать от ракетных атак? Говорят ли пять случаев лейкемии в пределах трёх миль данной свалки отходов о смертельной опасности или это просто игра случая?
Более существенные вопросы – впереди: насколько безопасные репликаторы? Будут ли системы активных щитов безопасны и надёжны? Будет ли обратима процедура биостаза? Можем ли мы доверять системе ИИ?
Споры о технических фактах питают более широкие диспуты о стратегии. Люди могут иметь различающиеся ценности (как, чтобы бы вы предпочли, энцефалит или отравление пестицидами?), но их взгляды на относящиеся к делу факты расходятся ещё больше. (как часто эти комары переносят энцефалит? Как токсичны эти пестициды?) Когда различающиеся взгляды на скучные факты ведут к разногласиям относительно важных стратегий, люди могут удивляться, "Как они нам могут противоречить по таким важным стратегическим вопросам, если только у них нет дурных мотивов?" Споры насчёт фактов могут таким образом настроить потенциальных союзников друг против друга. Это мешает нашим усилиям в понимании и решении наших проблем.
Люди обсуждают факты на протяжении тысячелетий; только особое положение технических диспутов ново. Общества разработали методы для оценки фактов о людях. Эти методы подсказывают, как мы могли бы судить факты о технологии.
От междоусобиц к честному процессу
На всём протяжении истории, группы разрабатывали способы, чтобы разрешать споры; альтернативой этому были междоусобицы, нескончаемые и часто беспощадные. Средневековые европейцы использовали несколько процедур, все – лучше, чем бесконечные междоусобицы:Они использовали испытание битвой: противники сражались, и закон подтверждал победителя.
Они использовали взаимную клятву: соседи клялись в честности обвиняемого; если клялись достаточно, обвинения снимались.
Они использовали испытание "божьим судом": в одном из них обвиняемый связывался и его бросали в реку; те, кто тонул, были невиновны, а те, кто выплывал – виновны.
Они использовали суд секретных комитетов: советники короля встречались, чтобы судить и выносить приговор, который казался подходящим. В Англии они встречались в комнате, которая называлась Звёздный кабинет.
Эти методы предположительно определяли, кто что делал – факты относительно человеческих событий, но все имели серьёзные недостатки. Сегодня мы использованием аналогичные методы, чтобы определять, что является причиной чего – факты относительно науки и технологии:
Мы использованием испытание сражением в прессе: оппоненты бросаются со шпагами наголо друг на друга до тех пор, пока доказательства одной стороны не терпят политической смерти. К сожалению, это часто напоминает бесконечные междоусобицы.
Мы использованием клятвы: эксперты клянутся относительно определённых фактов; если клянётся достаточно в одном и том же, факты объявляются истинными.
Мы использованием суждения секретных комитетов: избранные эксперты встречаются, чтобы оценивать факты и рекомендовать те действия, которые кажутся подходящими. В Соединённых Штатах они часто встречаются в комитетах в Национальной Академии наук.
Испытание Божьим судом вышло из моды, но битвы в прессе вполне могут напоминать пытки тихих учёных с их самоуважением.
Англичане упразднили заседания Звёздного кабинета в 1641 году, и они считали это большим достижением. Испытание сражением, клятвой, и божьим судом также стали историей. Мы сейчас ценим честный процесс, по крайней мере когда судим людей.
Судебные процедуры иллюстрируют принципы должного процесса: утверждение должно быть конкретно. Обе стороны должны иметь шанс высказаться и встретить друг друга, чтобы опровергать чужие аргументы и проводить перекрёстный допрос. Процесс может быть публичным, чтобы предотвратить скрытые нелепости. Дебаты должны происходить перед жюри, которое обе стороны принимают как беспристрастное. Наконец, судья должен быть арбитром в процессе и следить за выполнением правил.
Чтобы понять ценность честного процесса, представьте противоположное: процесс, попирающий все эти принципы дал бы одной стороне сказать, а другой никакого шанса провести перекрёстный допрос или ответить на аргументы. Он встречался бы в тайне, допускал бы смутную клевету, и не имел бы судьи, чтобы следить за какими бы то ни было правилами, которые могли бы оставаться неизменными. Присяжные приходили бы уже со своими готовыми решениями. Короче говоря, это напоминало бы толпу линчевателей, встречающуюся в закрытом сарае, или мошеннический комитет, составляющий отчёт.
Опыт показывает ценность честного судебного процесса в оценке фактов по поводу людей; мог бы он также быть ценным в оценке фактов о науке и технологии? Честный процесс – это фундаментальная идея, не ограничиваемая судами закона. Некоторые исследователи ИИ, например, встраивают принципы честного судебного процесса в свои компьютерные программы. По-видимому, честный судебный процесс должен оказаться полезным в оценке технических фактов.
В действительности, научная литература, главный форум науки, уже воплощает форму честного судебного процесса: в хороших журналах, научные утверждения должны быть конкретны. В теории, имея достаточно времени и настойчивости, все стороны могут высказать своих взгляды в диспуте, поскольку журнал остаётся открытым для противоречий. Хотя оппоненты могут не встречаться лицом к лицу, они встречаются на расстоянии; они задают вопросы и отвечают в медленном движении, через письма и статьи. Рефери, также как присяжные, оценивают основания и аргументацию. Редакторы, как судьи, следят за правилами процедуры. Публикация оставляет дебаты открытыми для публичного изучения.
И в журналах, и в судах, конфликтующие идеи сталкиваются друг с другом, подчиняясь правилам, разработанным, чтобы обеспечить справедливую, организованную борьбу. Эти правила иногда терпят неудачу, поскольку они нарушаются или не адекватны, но они – лучшее, что мы разработали. Несовершенный справедливый судебный процесс доказал, что он лучше, чем вообще без него.
Почему учёные ценят журналы с редакционным арбитражем? Не потому что они верят всем журналам с арбитражем, или доверяют всему, что печатается в одном из них. Даже лучшая система справедливого судебного процесса не произведёт поток чистой истины. Скорее, они ценят журналы с арбитражем потому что они (журналы) склонны отражать основательную критическую дискуссию. Действительно они должны это делать: поскольку журналы конкурируют друг с другом за бумагу, престиж и читателя, лучшие журналы должны быть действительно хороши. Журналы работают медленно, однако после достаточного количества раундов публикаций и критицизма они часто вырабатывают консенсус.
Опыт доказывает ценность и судов, и журналов. Их глубинное подобие говорит о том, что их ценность происходит из общего источника – честного судебного процесса. Честный процесс может приводить к неудаче, но всё же это – лучший известный подход для нахождения фактов.
Но сегодня суды и журналы не достаточны. Жизненно важные технические диспуты продолжаются и продолжаются из-за того, что у нас нет никакого быстрого, хорошо организованного способа выявлять факты (и описывать границы нашего незнания). Суды не подходят, чтобы иметь дело с техническими вопросами. Журналы лучше, но они также имеют недостатки. Они формировались во времена технологий более низкого уровня и более медленного прогресса, развиваясь так, чтобы соответствовать ограничениям печати, скорости почты и потребностям академической науки. Но сегодня, во время, когда мы отчаянно нуждаемся в лучших и более стремительных технических суждениях, мы обнаруживаем себя в мире, в котором есть телефоны, реактивные самолёты, копировальные аппараты, экспресс и электронная почта. Можем ли мы использовать современные технологии, чтобы ускорить технические дебаты?
Конечно, учёные уже используют несколько подходов. Реактивные самолёты переносят учёных через континенты на конференции, где представляются и обсуждаются доклады. Но конференции плохо управляют противоречием; общественный этикет и плотные расписания ограничивают накал и глубину дебатов.
Учёные также соединяются в неформальные исследовательские сети, соединяемые телефоном, почтой, компьютерами и копировальными аппаратами; они ускоряют обмен и обсуждение. Но они по сути своей – частные институты. Они также не способны обеспечить достоверную публичную процедуру для отработки противоречий.
Конференции, журналы и неформальные сети имеют некоторые аналогичные ограничения. Они обычно фокусируются на технических вопросах научной важности, а не на технических вопросах уровня важности общественной стратегии. Более того, они обычно концентрируются на научных вопросах. Журналы имеют склонность пренебрегать технологическими вопросами, которые не имеют внутри себя научного интереса; они часто обращаются с ними как с новостями, которые не стоят проверки рефери. Более того, наши сегодняшние институты не имеют какого-либо сбалансированного способа представления знания, когда оно всё ещё запутано в противоречиях. Хотя научные обзорные статьи часто представляют и взвешивают несколько идей, они это делают с точки зрения одного автора.
Все эти недостатки имеют общий источник: научные институты приспособились продвигать науку, а не просеивать факты для людей, принимающих политические решения. Эти институты служат своей цели достаточно хорошо, но они плохо служат другим целям. Хотя это – не полное отсутствие чего-либо, тем не менее они оставляют реальную потребность.