Я выезжаю из дому на горный серпантин, что проходит вдоль побережья Тихого океана. Дорога вьется между гигантскими секвойями; за крутыми поворотами открываются виды на Калифорнийский залив или бесконечный простор океана. Я наслаждаюсь поездкой, машина превосходно слушается руля и изящно вписывается в повороты. Но вдруг я замечаю, как напряглась сидящая рядом жена. Ей страшно – она съежилась, уперлась ногами в пол, вцепились руками в приборную панель. «Что с тобой? – спрашиваю я. – Успокойся, я знаю, что делаю».
   А теперь представим другой сюжет. Я еду по тому же серпантину и замечаю, как напряглась моя машина – ей страшно. Откинутые спинки сидений сами собой выпрямляются, ремни безопасности туго затягиваются, индикаторы на приборной панели тревожно мигают и пищат. Затем сами собой включаются тормоза. «Вот те на, – мелькает у меня в голове. – Надо снизить скорость».
   Считаете, что испуганный автомобиль – это нечто из области фантастики? Уверяю вас, вы ошибаетесь. Так уже ведут себя некоторые автомобили класса «люкс». И то ли еще будет. Стоит вам случайно выехать из своей полосы – и машина начинает протестовать: она гудит, руль и сиденья вибрируют, на боковых зеркалах загораются лампочки. Автомобильные компании экспериментируют с системами корректировки траектории движения, помогающими водителю вернуть машину на полосу. Указатели поворота были придуманы для того, чтобы другие водители видели, что вы собираетесь повернуть или перестроиться. Теперь с их помощью вы даете понять собственной машине, что делаете это не по ошибке, а намеренно. Вы словно говорите ей: «Не мешай. Я действительно хочу совершить маневр».
   Как-то раз я входил в группу консультантов одной крупной автомобилестроительной фирмы. На одном из заседаний я сказал, что буду по-разному реагировать на испуг жены и машины. «Как это? – удивилась моя коллега Шерри Теркл, профессор Массачусетского технологического университета, признанный авторитет в вопросах человекомашинного взаимодействия. – Вы что же, к машине прислушиваетесь больше, чем к жене?»
   Действительно странно. Конечно, я могу привести кучу рациональных доводов, но они ничего не объяснят. Сегодня, когда мы наделяем творения своих рук все большей самостоятельностью, разумом, эмоциями и индивидуальностью, пора уже задуматься о том, как мы взаимодействуем с этими механизмами.
   Почему я обращаю больше внимания на поведение машины, а не жены? В двух словах ответить трудно, но в конечном счете все дело в коммуникации. Когда жене что-то не нравится, я могу спросить ее о причине и, выслушав ответ, либо согласиться, либо переубедить ее. Кроме того, чтобы она успокоилась, я могу изменить манеру вождения. Но с автомобилем в беседу не вступишь, коммуникация здесь носит односторонний характер.

   – И как тебе новая машина? – спросил я Тома, когда он вез меня в аэропорт после затянувшегося совещания. – Нравится навигационная система?
   – Машина отличная, – ответил он, – но навигационной системой я вообще не пользуюсь. Я хочу сам выбирать маршрут, а она все решает за меня.

   Техника обслуживает нас, и поэтому у нее больше власти. Не логично? Да, но именно так обстоит дело. Задумайтесь: если при заключении контракта вы не хотите идти на уступки, кого вы пошлете на переговоры – генерального директора или кого-нибудь рангом пониже? Как это ни странно, рядовой сотрудник зачастую может добиться более выгодных условий. Почему? Да потому что, какие бы обоснованные аргументы ни приводила другая сторона, переговорщик с ограниченными полномочиями не может принять окончательного решения. И выслушав самые убедительные доводы, он вправе сказать лишь: «Извините, но я дам вам ответ после того, как проконсультируюсь с начальством». А на следующий день, вернувшись за стол переговоров, он разведет руками: «Увы, я не сумел переубедить босса». Если же ваш представитель наделен широкими полномочиями, его можно убедить, и он примет предложение, пусть даже впоследствии вы все об этом пожалеете.
   Искушенные переговорщики хорошо знают эту уловку и не позволяют оппонентам к ней прибегать. Когда я обсуждал этот вопрос с моей знакомой, преуспевающим адвокатом, она только посмеялась: «Если противная сторона попробует провернуть нечто подобное, я их быстро выведу на чистую воду. Со мной в такие игры не поиграешь». Но техника играет с нами в такие игры, и мы ничего с этим не можем поделать. Когда машина вмешивается в наши действия, нам остается только подчиниться. Она фактически говорит нам: «Будет либо по-моему, либо никак», причем вариант «никак» заведомо исключен.
   Возьмем случай Тома. Он дает навигационной системе задание проложить маршрут, и та это делает. Казалось бы, все просто. Такое вот идеальное взаимодействие человека и техники – конструктивный диалог. Но вспомним, как Том жаловался: «Она все решает за меня». Разработчики передовых технологий гордятся тем, что закладывают в свои системы «коммуникационные способности». Но при тщательном анализе выясняется, что здесь происходит подмена понятий: нет никакой «коммуникации», никакого обмена мнениями, характерного для подлинного диалога. Есть два монолога. Мы отдаем приказы машине, а она – нам. А два монолога – это никакой не диалог.
   В нашем случае у Тома есть выбор. Если он отключит навигационную систему, автомобиль не перестанет функционировать. Поэтому Том, недовольный тем, как она прокладывает маршрут, этой системой просто не пользуется. Но с другими системами такой вариант невозможен: не пользоваться ими значит не пользоваться автомобилем. Проблема в том, что они зачастую крайне полезны и при всех своих недостатках спасают жизни людей. То есть вопрос должен звучать так: как нам изменить способ взаимодействия с техникой, чтобы, эффективно используя ее достоинства, попытаться исключить назойливые, а порой и опасные действия?
   Чем могущественнее техника, тем более насущной становится проблема коммуникации и сотрудничества с ней. Сотрудничество предполагает не только координацию действий, но еще объяснения и обмен мнениями. Для этого необходимо доверие, которое возникает лишь на основе опыта и взаимопонимания. Имея дело с автоматизированными «умными» машинами, мы порой необоснованно им доверяем – или столь же необоснованно не доверяем. Том не доверяет указаниям навигационной системы, но в некоторых случаях нежелание полагаться на технику чревато опасными последствиями. Скажем, что может случиться, если Том отключит антиблокировочную систему тормозов или систему курсовой устойчивости? Многие водители считают, что способны управлять машиной лучше, чем любая автоматика. Однако системы, предотвращающие заносы и обеспечивающие устойчивость, действуют эффективнее, чем любой водитель, за исключением разве что самых опытных профессионалов. Они спасают немало жизней. Но как автомобилисту определить, каким системам можно доверять?
   Конструкторы, как правило, сосредоточиваются на технологиях, пытаясь ради нашей безопасности и комфорта автоматизировать все, что только можно. Их цель – полная автоматизация, если этому не препятствуют технические ограничения или соображения рентабельности. Однако наличие этих ограничительных факторов означает, что некоторые функции можно автоматизировать лишь частично, то есть человек должен постоянно следить за работой машины и брать дело в свои руки, если она не может действовать самостоятельно. Поэтому, когда функции автоматизированы не полностью, необходимо, чтобы каждая из сторон – человек и механизм – понимала, что делает другая и зачем.

   Сократ: В этом, Федр, дурная особенность письменности… ее порождения стоят как живые, а спроси их – они величаво и гордо молчат. То же самое и с сочинениями: думаешь, будто они говорят как разумные существа, но если кто спросит о чем-нибудь из того, что они говорят, желая это усвоить, они всегда отвечают одно и то же.

Платон, «Федр»

   Две тысячи лет назад Сократ утверждал, что появление книг подрывает способность людей к логическому мышлению. Он верил в диалог, в беседу и спор. Но с книгой не вступишь в дискуссию: письменный текст не ответит на ваши доводы. Сегодня, когда книга стала символом знаний, мы можем лишь посмеяться над подобными аргументами. Но попробуем отнестись к ним всерьез. Вопреки мнению Сократа, письменные сочинения дают нам навыки самостоятельного мышления, поскольку нам попросту незачем полемизировать с их авторами. Мы обсуждаем их и спорим друг с другом на занятиях, в дискуссионных группах, а если речь идет о важном тексте, то к нашим услугам все средства массовой коммуникации. Тем не менее доводы Сократа верны: технологии, не создающие возможностей для дискуссий, разъяснений, дебатов, по определению ущербны.
   За годы, проведенные в бизнесе и во главе университетской кафедры, я понял, что процесс принятия решения часто бывает важнее, чем само решение. Когда человек принимает решение, никак его не объясняя и ни с кем не советуясь, люди не доверяют результату и не одобряют его, даже если после обсуждения они сами поступили бы точно так же. Многие бизнесмены задаются вопросом: «Зачем тратить время на обсуждения, если конечный результат будет тем же самым?» Но это не так. Даже в случае принятия аналогичного решения сам процесс его принятия и реализации – особенно в незапланированных обстоятельствах – будет совершенно иным, если им займется команда, не просто выполняющая приказ, а понимающая суть дела и принимающая участие в реализации замысла.
   Тома не устраивает навигационная система в его автомобиле, хотя он понимает, что порой она может быть полезна. Однако он не может взаимодействовать с системой, чтобы приспособить ее к своим потребностям. Даже если некоторые важные решения: «самый быстрый путь», «самый короткий», «с самыми живописными видами», «без проезда по платным дорогам» – Том принимает сам, он не может обсудить с навигационной системой причины, по которым выбран именно этот, а не другой маршрут. Он не знает, почему для нее маршрут А предпочтительнее маршрута Б. Учитывает ли она время ожидания на светофорах и количество знаков «стоп»? А вдруг маршруты отличаются только тем, что один из них экономит минуту на час езды? Том не знает альтернативы, которую, возможно, предпочтет, несмотря на потерю во времени. Методы работы системы неизвестны, поэтому, даже если бы он был склонен ей доверять, молчание и тайна подрывают это доверие – как подрывает доверие единоличное принятие решений в бизнесе.
   Что, если бы навигационные системы могли обсуждать маршрут с водителем? Если бы они предлагали ему альтернативные варианты, демонстрируя их и на карте, и в виде таблицы, на которой указаны протяженность маршрута, предполагаемое время в пути и расходы на проезд по платным дорогам, чтобы водитель имел возможность выбирать? В некоторых навигационных системах это уже предусмотрено, и таблица для поездки в Пало-Альто из долины Напа может выглядеть следующим образом:
 
   Маршрут Сент-Хелена – Пало-Альто, Калифорния
   Это, конечно, явное усовершенствование, но до диалога и здесь далеко. Система говорит: вот три варианта, выбирай один из них. Узнать подробности или изменить маршрут вы не можете. Я знаком со всеми тремя дорогами и знаю: самая быстрая, короткая и дешевая проходит по наименее живописным местам, а та, где виды будут лучше всего, даже не предлагается. Но если водитель не имеет об этом представления? Понятно, что такой уровень общения машины с человеком не может нас удовлетворить. И то, что создание навигационных систем, предлагающих автомобилистам хотя бы такой выбор, считается большим шагом вперед, лишь показывает, как плохи остальные системы и как мы еще далеки от искомого результата.
   Если моя машина сочтет, что авария неизбежна, она выпрямит спинки кресел или включит тормоза и ни о чем меня не спросит, не посоветуется со мной, даже не сообщит, в чем причина. Может, ей лучше знать, поскольку она напичкана механическими и электронными приборами, безошибочно делающими нужные расчеты? Не обязательно. Да, с арифметикой у приборов все в порядке, но, прежде чем делать расчеты, нужно еще учесть состояние дороги, поток и квалификацию водителя. Водители-профессионалы порой отключают автоматику, поскольку она не позволяет им использовать все их навыки. Точнее, они отключают то, что им позволено отключить: многие из современных машин столь авторитарны, что не оставляют водителю даже этой возможности.
   Не думайте, что это относится только к автомобилям. В будущем аналогичная проблема возникнет при обращении с очень многими видами устройств. Так, в банках уже существуют автоматизированные системы, определяющие, можно ли дать вам кредит, а автоматизированные медицинские системы решают, какое лечение или лекарство вам назначить. Скоро машины станут следить за тем, что вы едите, что читаете, какую музыку любите и какие телепередачи предпочитаете смотреть. Специальные системы будут наблюдать, как вы ведете себя за рулем, и если они решат, что вы нарушили правила, то уведомят страховую компанию, прокатную контору, а то и полицию. Другие системы отслеживают нарушение авторских прав, принимая решения о том, что можно разрешить, а что нет. Во всех этих случаях речь идет о произвольных решениях: машины делают важнейшие выводы о ваших намерениях на основе далеко не полной картины вашего поведения.
   Так называемые «умные» системы стали чересчур самоуверенными. Они убеждены, будто знают, что для нас лучше. Но их интеллект ограничен. И это ограниченность фундаментального свойства: машина по определению не может знать все факторы, которые человек учитывает при принятии решений. Это, впрочем, не означает, что нам следует отказываться от помощи «умных» машин. В то же время, поскольку машины берут на себя все больше и больше, их нужно социализировать – они должны стать более коммуникабельными и лучше понимать пределы своих возможностей. Только тогда они смогут приносить настоящую пользу. Именно этой теме и посвящена моя книга.
   Когда я только начинал над ней работать, я думал, что ключевым в социализации машин является создание более совершенных систем, способных к диалогу. Но я ошибался. Для конструктивного диалога нужны общие знания и опыт. Нужно уметь учитывать обстановку и контекст, предшествующие события, а также множество различных целей и мотивов, которыми руководствуются участники процесса. И в этом, как я теперь понимаю, заключено одно из главных ограничений, не позволяющих современным технологиям полноценно взаимодействовать с человеком. Если даже людям непросто найти полное взаимопонимание, откуда оно возьмется у людей и машин?
   Для успешного взаимодействия с техникой нам нужно научиться относиться к ней как к животным. Несмотря на то что и люди, и животные обладают интеллектом, мы – разные виды, с разным взглядом на мир и разными способностями. Точно так же даже самая умная машина – это представитель другого вида, со своими сильными и слабыми сторонами, собственным пониманием вещей и способностями. Порой мы должны слушаться животных и машин, порой – они нас.

   – Моя машина чуть не устроила мне аварию, – сказал мне Джим.
   – Твоя машина? Как это? – удивился я.
   – Я ехал по шоссе, включив круиз-контроль. Знаешь, это такая система, которая поддерживает постоянную скорость, но если впереди появляется другая машина, она снижается, чтобы сохранять безопасную дистанцию. Так вот, через какое-то время движение на дороге стало более интенсивным, и моя машина замедлила ход. Наконец я добрался до нужного съезда, перестроился в правый ряд и свернул с шоссе. Я так давно включил круиз-контроль и ехал так медленно, что попросту о нем забыл. А вот машина не забыла. Она небось сказала себе: «Ура! Наконец-то впереди никого нет», и начала разгоняться до прежней скорости, хотя на съезде надо ехать медленно. Хорошо, что я не растерялся и вовремя нажал на тормоза. Иначе кто знает, что могло бы случиться.
   Сегодня наши отношения с техникой резко меняются. До недавнего времени люди ее контролировали. Мы включали и выключали ее, указывали, что делать, и следили за процессом исполнения. Но по мере того как техника становилась все сложнее и изощреннее, мы стали хуже понимать принципы ее работы и хуже предугадывать ее действия. С тех пор как в нашей жизни появились компьютеры и микропроцессоры, мы все чаще испытывали растерянность, замешательство, раздражение и злость. Но мы продолжали считать, что контролируем ситуацию. Увы, уже нет. Машины берут верх. Они ведут себя так, будто обладают интеллектом и свободой воли, хотя ни того, ни другого у них нет.
   Естественно, машины присматривают за нами с наилучшими намерениями – ради нашей безопасности и удобства. Если все идет как надо, эти «умные» машины весьма полезны: они делают нашу жизнь спокойнее, избавляют нас от рутинной работы, создают комфорт и выполняют многие задания точнее, чем мы сами. Действительно, ведь удобно же, что автомобиль автоматически снижает скорость, если перед вами на опасно близком расстоянии появилась другая машина, что он тихо и плавно переключает передачи, что микроволновая печь знает, когда испеклась картошка. Ну а если техника дает сбой? Что, если она действует неправильно или выходит из повиновения? Вспомним про машину Джима, заметившую, что дорога свободна, и увеличившую скорость, хотя он уже съехал с шоссе? Те же устройства, которые помогают нам в нормальных условиях, в случае каких-то неожиданностей снижают уровень безопасности, комфорта, точности, что чревато для нас угрожающими последствиями, дискомфортом, раздражением и злостью.
   Сегодня машины сообщают о своем состоянии в основном с помощью сигналов тревоги, то есть только если с ними что-то не в порядке. Когда механизм дает сбой, человек должен взять ситуацию под контроль; зачастую это происходит неожиданно и времени, чтобы нормально отреагировать, у него нет. Джиму удалось исправить ошибку своего автомобиля. А если бы он не сумел этого сделать, в аварии обвинили бы его. Да-да, если действия «умной» машины приводят к аварии, ответственность за нее, скорее всего, возложат на человека.
   Чтобы наладить взаимодействие людей с «умными» механизмами, нужно совершенствовать координацию и кооперацию обеих сторон – человека и машины. Но конструкторы, разрабатывающие сложные системы, зачастую этого не понимают. Как машина может определить, что важно, а что нет, особенно если то, что важно в одной ситуации, в другой теряет значение?
   Я рассказывал историю о Джиме и его ретивом автомобиле инженерам нескольких автомобилестроительных компаний, и они неизменно реагировали следующим образом. Сперва они пытались обвинить во всем водителя: почему он не выключил круиз-контроль перед тем, как съехать с шоссе? Я объяснял: он просто забыл. Ну, тогда он плохой водитель, говорили они. Принцип «сам виноват» очень удобен для обвинителя, будь то страховая компания, органы власти или общество в целом: если люди совершают ошибку, их надо наказать. Но так проблему не решить. На самом деле подлинные виновники – это неудачная конструкция, несовершенные алгоритмы, плохая инфраструктура, изъяны в технологическом режиме. А человек – лишь последнее звено в этой сложной цепи.
   И хотя с технической точки зрения специалисты из автокомпаний правы – водитель должен помнить, как работает автоматика его машины, – это не оправдывает конструктивных недоработок. Новые технологии следует разрабатывать, имея в виду реальное поведение людей, а не то, каким мы хотели бы его видеть. Более того, автомобиль никак не помогает водителю вспомнить, что нужно сделать. Похоже, он сконструирован именно так, чтобы помочь ему забыть! Понять, включен круиз-контроль или нет, практически невозможно. Было бы куда лучше, если бы в машине имелось специальное напоминающее устройство.
   И здесь инженеры переходили к следующему этапу: «Да, проблема есть, но волноваться не стоит. Мы все исправим. Вы правы, навигационная система автомобиля должна фиксировать, что он съехал с дороги, и либо автоматически отключить круиз-контроль, либо настроить его на безопасную скорость».
   Этот ответ наглядно иллюстрирует суть проблемы. Машина не обладает умом: ее интеллект – это интеллект конструкторов. Они сидят в своих кабинетах, пытаясь представить себе все, что может произойти с машиной и водителем, и выработать правильные решения. Но как заложить правильную реакцию на неожиданное событие? Если такое случается с человеком, можно предположить, что он решит проблему с помощью воображения и смекалки. Но «интеллект» наших машин заключен не в них самих, а в головах инженеров. Поэтому в непредвиденных обстоятельствах, когда конструктора нет рядом, машина, как правило, не справляется с задачей.
   О неожиданностях мы знаем две вещи: во-первых, они обязательно случаются, во-вторых, всегда застают нас врасплох.
   Как-то раз инженер одной автомобильной компании отреагировал на мой рассказ о Джиме не так, как другие. Он смущенно признал, что нечто подобное на съезде с шоссе случилось и с ним самим, но у него была другая проблема – смена ряда. Если на шоссе с интенсивным движением водитель хочет перестроиться, он ждет, когда на соседней полосе возникнет достаточно большой просвет, а затем совершает маневр. Обычно при этом его автомобиль оказывается на небольшом расстоянии от машин, идущих впереди и сзади. Адаптивный круиз-контроль может решить, что передняя машина находится в опасной близости, и включить тормоза.
   – Ну и в чем здесь проблема? – удивился я. – Это, конечно, раздражает, но вроде ничем не грозит.
   – Нет, – пояснил инженер. – Это опасно, потому что едущий за вами водитель не ожидает, что после перестроения вы неожиданно затормозите. И если он не слишком внимателен, то может в вас врезаться. Но даже если этого не случится, ваша манера езды вряд ли ему понравится.
   – Возможно, – засмеялся он, – у машины должен быть специальный стоп-сигнал, который будет загораться, если тормоза включаются автоматически, предупреждая водителя сзади: эй, я не виноват, это моя машина тормозит.
   Инженер, конечно, шутил, но его слова указывают на различия в поведении людей и машин. Человек может вести себя по-разному, плохо или хорошо, обдуманно или беспечно. Машины более последовательны, они анализируют ситуацию в соответствии с логикой и правилами, на которые запрограммированы. Но в их действиях есть принципиальное ограничение: они воспринимают окружающий мир не так, как человек, у них нет «высших целей», и они не понимают целей и мотивов людей, с которыми должны взаимодействовать. Иными словами, машины не такие, как мы. В чем-то они нас превосходят, например в скорости, мощи, последовательности, а в чем-то уступают – прежде всего в навыках общения, в креативности и воображении. Машины лишены эмпатии и не способны понять, как их действия отразятся на окружающих. Из-за этих различий, связанных в первую очередь со способностью к общению и наличием эмпатии, и возникают проблемы. Более того, такие различия, а значит, и возникающие противоречия, носят фундаментальный характер, их нельзя устранить, изменив какой-нибудь алгоритм или добавив лишний датчик.