Билл Джой ПОЧЕМУ МЫ НЕ НУЖНЫ БУДУЩЕМУ

Билл Джой

ПОЧЕМУ МЫ НЕ НУЖНЫ БУДУЩЕМУ

В предыдущей статье Курцвейль делится оптимистическими прогнозами насчет потенциальных возможностей технологии, способных изменить знакомый нам мир. В этой статье Билл Джой, руководитель исследовательских работ в Sun и один из вождей революции, связанной с распространением Интернета, более мрачно смотрит на вещи. Разделяя мнение Курцвейля относительно тенденций будущего развития, Джой находит больше поводов для волнения. Ужасы «Матрицы» — это лишь одна сторона возможных кошмаров… Самые мощные технологии XXI века — робототехника, генная инженерия и нанотехнология — угрожают превратить людей в вымирающий вид.

С того момента, как я увлекся разработкой новых технологий, меня стала занимать их этическая сторона. Но лишь осенью 1998 года я с тревогой осознал, насколько велика опасность, подстерегающая нас в двадцать первом столетии. Я начал беспокоиться об этом с того дня, когда встретил Рея Курцвейля, заслуженно известного изобретателя первой читающей машины для слепых и многих других поразительных вещей.

Мы с Реем выступали на Телекосмической конференции Джорджа Джилдера. Я случайно повстречал его в баре отеля после того, как секции, где мы выступали, закончили свою работу. Я сидел с Джоном Серлем, философом из Беркли, занимающимся изучением сознания. Мы с ним мирно беседовали, и тут к нам подошел Рей. Завязался разговор, предмет которого не дает мне покоя по сей день.

Я пропустил выступление Рея и вообще ту дискуссию, в которой они с Джоном принимали участие на конференции. Они начали с того, на чем тогда остановились: Рей сказал, что скорость совершенствования технологий будет возрастать и в недалеком будущем мы станем роботами или объединимся с ними, — в общем, что-то в этом роде, — а Джон опроверг его, сказав, что это невозможно, поскольку роботы не могут обладать сознанием.

Когда я слышал подобные разговоры раньше, мне всегда казалось, что разумные роботы существуют лишь в произведениях научной фантастики. Но теперь от человека, которого я уважал, я слышал убедительные доказательства в пользу того, что появление таких роботов можно ожидать в ближайшем будущем. Я был захвачен врасплох. Особенно меня потрясла знаменитая способность Рея изображать и моделировать будущее. Я уже знал, что новые технологии, наподобие генной инженерии и нанотехноло-гии, наделяют нас силой, позволяющей переделывать мир, однако реалистичный и неотвратимый сценарий, по которому появятся обладающие интеллектом роботы, сразил меня наповал.

Пресытиться информацией о таких достижениях довольно легко. Почти каждый день мы слышим в новостях о каких-нибудь прорывах в сфере технологии или науки. Однако предсказание Рея было не из числа привычных. В баре отеля Рей дал мне часть препринта своей книги «Эпоха одухотворенных машин», которая вот-вот должна была появиться. В этой книге Рей описывал предсказанную им утопию. По его мнению, в будущем люди станут почти бессмертными, слившись с роботизированной технологией. Чтение препринта книги Рея лишь усилило мою тревогу. Я был уверен, что он должен представлять себе все связанные с такой перспективой опасности и учитывать возможность плохого исхода.

Больше всего меня встревожил отрывок, в котором подробно излагался следующий дистопичный сценарий:

Новый луддитcкий вызов

Прежде всего давайте допустим, что специалисты по вычислительной технике преуспели в разработке разумных машин, способных делать все лучше человека. Предполагается, что при таких условиях вся работа будет выполняться многочисленными высокоорганизованными системами машин, и при этом в каких-либо усилиях со стороны человека не будет необходимости. Здесь становятся возможными два варианта. Машины могут получить разрешение принимать свои решения без вмешательства человека, либо человеческий контроль над машинами может быть сохранен.

Если машинам позволят принимать решения самостоятельно, мы не можем делать никаких предположений относительно результатов этих решений, поскольку предугадать действия таких машин невозможно. Подчеркнем лишь то, что судьба человечества в этом случае окажется во власти машин. Можно было бы утверждать, что человечество никогда не будет настолько глупым, чтобы передать машинам всю полноту власти. Однако мы не рассчитываем ни на то, что люди добровольно отдадут власть машинам, ни на то, что машины умышленно захватят власть. Мы как раз предполагаем, что человечество может с легкостью дойти до такой зависимости от машин, что у него не останется другого реального выбора, кроме как соглашаться со всеми решениями машин. По мере того как общество и проблемы, с которыми оно сталкивается, будут усложняться, а машины становиться все умнее и умнее, люди будут позволять машинам принимать за них все больше решений просто потому, что решения, принятые машинами, будут давать лучшие результаты, чем решения, принятые самими людьми. В конечном итоге может настать такой момент, когда решения, необходимые для поддержания системы в рабочем состоянии, достигнут такой сложности, что люди окажутся не способны принимать их. На этом этапе машины приобретут эффективный контроль. Люди просто не смогут выключить их, потому что их зависимость от машин будет настолько сильна, что отключение машин будет равнозначно самоубийству. С другой стороны, возможно, что люди сохранят контроль над машинами. В этом случае среднестатистический человек может контролировать определенные машины, находящиеся в его личном пользовании, например свою машину или свой компьютер, в то же время контроль над крупными системами машин будет находиться в руках крайне немногочисленной элиты — прямо как сейчас, но только с двумя отличиями. Благодаря улучшенной технологии элита приобретет больший контроль над массами, а поскольку человеческий труд перестанет быть необходимостью, массы станут ненужным, бесполезным бременем для системы. Если элита будет отличаться беспощадностью, она может просто решить ликвидировать большую часть человечества. Если элите будет свойствен гуманизм, она может воспользоваться пропагандой или другими психологическими либо биологическими приемами для сокращения уровня рождаемости до такого уровня, при котором большая часть человечества вымрет сама, оставив мир элите. Есть другой вариант. Если элита будет состоять из мягкосердечных либералов, они могут начать играть роль доброго пастыря по отношению к остальному человечеству. Они будут следить за тем, чтобы удовлетворялись физические потребности всех и каждого, чтобы все дети росли в психологически безопасных условиях, чтобы у каждого человека было полезное хобби и он не слонялся без дела, и чтобы каждый, если вдруг почувствует себя неудовлетворенным, получал соответствующее «лечение», помогающее ему выздороветь и избавиться от этой «проблемы». Разумеется, человеческая жизнь станет настолько бесцельной, что людей придется настраивать биологически или психологически, либо ликвидировать их потребность в обретении власти. Либо заставить их сублимировать стремление к власти в какое-нибудь безвредное увлечение. Возможно, эти управляемые человеческие существа и будут счастливы в таком обществе, однако почти точно можно сказать, что они не будут свободны. Людей сведут до уровня домашних животных.[182]

В книге этот отрывок дается так, что, лишь прочтя его целиком, вы узнаете, что его автор — Теодор Качинский (Унабомбер). Я не защищаю Качинского. За семнадцатилетнюю террористическую кампанию его бомбы лишили жизни троих и причинили ранения многим другим людям. Во время взрыва одной из его бомб был серьезно ранен мой друг Дэвид Джелернтер, один из самых выдающихся и проницательных специалистов по вычислительной технике нашего времени. Как и многие мои коллеги, я чувствовал, что легко могу стать следующей мишенью Унабомбера.

Действия Качинского отличались крайней жестокостью и, на мой взгляд, являлись преступным безумием. Он явный луддит, однако просто констатировать этот факт не значит опровергнуть его аргументы. Мне было трудно это признать, но я увидел нечто убедительное в рассуждениях, изложенных в вышеприведенном отрывке. И я почувствовал себя обязанным опровергнуть их.

В мрачных предвидениях Качинского описываются непреднамеренные последствия, широко известная проблема в разработке и использовании технологий, та самая, которая имеет очевидное отношение к закону Мерфи — «если что-то может пойти не так, то это обязательно случится». (На самом деле это закон Финейгла, что само по себе уже доказывает, что Финейгл был прав.) Наше злоупотребление антибиотиками привело к тому, что может оказаться самой большой проблемой на данный момент, — к появлению устойчивых к антибиотикам и куда более опасных бактерий. То же самое случилось, когда были предприняты попытки уничтожить малярийных москитов при помощи ДДТ, что вынудило их развить устойчивость к этому препарату. Более того — малярийные паразиты приобрели гены, посредством которых наследуется устойчивость ко многим химическим веществам.[183]

Причина многих подобных сюрпризов, по-видимому, ясна: дело в том, что речь идет о сложных системах, между частями которых существует взаимодействие и обратная связь. Любые изменения в подобной системе вызовут целый поток труднопредсказуемых последствий; это утверждение особенно справедливо для деятельности человека.

Я начал с того, что показал друзьям цитату Качинского из книги «Эпоха одухотворенных машин». Я дал им книгу Курцвейля, открыв ее на нужном месте, а потом отметил их реакцию, когда они узнали, кому принадлежит авторство этого отрывка. Примерно в это же время я открыл для себя книгу Ганса Моравека «Робот: От простой машины к трансцедентному разуму». Моравек является одним из ведущих исследователей в области робототехники, а также основателем самой крупной в мире исследовательской программы в рамках робототехники. Эта программа запущена в университете Карнеги-Меллон. Книга Моравека дала мне еще больше материала для апробирования его на моих друзьях. Он удивительным образом подтверждал доводы Качинского. К примеру:

Вскоре (начало XXI века)

Биологические виды почти никогда не выживают после встречи с превосходящим их соперником. Десять миллионов лет назад Южная и Северная Америки были разделены затонувшим Панамским перешейком. Подобно сегодняшней Австралии, Южная Америка была тогда населена сумчатыми млекопитающими, включая сумчатых животных, похожих на современных крыс, оленей и тигров. Когда перешеек, соединявший Северную Америку с Южной, поднялся, северным плацентарным видам, обладавшим чуть более эффективным метаболизмом, а также репродуктивной и нервной системами, потребовалось всего лишь несколько тысяч лет для того, чтобы вытеснить и уничтожить почти всех южных сумчатых.

На абсолютно свободном рынке более совершенные роботы, без сомнения, будут воздействовать на людей так, как североамериканские плацентарные виды на южноамериканских сумчатых (и точно так же, как люди, уничтожившие бесчисленное множество биологических видов). Завязанные на робототехнику отрасли будут яростно конкурировать между собой за сырье, энергию и пространство, в результате чего цена на них выйдет за пределы возможностей человека. Поскольку биологические люди не смогут позволить себе предметы первой необходимости, они будут лишены права на существование. Не исключено, что здесь есть какой-то выход, поскольку мы живем в условиях не абсолютно свободного рынка. Правительство сдерживает нерыночное поведение, особенно посредством сбора налогов. Если применять эти методы сдерживания благоразумно, то это поможет поддерживать жизнь людей на высоком уровне благодаря плодам труда роботов, причем, возможно, в течение долгого времени.

Всего-то мрачные фантазии автора, а у читателя уже дрожат коленки. Далее Моравек пишет, что нашей главной заботой в XXI веке станет «обеспечение непрерывного сотрудничества с отраслями робототехнической промышленности» путем принятия законов, предписывающих им «хорошее поведение».[184] Моравек не упускает случая описать, насколько опасным может оказаться человек, «однажды трансформированный в ничем не ограниченного сверхразумного робота». По мнению Моравека, в конечном итоге роботы сменят людей, и человечеству придется столкнуться с вымиранием.

Я решил, что пришла пора переговорить с моим другом Дэнни Хиллисом. Дэнни прославился как соучредитель Thinking Machine Corporation, в которой был создан очень мощный параллельный суперкомпьютер. Несмотря на то что моя сегодняшняя должность звучит как руководитель исследовательских работ в компании Sun Microsystems, я в большей степени практик, чем ученый. Так что я уважаю познания Дэнни в области информатики и физики больше, чем любого другого знакомого мне человека. К тому же Дэнни — весьма уважаемый футуролог, делающий долгосрочные прогнозы. Четыре года назад он основал Long Now Foundation. Фонд занимается созданием часов, способных функционировать 10 000 лет, с целью привлечь внимание к ничтожно малой продолжительности существования нашего общества.[185]

Так что я полетел в Лос-Анджелес. У меня была конкретная цель — отобедать с Дэнни и его женой Пэти. Я изложил им все свои соображения, заостряя внимание на идеях и эпизодах, так меня волновавших. Свой ответ, особенно по отношению к версии Курцвейля относительно слияния людей с роботами, Дэнни сформулировал быстро. Этот ответ порядком удивил меня. Дэнни сказал, что изменения будут происходить настолько постепенно, что мы свыкнемся с ними.

Ответ этот не так уж сильно потряс меня. Я уже видел цитату Дэнни, приведенную в книге Курцвейля. «Я точно так же люблю свое тело, как любой другой, но если я смогу жить двести лет с телом из кремния, то я пойду на это», — сказал Дэнни. Похоже, он вполне соглашался с этим процессом и связанным с ним риском, тогда как я — нет.

Беседуя и размышляя о Курцвейле, Качинском и Моравеке, я неожиданно вспомнил роман, который прочел почти двадцать лет назад. Это был роман Фрэнка Герберта «Белая чума». Герой этого произведения, молекулярный биолог, сходит с ума, потому что его семья гибнет в результате бессмысленного убийства. Охваченный жаждой мести, он выводит и распространяет новых и очень заразных возбудителей чумы, убивающих в больших масштабах, но избирательно. (Нам повезло, что Качинский оказался математиком, а не молекулярным биологом.) Мне также вспомнился Борг из «Звездного пути», улей, населенный частично биологическими, частично роботизированными созданиями с сильным деструктивным началом. Описание ужасов вроде Борга — это главный элемент научной фантастики. Почему же меня не заботили подобные дисто-пические перспективы роботизации раньше? Почему эти кошмарные сценарии не привлекли внимания остальных людей?

В какой-то степени ответ на этот вопрос, конечно, лежит в нашем отношении ко всему новому — в нашем пристрастии к мгновенной близости и полному согласию. Несмотря на то что мы привыкли жить в условиях, когда крупные научные открытия стали почти обыденными, нам необходимо свыкнуться с тем фактом, что самые привлекательные технологии XXI века — робототехника, генная инженерия и нанотехнологии — представляют качественно иную угрозу, чем ранее освоенные человеком технологии. Конкретно говоря, роботы, искусственно запрограммированные организмы и наноботы отличаются опасным свойством: они могут самовоспроизводиться. Бомба взрывается лишь однажды, а вот один бот может расплодиться и быстро выйти из-под контроля.

В основном моя работа на протяжении последних двадцати пяти лет была связана с организацией сетей вычислительных машин, в которых отправление и получение сообщений создает возможность для неуправляемого дублирования. Но хотя дублирование в компьютере или в компьютерной сети и может доставить какие-то неприятности, в худшем случае оно выводит машину из строя либо разрушает сеть или сетевую службу. Неконтролируемое же самовоспроизводство, характерное для передовых технологий, угрожает куда большим риском — риском нанесения существенного вреда в физическом мире.

Кроме того, каждая из этих технологий предлагает баснословные перспективы: скорое бессмертие, которое предвидит Курцвейль в своих робототехнических мечтах, манит нас; генная инженерия может вскоре обеспечить лечение, если не полное уничтожение, большинства болезней; а нанотехнология и наномедицина могут справляться с еще большим количеством заболеваний. Вместе они могли бы значительно продлить среднюю продолжительность нашей жизни и улучшить ее качество. В то же время результаты мелких, лично ощутимых продвижений, совершаемых благодаря каждой из этих технологий, ведут к накоплению большой власти и, соответственно, возникновению большой опасности.

Чем отличался XX век? Разумеется, технологии, лежавшие в основе оружия массового поражения — ядерного, биологического и химического (NBC-технологии), были мощными, а оружие представляло собой чудовищную угрозу. Однако создание ядерного оружия требовало, по крайней мере какое-то время, доступа к двум редким — и в действительности не всегда имевшимся в распоряжении — источникам: сырью и тщательно защищаемой информации. Программы по созданию биологического и химического оружия также требовали масштабной деятельности.

Технологии XXI века — генетика, нанотехнология и робототехника (GNR-технологии) — настолько мощны, что могут вызвать новые разновидности катастроф и злоупотреблений. В первую очередь опасность представляет доступность этих технологий отдельным лицам или небольшим группам. Им не потребуется много оборудования или редкое сырье. Одно лишь знание сделает возможным использование этих технологий.

Таким образом, мы получаем возможность создавать не просто оружие массового уничтожения, а формулировать знание, позволяющее производить массовое уничтожение. Его разрушительная сила будет значительно усилена способностью самовоспроизводства.

Думаю, не будет преувеличением сказать, что мы находимся на пике дальнейшего усовершенствования предельного зла — зла, возможности которого выходят далеко за пределы оружия массового уничтожения, находящегося в распоряжении государств-наций, и могут привести к непредсказуемому и ужасному могуществу отдельных экстремистов.

Моя работа с компьютерами никогда не наводила меня на мысль о том, что мне придется столкнуться с подобными проблемами.

С самого начала моей жизнью руководила потребность задавать вопросы и находить на них ответы. В возрасте трех лет я уже умел читать, поэтому отец отвел меня в начальную школу. Меня усадили на колени к директору, и я прочел ему какой-то текст. В школу я пошел рано, потом стал «перепрыгивать» через классы и с головой уходил в книги: мною двигало невероятное желание познавать. Я задавал много вопросов и нередко сбивал взрослых с толку.

Подростком меня очень интересовала наука и технология. Я хотел стать радиолюбителем, но у меня не было денег для покупки необходимого оборудования. Для той поры радиолюбительство было подобно Интернету: на него быстро «подсаживались», и в то же время это было одинокое занятие. Помимо финансовых трудностей, моему намерению помешала твердая позиция моей матери. Она решила, что я ни за что не буду радиолюбителем. Я и без того был достаточно замкнут.

Может, у меня и не было много близких друзей, зато меня переполняли идеи. К началу средней школы я открыл для себя великих авторов научно-фантастических произведений. Особенно мне запомнились такие произведения, как «Будет скафандр — будут и путешествия» Хайнлайна и «Я, робот» Азимова, где были сформулированы три закона робототехники. Я был очарован описаниями космических путешествий, и мне хотелось иметь телескоп для того, чтобы смотреть на звезды. Поскольку у меня не было денег на покупку телескопа или его сборку, вместо этого я стал искать в библиотеке книги по конструированию телескопов и штудировать их. Я парил в своем воображении.

По четвергам вечером родители уходили играть в боулинг, и мы, дети, оставались дома одни. В один из таких вечеров я посмотрел оригинальную версию «Звездного пути» Джина Родденберри. Эта программа произвела на меня неизгладимое впечатление. Я согласился с ее идеей о том, что у человечества есть будущее в космосе, на манер вестернов — с великими героями и приключениями. Представление Родденберри о будущих столетиях было наполнено твердыми моральными ценностями, выраженными в таких закодированных посланиях, как «главная директива» — не вмешиваться в судьбу цивилизаций с менее развитой технологией. Это намерение казалось мне необычайно привлекательным, потому что получалось, что будущее будут определять люди с определенными духовными ориентирами, а вовсе не роботы. Так что мечта Родденберри стала и моей.

Учась в средней школе, я преуспел в математике, а поступив в Мичиганский университет на инженерный факультет, я записался на продвинутый курс высшей математики. Решение математических задачек было захватывающим испытанием для меня. Однако когда я открыл для себя компьютеры, то нашел нечто более интересное — машину, в которую можно было заложить программу. И уже программа пыталась решить задачу, после чего машина быстро проверяла решение. У компьютера было четкое понимание правильного и неправильного, истинного и ложного. Были ли мои идеи верными? Машина могла бы ответить на этот вопрос. Это было очень соблазнительно.

Мне повезло, и я получил работу, связанную с программированием первых суперкомпьютеров, и открыл поразительную способность больших машин к числовому моделированию сложных систем. Когда в середине 1970-х я поступил в аспирантуру Калифорнийского университета в Беркли, я начал поздно ложиться спать и часто просиживал всю ночь, изобретая новые миры внутри машин. Решая задачи. Сочиняя программы, которые так и напрашивались на то, чтобы их написали.

В биографическом романе о Микеланджело «Муки и радости», принадлежащем перу Ирвинга Стоуна, автор очень ярко описал, как Микеланджело высекал свои статуи из камня, «разбивая чары мрамора», следуя за образами, которые были у него в уме.[186] В мои самые экстатические моменты программа возникала на компьютере так же, как статуя под рукой Микеланджело. Однажды мне показалось, будто я ощущаю, что программа уже в машине и ждет, чтобы ее выпустили на волю. Бессонные ночи казались малой ценой, которую надо было заплатить для освобождения программы — для того, чтобы придать идеям конкретную форму.

Стоун так описывает протекание творческого процесса у Микеланджело: «Он работал не на основе набросков или глиняных моделей; они все отставлялись в сторону. Он высекал скульптуру по образу, который был у него в голове. Его глаза и руки знали, где должна пройти каждая линия, каждый изгиб и возникнуть масса и на какой глубине в сердце камня нужно высекать барельеф» (Stone, p. 144).

После нескольких лет обучения в Беркли я стал отсылать некоторые написанные мною программы — учебную систему для Паскаль, утилиты для UNIX и текстовый редактор под названием «vi» (который, к моему вящему удивлению, все еще используется, хотя с момента его создания прошло больше двадцати лет) — другим людям, у которых были похожие на мой небольшие миникомпьютеры PDP-11 и VAX. Эти достижения в области программного обеспечения в конечном итоге привели к созданию в Беркли своей версии операционной системы UNIX, ставшей личным «успешным бедствием»: так много людей жаждало ее, что я рисковал никогда не закончить свою докторскую. Вместо этого я получил работу в DARPA,[187] отладив берклийскую версию системы UNIX для работы с Интернетом и сделав так, чтобы она заслуживала доверия и хорошо поддерживала большие исследовательские приложения. Все это доставило мне немало удовольствия и было по достоинству вознаграждено. И, честно говоря, роботы не встречались мне ни там, ни где бы то ни было поблизости.

И все-таки к началу 1980-х годов я находился в кризисе. Релизы UNIX были очень успешными, и вскоре мой небольшой проект получил деньги и кое-какой персонал. Однако в Беркли всегда было больше проблем с офисным пространством, чем с финансированием. У них не нашлось вспомогательного помещения, необходимого для реализации проекта. Так что, когда на горизонте появились другие учредители будущей Sun Microsystems, я не упустил этот шанс. Благодаря долгим часам работы в Sun рождались первые рабочие станции и персональные компьютеры. Я наслаждался тем, что принимал участи в разработке технологий, позволяющих создавать усовершенствованные микропроцессоры, и таких Интернет-технологий, как Java и Jini.

Надеюсь, что благодаря всему вышесказанному понятно, что я не луддит. Скорее, наоборот. Я всегда верил в ценность научно-исследовательского поиска, стремящегося к истине, и в способность великих инженерных разработок способствовать материальному прогрессу. Промышленный переворот неизмеримо улучшил повседневную жизнь людей за последнюю пару столетий, и я всегда ожидал, что моя собственная карьера будет связана с выработкой результативных решений реальных проблем.

И я не был разочарован. Моя работа оказалась даже более плодотворной, чем я когда-либо мог надеяться, и ее результаты использовались гораздо шире, чем я мог объективно ожидать. Последние двадцать лет я потратил на поиск способа, при помощи которого можно сделать компьютеры настолько надежными, насколько мне это необходимо (пока они еще не совсем соответствуют этому представлению). Кроме того, я пытался сделать их простыми в использовании (здесь я добился еще меньшего успеха). Несмотря на некоторый прогресс, проблемы, остающиеся на повестке дня, кажутся еще более устрашающими.

Но хотя я и осознавал моральные дилеммы, связанные с последствиями использования технологии в таких областях, как разработка вооружения, я не ожидал, что столкнусь с теми же затруднениями в области своих исследований. Или, по крайней мере, столкнусь так скоро.

Пожалуй, всегда трудно разглядеть отдаленные последствия, когда ты находишься в самом вихре перемен. Неспособность осознать последствия наших изобретений, пока мы пребываем в восторге от своих открытий и новаторских разработок, похоже, является обычной ошибкой ученых и технологов; нас так долго подталкивало всеохватное желание познать природу, что у нас не оставалось времени заметить, как технологический прогресс начал жить своей собственной жизнью.

Мне потребовалось немало времени на осознание того, что крупные прорывы в области информационных технологий происходят не благодаря работе специалистов по вычислительной технике, разработчиков архитектуры вычислительных машин или электротехников, а благодаря труду физиков. Физики Стивен Уол-фрам и Бросл Хасслакер познакомили меня в начале 1980-х с теорией хаоса и нелинейными системами. В 1990-х из разговоров с Дэнни Хиллисом, биологом Стюартом Кауффманом, лауреатом Нобелевской премии физиком Мюрреем Гелл-Манном и другими я узнал о сложных системах. Совсем недавно Хасслакер вместе с электротехником и физиком-экспериментатором Марком Ридом просветили меня насчет невероятных возможностей молекулярной электроники.

В ходе моей собственной работы в качестве соразработчи-ка архитектуры трех микропроцессоров — SPARC, picoJava и MAJC — и разработчика нескольких реализаций на их основе мне представилась возможность основательно и непосредственно познакомиться с законом Мура. Целыми десятилетиями закон Мура верно предсказывал экспоненциальное ускорение, с которым совершенствовалась полупроводниковая технология. Вплоть до последнего года я считал, что скорость прогрессивных достижений, предсказанная законом Мура, будет держаться примерно лишь до 2010 года, когда мы начнем наталкиваться на физические ограничения. Для меня было вовсе не очевидно, что для поддержания беспрепятственного развития прогресса появится новая технология и произойдет это вовремя.

Однако благодаря быстрому и радикальному прогрессу в молекулярной электронике, достигнутому в последнее время — когда напыленные при помощи литографии транзисторы были заменены отдельными атомами и молекулами, — и связанными с молекулярной электроникой нанотехнологиями мы должны суметь покрыть или превысить предсказанный законом Мура уровень прогресса за следующие тридцать лет. Весьма вероятно, что к 2030 году мы сможем в большом количестве создавать машины, мощность которых будет превышать мощность сегодняшних компьютеров в миллион раз. Этого будет достаточно, чтобы воплотить грезы Курцвейля и Моравека в жизнь.

Если эти огромные вычислительные возможности совместить с достижениями в разработке методов манипуляции в физических науках, а также с новыми глубокими открытиями в области генетики, чудовищный импульс, направленный на тотальную трансформацию, будет неудержим. Это сочетание открывает возможность полной переделки мира в хорошую или плохую сторону: человек скоро приложит руку к процессам воспроизводства и эволюции, которые раньше ограничивались пределами естественного мира.

Когда я разрабатывал программное обеспечение и микропроцессоры, у меня никогда не было чувства, будто я создаю разумную машину. Софт и хардвер настолько хрупки, а возможности машины, позволяющие ей «думать», с такой очевидностью отсутствуют, что возможность появления разумной машины всегда казалась мне делом очень далекого будущего.

Но теперь с учетом перспективы достижения колоссальных вычислительных мощностей лет за тридцать сама собой напрашивается новая идея: возможно, я работаю над созданием инструментов, которые позволят разработать технологию, способную заменить наш вид. И как я себя чувствую при этой мысли? Мне очень неуютно. При том, что всю свою карьеру я боролся за создание надежных систем программного обеспечения, мне кажется, что вероятнее всего будущее будет не настолько радужным, как кое-кто может себе представлять. Мой личный опыт подсказывает мне, что мы склонны переоценивать свои способности контролировать новые технологии.

Заполучив в свое распоряжение невероятные возможности новых технологий, не должны ли мы задаться вопросом о том, как нам лучше всего сосуществовать с ними? И если наше исчезновение с лица земли является вероятным или даже возможным итогом развития наших технологий, разве нам не следует двигаться вперед с большей осторожностью?

Мечта о роботах в первую очередь подразумевает, что разумные машины смогут делать за нас всю работу, освободив все наше время для досуга и вернув нас в Эдем. В то же время, излагая историю подобных идей в работе «Дарвин среди машин», Джордж Дайсон предупреждает: «В игре жизни и эволюции принимают участие три игрока: люди, природа и машины. Я твердо стою на позиции природы. Однако я подозреваю, что природа занимает сторону машин». Как мы видели выше, с этим согласен и Моравек, полагающий, что мы можем и не пережить встречу с видом роботов, превосходящих нас.

Как скоро можно было бы создать разумного робота? Судя по всему, надвигающиеся прорывы в области вычислительных технологий позволяют сделать это к 2030 году. А от разумного робота остается всего лишь маленький шаг до создания самостоятельного вида роботов, то есть разумных роботов, способных воспроизводить самих себя.

Вторая мечта робототехники предполагает, что мы постепенно заменим самих себя своей роботизированной технологией, достигнув почти бессмертия при помощи загрузки своего сознания в машину; именно к этому процессу, по мнению Дэнни Хиллиса, мы с течением времени привыкнем, и именно этот процесс со вкусом описывает Рей Курцвейль в книге «Эпоха одухотворенных машин».[188]

Но если мы загрузимся в нашу технологию, сколько остается шансов того, что мы останемся после этого сами собой или даже людьми? Куда вероятнее, как мне кажется, что роботизированное существование не будет похоже на человеческое бытие в любом нашем понимании, что роботы ни в каком отношении не будут нашими детьми, что на этом пути мы можем утратить нашу человеческую природу.

Генная инженерия обещает настоящую революцию в сельском хозяйстве: увеличить урожаи и сократить использование пестицидов; вывести десятки тысяч новых видов бактерий, растений, вирусов и животных; заменить воспроизводство или дополнить его клонированием; придумать способы лечения многих заболеваний; увеличить продолжительность жизни и ее качество и многое, многое другое. Сейчас мы знаем наверняка, что эти кардинальные перемены в биологических науках неизбежны, и они бросят вызов всем нашим представлениям о жизни.

Такие технологии, как клонирование людей, особенно заставляют нас задуматься о серьезных морально-этических проблемах, с которыми мы сталкиваемся. Например, если бы мы создали на основе самих себя несколько отдельных и неравных видов, воспользовавшись возможностями генной инженерии, тем самым мы поставили бы под угрозу само понимание равенства, которое является краеугольным камнем нашей демократии.

Если принять во внимание невероятные возможности генной инженерии, тогда можно не удивляться тому, что ее применение ставит перед нами важные вопросы безопасности. Недавно мой друг Эмори Ловинс совместно с Хантером Ловинсом написал редакционную статью. В этой статье отдельные из опасных последствий использования генной инженерии рассматриваются с точки зрения экологии. Авторов статьи в том числе тревожит, что «новая ботаника оценивает развитие растений по их экономическому, а не эволюционному успеху».[189] На протяжении долгого времени Эмори занимался изучением эффективности использования энергии и ресурсов, используя системный подход к созданным человеком системам. Этот подход часто помогает находить простые и разумные решения проблем, которые кажутся трудными, и он с пользой применяется и в этой области.

Ознакомившись со статьей Ловинса, я увидел в New York Times статью Грегга Истербрука о генетически улучшенных продуктах под заголовком «Пища будущего: когда-нибудь в рисе будет содержаться витамин А. Если луддиты не победят».

Принадлежат ли Эмори и Хантер Ловинс к луддитам? Конечно нет. Я считаю, что мы все согласились бы с тем, что золотой рис, содержащий витамин А, — это, пожалуй, хорошая штука, если этот рис выводить с надлежащей осторожностью и с учетом возможных опасных последствий, связанных с переносом генов за пределы конкретных видов.

Понимание опасностей, неотъемлемо присущих генной инженерии, начинает возрастать, как сказано в статье Ловинсов. Общественность осознает их и тревожится по поводу генетически улучшенных продуктов. Судя по всему, люди отвергают идею о том, что можно выпускать подобные продукты без соответствующей маркировки.

Однако генная инженерия успела уйти далеко вперед. Как отмечают Ловинсы, Министерство сельского хозяйства США уже одобрило неограниченное производство около пятидесяти генетически улучшенных сортов зерновых. В наше время более половины мирового урожая соевых бобов и треть кукурузы содержат гены, внедренные из других форм жизни.

Хотя здесь существует еще много важных проблем, мой собственный интерес к генной инженерии более узок: генная инженерия волнует меня потому, что она дает возможность — это может быть военная разработка, случайность или намеренный террористический акт — создать «белую чуму».

Многие чудеса нанотехнологии впервые описал в своем выступлении 1959 года нобелевский лауреат, физик Ричард Фейн-ман. Впоследствии текст его выступления был опубликован под заголовком «На дне есть много места». В середине 1980-х на меня оказала огромное впечатление книга Эрика Дрекслера «Машины созидания», в которой он прекрасно описал, как манипулирование материей на атомном уровне может создать утопическое будущее всеобщего изобилия. В таком обществе все производится задешево, и почти со всеми болезнями, которые только можно вообразить, или физическими проблемами справляются при помощи нанотехнологии и искусственных интеллектов.

В следующей книге под названием «Раздвигая пределы будущего: Нанотехнологическая революция» (здесь Дрекслер выступил в качестве соавтора) описываются отдельные изменения, которые могут произойти в мире, где мы будем располагать молекулярными ассемблерами.[190] Ассемблеры позволили бы нам получать невероятно дешевую солнечную энергию, лечить рак и простуду, стимулируя иммунную систему человека, существенным образом помочь очистить окружающую среду от загрязнения, производить потрясающе недорогие карманные суперкомпьютеры — на самом деле ассемблеры производили бы любой продукт по цене не больше, чем цена изделий из дерева. Космические полеты стали бы доступнее сегодняшних трансокеанских путешествий. Можно было бы возродить исчезнувшие биологические виды.

Я помню, что после прочтения «Машин созидания» я хорошо относился к нанотехнологи. Как технологу она давала мне ощущение спокойствия. Другими словами, нанотехнология показывала нам, что немыслимый прогресс возможен и, наверное, неизбежен. Раз нанотехнология была нашим будущим, я не чувствовал особого давления со стороны многочисленных проблем, требующих решения в настоящем. Я бы добрался до утопичного будущего Дрекслера в свое время. Возможно, я наслаждался жизнью больше, живя здесь и сейчас. С учетом таких представлений о будущем было бессмысленно не спать ночами.

Кроме того, взгляд Дрекслера на будущее позволил мне изрядно повеселиться. Время от времени я принимался разрисовывать чудеса нанотехнологии другим, кто еще не слышал о них. Подразнив их всеми диковинными вещами, описанными Дрекс-лером, я давал слушателям свое собственное домашнее задание: «Используйте нанотехнологию для создания вампира; в качестве дополнительного задания изобретите противоядие против него».

Все эти чудесные достижения несли с собой и явные опасности. Я остро осознавал их. Как сказал я на конференции по нанотехнологии в 1989 году: «Мы не можем просто заниматься своей наукой и не беспокоиться об этических проблемах».[191] Однако мои последующие беседы с физиками убедили меня в том, что нанотехнология может не заработать — или, по крайней мере, в рабочее состояние она придет нескоро. Вскоре после конференции я поехал в Колорадо, в «норку скунса»,[192] которую сам же основал. Мое внимание переключилось с программного обеспечения на Интернет. Особенно меня занимали идеи, впоследствии воплотившиеся в таких продуктах, как Java и Jini.

А потом, прошлым летом, Бросл Хасслакер сообщил мне, что молекулярная электроника наноуровня перешла в практическую плоскость. Это была настоящая новость, по крайней мере лично для меня и, как мне думается, для многих людей. Она радикально изменило мое мнение о нанотехнологии и заставила обратиться к «Машинам созидания». Перечитывая книгу Дрекслера спустя более десяти лет, я был потрясен, поняв, насколько мало я запомнил из длинной главы под названием «Опасности и надежды», где обсуждалась возможность того, что нанотехнологии могут стать «машинами разрушения». И действительно — когда я перечитываю эти предостерегающие строки сегодня, я испытываю потрясение, осознавая, насколько наивными кажутся некоторые меры предосторожности, предложенные Дрекслером, и насколько серьезнее, на мой взгляд, эта опасность сегодня, чем даже по оценкам Дрекслера. (Предвидев и описав многие технические и политические проблемы, касающиеся нанотехнологии, в конце 1980-х Дрекслер начал работать в Институте Форсайта, чтобы «помочь подготовить общество к спрогнозированным передовым технологиям» — самое главное, к нанотехнологии.)

Похоже, весьма вероятно, что несущий с собой многие возможности прорыв к ассемблерам произойдет в течение следующих двадцати лет. Следует ожидать быстрое развитие молекулярной электроники — нового раздела нанотехнологии, где отдельные молекулы являются элементами схемы. За это десятилетие молекулярная электроника станет чрезвычайно прибыльной отраслью, что вызовет увеличение инвестиций во всю сферу нанотехнологии.

К сожалению, как и в случае с ядерной технологией, куда легче изобретать деструктивные способы применения нанотехнологии, чем конструктивные. Очевидно, что нанотехнологию можно использовать в военных и террористических целях; чтобы запустить нанотехнологическое устройство массового уничтожения, не надо идти на самоубийство. Можно сделать так, чтобы подобные устройства работали избирательно, поражая, к примеру, лишь определенную географическую территорию либо группу людей с определенным набором генов.

Непосредственный результат фаустовской сделки по обретению могущества через нанотехнологию состоит в возникновении серьезнейшей опасности — риска того, что мы можем уничтожить биосферу, от которой зависит жизнь на планете. Как объяснял Дрекслер:

«Растения» с «листьями», чья эффективность не превышает сегодняшние солнечные элементы, могли бы вытеснить настоящие растения, заполонив биосферу немыслимой листвой. Буйные всеядные «бактерии» могли бы вытеснить настоящих бактерий: они могли бы распространяться как разносимая ветром пыльца, стремительно размножаться и превратить биосферу в пыль за считанные дни. Опасные репликаторы тоже могли бы с легкостью оказаться непокорными, небольшими и быстро распространяющимися, и их будет невозможно остановить — по крайней мере, если мы не подготовимся должным образом. У нас и без того немало проблем со сдерживанием вирусов и плодовых мушек.

Среди знатоков нанотехнологии эта угроза приобрела название «проблема серой слизи». Хотя массы неконтролируемых репликаторов не обязательно могут оказаться серыми или липкими, термин «серая слизь» подчеркивает, что репликаторы, способные уничтожить жизнь, могут оказаться менее приятными, чем обыкновенные сорняки. Они могут стоять выше по эволюционной лестнице, но это не обязательно делает их ценными.

Угроза «серой слизи» четко говорит об одном: мы не можем допустить, чтобы с воспроизводящимися ассемблерами происходили катастрофы.

«Серая слизь» была бы, без сомнения, угнетающим завершением нашей человеческой истории на Земле. Это было бы гораздо хуже простого огня или льда или чего-нибудь такого, что может произойти в результате обычной аварии в лаборатории.[193] Мдаа!..

Именно сила деструктивного воспроизводства, кроющаяся в генетике, нанотехнологии и робототехнике, заставляет нас делать перерыв. Самовоспроизводство — это образ действия генной инженерии, которая использует клеточную структуру для воспроизводства облика клетки. Именно самовоспроизводство представляет собой главную опасность, лежащую в основе угрозы «серой слизи» в нанотехнологии. Истории об обезумевших роботах наподобие Борга, размножающихся либо мутирующих для того, чтобы выйти из-под ограничений, заложенных в них их создателями, заняли прочное место в наших научно-фантастических книгах и фильмах. Может даже статься так, что самовоспроизводство — более фундаментальный процесс, чем мы думаем. Следовательно, его труднее — или даже невозможно — контролировать. В недавней статье Стюарта Кауффмана «Самовоспроизводство: Даже пептиды делают это», опубликованной в журнале Nature, обсуждается следующее открытие: оказывается, состоящий из 32 аминокислот пептид способен «автокатализировать свой собственный синтез». Мы не знаем, насколько распространена такая способность, однако Кауффман отмечает, что это может намекать на «путь к самовоспроизводящимся молекулярным системам на основе гораздо более широкой, чем парные основания нуклеиновых кислот по принципу комплементарности Уотсона-Крика».[194]

На самом деле мы уже давно располагаем не вызывающими сомнений предупреждениями об опасностях, которые таятся в широком распространении знания о GNR-технологиях. Нам также известно о возможности такого знания в одиночку спровоцировать массовое уничтожение. Однако эти предупреждения не были широко опубликованы, так что публичное обсуждение этой проблемы явно не соответствовало действительному положению дел. Публиковать предупреждения о грозящих опасностях — дело невыгодное.

NBC-технологии, использовавшиеся в оружии массового уничтожения в XX веке, были и остаются, в основном, военными и разрабатываемыми в правительственных лабораториях. GNR-тех-нологии XXI века резко отличаются от своих предшественниц: их явно можно использовать в коммерческих целях, и за редким исключением они разрабатываются в различных частных корпорациях. В наш век триумфальной коммерциализации технология — вместе со своей служанкой наукой — обеспечивает нас чередою почти волшебных изобретений, обладающих феноменальной эффективностью. Мы активно добиваемся осуществления обещаний, заявленных этими новаторскими технологиями, в рамках теперь уже не вызывающей возражений системы глобального капитализма, его разнообразных экономических стимулов и давления конкуренции.

Впервые в истории нашей планеты настал такой момент, когда в результате собственных сознательных действий наш вид начинает представлять опасность для самого себя — равно как и для огромного количества других видов.