§ 5. Робототехника: риски и угрозы

Энциклопедия «Британика» определяет робота как «любую автоматическую машину, выполняющую работу человека». В соответствии с определением Международной федерации робототехники (International Federation of Robotics, IFR) «робот – это рабочий механизм, программируемый по нескольким осям с некоторой степенью автономности и способный передвигаться в пределах определенной среды, выполняя поставленные задачи. В представлении большинства ученых и практиков робот – «любая машина, способная воспринимать окружающую среду и реагировать на нее на основе самостоятельно принимаемых решений»[16].

Ключевым отличием роботов от других машин считается «автономность»: робот способен интерпретировать среду, в которой находится, и адаптироваться под поставленные задачи. Роботы эволюционируют от запрограммированного автоматизма к полуавтономным и более автономным сложным системам. Полностью автономные системы могут действовать самостоятельно и принимать «решения» без участия человека.

Исходя из общего определения, дистанционно управляемые устройства не могут считаться «роботами». Тем не менее, некоторые из них все же признаются таковыми. В число «дистанционных» устройств робототехники входят роботы телеприсутствия, управляемые на расстоянии андроиды, роботизированные хирургические устройства, экзоскелеты и беспилотные летательные аппараты (БПЛА) (их также называют «дронами»). Это же относится к некоторым игрушкам и учебному оборудованию.

Полу автономные устройства частично управляются людьми, однако, в отличие от «дистанционных», предоставляют информацию, которая облегчает операторам выполнение задач и помогает в управлении такими системами. Например, в эту группу входят полуавтоматические устройства, все чаще используемые в автомобилях, и некоторые промышленные роботы, нуждающиеся в получении четких инструкций от оператора.

Полностью автономные устройства способны самостоятельно принимать «решения» в среде своего назначения и выполнять задачи без помощи человека. Как правило, они не могут творчески мыслить, хотя и проектируются для непредсказуемых ситуаций, в которых невозможно заранее прописать все решения.

Искусственный интеллект (ИИ) – самостоятельная область теории вычислительных машин и систем, изучающая возможности создания устройств, способных принимать разумные решения. В этом их принципиальное отличие от полностью автономных устройств, хотя и отчасти размытое.

В последние годы робототехника развивается поистине взрывным образом. Если в 2010 г. в промышленности была 121 тыс. роботов, и все без ИИ, то к началу 2018 г. практически использовались более 350 тыс. промышленных роботов, из которых минимум треть оснащена ИИ. Еще более внушительные цифры характеризуют использование сервисных роботов. В 2010 г. в США использовалась 41 тыс. сервисных роботов. К началу 2018 года – 5,4 млн. Только дронов в США официально зарегистрированов Федеральной авиационной администрации 670 тыс. штук. С каждым годом расширяется использование роботов в вооруженных силах США и в целом странах НАТО. Поставлена задача, чтобы к 2025 г. на каждого строевого бойца на поле боя приходилось как минимум 2 действующих робота и не менее 1,7 робота поддержки, включая связь, тыловые функции и т. п.

Как это ни парадоксально, тотальная роботизация сопровождается все большей открытостью всех робототехнических компонентов любому пользователю. Примерно 85 % софта, используемого в роботах, в том числе в военных роботах, размещено в открытых депозитариях. IBM, Samsung и Ford пошли еще дальше. Они полностью открыли спецификацию соответствующего харда своих гаджетов для любых пользователей. Если еще 2–3 года назад для того, чтобы создать боевого робота, были необходимы значительные ресурсы, как минимум 150 тыс. долларов и квалифицированные программисты, то сегодня можно уложиться в 3–5 тыс. долларов на закупку компонентов и примерно 10 тыс. долларов для программистов, которых можно нанять удаленно. Все специалисты по национальной безопасности уверены, что преступные, а возможно и террористические группировки уже располагают боевыми роботами.

Появлению новых типов БЛА у деструктивных структур будет способствовать и следующее обстоятельство. 19 апреля 2018 г. президент США Дональд Трамп утвердил новую политику США в сфере экспорта беспилотных авиационных систем (U.S. Policyon the Export of Unmanned Aerial Systems), которая будет действовать в отношении воздушных роботов всех классов и типов, разработанных и выпускаемых на территории Соединенных Штатов.

Суть новой политики, которая заменяет собой аналогичный документ, утвержденный президентом США Бараком Обамой 17 февраля 2015 года, – максимально облегчить американским компаниям экспорт продукции такого рода.

Во-первых, упрощается сама процедура продажи таких вооружений: отныне компании могут продавать свою бесчеловечную продукцию любой стране мира напрямую в рамках двусторонних контрактов, а не через сложную и забюрократизированную Программу продажи вооружений и военной техники иностранным государствам (Foreign Military Sales – FMS).

Во-вторых, радикально упрощается процесс продажи за рубеж разведывательных беспилотников, которые не обладают изначально возможностью применения различных средств поражения, но оснащены лазерными дальномерами и целеуказателями. Теперь поставлять такие беспилотники можно без дополнительных разрешений – либо в рамках программы FMS, либо и вовсе напрямую.

В-третьих, упрощается продажа беспилотников гражданского назначения, которые любая американская компания может поставлять за рубеж, просто получив соответствующую лицензию.

Существуют свидетельства, что люди неоправданно доверяют автономным мобильным роботам. Проблем здесь две. Первая – в достаточно высоком числе отказов в таких системах. Вторая, более важная – в том, что роботы, как уже указывалось выше, сами не обладают достаточным уровнем кибербезопасности. Если в прошлом склонить солдат и офицеров к измене было делом весьма сложным, а подчас и невозможным, то перепрограммировать роботов на поле боя или в тыловых системах не составляет для опытных программистов труда. Вполне может получиться, что в боевых робототехнических системах самым уязвимым элементом окажется не человек, а робот.

Вычисления ИИ и человеческое мышление на уровне логики, топологии и смысла качественно различны. Что же до вычислений ИИ и расчетов боевого робота, они либо одинаковы, либо боевой робот представляет собой своего рода внешний орган распределенного вычислительного интеллекта. При такой неоднородности система становится крайне уязвимой, а ее негативные действия – прогнозируемы.

В настоящее время существует относительно ограниченное число крупных компаний, производящих роботов. Например, DJI в настоящее время производит примерно 70 % всех продаваемых в мире дронов. Эта концентрация делает аппаратную экосистему более понятной и управляемой. Соответственно, в рамках типовых решений используются и типовые программы информационной безопасности. Поскольку ключевым вопросом для потребителя является соотношение цены и качества, то компания-производитель стремится сэкономить на всем, и прежде всего на сторонних закупках. Кибербезопасность дрона – это сфера сторонних закупок компании-производителей у компаний, специализирующихся на антивирусных программах и корпоративной безопасности.

Дополнительные проблемы для кибербезопасности создает длинная цепочка кооперации при выпуске роботизированных изделий, оснащенных ИИ. Существует множество инфраструктур с открытым исходным кодом, например, для компьютерного зрения, навигации и т. п. Соответственно, каждый производитель комбинирует в системе модули с открытым исходным кодом, дополняя ими собственные фирменные узлы и программы с закрытым исходным кодом. Однако надо понимать, что программная среда отличается от физической. Если в физической среде можно четко отделить компоненты, реализующие открытый исходный код, от компонентов с закрытым кодом, то в программной среде такого разделения нет. Соответственно, создавший эксплойт[17] для внедрения в открытый исходный код, имеет большие шансы проникнуть и в закрытую часть программы. Сегодняшние роботы с ИИ не только бытового и производственного, но и военного значения весьма уязвимы перед атаками, а тем более атаками с использованием ИИ.

Необходимо отметить три важнейших тенденции, которые определяют будущее робототехники:

• постепенно ведущие робототехнические компании переходят от производства уникальных серий к изготовлению унифицированных блоков. Из этих блоков различной конфигурации собираются подобно игрушкам лего коммерческие, военные, сервисные роботы и т. п.;

• чем дальше, тем больше единая робототехника распадается на два уровня: высокотехнологичную и элементарную робототехнику. Элементарная робототехника производится для выполнения однородных операций, как правило, в промышленности и логистике. Высокотехнологичная робототехника, в отличие от элементарной, представляет собой системы с ИИ в сердцевине и роботами, как периферийными устройствами, применительно к которым осуществляется коллективное машинное обучение. Роботы становятся своего рода сенсорами и одновременно рабочими инструментами ИИ, подобно тому, как руки могут быть рассмотрены в качестве рабочего инструмента сознания;

• в настоящее время более 85 % роботов лишь относительно автономны. Люди продолжают играть значительную роль в управлении их поведением. Особенно это касается принятия решений в многокритериальных ситуациях. При этом тенденцией является повышение уровня автономности. Эта тенденция проявляет себя во всех трех основных сферах применения роботов: сервисном, бизнесовом и военном[18].

Обобщение полученных статистических данных о боевых роботах в зарубежных странах показывает, что на сегодняшний день:

• несмотря на то, что большинство разработанных роботов специального назначения по-прежнему представляют собой БЛА, доля специальных роботов наземного и морского применения на мировом рынке стремительно растет;

• основная часть разработанных РТК специального назначения представляет собой конструктивно новые дистанционно-управляемые образцы техники легкого и среднего класса, выполняющие разведывательные (осмотровые) задачи тактического уровня.

Специалисты прогнозируют, что в опытноконструкторских работах по созданию роботов специального назначения третьего поколения будут реализованы:

• повышенная ресурсная автономность;

• модульность построения и реконфигурируемость;

• конструктивная и технологическая унификация образцов и их ключевых функциональных компонентов;

• помехозащищенные многоканальные средства и системы информационно-управля-ющего взаимодействия и опознавания;

• интеллектуальные программно-алгоритмические средства, позволяющие обеспечить распознавание объектов и рабочей обстановки, рефлексивное прогнозирование развития событий, планирование рационального (оптимального) поведения и, как следствие, адаптивное контролируемое функционирование роботов специального назначения в неопределенных, динамически изменяющихся разнородных условиях применения;

• интеллектуальные программно-алгоритмические средства, позволяющие обеспечить интеграцию разнотипных роботов специального назначения в единую группу с последующим управлением их совместными действиями в однотипных, разнотипных и смешанных боевых порядках;

• интеллектуальные системы человеко-машинного интерфейса и поддержки принятия решений операторами управления роботами специального назначения при решении боевых (ударных, огневых), обеспечивающих и специальных задач.

Существующие темпы развития обширного спектра прорывных разработок в области информационных технологий и робототехники к 2030 году способны обеспечить значимый прогресс в развитии базовых тактико-технических возможностей военных роботов, а также разработку и внедрение роботов специального назначения третьего и последующих поколений. Можно прогнозировать, что массовое и многомерное применение робототехники на поле боя будет инициировать в военной теории, искусстве и практике революционные изменения, соизмеримые с последствиями внедрения ракетного и ядерного оружия, автоматики и радиолокации в середине прошлого столетия[19].

Несмотря на проведение нескольких конференций ООН относительно добровольного ограничения странами производства автономных боевых роботов, в настоящее время такого рода системы производятся США, Великобританией, Францией, Израилем, Россией, Китаем и Ираном. Автономные боевые роботы отличаются от относительно автономных роботов тем, что самостоятельно, т. е. на основе программ, написанных в рамках подходов ИИ, принимают решения о нанесении огневых ударов по противнику или применению наступательного кибероружия. Главная причина, почему не сработали рекомендации ООН, состоит в том, что в 2015–2016 гг. в ходе маневров и натурных военных игр, проведенных в целом ряде стран, выяснилось, что полностью автономные дроны с ИИ побеждают дроны, удаленно управляемые человеком в 9 случаях из 10. Главное преимущество дронов с ИИ состоит в быстроте оценки ситуации. Соответственно, страны, имеющие технический потенциал для производства полностью автоматизированных боевых дронов и других военных робототехнических систем, активно встали на этот путь, поскольку в противном случае оказались в заведомо проигрышном положении в отношении потенциальных конкурентов и противников.

Дилемма о повышенном риске, связанном с автономными боевыми дронами – с одной стороны, и их превосходстве над робототехническими системами, где важнейшие решения удаленно принимает человек, является своего рода моделью принятия решения в более широкой области. Вне зависимости от моральных оценок, в разделенном и враждебном мире не будут работать какие-либо технологические запреты и ограничения на применение технологий, в том числе, связанные с ИИ. В условиях отсутствия доверия и цивилизационного раскола мира, пришедшего на смену двуполярному миру, каждая страна, чей научно-технологический потенциал позволяет воплотить в реальность эффективную, пусть и самую рискованную, технологию, обязательно сделает это по той причине, что в противном случае может оказаться беззащитной перед конкурентами.

Аппаратные части роботов уже производятся в 47 странах мира. Софт для роботов пишется во всех уголках планеты, а не менее половины софта выложено в депозитариях, как открытый программный код. Единственным исключением являются законченные решения в области ИИ. Несмотря на то, что программы и компоненты ИИ широко представлены в открытых депозитариях, самые продвинутые решения в этой сфере относят к числу наиболее охраняемых ноу-хау. В настоящее время они являются монополией пяти стран мира, в основном США и Великобритании, и до некоторой степени Япония, Израиля и Китая. Ни она другая страна мира сегодня не способна изготовить по-настоящему продвинутые системы ИИ.

Необходимо различать два типа угроз. Что касается создания оснащенных элементарным ИИ дронов, вооруженных минибомбами, отравляющими веществами и т. п.,то это уже реальность и контролировать данный процесс практически невозможно. Наиболее рациональной стратегией является заблаговременное производство систем оперативного обнаружения и уничтожения подобных дронов и других типов относительно элементарных боевых роботов, которые либо уже имеются, либо в ближайшие годы окажутся в распоряжении террористических сетей и злонамеренных государств.

Идея использовать робота как орудие убийства[20] – тривиальная. Первым человеком, погибшим от робота, стал американский рабочий С. Форд в 1970-е гг. Он работал на автоматизированном предприятии, выполнявшем покрасочные работы для автомобильной индустрии. В результате нарушения программы, отвечающей за координацию автоматических манипуляторов одного из роботов, последний вместо дверцы схватил за шею рабочего и удушил его. В 2016 г. произошло первое целенаправленное убийство с использованием робота. В палате интенсивной терапии госпиталя ордена иезуитов в Сан-Мигеле больной умер от подачи в капельницу смертоносного состава вместо предписанного лекарства. Полицейские не смогли бы обнаружить данное преступление, если бы не случайность. Программист, которого банда подрядила, чтобы взломать программу, управляющую автоматической раздачей лекарств, поделился информацией в одном из закрытых чатов. В нем присутствовал осведомитель городской полиции. Благодаря ему программист был задержан, а позднее вырисовалась вся картина.

В течение 2015–2016 гг. агенты под прикрытием и осведомители ФБР и полиции США неоднократно сообщали, что преступные синдикаты по-прагматичному серьезно обсуждали различные варианты убийств, используя насыщенные электроникой автомобили, умные дома, медицинские комплексы и т. п. Поскольку у преступников обычно мысли не расходятся со словом, а слово – с делом, вполне можно ожидать появления в Америке принципиально нового явления.

ФБР всерьез готовится к появлению подпольного синдиката, специализирующегося на заказных высокотехнологичных убийствах, замаскированных под технические инциденты различного рода. Принимая во внимание объем рынка заказных убийств в США, составляющий около 2 млрд, долларов в год, мы ожидаем появление такого сетевого синдиката, а скорее всего не одного, а нескольких, во временном интервале одного-двух лет.

Главным инструментом подобных синдикатов должны быть не хакерские программы сами по себе, а ИИ. Тонкость здесь в следующем. Различного рода автоматизированные автономные системы в подавляющем большинстве управляются из единого вычислительного центра, функционирующего как ИИ. Это позволяет осуществлять роевое обучение. Соответственно, подключиться и заместить команды одного ИИ может только другой. Программисту это не под силу. Он будет распознан из-за большей медлительности и меньшей алгоритмичности действий и операций.

Плюс только ИИ под силу замаскировать злонамеренное отключение или выполнение несанкционированных действий техническим отказом. Несмотря на некоторую экстравагантность, в ближайшее время данный преступный промысел может стать реальностью.

Данный текст является ознакомительным фрагментом.