Когда мыслящие машины нарушают закон

Брюс Шнайер

Специалист по информационной безопасности; научный сотрудник Центра Бергмана по изучению проблем Интернета и общества, Гарвардская школа права; технический директор Co3 Systems, Inc.; автор книги «Данные и Голиаф: Тайные сражения за то, чтобы собрать ваши данные и управлять вашим миром» (Data and Goliath: The Hidden Battles to Collect Your Data and Control Your World)

В прошлом году два швейцарских художника создали бота Random Botnot Shopper, который еженедельно тратил эквивалент 100 долларов в биткойнах на случайные покупки на анонимных торговых интернет-площадках в рамках арт-проекта для выставки в Швейцарии. Интересный концепт, вот только одна проблема. По большей части бот покупал безобидные вещи: поддельные джинсы Diesel, бейсболку со встроенной скрытой камерой, тайник, выполненный в виде банки колы, пару кроссовок Nike, но еще он приобрел десять таблеток экстази и поддельный венгерский паспорт.

Что делать, если машина нарушила закон? Обычно мы в таком случае обвиняем того, кто ею управляет. Люди совершают преступления; оружие, отмычка и компьютерный вирус – всего лишь их инструменты. Но по мере того как машины делаются все более автономными, связь между инструментом и его создателем становится тоньше.

Кто будет отвечать, если автономный военный дрон случайно убьет толпу мирных жителей? Офицер, который ввел данные по миссии, программисты, написавшие ПО для распознавания врага, которое неверно идентифицировало людей, или программисты, написавшие ПО, которое приняло решение убить этих людей? А если разработчики понятия не имели, что их программа используется в военных целях? Что, если дрон может самостоятельно улучшать свои алгоритмы на основе данных, собранных всем флотом в предыдущих операциях?

Может, наши суды и сумеют решить, на ком лежит вина, но только потому, что современные дроны хоть и автономны, но не слишком умны. Они умнеют и постепенно теряют связь с теми, кто их создал.

Что, если программистов уже нет, а дроны сами себя совершенствуют? Что, если они станут и умными, и автономными одновременно и будут принимать как тактические, так и стратегические решения? Что, если один из дронов на основе имеющихся данных решит предать страну, построившую его, и начнет ей вредить?

Общество выработало множество подходов – неформальных социальных принципов и более формальных законов, чтобы разрешать ситуации неподчинения правилам общежития. Для мелких нарушений у нас есть бытовые механизмы, для более серьезных – сложная правовая система. Если вы буяните на моей вечеринке, я больше вас не позову. Если вы регулярно нарушаете правила приличия, вас застыдят и подвергнут остракизму. Если вы у меня что-то украдете, я могу заявить на вас в полицию. Попробуйте ограбить банк, и вы почти наверняка надолго сядете в тюрьму. Многие из этих правил могут выглядеть несистематизированными, но человечество потратило тысячелетия, чтобы выработать их. Безопасность – понятие одновременно политическое и социальное, но также и психологическое. Например, дверные замки работают только потому, что система социальных и юридических запретов на кражу делает подавляющее большинство из нас честными. Таким образом, мы мирно сосуществуем в масштабах, невозможных для любого другого вида на планете.

Но что произойдет с системой, если появится новый тип злоумышленника – машина со свободой воли, что бы это ни значило? У нее, наверное, не будет представления ни о стыде, ни об одобрении. Она не откажется от определенных действий только потому, что другие машины могут что-то об этом подумать. Она не станет соблюдать законы просто потому, что так правильно, равно как не станет с естественным почтением относиться к властям. Если мы поймаем машину на воровстве, как мы ее накажем? Что такое оштрафовать машину? Имеет ли смысл сажать ее в тюрьму? Если в машину не заложен инстинкт самосохранения, то даже угроза смертной казни не будет иметь значительного эффекта.

Мы уже обсуждаем программирование моральных принципов для мыслящих машин; можно вообразить и программирование прочих человеческих склонностей, но мы наверняка где-нибудь ошибемся. Как бы мы ни старались этого избежать, но машины в определенный момент нарушат закон.

Это, в свою очередь, сломает нашу правовую систему. Сейчас она предотвращает преступления. Ее эффективность основана на задержании и осуждении преступников постфактум, а их наказание служит средством устрашения других. Эта схема не работает, если наказание бессмысленно.

Нечто подобное мы испытали после событий 11 сентября, когда многие из нас впервые задумались о таком явлении, как террористы-смертники, к которым нельзя применить привычные меры наказания. Всего одно изменение в сфере мотивации, и посмотрите, как оно повлияло на наш подход к вопросам безопасности. Мыслящие машины заставят нас столкнуться с такими же проблемами, а еще с теми, которые пока сложно даже представить. Социальная и правовая системы, успешно справлявшиеся с преступниками-людьми, неожиданным образом окажутся бессильны перед лицом мыслящих машин.

Мыслящая машина не всегда будет мыслить так, как нам хочется. И к последствиям этого мы не готовы.

Электрические мозги

Ребекка МакКиннон

Директор Ranking Digital Rights Project, фонд New America; соучредитель Global Voices; автор книги «Согласие сетевого народа» (Consent of the Networked)

Китайское слово, означающее компьютер, буквально переводится как «электрический мозг». Как сейчас мыслят электрические мозги? Как отдельные машины – все еще довольно примитивно, по человеческим меркам. В коллективе – достаточно хорошо. Всевозможные сетевые устройства со встроенными в них электрическими мозгами все больше общаются друг с другом, обмениваются информацией, приходят к взаимопониманию и принимают решения. Уже стало возможным в процессе последовательного сбора данных, их анализа и принятия решений, распределенного в облаке удаленных друг от друга машин, инициировать действия одной из них или нескольких в определенной точке пространства, тем самым оказывая влияние на некую группу людей (или обслуживая ее интересы).

Возможно, отдельные машины никогда не станут мыслить так, чтобы это было похоже на сознание отдельного человека, как мы его понимаем. Возможно, когда-нибудь большие, глобально распределенные сети не-людей достигнут некоего псевдоюнговского коллективного сознания. Но более вероятно то, что коллективное сознание человеческих сетей и обществ будет усилено различными видами коллективного сознания, генерируемого сетями электрических мозгов и тесно взаимосвязанного с ними.

Хорошо это или плохо?

И то и другое. Ни то ни другое. Как в случае с интернетом, которым мы все сегодня пользуемся, вопрос упирается в то, считаете ли вы человеческую природу изначально хорошей, плохой или дуалистичной. интернет не трансформирует и не улучшает человеческую природу. Он увеличивает, усугубляет, усиливает, укрепляет и укрупняет многие ее аспекты – от альтруистических и милосердных до преступных и злобных. Будьте готовы добавить еще одно измерение к тому, что уже делает интернет.

Мы уже столкнулись с тем, что специалисты по теории вычислительных систем любят называть проблемой атрибуции: с установлением того, кто в действительности ответственен за определенные события, происходящие в интернете или через него (например, за кибератаку на государственное учреждение или транснациональную корпорацию). Эти проблемы и связанная с ними полемика только продолжат обостряться.

Нам предстоит разобраться с тем, какими будут правовые последствия развития и расширения облачных структур; схожие вопросы задаются сегодня по поводу интернета и сетевых устройств. Кто решает, как будет развиваться технология, от которой все больше зависит наша экономическая, общественная, политическая и религиозная жизнь? Кто ответственен за нарушение чьих-либо прав в результате воздействия этих технологий, платформ и сетей? Кто и перед кем будет отвечать за такие нарушения, как цензура, слежка, подстрекательство к физическому насилию, основанная на определенных данных дискриминация и т. д.?

Появятся и новые вопросы. Будут ли конкурирующие сети, созданные и тесно связанные с соответствующими конкурирующими культурами (заметьте, я не говорю «контролируемые»), коммерческими альянсами, религиями или государственными структурами, блокировать связи друг у друга? Могут ли они сражаться друг с другом? Как будет осуществляться художественное творчество? Как будет осуществляться политика? Как будет осуществляться война? Можно ли делегировать цензуру и слежку сетям не-людей, чтобы люди не несли ответственности за подобные вещи? (Как это было бы удобно для наших правительств и бизнеса!) Можно ли вместо этого спроектировать мыслящие сети вещей таким образом, чтобы для определенных действий требовалось непосредственное участие человека или его согласие?

Будут ли более развитые умные облачные структуры усугублять глобальное неравенство? Могут ли они обострить идеологические и религиозные конфликты, если мы ничего не предпримем, чтобы этого не допустить? Если мы хотим предотвратить увеличение глобального цифрового разрыва, что нам нужно делать уже сейчас?

Будут ли эти сети открытыми или закрытыми? Сможет ли любой новатор, независимо от своего местонахождения, подключить что-то к сети и начать в ней общаться, или, вернее, участвовать в ней, без необходимости получать разрешение? Или же это будет управляемая система, где определенные компании и правительства станут решать, кто и что может подключать и по какой цене? Или какие-то системы будут открытыми, а какие-то – закрытыми?

Приведут ли более умные и мощные глобальные сети к дальнейшему размыванию влияния и легитимности национальных государств, более выраженному, чем привел интернет? Или же они как-то усилят влияние национальных государств? Или дадут национальным государствам возможность эволюционировать и выживать в новом сетевом мире?

Мы не можем ждать хороших или гуманных результатов только потому, что люди, которые изобретают или внедряют новую технологию, имеют добрые намерения, ценят и любят свободу и демократию. Подобные допущения не очень-то оправдались для интернета – и для всего, что появится после него, тоже не оправдаются.

Рободоктора

Герд Гигеренцер

Психолог; директор Центра адаптивного поведения и познания, Институт человеческого развития Общества научных исследований им. Макса Планка (Берлин); автор книги «Понимать риски: Как выбирать правильный курс» (Risk Savvy: How to Make Good Decisions)[74]

Пришло время ежегодного медосмотра. Вы входите в кабинет врача и жмете его холодную руку, металлическую руку машины. Вы стоите лицом к лицу с РД – сертифицированным рободоктором. Как вам такая перспектива? «Ну уж нет! – скажете вы. – Дайте мне настоящего доктора, который выслушает, поговорит со мной, у которого, как и у меня, есть чувства. Дайте мне человеческое существо, которому я могу слепо доверять».

Но задумайтесь на секундочку. При страховой медицине врач общей практики не уделит вам больше пяти минут. О каком мышлении тут может идти речь? Многие врачи мне жалуются на своих беспокойных, плохо осведомленных и непослушных пациентов – те ведут нездоровый образ жизни и требуют лекарств, которые рекламируют по телевизору знаменитости, а если что-то пойдет не так, угрожают судебными тяжбами.

Но дефицит мышления поражает не только пациентов. Исследования убедительно показывают, что большинство врачей не понимают медицинскую статистику, а следовательно не могут критически оценивать медицинские статьи даже в своей предметной области. Это дорого обходится человечеству. Десять миллионов американских женщин сдали Пап-тест для определения раковых клеток в шейке матки, несмотря на то что им ранее провели полную гистерэктомию, то есть матки у них не было. Каждый год миллион американских детей проходят ненужную КТ, подвергаясь воздействию радиации, что впоследствии у некоторых из них приводит к развитию рака. Многие врачи просят мужчин регулярно сдавать анализ на ПСА[75], чтобы выявить рак простаты, несмотря на то что практически все медицинские организации не рекомендуют этого делать, так как польза от процедуры не доказана, кроме того, она может нанести пациенту серьезный вред. У многих мужчин развивается недержание и импотенция в результате последующего хирургического вмешательства или воздействия радиации. Из всего этого складываются огромные затраты рабочего времени доктора и денег пациента.

Так почему же врачи не всегда рекомендуют то, что лучше всего для обратившихся к ним людей? Есть три причины. Во-первых, от 70 до 80 % терапевтов не понимают медицинской статистики. Причина? Медицинским вузам во всем мире не удается научить их статистическому мышлению. Во-вторых, при страховой системе здравоохранения у врачей возникает конфликт интересов: если они не прописывают анализы и лечение, даже бесполезные или вредные, то теряют деньги. В-третьих, более 90 % американских докторов признаются, что практикуют перестраховочную медицину, то есть рекомендуют ненужные анализы и лечение, которые не прописали бы членам своей семьи. Делают они это для того, чтобы защитить себя от пациентов, которые могут подать на них иск. Таким образом, в кабинете врача полным-полно психологических проблем, которые мешают нормальной работе: самозащита, плохое знание математики и конфликт интересов. Это тройственное расстройство известно под названием SIC-синдром. Он ставит под угрозу безопасность пациента.

Важно ли это? На основании данных, собранных с 1984 по 1992 год, Институт медицины США пришел к заключению, что в результате предотвратимых и задокументированных медицинских ошибок в американских больницах ежегодно умирают от 44 000 до 98 000 пациентов. На основании более свежих данных, собранных с 2008 по 2011 год, организация Patient Safety America уточнила данные о смертности: более 400 000 человек в год. Нелетальные случаи нанесения серьезного вреда здоровью в результате предотвратимых ошибок оцениваются в пределах от 4 до 8 миллионов ежегодно. Число случаев нанесения вреда здоровью пациентов в частной практике неизвестно. Если у нас будет все меньше врачей, у которых будет все меньше времени для пациентов и заинтересованности в их безопасности, то эта эпидемия продолжит распространяться. В сравнении с ней Эбола бледнеет.

Нам нужна революция в здравоохранении. Медицинские вузы обязаны обучать студентов основам медицинской статистики. Правоохранительная система не должна больше наказывать врачей за то, что они опираются на факты, а не на традиции. Нам также необходимы такие принципы оплаты медицинских услуг, которые не вынуждали бы врачей выбирать между прибылью и здоровьем пациента. Но революция пока не случилась, и признаков того, что она случится, почти нет.

Так почему бы не обратиться к радикальному решению: рободоктора разбираются в медицинской статистике, у них нет конфликта интересов, и они не боятся, что их засудят (в конце концов, им не надо возвращать образовательный кредит и у них нет банковских счетов, на которые могут позариться истцы)? Давайте вернемся к вашему ежегодному медосмотру. Допустим, вы спрашиваете у РД, сокращают ли медосмотры смертность от рака, сердечных или иных заболеваний. РД без обиняков сообщает вам, что, на основании существующих на данный момент медицинских исследований, ответ на все три части вопроса: нет. Вам может быть неприятно это слышать, потому что вы гордитесь тем, насколько добросовестно вы проходите плановые осмотры, следуя совету своего врача-человека, у которого не было времени следить за медицинскими исследованиями. РД не пропишет вашему ребенку ненужную КТ, не отправит вас на Пап-тест, если вы – женщина без шейки матки, не будет рекомендовать регулярно сдавать ПСА, не объяснив все плюсы и минусы процедуры, если вы мужчина. Кроме того, РД может одновременно разговаривать с несколькими пациентами, а следовательно, уделять вам столько времени, сколько потребуется. Очередь к врачу будет короткой, и никто не станет подталкивать вас к двери.

Когда мы представляем себе мыслящие машины, то обычно думаем о более совершенных технологиях: об устройствах, которые контролируют давление, уровень холестерина или сердцебиение. Мне же представляется кое-что иное. Революция РД меньше касается технологий и больше относится к психологии. То есть она предполагает, что надо думать о благе пациента и о том, как обеспечить ему наилучший уход, вместо того чтобы заботиться о доходности.

О’кей. Вы возразите, что коммерческие клиники с легкостью перепрограммируют роботов, чтобы они максимизировали прибыли, а не пользу для вашего здоровья. Вы нащупали самое больное место нашей системы здравоохранения. Но есть один психологический фактор, который, вероятно, поможет. Пациенты обычно не задают вопросов во время консультаций с врачом-человеком, потому что верят в поговорку «Доверяй своему врачу». Но это не обязательно относится и к роботам. Есть шанс, что, пожав ледяную руку РД, пациент начнет думать своей головой. А заставлять людей мыслить самостоятельно – это лучшее из того, что может сделать машина.