Бог, человек, животное, машина. Поиски смысла в расколдованном мире - Меган О’Гиблин

это был алгоритм, разработанный частной фирмой и защищенный законом об авторских правах. В числе компаний, разрабатывавших технологии «черного ящика» для правительственных систем, есть такие гиганты, как Google, Amazon, Palantir и Facebook. Разумеется, они не спешат раскрывать информацию о том, как работает их программное обеспечение (даже когда это возможно), чтобы конкуренты не получили доступа к их разработкам. Учитывая, что эти машины интегрированы в огромные и сами по себе непостижимые системы, созданные для зарабатывания денег, все более размытой становится граница между машинами, принципы работы которых для нас непроницаемы, и машинами, принципы работы которых от нас целенаправленно скрывают. Нам не только не дано знать, какими сведениями о нас располагают эти машины; нам не дано знать, почему нам не дано это знать.

У такой непрозрачности есть и более коварные последствия. Хотя эти технологии часто превозносят за их «нейтральность», имидж безликой объективности защищает учреждения, которые их используют, от обвинений в предвзятости и несправедливости. Как отмечает Ванг в «Карцеральном капитализме», многие полицейские управления обратились к прогностическим моделям в ответ на постигший правоохранительные органы «кризис легитимности»: они должны были решить проблему недоверия широкой общественности к полицейским, причиной которого были десятилетия расизма и злоупотреблений в применении физической силы. Прогностические техники позволяют «провести ребрендинг» полиции, «так что акцентируется безличность статистики, а личная ответственность отдельных полицейских отходит на второй план», – пишет Ванг. Таким образом, деятельность полиции изображается как «нейтральная, беспристрастная и рациональная». Но праведный гнев может быть направлен только на кого-то. Аббревиатура «ACAB» («All cops are bastards», «Все копы – ублюдки»), прославившаяся благодаря протестам против полиции, теряет свою риторическую силу в отсутствие субъекта. «Фраза „Все полицейские базы данных – ублюдки“ бессмысленна», – пишет Ванг.

Что же касается данных, используемых для этих прогнозов, – информации, которую компании по-тихому выкачивают из нас в обмен на то, что исследовательница Шошана Зубофф называет «поведенческой экономикой», – то нас часто успокаивают напоминанием о том, что монета имеет две стороны. Успокаивающий термин «метаданные» предполагает, что и наша личная информация так же анонимизирована и безлична для тех, кто на ней зарабатывает. Никого не интересует содержание ваших писем, говорят нам, – только то, с кем вы переписываетесь и как часто. Никто не анализирует ваши разговоры, отмечаются только интонации. Ни ваше имя, ни лицо, ни цвет кожи не отслеживаются, только ваш почтовый индекс. Это, конечно, не из уважения к частной жизни; скорее это логическое следствие из философии личности, характерной для сферы высоких технологий со времен зарождения кибернетики. Согласно этой философии, личность человека можно описать исключительно в терминах паттернов и вероятностей, без каких-либо отсылок к его внутреннему миру. Как отмечается в исследовании Массачусетского технологического института, посвященном моделированию человеческого поведения, «внутренние состояния человека» невозможно зафиксировать. Поэтому прогнозы должны опираться на «косвенное оценивание», рассматривающее различные внешние состояния, которые можно измерить и количественно оценить. Зубофф утверждает, что «надзорный капитализм» эпохи больших данных часто ошибочно принимают за форму тоталитаризма, стремящегося переделать душу гражданина изнутри. Но доктрина цифровой слежки совершенно не заинтересована в душе. В идеологии, которая не верит в мысль, не может быть «мыслепреступлений». «Ей все равно, во что вы верите. Ей все равно, что вы чувствуете, – говорит Зубофф об этой доктрине. – Ее не волнует, куда вы идете, что вы делаете или что читаете». Точнее, эти действия заботят ее только с точки зрения того, что она «может получить в качестве исходного материала, превратить в поведенческие данные и использовать для прогнозов на своем рынке».

Эти метаданные – оболочка человеческого опыта – становятся частью петли обратной связи, которая затем активно влияет на реальное поведение людей. Поскольку прогностические модели опираются на прошлые поступки и решения – не только отдельного человека, но и других людей, принадлежащих к той же социальной группе, – люди оказываются в плену у собственного цифрового отражения. Исследователь Google Вячеслав Полонский называет этот процесс «алгоритмическим детерминизмом». Алгоритмы правоохранительных органов, такие как PredPol, помечающие красными квадратиками конкретные районы, где с большой вероятностью может произойти преступление, основываются в своих прогнозах на данных уже существующих уголовных дел. А это означает, что алгоритмы часто посылают полицейских в те же самые неблагополучные районы, которые они и раньше патрулировали, руководствуясь только своей интуицией. Разница в том, что, в отличие от интуитивных решений, «основанные на эмпирических данных» вердикты алгоритмов кажутся более авторитетными – и способствуют закреплению предубеждений. «С каким настроем полицейские патрулируют районы, помеченные как „места повышенного риска“? – спрашивает Ванг. – Ожидают ли полицейские, отправляясь в район „повышенного риска“, что станут свидетелями преступления? И если они заранее ожидают, что им придется ловить преступников, как это повлияет на их реальные действия?» Задерживая подозреваемых в таких районах, полицейские часто ссылаются на программные прогнозы, чтобы подтвердить «обоснованные подозрения». Иными словами, человек становится подозреваемым, потому что находился в районе, где, по мнению алгоритма, могут находиться подозреваемые.

Имеются и более вопиющие – и более осознанные – примеры того, как прогностическая деятельность используется для влияния на реальное поведение. После скандала 2016 года – тогда выяснилось, что частная компания Cambridge Analytica продавала данные пользователей фейсбука политическим кампаниям для размещения таргетированной рекламы, – Марк Цукерберг публично возмущался и настаивал, что Cambridge Analytica «предала доверие» компании, умалчивая, что фейсбук тайно манипулировал пользователями с 2010 года. Во время промежуточных и президентских выборов 2012 года фейсбук размещал на страницах определенного процента пользователей стикер «Я проголосовал», а у некоторых – список проголосовавших друзей. Эта тактика должна была к помощью общественного мнения подтолкнуть больше пользователей отправиться на участки. Вся эта операция была объявлена «экспериментом» (для пущей убедительности его результаты были опубликованы в авторитетном журнале Nature), и создавалось впечатление, что компания просто делала прогнозы или проверяла какую-то гипотезу перед дальнейшим использованием. На самом же деле подопытными мышами оказались реальные избиратели на реальных демократических выборах (никто из которых, разумеется, не знал, что участвует в массовом социальном эксперименте).

Когда выяснилось, что эти усилия повысили явку избирателей на сотни тысяч человек, фейсбук удостоился хвалебной оды от журнала The Atlantic за «выдающийся пример гражданской добродетели» и способность «повысить уровень вовлеченности в демократические процессы без аффилиации с какой-либо из партий».

Критики выдвигают разные предположения о том, во что может превратиться эта прогностическая экономика в будущем, когда технологии станут еще мощнее, а мы, граждане, привыкнем к ее вторжениям. Как отмечает Юваль Ной Харари, мы уже сейчас доверяем мудрости алгоритмов, рекомендующих нам книги, рестораны и потенциальных романтических партнеров. Возможно, когда корпоративная мантра «знать клиента лучше, чем он сам» действительно воплотится в жизнь, мы будем принимать от них советы о том, на ком жениться, какую карьеру