Бог, человек, животное, машина. Поиски смысла в расколдованном мире - Меган О’Гиблин
Шрифт:
Интервал:
Закладка:
Но эти технологии вызывали и немало опасений. Многие формы машинного обучения считаются технологическими «черными ящиками» – мы не можем определить, что именно происходит у них внутри. Они состоят из множества слоев нейронных сетей, и невозможно узнать, как выглядит модель реальности, которую они строят на основании своего опыта. В процессе обучения в них формируются внутренние узлы, отвечающие за обнаруженные ими абстрактные признаки или соотношения, но эти признаки и соотношения не соответствуют никаким понятиям в человеческом языке. (Даже алгоритмы, обладающие сверхъестественной способностью распознавать, скажем, собак на фотоснимках, не имеют ни малейшего представления о том, что такое собака, а просто улавливают закономерности в потоке данных.) Если бы вы попытались зафиксировать все, что делают нейронные сети между вводом и выводом данных, у вас получились бы миллиарды арифметических операций – «объяснение», которое было бы невозможно понять. Когда AlphaGo выиграл матч в Сеуле, даже его создатель Дэвид Сильвер не смог объяснить логику неожиданного хода алгоритма. «Он открыл его для себя, – сказал Сильвер, – в процессе рефлексии и анализа». Хотя специалисты пробовали, и не раз, расшифровать подобные процессы постфактум, похоже, что усилия свести их к простым и однозначным объяснениям так же бесплодны, как попытки проделать то же самое с человеческим мышлением (профессор лаборатории искусственного интеллекта в Uber назвал такие усилия «искусственной нейробиологией»). В большей степени, чем любая другая технология, эти алгоритмы отвечают призыву Андерсона отказаться от стремления к пониманию ради объективного знания. Чтобы иметь доступ к высшему знанию, которым владеют машины, мы должны отказаться от желания знать «почему» и принять результаты как чистое откровение.
Винер чувствовал, что в машинном обучении есть что-то по сути своей религиозное, но, возможно, неверно распределил роли в драме Иова. Алгоритмы машинного обучения – это не изобретательный дьявол, который перехитрил собственного создателя. Вместо этого они стали абсолютным властелином, требующим слепого подчинения. По мере того как эти технологии все больше интегрируются в сферу общественной жизни, многие люди обнаруживают себя в положении Иова: они лишены права знать, почему им отказали в кредите, уволили с работы или предсказали возможность развития рака. Избежать сравнения с Божьим судом особенно трудно, учитывая, что наша судебная система превратилась в настоящую экспериментальную лабораторию по машинному обучению. Хотя статистический анализ использовался в полиции с середины 1990-х годов, сегодня многие службы в сфере правопорядка опираются на прогностические алгоритмы, чтобы обнаруживать очаги преступности. Одна из таких систем, PredPol, утверждает, что она предсказывает места преступлений в два раза точнее, чем аналитики-люди. Система, опирающаяся на данные о прошлых преступлениях, помечает красными рамками на карте границы районов или отдельных городских кварталов, которые считает местами повышенного риска. Как отмечает Джеки Ванг в своей книге «Карцеральный капитализм», если верить рекламным публикациям о PredPol, кажется, что система чуть ли не обладает даром ясновидения. В них приводятся, например, истории о том, как полицейские выезжали в места повышенного риска и обнаруживали там правонарушителей прямо в процессе совершения преступления.
Сторонники этой технологии отрицают сходство с фильмом «Особое мнение» (2002): там полиция принуждает людей, наделенных экстрасенсорными способностями, предсказывать преступления, чтобы можно было арестовывать будущих «преступников» до того, как они нарушат закон. Один из пиар-стратегов PredPol заявил, что функционирование программы – это не научная фантастика, а «научный факт», и подчеркивал, что алгоритмы абсолютно нейтральны и объективны. Использование этой программы часто позиционируется как способ снизить влияние расистских предрассудков на работу правоохранительных органов. Один из создателей PredPol утверждал, что, поскольку алгоритмы фокусируются на таких «объективных» факторах, как время, место и дата возможных преступлений, а не на демографических характеристиках отдельных преступников, программное обеспечение «потенциально уменьшает роль любых расовых или социально-экономических предубеждений среди офицеров».
Похожие алгоритмы применяются и в судах; они определяют степень угрозы для общества со стороны обвиняемого и риск побега до вынесения приговора. Эти машины анализируют досье подсудимого, включая предполагаемое преступление, место ареста и количество предыдущих задержаний (некоторые модели также учитывают место работы подозреваемого, его круг общения и кредитный рейтинг). А затем они сравнивают эти данные с сотнями и тысячами уголовных дел и присваивают подсудимому определенное количество баллов. На основе этого показателя суд решает, следует арестованному ожидать приговора дома или в тюрьме. Впервые эти алгоритмы попали в заголовки национальных газет в 2017 году, во время суда над Эриком Лумисом, 34-летним мужчиной из Висконсина. Вынесенный ему тюремный приговор – шесть лет за противодействие офицеру полиции – был отчасти основан на заключении COMPAS, прогностической модели, определяющей вероятность рецидива. Во время судебного процесса судья сообщил Лумису, что по результатам оценки COMPAS он был классифицирован как представляющий высокий риск для общества. Естественно, Лумис захотел узнать, на основании каких критериев был вынесен приговор, но его проинформировали, что он не может оспорить решение алгоритма. В итоге дело дошло до Верховного суда штата Висконсин, который вынес решение не в пользу подсудимого. Генеральный прокурор штата заявил, что Лумис располагал ровно той же информацией о деле, что и суд (представления судей о работе алгоритма были, как он заметил, настолько же смутными), и заявил, что подсудимый был «свободен усомниться в этой оценке и указать на ее возможные недостатки». Но это довольно вольная интерпретация понятия свободы. Лумис был так же свободен усомниться в алгоритме, как Иов – в справедливости Иеговы.
Другой, более свежий, случай произошел с Дарнеллом Гейтсом, жителем Филадельфии, который в 2020 году был условно осужден после отбытия срока в тюрьме. Он и сам замечал, что в разные месяцы ему приходится отмечаться у офицера по УДО то чаще, то реже, но ему не сообщали, почему так происходит: как выяснилось, алгоритм постоянно пересматривал уровень его неблагонадежности. Возможно, Гейтс так никогда бы об этом не узнал, если бы его не просветил журналист New York Times, писавший о современных технологиях. Гейтс был явно обеспокоен этим открытием. Судя по его интервью Times, он чувствовал, насколько размыта грань между всеведением и предопределением – и как тщетны попытки выйти победителем из игры, где все ставки сделаны против вас. «Как алгоритм может понять меня, если он же и решает, что я буду делать? – сказал Гейтс. – Как обыграть компьютер, который создан,
