Мой кавалер кинг чарльз спаниель по кличке Бублик — милейшее создание. Он обожает детей, виляет хвостом при виде почтальона и платит за свою еду исключительно собачьим бисквитами и безграничной любовью. По крайней мере, так я думал до того утра, когда мне пришло письмо от банка.
«Уважаемый владелец Бублика! Информируем Вас о приостановке действия кредитной линии в связи с высокой вероятностью дефолта, выявленной нашей системой».
Я перечитал письмо трижды. Бублик, почуяв неладное, виновато положил морду на лапы. Первая мысль: розыгрыш. Вторая: я сошёл с ума. Третья, самая тревожная: это не шутка. Моя финансовая репутация была уничтожена… из-за собаки.
Так началось моё путешествие по задворкам цифрового мира, где решения о нашей судьбе принимают не люди, а тайные, предвзятые и порой абсурдные алгоритмы.
[Часть 1: Хороший пёс, плохой скоринг]
Расследование привело меня к Алексу, бывшему data-сайентисту крупного финтеха, который согласился поговорить на условиях анонимности. «Мы называем это «эффектом аквариума», — сказал он, потягивая кофе. — Алгоритм видит мир через стекло, но не понимает, что за стеклом есть ещё что-то».
Оказалось, система анализа данных банка, стремясь предсказать «стабильность» клиента, учитывала его активность в соцсетях. Мои фотографии с Бубликом в парке, мои чекины в зоомагазинах, мои подписки на паблики о собаках — всё это было съедено «машиной» и переварено в данные.
«Регулярные траты на товары для животных — маркер финансовой необязательности», — гласил один из внутренних меморандумов, который мне удалось раздобыть. Алгоритм решил, что человек, покупающий дорогой корм и игрушки для питомца, скорее всего, будет ставить интересы собаки выше своевременной оплаты счетов. Это был не злой умысел, а просто слепая, бездушная логика.
Бублик, по мнению машины, был моим финансовым балластом.
[Часть 2: Случай в Айове, или Как оптимизировать учителя до нуля]
История моей собаки — всего лишь курьёзный симптом большой болезни. Я летел в Айову, чтобы встретиться с Самантой Рид, учительницей математики с 25-летним стажем. Её уволили.
«Решение приняла система “Оптимус”, — рассказала она с горькой улыбкой. — Оценивала “эффективность педагогической единицы”».
Алгоритм анализировал успеваемость, посещаемость и… экономическую ситуацию в районе. Поскольку школа находилась в «зоне стагнации» (так система окрестила маленький городок, из которого молодёжь уезжает учиться), «Оптимус» посчитал нецелесообразным содержать такого высокооплачиваемого специалиста. Её предложили заменить на «более рентабельного» молодого учителя по удалённой связи из другого штата.
«Машина посчитала, что я не окупаюсь, — иронизирует Саманта. — Видимо, вкладывать душу в детей — это нерентабельно. Жду, когда она посчитает нерентабельной любовь, восход солнца и домашний яблочный пирог».
Её история — не единичный случай. Это тренд. Алгоритмы, созданные для оптимизации бизнеса, теперь оптимизируют саму человеческую жизнь, вычёркивая из неё «неэффективные» единицы.
[Часть 3: Ирония судьбы, прописанная в коде]
Самое большое противоречие этой системы в её абсолютной, почти кафкианской непрозрачности. Когда я запросил у банка объяснение по поводу Бублика, мне прислали 50 страниц технического отчёта с формулами, где ни разу не упоминались собаки.
Алекс, data-сайентист, пояснил: «Разработчики часто сами не до конца понимают, как нейросеть приходит к тому или иному выводу. Это “чёрный ящик”. Мы задаём параметры, кормим данными, а она находит корреляции. Иногда полезные, иногда — нет». Корреляции не всегда имеют реальный смысл, и “после” не значит “вследствие”.
Он привёл пример: однажды алгоритм по выдаче микрокредитов в Юго-Восточной Азии обнаружил сильную корреляцию между… использованием определённого браузера и платёжеспособностью. Люди, использовавшие последнюю версию Chrome, оказывались надёжнее. Машина не понимала причинно-следственной связи (что более технически подкованные пользователи часто имеют лучший доход), она просто приняла это за правило. Так браузер стал определять судьбу займа.
Представьте, что ваша судьба зависит от того, как вы держите вилку или от любимого цвета. Это уже не фантастика. Это реальность, написанная кодом.
[Заключение: Верните человека в систему]
Мою историю с Бубликом в итоге разрешили. Помог шум в соцсетях и звонок от друга-журналиста. Но Саманта Рид всё ещё без работы. А сколько ещё таких невидимых драм разыгрывается по всему миру?
Мы стоим на распутье. Мы доверяем машинам всё больше власти, не спросив себя: а что, если у них просто чувство юмора другое? Более чёрное, более ироничное, жёсткое? Что, если они видят мир как гигантскую электронную таблицу, где любовь к собаке — это минус в колонке «активы», а 25 лет педагогического стажа — просто устаревшая строка кода, которую пора удалить?
Технологии — это не зло. Это инструмент. Зло — это наше слепое доверие к ним. Наша лень и желание переложить на искусственный интеллект самые сложные, человеческие решения.
И только человек может принять решение, как и каким быть обществу. И нет сейчас более важной службы, чем вернуть в фокус человека. Не data-point, не «педагогическую единицу», не «кредитный скоринг», а живого, сложного, иррационального, прекрасного человека.
И его собаку. Потому что Бублик, черт возьми, заслуживает самой лучшей жизни. И не какой-то алгоритм будет ему в этом мешать.
P.S. Банк, наконец, разблокировал мой счёт. В качестве жеста примирения они прислали Бублику плюшевую игрушку в виде… ну, конечно же, собаки. Алгоритм, должно быть, одобрил. Или это была всё-таки живая женщина-менеджер? Мы никогда не узнаем.
Перевод с английского и адаптация. Статья написана в развлекательных целях никого ни к чему не призывает, но советует задуматься.
