ПК: Социолог Лоррейн Дастон изучает алгоритмизацию труда. Исследовательница утверждает, что она началась не с появления компьютеров, а с расширения производства. Алгоритмы труда возникали вместе с ростом мануфактур и заводов, связываясь с конвенциональными государственными структурами.
Алгоритмы — это последовательности действий, подобные инструкциям для обучения рабочих. В 1960-е, после двух мировых войн и индустриализации, производственные алгоритмы были отданы машинам и процесс стал менее физически трудоемким. Однако, сопряженные с алгоритмизацией непрозрачность и специфическое образование вызывают вопросы. В чем заключается эта непрозрачность, которая делает алгоритмизацию особенной?
ОС: Проблему непрозрачности можно объяснить так: автоматизированные системы запускаются людьми, которые понимают технологические процессы, а изменения в этих системах неявны для внешнего наблюдателя. Например, непрозрачными оказываются формирование рейтингов и методы шифрования в приложениях.
Непрозрачность — новое явление: она следует из постоянно растущего уровня квалификации специалистов и увеличения порога входа в профессию. Это приводит к рассуждениям о новом влиятельном классе профессионалов, владеющих доступом к «сакральными» знаниям, путь к которым для других закрыт. Отсюда возникают философские и этические вопросы об открытости, приватности и необходимости понимания устройства механизмов, включая искусственный интеллект.
Сегодня под угрозой находятся не столько рабочие места, сколько контроль над ранее привычными процессами. Если ты работник, управляющий процессом, то да, у тебя есть схема, которую ты достаёшь и используешь. Но если ты потребитель алгоритма, например клиент или водитель такси, ты не знаешь, какие оценки за что назначаются и как влияют. Да, таксист может примерно видеть, что в его рейтинге хамство — это одно, авария — это другое, а опоздание — третье, но это очень приблизительное знание.
Например, что происходит, когда мы сталкиваемся с алгоритмами в сфере социальной защиты? В некоторых странах пособия назначают с использованием искусственного интеллекта. Социальный работник не приходит в дом, и ты в учреждение документы не приносишь. Зачем, если есть административные регистры, в которых собирается информация? В скандинавских странах, например, о человеке знают всё с момента рождения: где родился, как себя вёл в детском садике, какие были оценки в школе и институте, где работал. Дальше система оценивает имущество и доходы и выносит вердикт, выдавать ли пособие. Сперва была надежда, что если принимать решение будут машины, то станет лучше: социальный работник может быть необъективным, кому-то сочувствовать, к кому-то испытывать неприязнь. Сейчас появляется все больше понимания, что такие алгоритмы тоже несовершенны. Когда система отказывает в пособии, люди не знают, на чем эта оценка основана, то есть для них ситуация непрозрачная. И, соответственно, они не знают, с чем бороться. Да, они могут прийти жаловаться: «Вот я думаю, что подхожу, а мне не назначили», — но на самом деле они не могут сказать ничего конкретного. Иногда и сотрудник, к которому они приходят жаловаться, тоже не может сказать, почему же система решила не выдавать пособие. И вся эта ситуация требует дополнительных действий, которые не всегда этим людям доступны.