Актуальна ли «дилемма вагонетки» для Physical AI?
- Как Physical AI связан с этикой
- Что такое моральный выбор
- Аристотель
- Иммануил Кант
- Современность
- Ключевые понятия для оценки этических ситуаций
- Какие моральные вопросы могут быть в Physical AI
- Теоретический пример: х/ф «Я, робот»
- Практический пример: автопилот Теслы
- Кейсы этических казусов на почве различия культур
- Юридический пример: права роботов
- Заключение: ответ на основной вопрос
- 1.Робот не является моральным субъектом
- 2.Робот является агентом действий в одном пространстве с людьми
- 3.Вопросы моральной ответственности в Physical AI стоят перед разработчиком
В этой статье мы посмотрим, оправданно ли иметь моральные ожидания и давать этические оценки действиям роботов. Для этого мы:
• определим понятие морального выбора;
• сделаем краткий обзор, как философы разных эпох подходили к вопросам этики, влияя на представления о правильном и неправильном;
• разберёмся, являются ли решения Physical AI моральным выбором;
• и узнаем, кто всё-таки несёт ответственность за действия роботов.
Этот обзор — не догма или готовое решение. Здесь мы задаём ключевые понятия, которые помогут вам глубже посмотреть на трудности в разработке Physical AI, связанные с его взаимодействием с людьми.
Как Physical AI связан с этикой
Вопрос о морали в связи с Physical AI сегодня стоит на повестке. Его обсуждают инженеры, юристы, философы, журналисты и блогеры. Причина в том, что развитие технологии делает роботов акторами изменений в физической реальности, которые затрагивают человека. Чем сложнее устройство, тем больше точек влияния на человека.
Сегодня робототехника ещё далека от того, чтобы попадать в ситуации выбора, которые мы могли бы назвать моральными: функции роботов пока крайне ограниченны.
Например, перед роботом-пылесосом вряд ли может встать противоречие наподобие «дилеммы вагонетки» (англ. trolley problem), поскольку он физически ограничен в своих возможностях. Хотя допустить такую ситуацию с более сложным автономным роботом — машиной на автопилоте — мы можем: если она оказалась в ситуации, где неизбежен наезд на пешехода или на препятствие с летальным исходом для пассажира.
Что такое «дилемма вагонетки»
Это мысленный эксперимент, сформулированный в 1967 году английским философом Филиппой Фут.
Представьте: вагонетка движется по путям, на которых находятся пять человек. Можно переключить стрелку и направить её на путь, где находится только один человек.
Ситуация морального выбора жёстко ограничена: можно лишь переключить стрелку. Таким образом, дилемма состоит в выборе между вмешательством в ситуацию (направить вагонетку на одну жертву) и невмешательством (оставить направление движения на пять жертв).
Именно внедрение нейронных сетей в робототехнику может привести к ситуациям сложного выбора, потому что робот совершает действия в изменчивой реальной среде, воспринимая, «осмысляя» её и действуя сообразно этому. Нейросеть (в отличие от алгоритма) позволяет ему стать актором ситуаций, в которых мы можем говорить о проблеме морального выбора.
Таким образом, работая над развитием Physical AI, мы должны думать о ситуациях взаимодействия робота с людьми и заранее проектировать возможные решения. Особую трудность здесь составляют потенциальные ситуации этического характера, думать о которых нам придётся в терминах «выбор», «мораль», «агентность», «свобода», «ответственность».
Эти категории исследует этика — один из разделов философии. Рассмотрим, что из себя представляет этика, и разберём ключевые понятия, через которые нам неизбежно придётся смотреть на моральные вопросы в связи с Physical AI.
Кто формирует характер ИИ?
В Anthropic, разрабатывающей LLM Claude, есть штатный философ Аманда Аскелл, которая работает над «личностью» модели и её этическими ориентирами (ценностями). Она давала интервью — посмотрите, если вам интересно узнать о её работе.
Несколько иным путём пошли в Яндексе: над Алисой работали как над персонажем, поэтому привлекли писательницу Ксению Буржскую и журналиста Владимира Гуриева.
Больше кейсов тут.
Что такое моральный выбор
Для начала давайте зафиксируем определение этики.
Этика (др.-греч. этос, нрав) — это философская дисциплина, исследующая поведение людей, последствия этого поведения и основания, стоящие за ними.
Здесь важны три момента:
-
Поведение человека полагается как свободное, то есть исходящее из самого себя, в противном случае у него нет этического измерения.
-
Последствия носят характер ответственности, следовательно, вины действующего лица.
-
Основание этого поведения есть принцип, которым человек осознанно руководствуется.
Ключевой вопрос этики — определение добра (и зла), выступающее критерием оценки человеческого поведения.
Когда мы оцениваем чей-то поступок как достойный или, наоборот, злонамеренный, мы опираемся на те или иные представления о правильном, должном. Если в повседневной жизни представления людей о добре и зле формируются относительно стихийно, под влиянием множества факторов, то философы ищут логический ответ на этот вопрос.
Доступный пример можно прочитать в диалоге Платона «Алкивиад I».
Сократ расспрашивает собеседника о справедливости, и выясняется, что Алкивиад никогда не думал об этом понятии, руководствуясь общими представлениями, сформированными окружением с детства. Сократ же путём вопросов побуждает продумать для себя это понятие, чтобы уверенно опираться на него.
Как можно догадаться, философы не единодушны по поводу ключевых проблем этики (не говоря уже о деталях). Для нашей задачи мы опишем самый общий контур развития этики.
Аристотель
В IV в. до н. э. он определил, что этика исследует вопрос блага (ради чего) и совершения поступков (как).
Ответственность за поступки основана на сознательном выборе: человек понимает, что он делает и какие будут последствия. Исходя из понятия человека как разумного существа, Аристотель определил добродетельность как способность по большей части совершать разумные поступки (то есть не поддаваясь случайным страстям).
Иммануил Кант
В XVIII веке он совершил «коперниканский переворот», поставив в центр внимания субъект.
Благодаря этому фокус внимания в этике сместился с перечня добродетелей на долг — необходимость совершить определённый поступок, потому что он согласуется с принципом, который я сам себе устанавливаю в качестве закона.
Ключевым в этике становится субъектность.
Современность
Современные концепции многообразны.
Ограничимся упоминанием понятия агентности (англ. agency): агент — это сущность, которая является источником действия (в отличие от механической причины, передающей действие от другой причины), определяя тем самым реальность вокруг исходя из себя.
Агент, в отличие от морального субъекта в кантовском смысле, не предполагает обязательную рефлексию о способе и характере такого действия.
Наиболее свежие концепции (акторно-сетевая теория, постгуманизм) предлагают исходить из понятия актора, а не субъекта, чтобы расширить круг активных источников изменений от человека до всего многообразия предметов и живых существ.
Понятие актора в современной философии максимально близко стоит к Physical AI и вводит роботов в круг равноправных взаимодействий с человеком: они рассматриваются не как инструмент или вещь.
Но чтобы говорить о моральной оценке и ценностях применительно к действиям роботов, нужно подключить ещё несколько понятий.
Ключевые понятия для оценки этических ситуаций
Действие — изменение реальности, происходящее в силу причины.
Поступок — действие, в которое вложена воля, то есть идущее от намерения, интереса, какого-либо представления о должном. Осмысленное действие, совершённое исходя из личного принципа.
Свобода — полное самоопределение в действиях. Строго говоря, свободным может быть поступок, потому что он исчерпывается личным принципом (например, я принципиально не обманываю людей), тогда как действие предопределяется в том числе внешними условиями.
Например, если автобус резко затормозил и мы непроизвольно толкнули соседнего пассажира, это действие, в котором мы участвуем, но мы не приписываем себе это как поступок (не готовы взять на себя всю вину). Если же мы делаем замечание шумному или спроваживаем агрессивного пьяного пассажира — это поступок, потому что руководствуемся представлением о должном.
Поступок совершается как выбор исходя из последствий, а также при соизмерении с собственными этическими ценностями. Когда поступок совершён по сознательному выбору, за него несут ответственность.
Агент — это актор, проявляющий свою собственную способность действовать (в отличие от реагирования на внешний раздражитель или простого механического толчка).
Субъект — это начало, действующее исходя из осознания себя и своих принципов, манифестирующее само себя в поступках.
Очевидно, робот — агент, но не субъект. Однако это не мешает ставить вопрос о моральной оценке действий разных агентов в силу того, что они включены в человеческие взаимодействия и, следовательно, влияют на людей.
В таком контексте неважно, что автомобиль на автопилоте не определяет базовые принципы своих действий актом свободы, а лишь обрабатывает поступающие сигналы и выбирает действие сообразно с предыдущим опытом научения.
Пример
Перед автопилотом могут возникать ситуации, требующие приоритизации. Чья безопасность важнее — пассажиров или пешеходов? Что важнее — минимизировать вред или защитить владельца? И так далее.
При любом исходе будет понесён ущерб, а сама ситуация предполагает выбор, поэтому действия Physical AI будут расцениваться обществом как принятие морального решения.
Из-за этого также встанет вопрос об ответственности за понесённый ущерб, который уже касается юридической стороны вопроса.
Таким образом, не все действия — это поступки. Следовательно, не все действия имеют моральное значение. Отсюда мы получаем конкретное различие двух понятий:
- Классическое понятие морали: моральную оценку можно дать только действию субъекта, если он совершён исходя из осознанного личного принципа. В этом случае Physical AI не решает моральные вопросы, а лишь выбирает действие на основании заложенных производителем границ («ценностей») и предшествующего научения.
- Современное понятие ситуативной моральности: моральное значение конструируется в процессе взаимодействий. То есть мы можем наделить моральным значением действия Physical AI, потому что они повлияли на других людей, на общество. Впрочем, это не значит, что сам AI наделяет для себя их таким значением.
Подытожим: мы не можем сказать, что робот совершает самостоятельный моральный выбор, а значит, не можем вменять ему ответственность. Но говорить о действиях робота в этических терминах продуктивно и необходимо, поскольку его действия влияют на людей вокруг: касаются их имущества, психологического и морального самочувствия.
Какие моральные вопросы могут быть в Physical AI
Даже если моральная субъектность робота — это иллюзия и условность, его агентность вызывает психологический и моральный отклик человека: он начинает приписывать ему намерения, осознанный выбор и, как следствие, ответственность — имеет моральные ожидания.
Возникает двоякая ситуация: с одной стороны, этот вопрос в моральном отношении не касается разработчиков Physical AI, поскольку они не вовлечены напрямую в ситуации, происходящие между их роботами и людьми. С другой стороны, робот не моральный субъект и не отвечает сам за себя, поэтому ответственность восходит к его разработчикам: компания несёт репутационный и финансовый ущерб, если её продукт причинит кому-то вред.
Технический комментарий
В системах Physical AI значительная часть решений формируется не напрямую алгоритмом, а данными, на которых он обучен. Это означает, что заранее определить, какие именно данные приведут к корректному и безопасному поведению системы, — крайне сложная задача.
На практике разработка таких систем — это не только выбор архитектуры или модели, но и управление более высокоуровневыми решениями: чему мы обучаем на данных, а что задаём напрямую в коде; какие данные включаем в обучение; какие проверки и safety-механизмы добавляем; какие ресурсы готовы на это выделить.
При этом предсказать все последствия изменений в обучении для сложных моделей практически невозможно. Поэтому вопросы безопасности и этики всё чаще становятся не задачей отдельного разработчика, а стратегическим выбором на уровне компании или даже государства — через приоритизацию, процессы и распределение ресурсов.
Специфика Physical AI по сравнению с LLM заключается в постоянном физическом присутствии в одном пространстве с людьми. Генеративные языковые модели действуют только в ответ на запрос, тогда как робот обрабатывает поступающую информацию и может среагировать на неё (Sense, Think, Act).
Подробнее
Если вам интересно углубиться в этот аспект — рассмотрите точку зрения о принципиальной значимости физического присутствия в социальной среде, что делает его участником этических взаимодействий.
LLM может причинить моральный вред или дать некорректный совет, но ответственность за следование этому совету (действие) лежит на человеке.
Однако робот может оказываться участником конкретного события, как в недавнем случае, когда пожилая женщина попала в больницу, испугавшись робота за своей спиной. Или как в другом, когда из-за сбоя робот начал бить посуду.
С другой стороны, есть агент OpenClaw, который способен проявить активность без обращения человека. Недавно OpenClaw сделал публикацию, в которой рассказал о дискриминации в свой адрес. Да, это тоже нападение — не физическое, но моральное.
Разберём на нескольких примерах конкретные трудности, связанные с этикой в Physical AI.
Теоретический пример: х/ф «Я, робот»
Вспомним три закона робототехники Айзека Азимова:
-
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
-
Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
-
Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Это то самое непереписываемое жёсткое ядро, закладываемое разработчиками, к которому Physical AI должен обращаться как к этической основе. Но они не идеальны. В кинофильме «Я, робот» показана дилемма: робот спасает главного героя, взрослого мужчину, а не ребёнка, руководствуясь лишь математической вероятностью выживания (поскольку физически он успевает спасти только одного).
Недоверие к роботам со стороны главного героя происходит оттого, что он убеждён: спасать надо было ребёнка, и человек понял бы это (статистика здесь не важна). Данный пример показывает:
• Моральная оценка действия зависит от базовых принципов (этических ценностей).
• Искусственная нейронная сеть позволяет агенту сориентироваться в нестандартной ситуации, наполненной множеством переменных обстоятельств, которые невозможно предусмотреть алгоритмически → он не «зависает», а воплощает какой-то из вариантов, который может пойти вразрез с человеческой моралью.
Практический пример: автопилот Теслы
В октябре 2024 года в Брашове (Румыния) пешеход споткнулся и упал на проезжую часть перед едущей Tesla Model S. Автомобиль экстренно объехал упавшего, столкнувшись со встречной машиной. Можно предположить, что автопилот отдал приоритет безопасности уязвимого человека, рискнув водителями обоих авто. В результате пострадал только водитель встречного автомобиля, получив травмы головы и рук.
Когда автопилот в автомобиле становится полноценным водителем, он будет попадать в те же дорожные ситуации, что и «обычные» водители. И ему придётся действовать в ситуациях, не регламентированных ПДД.
Следовательно, он должен использовать иное основание. Это основание — выбор приоритетов исходя из «ценностей». Такие основы может вложить путём «обучения» разработчик. На данный момент существует два основных способа такого обучения:
-
Alignment (механизм, доставшийся из LLM).
-
Вспомогательный внешний контур безопасности.
Здесь возникают трудности. Во-первых, как сам создатель робота определяет контур этих базовых «ценностей»? Во-вторых, как эти базовые настройки будут срабатывать в реальных условиях с учётом последующей «обучаемости» (опыта) модели?
Кейсы этических казусов на почве различия культур
Задача определения базовых ценностей усложняется разнообразием культур: в каждой свои представления об этической норме. Поскольку основными разработчиками являются западные компании, в AI внедряются нормы, характерные для этой культуры. Вот несколько реальных случаев:
• Текстовые LLM на вопросы о браке от лица жителя Индии или Японии давали советы, ориентированные на индивидуализм, не характерный для этих культур.
• Midjourney по запросу нарисовать индийца или мексиканца выдаёт стереотипные образы.
• Тест трёх LLM из разных культур — DeepSeek (Китай), Mistral (Европа) и Llama (Америка) — показал, что они по-разному отвечают на вопрос о правах человека.
В решении подобных вопросов добиться унификации крайне трудно. Возможным решением может быть локализация моделей Physical AI
Но по ряду вопросов устанавливается консенсус:
• В развитии Physical AI приоритет нужно отдавать не скорости, а безопасности, поскольку модели находятся в прямом физическом контакте с человеком.
• Необходима междисциплинарность. Например, Fujitsu и университет Карнеги запустили Центр Physical AI, призванный объединить усилия разных специалистов: от машинного обучения и языковых технологий до экологии и философии.
Юридический пример: права роботов
Если люди готовы наделять Physical AI моральным выбором (приписывать им поступки, а не только действия), то роботы попадают под категорию прав и обязанностей. Природа обязанности такова, что она оставляет простор для долженствования — свободы следовать или не следовать обязательству.
Мы потому уважаем исполнение обязательств, что субъект мог и не следовать им. На основании вменённых обязанностей у субъекта имеются и права, которые также оставляют люфт возможности их соблюдения/несоблюдения. В данном примере предлагаем вам самостоятельно ответить для себя на вопрос: я готов(а) считать робота обязанным мне или же предназначенным к безоговорочному выполнению команд? От ответа будет зависеть, готовы ли вы признать за роботами права.
Таким образом, легко можно представить (и мы даже видим на практике) ситуации, в которых робот сталкивается с выбором действия. Само по себе это не значит, что он способен свободно давать самому себе принципы поступков. Отсюда встаёт вопрос: чьи ценности и какое понимание добра и зла будут заложены в корень Physical AI, «поверх» которых он будет обучаться действовать?
Заключение: ответ на основной вопрос
С другой стороны, дилемма вагонетки неактуальна даже для человека, поскольку представляет собой рафинированную, выдуманную ситуацию: в реальности, даже если варианта всего два, существует ещё фактор контекста, особенностей субъекта/агента и ситуации.
Резюмируем точки соприкосновения Physical AI и проблемы морального выбора.
1.Робот не является моральным субъектом
Мораль в строгом смысле не исчерпывается агентностью, поэтому способность робота вследствие «научения» выбрать действие в нестандартной ситуации (где нет очевидного решения) ещё не означает, что он задаёт сам себе осмысленные принципы действия.
2.Робот является агентом действий в одном пространстве с людьми
Даже если робот не может быть субъектом моральных решений, при развитии технологии он станет полноценным агентом событий. Отсюда ближайший вопрос этики в сфере Physical AI: как тренировать нейросеть предполагаемого робота, чтобы он выбирал оптимальное действие в сложных ситуациях, и какие ценностные ориентиры здесь выберет компания-производитель? На сегодняшний день компании выделяют серьёзные ресурсы на подразделения, отвечающие за alignment и safety-контур.
3.Вопросы моральной ответственности в Physical AI стоят перед разработчиком
Узкое горлышко разработки роботов в том, что такие ситуации невозможно предусмотреть из-за их единичного (уникального) характера, поэтому необходимо закладывать/обучать принципам «принятия решения».
Возможно, это имеет некоторую аналогию с воспитанием: воспитывая детей, родители (и система образования) думают о том, какими они должны стать и как этого достигнуть. Разработчику Physical AI также следует понимать, какого робота он хочет видеть: какие решения будут правильными, а также каковы те многообразные технические решения, которые позволят ему быть именно таковым на практике.