Сложные алгоритмы, даже тщательно протестированные, могут столкнуться с непредвиденными ситуациями, в которых их поведение станет непредсказуемым. Например, ошибка в коде, сбой в датчиках или неверная интерпретация окружающей обстановки могут привести к тому, что ИИ примет решение об атаке в неподходящий момент или против неверной цели. Такие инциденты уже происходили в менее критичных системах, например, в автономных автомобилях, где сбои приводили к авариям. В случае с оружием последствия могут быть катастрофическими, включая массовые жертвы или эскалацию конфликтов.

Также существует риск внешнего вмешательства, такого как кибератаки. Хакеры могут перехватить управление системой ИИ, изменив её цели или отключив механизмы безопасности. Даже без злого умысла, ИИ может выйти из-под контроля из-за чрезмерной автономии, если его создатели не предусмотрели все возможные сценарии. Например, система, запрограммированная на уничтожение угроз, может ошибочно классифицировать мирных жителей как врагов из-за недостатков в данных или алгоритмах распознавания. Отсутствие человеческого контроля в таких ситуациях делает ИИ опасным инструментом, который может действовать вопреки намерениям своих разработчиков.

ИИ, применяющий оружие, не может быть привлечён к ответственности за свои действия, что создаёт серьёзную этическую и юридическую проблему. В отличие от человека, который может быть осуждён за военные преступления или ошибки, машина остаётся лишь инструментом, за который отвечают её создатели, операторы или командиры. Однако в сложных системах с высокой степенью автономии определить, кто именно виноват в ошибке — программист, разработчик алгоритма или командир, отдавший общий приказ, — крайне сложно. Это размывает ответственность и может привести к безнаказанности в случае трагедий, подрывая доверие к правосудию.

Отсутствие ответственности у машины также влияет на моральные аспекты войны. Живые солдаты, осознавая последствия своих действий, могут испытывать угрызения совести или страх наказания, что иногда сдерживает их от чрезмерной жестокости. ИИ, лишённый эмоций и моральных ориентиров, действует исключительно на основе заданных параметров, не задумываясь о последствиях. Это может привести к ситуациям, когда машина будет выполнять приказы, которые человек счёл бы аморальными или незаконными. Например, ИИ может нанести удар по густонаселённой территории, если это соответствует его алгоритму, даже если человеческий оператор в аналогичной ситуации воздержался бы от атаки.

ИИ лишён способности к эмпатии и гуманности, что делает его непригодным для принятия решений, требующих милосердия или пощады. В военных конфликтах часто возникают ситуации, когда человек может принять решение не стрелять, учитывая контекст, например, сдачу противника в плен, присутствие гражданских лиц или возможность переговоров. Машина, руководствующаяся только алгоритмами, не способна учитывать такие нюансы, если они не были явно запрограммированы. Это может привести к избыточной жестокости, когда ИИ будет атаковать без разбора, игнорируя возможность мирного разрешения ситуации.

Неспособность ИИ к пощаде также может усилить эскалацию конфликтов. Живые солдаты, руководствуясь моралью или страхом возмездия, могут проявлять сдержанность, чтобы избежать ненужных жертв или сохранить возможность для дипломатии. ИИ, напротив, будет действовать строго в рамках своей программы, что может привести к чрезмерной агрессии и разрушительным последствиям. Например, в ситуации, где противник демонстрирует признаки капитуляции, ИИ может продолжить атаку, если его алгоритм не распознаёт такие сигналы. Это не только увеличивает число жертв, но и подрывает доверие между сторонами конфликта, затрудняя достижение мира.