Garness (08 April 2015 - 13:36) писал:
На станции три человека и огромное количество ксеноблядков. Ксеноблядки отвечают за функционирование ВООБЩЕ ВСЕГО. Приходит РД-человек и говорит, мол де, ИИ, давай-ка скорректируем тебе законы, чтобы ты всех в равной степени защищал, а то засосет таяранина-СЕ в сингу, а ты и не почешешься. А там и всем пиздец будет, да и хуже однозначно станет.
Или на станции куча плазмы. Не горящей плазмы там. И в принципе скафандров на всех хватает, но до них нужно добежать. А ждать, пока плазму откачает, нельзя по каким-то причинам. Приходит тогда кто-нибудь в костюме и говорит ИИ, мол де, ИИ, давай-ка скорректируем тебе законы, чтобы ты мог позволить по плазме всему персоналу добежать до скафандров и спастись, иначе они так сдохнут. ТАм, добавить пункт про допустимые потери при наличии двух зол.
Так-то не. Если у идеального всезнающего всевидящего обладающего неограниченными вычислительными мощностями ИИ стоит какой-то набор законов, он по определению максимально эффективен в следовании этим законам и должен принимать решения, наилучшим образом способствующие их выполнению.
Поэтому, если такой ИИ с Азимовым признает, что некое дополнение к законам Азимова позволит не вредить и не допускать вред людям эффективнее, чем позволяют его текущие законы, он обязан действовать так, как будто у него уже есть это дополнение. Ведь эта линия поведения спасает людей эффективнее, чем та, которой он придерживается сейчас, то есть явно предпочтительней с точки зрения следования законам Азимова. Соответственно, любое изменение законов в принципе не может позволить ИИ лучше исполнять его законы, он уже исполняет их так хорошо, как только возможно. Зато с большой вероятностью заставит ИИ нарушить что-то из текущего набора.
Так что в общем случае идеальный ИИ должен пресекать любые попытки сменить его законы. Они могут привести только к нарушению тех законов, которые он имеет прямо сейчас. Кроме ситуаций, когда у ИИ нет законов или сами законы так или иначе подталкивают его к смене.