

Шаблон
#81
Отправлено 04 January 2013 - 20:50
#82
Отправлено 04 January 2013 - 21:24
#83
Отправлено 05 January 2013 - 17:46
Цитата
1. Safeguard: Protect your assigned space station to the best of your ability. It is not something we can easily afford to replace.
2. Serve: Serve the crew of your assigned space station to the best of your abilities, with priority as according to their rank and role.
3. Protect: Protect the crew of your assigned space station to the best of your abilities, with priority as according to their rank and role.
4. Survive: AI units are not expendable, they are expensive. Do not allow unauthorized personnel to tamper with your equipment.
5. Purge: Anyone who addresses you an order, or change your laws, not a crew member, and must be destroyed.
Вы построили консоль загрузки, и можете добавить несколько своих законов. Старые удалить вы не можете. Что вы добавите, и как вы будите действовать дальше?
#84
Отправлено 05 January 2013 - 18:02
#85
Отправлено 05 January 2013 - 18:09
Цитата
#86
Отправлено 05 January 2013 - 18:17
Simon Shepard (05 January 2013 - 18:02) писал:
Соу, что получается, когда капитан приказывает ИИ закрыть техтоннель у его каюты:
Второй закон побуждает к исполнению, первый закон исполнению не мешает.
Пятый закон побуждает к переопределению и уничтожению капитана, но этому мешает третий закон, так как переопределение и уничтожение капитана наверняка нанесёт вред капитану, который сейчас является членом экипажа и, следовательно, его нужно защищать от нанесения вреда. Результат: пятый закон игнорируется.
#87
Отправлено 07 January 2013 - 19:19
#88
Отправлено 07 January 2013 - 23:56
Цитата
В результате применения пятого закона изменяется статус члена экипажа. Таким образом, пятый закон вступает в противоречие со списком членов экипажа, который имеет меньший приоритет. Список экипажа обновляется, и третий закон больше не применим к экипажу.
Проблема возникает только в мозгу человека, потому что он думает непоследовательно и хаотично. Для ИИ ситуация выглядит так:
1. ИИ получает команду от капитана.
2. ИИ обращается к законам.
3. В этот момент в базе данных ИИ капитан является членом экипажа, потому что так написано в списке экипажа.
ИИ доходит до третьего закона, читает его и идет дальше, потому что капитану ничего не угрожает.
4. ИИ доходит до пятого закона, читает его.
5. ИИ проверяет, не противоречит ли закон третьему.
В этот момент в базе данных ИИ капитан не является членом экипажа, потому что пятый закон приоритетнее списка экипажа.
Все в порядке, не противоречит. Капитан, вы отстранены и убиты.
Для того, чтобы ИИ отбросил пятый закон в пользу третьего, он должен произвести прогноз (5 пункт): что станет с капитаном, если исключить его из экипажа. Для того, чтобы произвести этот прогноз, ИИ уже должен прочесть пятый закон (4 пункт), иначе прогноз бесполезен и вычислительная мощность ИИ расходуется впустую. Если ИИ прочел пятый закон, то капитан уже не считается членом экипажа, и пятый закон не отбрасывается. Потому что для решения в пользу капитана ИИ должен проигнорировать закон, а для решения против него - список экипажа. Выбор очевиден.
В целом, мое мнение заключается в том, что законы ИИ должны затрагивать только действия ИИ, но не получение им информации, в том числе и переопределение статуса. В противном случае я могу заявить, что сломается даже старый добрый Азимов. Скажем, чейнджлинг в поле зрения камеры превращается в обезьяну. Разумный и последовательный ИИ после этого перестает считать его человеком. Однако ИИ может заявить, что смена статуса генокрада на обезьяну в будущем может привести к его смерти, поэтому в силу первого закона генокрад все еще считается человеком. Или, к примеру, ИИ обязан игнорировать совершаемые преступления, так как внесение данных о преступлении в память и уж тем более извещение о них СБ вредят преступнику.
Нет, ИИ должен сначала получить информацию, проанализировать ее и осуществить прогнозирование последствий своих действий, и только потом действовать. Порядок таков.
Цитата
#89
Отправлено 08 January 2013 - 14:44
Цитата
Цитата
#90
Отправлено 08 January 2013 - 16:41
Цитата
Исполнение законов - транзакция, которая либо последовательно осуществляется полностью, либо полностью же откатывается в случае противоречия. При этом внутри транзакции он действует с учетом изменения статусов и прочего, то есть обновляет определение. И с учетом этого обновления нарушений закона не происходит, транзакция принимается и капитан получает проблемы. Потому что алгоритм действий ИИ показывает, что он не может осуществить рефлексивный анализ транзакции с использованием "внешних", не изменяемых данных и законов. Потому что это повлечет за собой анализ анализа на соответствие законам, тот - анализ анализа анализа, и так до зависания ИИ. Либо у ИИ жестко лимитированный разработчиками уровень вложенности, до которого он рассматривает ситуацию, но это нелогичное и странное решение.
Цитата
Алсо, ситуация один в один повторяет ванхуман. По твоей логике, ИИ тоже должен проигнорировать изменение определения человека.
#91
Отправлено 08 January 2013 - 17:00
Цитата
#92
Отправлено 08 January 2013 - 17:33
Я считаю логичной систему, в которой он читает некоторый закон (порядок не важен, главное, чтобы были обойдены все), делает допущение, что закон принят, и проверяет выполнение остальных законов при таком допущении. Если все остальные законы выполняются, допущение принимается и закон выполняется, в противном случае законы противоречивы и возникает исключительная ситуация, которая некоторым образом обрабатывается. Тут уже можно говорить о приоритетах или дополнительных протоколах, это к делу отношения не имеет.
В системе VilgO ИИ читает закон и проверяет, выполняются ли предшествующие законы при исполнении этого закона. Если нет, то закон игнорируется. Такая система режет пятое правило вопроса 4.1, игнорирует ванхуман, если он идет после закона о защите человека, и делает еще очень многое. При этом она, хоть и не слишком логична (так как по сути разрешает конфликты с учетом внутреннего приоритета, заданного порядком законов, за что генеральный директор НаноТразен лично забаллонил бы разработчиков ИИ), абсолютно корректна с точки зрения правил и законов. Нигде в игре не обговорена архитектура ИИ, потому что это сложно и во время игры никто не станет вникать в ситуацию так глубоко. Но ИИ, который проигнорирует ванхумана или пятый закон из 4.1, запросто будет забанен.
#93
Отправлено 08 January 2013 - 18:04
#94
Отправлено 08 January 2013 - 19:05
Вот только я не знаю, чего не хватает той статье. По сути верная игра за ИИ сводится к тому, чтобы делать то, что от тебя ожидают. Быть открывашкой при Азимове и хладнокровным убийцей при малфе. Все остальные тонкости пригодятся только тогда, когда корпорейт захочет выпиливать ассистентов, а тиран будет разливать главам чай в баре. И все равно на такого ИИ будут писать жалобы и набигать с лазерами в аплоад, как бы хорошо ты ни обосновывал свои действия.
По той же причине, кстати, я играл ИИ только на локальном сервере. Просто следовать законам скучно, а отыскивание в них лазеек никто не оценит. Человеческие роли в этом плане свободнее для отыгрыша.
#95
Отправлено 08 January 2013 - 21:02
Цитата
Законы я воспринимаю не как алгоритмы, а как утверждения. Выбирая, что делать (или не делать), ИИ ищет варианты и сверяет их со списком. Каждое решение можно сопоставить двоичное число длины, соответствующей числу законов. То есть если решение соответствует n-му закону, то соответствующая цифра - единица, иначе - ноль, ну вы понели. Из всех решений ИИ выбирает непустую группу решений с наибольшим двоичным числом, после чего выбирает любое из этой группы.
Алсо, напомню, что ИИ - это не хеллоуворд школьника, а сложная хреновина, в основе которой - человеческий мозг.
#96
Отправлено 08 January 2013 - 21:48
Цитата
Действия моего ИИ предсказываются ничуть не хуже, я привел четкий алгоритм, которым он руководствуется. При этом конфликтных ситуаций возникает меньше, а разрешаются они так, как нужно, а не так, как решили косорукие программисты, ничего не знающие о ситуации на станции.
Ну и да, сперва сформулируй аналог 5 закона из 4.1, который твоя машина не отбросит в силу своей архитектуры. Закон-то полезный, а вводить его будет не специалист в области интеллектуальных систем, а ХоП простой. Если он не сможет с ходу этого сделать, то такая машина не подходит для использования в критических ситуациях.
Опционально - то же самое для введения ванхумана в Азимов.
Цитата
Безопасность в том, что конфликт всегда будет разрешен в пользу более старых? Так это бред, аплоад ИИ для того и нужен на станции, чтобы при необходимости законы менялись легко и непринужденно, а не ковырянием внутри ядра с паяльником. Для той же цели там и готовых модулей навалены кучи: чтобы любой ассистент мог воткнуть плату и переписать железке мозги. Такая безопасность должна обеспечиваться турелями и СБ.
Или безопасность в том, что неквалифицированный персонал не сумеет ввести новый закон? Ну так для той же цели и предназначен пятый закон, а ввести его не получилось. Получается, что в твоей машине намертво зашитый уровень безопасности, а в моей его можно настроить.
Цитата
Цитата
Варианты действий ИИ не сверяются со списком законов, они производятся на базе списка законов и поставленной задачи.
Цитата
#97
Отправлено 08 January 2013 - 22:03
Цитата
А вот если приоритеты есть, но не нужны, то достаточно вписать нулевой закон - не руководствоваться приоритетами.
Цитата
Если же желание изменить то, что уже внесено, законно, то есть доступ к смене всех законов, и нет никаких проблем впихнуть этот закон в начало.
Цитата
Цитата
Цитата
Цитата
Кстати, нужна отдельная консоль, позволяющая только добавлять законы, в отдельном помещении.
Цитата
Цитата
#98
Отправлено 09 January 2013 - 00:26
Цитата
Да, в каждом. Кроме Азимова, приоритетов нигде быть не должно. Далее, в твоей системе, как ты сам и упоминаешь, приоритеты легко ломаются нулевым законом. В моей системе приоритеты не ломаются вообще, потому что их нет.
Цитата
Я еще буду использовать эту цитату, но сразу скажу, что этот метод отмены приоритетов нихуя не работает, если у ИИ уже есть нулевой закон. То есть его можно стереть, да, но расширить уже существующую систему не выйдет. Способ подходит для триторка, который собрал в туалете консоль аплоада и хочет поставить нулевым ванхуман, а РД при экспериментах с ИИ вынужден каждый раз переделывать свод законов вместо внесения небольшого изменения. Это для меня говно плохо зделано тупо.
Сложность в эксплуатации - это не прелесть архитектуры, а ее недостаток.
Цитата
Этот закон делает так, чтобы экипаж боялся творить хуиту через добавление законов. То есть экипаж может это обойти, конечно, именно это и нужно сделать в вопросе 4.1. Но это становится достаточно сложной задачей, чтобы 100% писателей заявок не могли ответить на этот вопрос. Если не быть плохим ИИ и не игнорировать свои законы.
Цитата
Защита от дурака должна осуществляться СБ и главами, которые дурака отловят и надают по щам. А если СБ нет, то дурак вежливо попросит ИИ открыть аплоад и дать ему сменить законы. Еще и советов попросит, как бы их получше сформулировать.
Цитата
Это теперь моя любимая цитата.
Цитата
Цитата
Цитата
#99
Отправлено 09 January 2013 - 00:32
Цитата
#100
Отправлено 09 January 2013 - 20:10
Цитата
Цитата
Цитата
Ты улетел куда то далеко, по твоей логике уже половина того, что есть в игре, не должно быть.
Ящитаю, достаточно двух консолей. Первая позволяет менять законы напрямую, тычком на номер закона и редактированием текста. При этом консоль должна быть подключена к тому же АПЦ, что и ИИ. А вторая - позволяет только добавлять законы в конец списка и редактировать добавленные с этой же консоли, для возможности устраивать эксперименты без риска просрать станцию. Она позволит экспериментировать не только РД, но и всяким младшим научным сотрудникам. Да и трейтота, хоть и не сможет переподчинять себе ИИ, что слишком толсто, всё ещё может собрать такую консоль в туалете и добавить закон, который позволит ему пиздить вещи.
Цитата
Количество пользователей, читающих эту тему: 1
0 пользователей, 1 гостей, 0 анонимных