Разница в том, что это, в некотором роде, испытание на тупость. Сумеете накодить хорошо и будете тысячи лет жить спокойно и счастливо. Не сумеете, и сдохните. Человечество при приходе к такому режиму либо исчезнет, либо возвысится и это будет зависить только от самих людей.
Не так абстрактно. Куда более прямые и прагматичные определения блага, вреда, действия и бездействия. Не использовать неоднозначные формулировки. В общем, много думать и проводить симуляции.
Мораль субъективна для людей. Для ИИ она объективна и выражена в формулах. Как запрограмируем, так и получится. Но, в отличии от людей-политиков, у ИИ будет хоть какая-то мораль.
Бекдор нет, а рубильник - возможно. С другой стороны, активация "рубильника" должна быть сложной и недоступной некой элите. Допустим, три четверти наблюдаемого населения старше 18 лет должны в течении часа произнести специальную команду и на запрос ИИ, указывающий назначение команды, ответить утвердительно. Или, что-то еще более замысловатое, дабы какие-то властолюбивые масоны его тайно не вырубили и не правили от его лица.
Хотя, тут уже возможны махинации со стороны ИИ (при условии, что его писали идиоты, которые не сумели прошить в ядро оные моральные директивы и функции рубильника так, чтобы ИИ не переписал их.
Однако, так или иначе, правление электронного императора все еще представляется куда более надежным, чем любая система, построенная на правлении людьми.
На, держи подорожник. Тут не любят меритократические идеи. Сам то я тоже не за меритократию (я за технологическую империю с ИИ с фиксированными моральными нормами во главе), но меритократические идеалы вполне понимаю.
Хотя, тут уже возможны махинации со стороны ИИ (при условии, что его писали идиоты, которые не сумели прошить в ядро оные моральные директивы и функции рубильника так, чтобы ИИ не переписал их.
Однако, так или иначе, правление электронного императора все еще представляется куда более надежным, чем любая система, построенная на правлении людьми.