Рософагия
Закадровый голос рекламы:
Zoloto Lesa... Shit happens
Камера переводится в сторону и мы видим, как за окном медленно падает снег, вдали слышно собачий лай и пьяные песни...
Ресурс ограничен, нельзя удолетворить все желания и решить все проблемы.
Просто потому, что люди противоречивы по своей природе. Алгоритм должен быть адаптивен, но и стабилен.

А например группа людей в секторе B34/a вдруг решит, что больше не хочет мириться с камерами на улицах - как отреагирует алгоритм?
Мораль сама по себе субъективна. Не зря существуют всякие зоны "серой морали", итд. ИИ автопилота в критической ситуации, когда сбивания пешехода неизбежать должно выбрать сбить родителя или ребёнка.

Если других вариантов не будет. И кто будет приоритет определять? Сумма приоритетов и алгоритмов и составит в итоге условную ИИ-мораль.

Но повторюсь то, что будет благом для популяции может не всегда нравится входящим в него меньшим группам.
Так вот вопрос в том, на что программировать ИИ (робота), на преследование блага одного человека или человечества вцелом. хм...человечества живущего прямо сейчас или блага человека, как вида, и через 200 лет?

И вот если эта штука будет думать о долгосрочном выживании вида, то методы достижения целей могут быть очень неприятным для современников из мяса.
Все слышали про три закона робототехники Азимова, но был потом ещё и Нулевой Закон:

0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.

1- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
2. Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3. Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Вот ещё проблемка - мораль штука субъективная, ИИ может трактовать "благо", хрен знает как. Так, что потом будешь искать рубильник, когда оно решит что нужно сократить 86% населения для оптимизации и выживания рода людского. Естественно в ходе очень точно подсчёта.
Только у ИИ должен быть рубильник или бекдор, а потом всёравно будет не понятно, кто там на бекдоре настройки ковыряет.
А в 2014-2016 была звездой ТВ прям, интересно щя позовут?