本連載の第7回で、人工知能は「敵か、家族か」という二分法で考えられるほど単純なものではなく、遅かれ早かれ「人間の倫理」の問題として浮上してくると書いた。
人工知能の動向を追いかけていると、「人間とは何か」「社会はどうあるべきか」という問いが、人工知能を発達させるうえで避けて通れない大きな問題として存在することがわかってくる。

人工知能開発における究極の選択問題

トロッコ問題（トロリー問題）をご存じだろうか。簡単にいうと、「ある人を助けるためにほかの人を犠牲にするのは許されるか？」という倫理学の思考実験だ。

「線路を走っているトロッコが制御不能になった。このままトロッコが進むと線路前方にいる5人の作業員が死んでしまう。このとき現場で、この状況を目撃したAさんは線路を切り替えることのできる転轍機のそばにいた。切り替えれば5人は助かるが、切り替えたほうの線路にいるもう1人の作業員Bさんは死んでしまう。手段は転轍機しかない」

これは、「5人を助けるために1人を犠牲にしてもよいか」という道徳的ジレンマに関する問題である。あなたはどう答えるだろう。ちなみに私は、転轍機を一人のほうに切り替えることを選ぶ。

この問題には、派生した以下の別バリエーションがある。

「Aさんの隣には太ったCさんがいて、Cさんを線路につき落とせば、トロッコは確実に止まり、5人を助けることができる。しかしCさんは確実に死ぬ」

この2つの問いを5000人以上に聞いたところ、最初の質問には89％の人が「5人を助けるために1人を犠牲にしてもよい」と答えたという。
しかし、2番目の質問で「Cさんをつき落とすことは許される」としたのはわずか11％。2つの質問の違いは、1人の犠牲者の「出し方」だけだ。
命を奪うことに関して、私たちの中には確実にブレーキが存在する。だから、そのことに対する関与が薄いほうを選ぶ。（参考：「wikipedia」より）

トロッコ問題解決がなければ自動運転車の普及はない？

このトロッコ問題は、米グーグルや世界中の自動車メーカーが研究する自動運転車に必要な人工知能でも考慮しなければならない。

たとえば、オイルが撒き散らされた路上に、自動運転のクルマがスリップを引き起こさざるを得ないスピードで進入してきたとする。そしてスリップする。
前方にはたくさんの子どもたちがいて事故は避けられない。ただ、搭載された人工知能には逆ハンドルを切るプログラミングがされ、少しだけコントロールできる。
道路前方の左端に突っ込んでいけば、子どもの犠牲は減る可能性がある。しかし、クルマはガードレールを突き破り、運転手が崖下に転落する。

このような場合、人工知能にどのような判断をさせればよいのだろう。乗員を犠牲にして、前方の子どもを助けるのか。しかし、乗員を犠牲にするプログラムがなされたクルマは売れないだろう。

「人数の少ないほうを犠牲にする」とプログラムすればいいのだろうか。そうすると、人工知能には「太ったCさんを線路につき落とす」可能性が開けてしまう。
論理的にはそうなる。助けるために殺人を犯すことを是とする機械が出現する。この延長は、人工知能を搭載した殺人兵器だろう。味方をほぼ完全に識別し、敵をせん滅する。
あのダークな「ターミネーター＝破壊的ディストピア」に一歩近づくロボットがつくれるのだ。悪意を持った人工知能。機械が意識に目覚めなくても、マッドサイエンティストと蒙昧な政治家がいれば、それはすぐにでもできそうだ。

（以下略　全文はリンク先で）
http://biz-journal.jp/2016/04/post_14504.html
http://biz-journal.jp/2016/04/post_14504_2.html