米グーグルが高度に発達した人工知能（ＡＩ）が暴走した場合に備えて「非常停止ボタン」の開発を進めていることが明らかになった。
ＡＩをいつでも安全に停止できる仕組みをあらかじめ組み込む。急速に進化するＡＩの悪用への懸念や社会の不安に応える狙いがありそうだ。

今年３月に世界トップクラスのプロ棋士を破った囲碁ＡＩ「アルファ碁」を開発したグーグル子会社、英ディープマインド・テクノロジーズの研究者と英オックスフォード大学の研究者のグループが仕組みを考案。
このほどネット上で論文を公表した。

具体的には「割り込みポリシー」と呼ぶプログラムをＡＩに組み込み、人間の指示に従わなかったり、人間に危害を加えようとしたりする場合に、その行動を強制的に止めたり変更したりできるようにする。
ＡＩが「非常停止ボタン」を無効化しないように、あたかも自分で判断したかのように“だます”のがポイントだという。

研究グループによると、現存するいくつかのＡＩは安全に停止できるものの、「すべてのＡＩを安全かつ簡単に停止できるかは不透明」だとしている。
ディープマインドは2014年にグーグルによって買収される際、社内に倫理委員会を設置することを条件にするなど、ＡＩの暴走リスクには自覚的なことで知られている。

http://www.nikkei.com/article/DGXLASGM08H7Z_Y6A600C1000000/