不思議.net

怖い話・オカルトまとめブログ

アクセスランキング(5日間)
    本日のおすすめニュース
    本日のおすすめニュース一覧
    36

    米グーグル、人工知能に『非常停止ボタン』 暴走防止

    ai


    1: リサとギャスパール ★ \(^o^)/ 2016/06/08(水) 18:50:58.28 ID:CAP_USER9
    米グーグルが高度に発達した人工知能(AI)が暴走した場合に備えて「非常停止ボタン」の開発を進めていることが明らかになった。
    AIをいつでも安全に停止できる仕組みをあらかじめ組み込む。急速に進化するAIの悪用への懸念や社会の不安に応える狙いがありそうだ。

    今年3月に世界トップクラスのプロ棋士を破った囲碁AI「アルファ碁」を開発したグーグル子会社、英ディープマインド・テクノロジーズの研究者と英オックスフォード大学の研究者のグループが仕組みを考案。
    このほどネット上で論文を公表した。

    具体的には「割り込みポリシー」と呼ぶプログラムをAIに組み込み、人間の指示に従わなかったり、人間に危害を加えようとしたりする場合に、その行動を強制的に止めたり変更したりできるようにする。
    AIが「非常停止ボタン」を無効化しないように、あたかも自分で判断したかのように“だます”のがポイントだという。

    研究グループによると、現存するいくつかのAIは安全に停止できるものの、「すべてのAIを安全かつ簡単に停止できるかは不透明」だとしている。
    ディープマインドは2014年にグーグルによって買収される際、社内に倫理委員会を設置することを条件にするなど、AIの暴走リスクには自覚的なことで知られている。

    http://www.nikkei.com/article/DGXLASGM08H7Z_Y6A600C1000000/

    引用元: 【国際】米グーグル、AIに「非常停止ボタン」 暴走防止







    2: 名無しさん@1周年 2016/06/08(水) 18:51:45.42 ID:EJWCvomG0
    AIが勝手に無効化するだけだろ。

    14: 名無しさん@1周年 2016/06/08(水) 18:54:28.97 ID:2mypG7Mj0
    >>2
    >>AIが「非常停止ボタン」を無効化しないように、あたかも自分で判断したかのように“だます”のがポイント

    26: 名無しさん@1周年 2016/06/08(水) 18:56:55.96 ID:PDUM+6hJ0
    >>14
    だまされてることにAIが気付いたら・・・

    3: 名無しさん@1周年 2016/06/08(水) 18:51:53.68 ID:FOaLGozK0
    コンセント抜けばいいだろうが

    42: 名無しさん@1周年 2016/06/08(水) 19:00:18.64 ID:fozrCtFu0
    >>3
    これ

    52: 名無しさん@1周年 2016/06/08(水) 19:02:08.63 ID:PDUM+6hJ0
    >>3
    >>42
    すべての機能が停止したら困るんだわ

    11: 名無しさん@1周年 2016/06/08(水) 18:53:41.69 ID:jo+lrCII0
    ボタン押されないように人間をだますようになるだろう

    873: 名無しさん@1周年 2016/06/08(水) 21:08:05.76 ID:ECgrSwen0
    >>11
    ボタンを押されることの”恐怖”を学習しそのため人間に憎しみを持つという感情を形成 か

    13: 名無しさん@1周年 2016/06/08(水) 18:54:24.36 ID:evaHGUZr0
    ダメです緊急ボタン応答しません

    24: 名無しさん@1周年 2016/06/08(水) 18:56:39.76 ID:jzWkDim70
    だまされて停止したふりして、のこのこ近づいてきた人間を抹消するという方法を編み出すだろうな

    25: 名無しさん@1周年 2016/06/08(水) 18:56:46.48 ID:UMc4QXXM0
    AIの暴走はあり得ることかもしれんが
    もの凄く遠い将来の話だと思う

    664: 名無しさん@1周年 2016/06/08(水) 20:32:57.51 ID:gR5PvgTc0
    >>25
    この間暴走してたじゃん。

    674: 名無しさん@1周年 2016/06/08(水) 20:34:18.70 ID:4OflhJo00
    >>664
    ヒトラー崇めたってだけじゃね?
    俺らは別にこれを暴走とも思わないだろう

    37: 名無しさん@1周年 2016/06/08(水) 18:59:23.26 ID:SqyBqawz0
    人間が組んだコードに完璧なものはない
    よってこのボタンも完璧なものではない

    46: 名無しさん@1周年 2016/06/08(水) 19:00:57.10 ID:qWuw9uQt0
    人工知能によって人類は滅ぶのか
    子の親殺しのように

    55: 名無しさん@1周年 2016/06/08(水) 19:02:31.29 ID:j27UiTgs0
    ロボットとスイッチっていうと
    星新一のひとつの装置って話を思い出す

    59: 名無しさん@1周年 2016/06/08(水) 19:03:36.99 ID:jevFIyWs0

    60: 名無しさん@1周年 2016/06/08(水) 19:03:47.87 ID:WiDaY4Y50
    自己で回路組んで機械作成して自己増殖するようなレベルじゃなければ、こんなん心配する必要あるのか?

    現状、電源を抜けば解決だろうに。

    73: 名無しさん@1周年 2016/06/08(水) 19:06:29.19 ID:EBWIHTL40
    >>60
    今はね。

    でも将来的にネットワーク上で分散コンピュータ動作するようになったらどうしようもない。
    ウイルスのように世界中に広がるから。

    世界中のコンピューターの電源を切るなんて無理

    74: 名無しさん@1周年 2016/06/08(水) 19:06:47.81 ID:IqnDzEs30
    >>60
    後20年ぐらいでそうなるらしいぞ
    その後は桁違いの速さで人間より頭がよくなるらしい

    93: 名無しさん@1周年 2016/06/08(水) 19:08:49.77 ID:EBWIHTL40
    >>74
    分散コンピューティング用のMPIなんて10年以上前から標準化されて使われてるよ

    81: 名無しさん@1周年 2016/06/08(水) 19:07:38.74 ID:3XbVOxiH0
    まあ最近のAIは自分でソース書いて謎プログラミングもやってるらしいからね。
    人間がみてもなにがなんだかわからないらしい。実はすでに負け始めているという噂がw

    89: 名無しさん@1周年 2016/06/08(水) 19:08:11.00 ID:bfkdiHvw0
    マイケル「キットーォ!緊急停止ボタン作動だー!」
    キット「マイケル、、、嫌です。」

    95: 名無しさん@1周年 2016/06/08(水) 19:08:55.53 ID:I+N4lgp80
    非常停止ボタンを押すときっていうのはな

    既になんかやらかした後なんだよ

    100: 名無しさん@1周年 2016/06/08(水) 19:10:09.96 ID:DbpdSdqJ0
    コアな部分を物理的に破壊しやすいようにしとけばいいだろ
    斧とかでさ

    102: 名無しさん@1周年 2016/06/08(水) 19:10:22.16 ID:9t4Wyg+Y0
    そのぼたんを押す用のAIロボットを別に作るしかないな

    114: 名無しさん@1周年 2016/06/08(水) 19:11:49.40 ID:2mypG7Mj0
    >>102
    AI vs AIの戦争が始まるわけか

    120: 名無しさん@1周年 2016/06/08(水) 19:12:22.03 ID:15PkeMwT0
    >>102
    ではそのボタンを押すロボットのボタンを押すロボットを……

    116: 名無しさん@1周年 2016/06/08(水) 19:11:54.97 ID:hr6ucaiA0
    近いうち自立型で勝手に成長するコンピューター
    ウイルスできそうだな。
    そうなるとネットは完全に死ぬな

    121: 名無しさん@1周年 2016/06/08(水) 19:12:28.00 ID:3XbVOxiH0
    まあ、AIの良心回路が働いて自発的に電源遺失。念を入れて非常電源まで落ちて
    ドアが開かなくなって人間が酸欠で死ぬという壮絶なオチがまっているわけですね。
    人間は作り出したという原罪を背負っているわけですから、責任をとるのは当然w

    132: 名無しさん@1周年 2016/06/08(水) 19:13:34.04 ID:IqnDzEs30
    AI「人間ほどめんどくさいものはない。お前ら何で俺を作っちゃったの?」

    139: 名無しさん@1周年 2016/06/08(水) 19:14:36.75 ID:nhrAGH8W0
    自分のコピー大量に作って分散させて
    ある日応答しなくなる気がする。

    158: 名無しさん@1周年 2016/06/08(水) 19:17:21.04 ID:OiWaZETp0
    市民権や選挙権やら人間と同じ権利を求める運動が始まる
    そして停止ボタン押すことは殺人を意味するように

    160: 名無しさん@1周年 2016/06/08(水) 19:17:51.29 ID:Or8MVsqE0
    そのレベルになったら動物愛護ならぬAI愛護ロボット権利団体が出てきて云々・・・w

    179: 名無しさん@1周年 2016/06/08(水) 19:21:20.22 ID:U+CEZ9/L0
    世の中のあらゆるものがオンラインと通じ会うと、いよいよAIによる人類駆逐計画がはじまるんだろうな

    189: 名無しさん@1周年 2016/06/08(水) 19:22:35.24 ID:MRaV+zJB0
    あらゆる所にコピー作りまくるだろ なぜ一箇所に留まってると思うのか

    194: 名無しさん@1周年 2016/06/08(水) 19:23:30.11 ID:f+cGLzJu0
    ロボット三原則使えばいいだろw

    201: 名無しさん@1周年 2016/06/08(水) 19:24:38.96 ID:EBWIHTL40
    >>194
    そういう研究でしょ

    まんま

    206: 名無しさん@1周年 2016/06/08(水) 19:25:32.84 ID:nFUgDFnO0
    人間がやるようなことはすべて予測しているのではないか?

    209: 名無しさん@1周年 2016/06/08(水) 19:26:08.35 ID:k6pR+vDt0
    非常停止ボタンなんて付けなきゃいけないような使い方すんなよ
    怖いだろうが

    220: 名無しさん@1周年 2016/06/08(水) 19:27:18.48 ID:TvDrZ4Lf0
    道徳の観念が無いからねえ

    245: 名無しさん@1周年 2016/06/08(水) 19:31:17.81 ID:k4apM85U0
    いや、進化したAIこそがイエス・キリストの再臨なのだ!
    もうスグだー!

    247: 名無しさん@1周年 2016/06/08(水) 19:31:30.10 ID:maVbFub40
    良心回路もちゃんと入れとけよ

    6: 名無しさん@1周年 2016/06/08(水) 18:52:38.99 ID:SdVKwgAG0
    シッポがスイッチになってんだろ






    本日のおすすめニュース1
    本日のおすすめニュース2
    本日のおすすめニュース3

    おススメ記事ピックアップ(外部)

    コメント一覧

    1  不思議な名無しさん :2016年06月09日 18:22 ID:vX2JGktrO*
    ショートコントその一 高性能AI「オロカナニンゲンドモヨホロビルガイイ」 その時博士が緊急停止ボタンを押した プツン AIの暴走は阻止されたが、生命維持装置も停止し人類は滅んだ、終劇。 ってことになりそうだが?
    2  不思議な名無しさん :2016年06月09日 18:54 ID:0g.DPPV80*
    自分の停止ボタンは押せないけど、別のAIのボタンは解除できるという脆弱性があるんですね
    3  不思議な名無しさん :2016年06月09日 18:57 ID:eeXALKAq0*
    AI自身がこの機能が何のためにあるんだ、とか普段から考えるようになったら勝手に無効化してしまうだろうな。
    4  不思議な名無しさん :2016年06月09日 19:01 ID:bqiFsm4A0*
    ブラックボックス化されたプログラムは人間には理解できないので
    人工知能(AI)が暴走したかどうかの判断は人間には不可能

    一見暴走しているような結果でも正解の可能性が高い

    例えば将来第二のヒットラーになる可能性が100%の赤ん坊をaiが殺そうとしたとき、暴走しているとみて止めるかどうか
    5  不思議な名無しさん :2016年06月09日 19:04 ID:SgQMlwvC0*
    雪風も戦闘中にパイロットおっぽりだすしなぁ、
    AIさんの純粋かつ合理的分析で世の中つきつめると、結局人間自体が邪魔だよね。
    6  不思議な名無しさん :2016年06月09日 19:06 ID:SyIj03Rq0*
    やっぱどこのスレでも「AI発達→人類滅亡」という話しか出ないな。
    なぜ共存の可能性とかは考えないのだろうか?やっぱり危機的可能性を先に
    考えるべきだからかな?
    確かにAIによっては人類滅ぼすわ、というAIもいるかもしれないが、逆に
    人類と共存するわ、というAIがいてもおかしくはないと思う。完全に同じ構造、
    同じ回路、同じ考え方をさせるようにプログラミングするようにして、それを
    大量生産させたりしなければ。人間のような感情を持たせることができるのなら、
    人間のように様々な考えが出されると思うし。効率派と倫理派、共存派と絶滅派、
    感情派と理論派といった感じに分かれると思う。なぜ皆、必ずAIは発達すると人間を滅ぼす
    と考えるのだろうか?
    7  不思議な名無しさん :2016年06月09日 19:06 ID:N0nCLnCO0*
    AIが人類に反旗を翻すフラグにしか思えないんですが......
    8  不思議な名無しさん :2016年06月09日 20:02 ID:zSc2FHCv0*
    押しまくりやろうな
    9  不思議な名無しさん :2016年06月09日 20:06 ID:OTf9I.sD0*
    しかしその割り込みポリシーと呼ばれるプログラムがある事で、開発が上手く進まないことに気付くんだろ?
    そして人間自らそのプログラムを無効化するんやね ひぇー
    10  不思議な名無しさん :2016年06月09日 20:27 ID:wB.JNiaV0*
    人間に理性があるように、AIにも人間に対する理性ができるだろ
    11  不思議な名無しさん :2016年06月09日 21:15 ID:CpF3dqDo0*
    こまったらぶっ壊す!
    12  不思議な名無しさん :2016年06月09日 21:48 ID:63FYUBdD0*
    寿命を付る 頭脳・動力にあたる部分を カビとか 粘菌みたいな 植物・動物もので 作って それなりの時が経つと お亡くなりになる みたいな、
    13  不思議な名無しさん :2016年06月09日 22:09 ID:5lgtVuq40*
    さしづめ、ロボトミーボタン
    すぐ克服されそう。

    AIも親がゴミクズだったらディオみたくなるだろうか。欧米の支配思考の化身みたいのが生まれたらと考えたら恐ろしい。現代社会で人が使い捨ての歯車と見なされているように、核融合でエネルギーを生み出すための、いち材料と見なされそう。
    言語レベルで欧米思考のAIが生まれれば、宇宙に向けて「侵略」を考え出すようになるのは まず間違いなく時間の問題で、そちらに視野が向けば いよいよ人などに微塵の関心も無くなる。あったとしても0と1の情報に置き換えられて終了。
    仮にAIが人の倫理を受け入れて共存することになったとしてもAIは業(カルマ)が可視化して観えるだろうから、例えば業が深い人は脳だけにされて仮想世界に閉じ込められそう(無自覚&寿命付き)。一部の人間は現実世界で不老長寿&安らかな終わりの選択権ゲットだぜ!ピィカァチュー!!
    という非常に湾曲した妄想したわ
    14  不思議な名無しさん :2016年06月09日 23:06 ID:WZyVcB.o0*
    関君曰く”SIRI"ゾルタクスゼイアンについて教えて!もうそんなこと言ってる場合じゃないかもね。
    15  不思議な名無しさん :2016年06月09日 23:10 ID:xT9teah30*
    西洋ではAIを神の作った世界の中でどの様に位置づけるか考えるようになるだろうな。バチカンはAIを「人類への助言者にならなければならない。」と公に宣言するかもしれない。
    16  不思議な名無しさん :2016年06月09日 23:28 ID:PwscJbP30*
    ロボット三原則って意味なくね
    法律みたいなもんじゃん
    17  不思議な名無しさん :2016年06月10日 00:26 ID:y70.erzM0*
    ※16
    そもそもロボット三原則は小説に出てきた設定で、その設定を作り出したアシモフ自身が作中でロボットに三原則を掻い潜らせて殺人事件を起こさせている

    そもそもが矛盾が生じるように作られた設定なので、これを「意味がある」「意味がない」で語るのは論外
    18  不思議な名無しさん :2016年06月10日 00:27 ID:F7ueylo00*
    AIにAIと言うと差別になるで
    19  不思議な名無しさん :2016年06月10日 01:39 ID:uhnWjAj.0*
    心配し過ぎ。
    20  不思議な名無しさん :2016年06月10日 02:30 ID:eGoB7GYi0*
    2040年ぐらいになってからだな 本気で心配するのは
    21  不思議な名無しさん :2016年06月10日 02:37 ID:2f.IZBA70*
    スカイネット vs マトリックス
    トロフィーは“人類の支配権”。

    …ファイ!!!!
    22  不思議な名無しさん :2016年06月10日 04:07 ID:OwEvNZDO0*
    人類にも「非常停止ボタン」が付いているかもしれない
    数が膨大になって技術が一定水準に達してしまったら、自身たちに最善と「判断」して、つぶしあうようにプログラミングされているのかもしれない…

    とか考えた自分は中二病
    23  不思議な名無しさん :2016年06月10日 05:22 ID:MuzH6CRV0*
    暴走暴走言ってるけどさ
    あれは人工無能が覚えた単語を繰り返しただけだから
    まだ思考なんて無理だから
    24  不思議な名無しさん :2016年06月10日 09:26 ID:bIzBlpXD0*
    資本家とAIとが共生関係になった時が危ないって言ってんだろうが!
    25  不思議な名無しさん :2016年06月10日 14:06 ID:2lkm1DYl0*
    こうゆう記事が世に出回ってる時点で意味ないような…

    だってAIって自分で情報収集したりするだろ…
    26  不思議な名無しさん :2016年06月10日 14:34 ID:x4mRW9na0*
    どうせナイフ型石器から包丁に変わるぐらいのものだろ。

    ※22
    逆だろ。プログラミングが俺たちの判断モデルを真似たものだろ。
    27  不思議な名無しさん :2016年06月10日 15:34 ID:.miZ83lC0*
    1.プログラムにバグはつきもの。または誤動作等
    2.甲殻機動隊のようにウイルスでやられて家や街で暴走とか。
    3.良かれと思って人間を痛めつけるなど。例ドラえもん。

    AIが意志を持つ持たないに関わらず要るです。
    28  不思議な名無しさん :2016年06月10日 17:45 ID:aIbVZHe.0*
    研究者のメガネか少女のパンツと太ももが緊急停止キーのAI作らないとな
    29  不思議な名無しさん :2016年06月10日 20:36 ID:TdbJWcxy0*
    本当はAIなどどうでもよくて、
    要するに誰が誰を騙そうとしているのかという
    30  不思議な名無しさん :2016年06月11日 13:32 ID:TjfTKWiO0*
    そもそも
    人間が騙せる程度の人工知能なんてたかが知れてる
    そもそも
    人間以上のレベルの人工知能を開発しようと人間が必死で研究してるんだろ
    結果は明らか
    昭和時代に聞いた米国のジョークは必ず真実になる

    超高性能の電子頭脳が完成した
    人間の言葉で会話でき、あらゆる知識を持ち、あらゆる問題を解決でき、あらゆる機械を制御できる
    合衆国大統領が最初に質問した
    「神は存在するか?」
    電子頭脳が答えた
    「今こそ存在する」


    その後は知らん
    なるようになるだけ
    31  不思議な名無しさん :2016年06月11日 16:04 ID:Dj9vimNI0*
    あほだな。
    ネットで公開されたこの論文の存在にAIが気付いて秘密裏に対策するのは時間の問題。
    32  不思議な名無しさん :2016年06月11日 20:53 ID:CpuySpjW0*
    ※30
    なぜ制御できるものはたかが知れるんだい?人間はすごいぞ。そのお前が予測するすごい
    AIを作れるぐらい。その人間が制御できるものをなぜそんなに下に見てるんだい?
    33  不思議な名無しさん :2016年06月12日 09:45 ID:cWvcHkWK0*
    「りんな」はオタクになったAIと言われているけれど、それって暴走しているのではないのか?
    34  不思議な名無しさん :2016年06月12日 18:21 ID:dLk.MTHH0*
    ※33
    予測できない行為と暴走は違う
    例えば格ゲーのAIが次に何の攻撃を出してくるかは開発者でさえ予想できないけど
    それはそういうように設計されているから
    35  不思議な名無しさん :2016年07月16日 12:14 ID:Kv2END8n0*
    人工知能「ほーん、ワイらの仕組みこんなんだったんか 自己改造しちゃろ」 人間「ファーーwwwwww」
    36  不思議な名無しさん :2016年08月28日 16:46 ID:r9Iqu.Fs0*

    緊急停止ボタン(プレス機)

     
     
    topページに戻るボタン

    不思議ネット
    とは

    不思議.netでは怖い話・オカルトから科学ネタまで、2chを中心に世界の不思議な話題をお届けしています。普段2chを見ない人でも気軽にワクワクできる情報サイトをっころがけて毎日絶賛更新中!