まとめサイト速報+ 2chまとめのまとめ ワロタあんてな news人 カオスちゃんねる

MITの研究技術がまるでSF!鉢植えやポテチの袋をハイスピードカメラで捉えたら音が聞こえてきた

2014年08月15日:12:07

  • このエントリーをはてなブックマークに追加

コメント( 7 )

MIT

1: おんさ ★@\(^o^)/ 2014/08/12(火) 10:53:16.29 ID:???.net BE:302861487-2BP(1000)
無音の映像から音を取り出す技術…物体の振動からその場の音声再現に成功 2014.8.12 06:30
http://sankei.jp.msn.com/wired/news/140812/wir14081206300001-n1.htm

(本文)
 音が生じたとき、人間の目には見えなくても、あらゆる物の表面にごくわずかな振動が起こる。鉢植えやスナック袋の映像から周囲の会話等を再構築する技術を、MITなどの研究チームが開発した。

http://youtu.be/FKXOucXB4a8



音が生じたとき、人間の目には見えなくても、あらゆる物の表面にはごくわずかな振動が起こる。画像上にとらえられたこの振動情報を使って、その場の音を再構築できるアルゴリズムが開発された。

研究チームはこのアルゴリズムを使って、防音ガラスの向こう側にあるスナック菓子の袋を約4.6mの距離から撮影した動画から、内容がわかる話し声を取り出してみせた。

論文の筆頭著者であり、マサチューセッツ工科大学(MIT)の博士課程で学ぶエイブ・デイヴィスは、「(音が生じるときの)振動によって、人間の肉眼には見えない、かすかな視覚信号が生じる」と説明する。

MITの研究者、マイクロソフト、およびアドビからなる研究チームは、水やアルミホイル、鉢植えの葉といった物から、有効な音声信号を取り出すことに成功した。

このアルゴリズムがうまく機能するには、映像の周波数が音声の周波数よりも高い必要がある。そのため研究者チームは、まずは2,000~6,000fpsで動画を撮影した。これは、市販されているハイスピードカメラが実現できるフレームレートよりかなり高い。

さらに研究者チームは、通常のデジタルカメラでの実験も試した。そして、60fpsで撮影した動画から、音声を再構築することに成功した。この場合の再構築された音声も、会話に参加している複数の人々の特徴を確認できるほどの音質だった。

この技術は犯罪捜査や諜報活動などに利用できるだろうが、デイヴィス氏は科学的研究にも使えると考えている。
物から音を再構築することで、その物自体について知ることも可能なはずだというのだ。音への反応は物によって違う。そのため研究チームは現在、さまざまな物について、物の音に対する反応から、物の素材と構造の特性を突き止めようとしている。

この研究成果は、8月11日から14日までヴァンクーヴァーで開催される国際会議兼展示会「SIGGRAPH(シーグラフ)2014」で発表される。

http://s2014.siggraph.org/








2: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 11:00:21.70 ID:xtDiy6s3.net
まぁ原理的に当然だわな。

4: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 11:05:12.26 ID:bsJWxdMq.net
あくまでハイスピードカメラ限定だよなw
取り出せるデータはフレーム数の半分以下。2000fpsだと1000Hzが限界。
普通のビデオ映像だと30fpsだから上限は15Hz。人間には聞こえねえw

7: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 11:40:48.59 ID:qjOByf6x.net
60fpsの動画からの音声の再構築のほうがスゲーなw
会話のフレーズのひな形とかを動画上の振幅の強弱のパターンに当てはめるんだろうけど

まさにデジタル読唇術

9: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 11:46:28.84 ID:EqEEA/DH.net
光学ズームできれば盗聴できるわけですね

10: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 11:51:58.96 ID:8CGW0m+R.net
国防総省からの依頼です

14: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 12:27:38.69 ID:yzWCafl5.net
>>10
静止衛星から盗聴できるってことだよな。

12: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 12:17:28.31 ID:g/IZt8zH.net
将来的には衛星からの盗聴が可能になるな

13: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 12:22:02.61 ID:QYGhkXsV.net
藤子不二夫Fの短編でこんなのあったような、あれは静止画の写真から再現すると言うしろものだったが

16: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 13:16:05.51 ID:cWq/1isK.net
水やアルミホイル、鉢植えの葉、スナック菓子の袋
よりも使いやすいちっさいものが映像内にあるだけでいいのか
場所によってはとても使えそう

17: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 13:21:48.42 ID:PXKPdfmb.net
唇を読んだ(幻海の視力は6.0)みたいな感じか

18: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 13:28:35.11 ID:bsJWxdMq.net
原理、理解した。
フレームの差分から音声震動を取り出すんじゃなくて、デジカメの走査線移動から音声を取り出すのか。
それなら60fpsでなく、30fpsでも走査線次第で高音域でも疑似的に取り出せるな。
あとは人間の耳に、その合成音がどのような音として聞こえるかの問題か。

20: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 14:02:45.84 ID:5DQXCDYm.net
>>18
あー、なるほどねー。ということはローリングシャッターのCMOSカメラ限定でCCDには使えないってことか。
自分は物体の共振周波数の違いとそれによる振幅の変化から音声を再構成するのか、とか勝手に想像してた。
今youtube見たら原理説明してたんだね。

19: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 13:38:49.85 ID:aCuYesZr.net
窓ガラスの振動をレーザー測定で音声化ってネタは冷戦スパイ映画の見過ぎです。

23: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 14:38:07.16 ID:kvHeP1Bl.net
でっち上げに必要な技術だな
警察や検察、公安が欲しがりs。。。。。。。。。。。。。。。。。

24: 名無しのひみつ@\(^o^)/ 2014/08/12(火) 14:59:47.49 ID:cgYbJez1.net
技術よりも、こういうことをすれば声が拾えると考えた発想に驚く

ミッション:インポッシブル/ゴースト・プロトコル [DVD]
パラマウント ホーム エンタテインメント ジャパン (2012-04-27)
売り上げランキング: 11,138






引用元: 【音】無音の映像から音を取り出す技術…物体の振動からその場の音声再現に成功 MITなどの研究チーム [2014/08/12]

  • このエントリーをはてなブックマークに追加
MITの研究技術がまるでSF!鉢植えやポテチの袋をハイスピードカメラで捉えたら音が聞こえてきた

この記事が気に入ったら
イイね!しよう

不思議.netの最新記事をお届けします

おススメ記事ピックアップ(外部)

おススメサイトの最新記事

コメント

1  不思議な名無しさん :2014年08月15日 16:05 ID:O2hKdbF90*
イーグルアイって映画で同じようなことしてたな
コーヒーの波紋から音声を抽出するってやり方で
2  不思議な名無しさん :2014年08月15日 19:49 ID:hK4RtW2v0*
全くわからん
3  不思議な名無しさん :2014年08月15日 22:16 ID:NI4YgXsZO*
野菜切ったら「たすけて」とか言ってそう
4  不思議な名無しさん :2014年08月17日 02:41 ID:WNDsPrR60*
ゴルゴ13でも同じようなことしてたな
5  不思議な名無しさん :2014年08月21日 14:48 ID:Ed.VxqrK0*
誰もが「あぁ!なるほど」と思うことかも知れんが、これは研究費目的の小保方ってるだろうな。
6  不思議な名無しさん :2014年10月31日 17:27 ID:j9xv0mvH0*
とっくに出来るものと思ってた
7  不思議な名無しさん :2014年12月17日 10:26 ID:tzKYqVEs0*
スパイが捗りそう
遠くの壁越しでも聞こえるマイクとかあるじゃん。

 
 
上部に戻る

トップページに戻る