■ 研究概要
音情報処理学研究室では，マンマシンインタフェースにおける音声の役割，
ネットワークや通信における音と音声の問題，マルチメディアにおける音の効果，
実環境における音声と音の役割などを考えながら，メディアとしての音・音声の認識，
合成，再現，通信の研究を行っております．特に，
音声を中心としたユニバーサルコミュニケーションの視点から，
音声対話システム，ロボットコミュニケーション，発話障害者補助，音のバーチャルリアリティ
などの音環境のコントロールの研究を行っています．
基礎的な研究だけでなく，実用化を目指した研究も積極的に取り組み，
多くの国のプロジェクト，企業との共同研究を行なっております．
また，騒音下で音声を歪みなしで分離するブラインド音源分離の新しい原理を見出しました．この歪みなしで分離するブラインド音源分離の技術を用いて，世界に先駆けて騒音下でのハンズフリー音声対話システムの構築に成功しました．
また， けいはんな連携大学院
ユニバーサル対話エージェント講座
としても活動しています．
■ 主な研究分野
- 音声対話システム
音声認識，音声合成は，音声対話システムとして，実環境で利用できるレベルに近付いています．インターネットの音声による情報検索，
対話ロボットに適用して有効性の実証を行っています．ロボティクス研究室と共同で研究して
いる受付案内ロボットASKAは，ロボットの展示会ROBODEXでデビューしました
（ビデオ（５MB））．
また，名古屋の国際博覧会や東京の科学博物館でも音声対話ロボットのデモを行い，人気を集めました．
さらに，生駒市との共同研究で，北コミュニティセンターにエージェントによる音声情報案内システム
「たけまるくん」を設置し，８年余り運用しています（ビデオ（１６MB））．
大学の近くの近鉄の駅「学研北生駒」にもロボットタイプの「キタロボ」とエージェントタイプの「キタちゃん」を設置して運用しています．
これらの音声対話システムは，実環境での音声認識で貴重なデータを収集しています．この「たけまるくん」
対話システムは，様々な対話システムに移植され，各地で活躍を始めています．
- マルチモーダル情報処理・ロボット音声対話システム
人間は外界から情報を取り組む際に，音声ばかりでなくいろいろな視覚情報も利用しています．
当研究室では話者の意図を伝えるという観点から，音声情報を中心としたマルチモーダル対話システムの研究を行っています．
また，顔画像，特に唇画像を用いることによる音声認識性能の改善，音声からの唇画像の生成によるコンピュータエージェントの実現について研究しています．
任意の規則合成音声に合わせて，顔動画像を生成する研究も行なっています．
とくに，ロボットとのハンズフリー音声対話システムでの顔情報の利用の研究を行っています
合成顔動画像，撮影した顔動画像.
- マイクロホンアレー・ブラインド音源分離
マイクロホンを持たずに動きながら発声する話者に対して，その音声に追従しながら精度よく集音することができれば，
会議システムやマンマシンインタフェースを飛躍的に高度化することができます．
当研究室では，信号処理によって自由に指向性を構成，変更できるマイクロホンアレーを用いて研究を行っています．
また，情報理論に基づいて「互いに独立な音源同士」に音を分解するブラインド音源分離技術
に関する研究も行っています．
マイクアレーの新しい方式として，
空間スペクトルサブトラクションアレー（SSA）を考案し，企業と協力して，高精度かつ廉価なハンズフリー音声認識の実現を計っています．
ブラインド音源分離（BSS）を利用して，SIMOモデルに基づく音声歪みの少ないアルゴリズム
SIMO-ICAを考案し，音の到来方向の情報までも保存した高精度な音源分離が達成できるようになりました．
かつ，実時間で動作するBSSアルゴリズムも実現でき，大いに研究が進んでいます．SSAとブラインド音源分離を融合したBSSA方式を開発して，
世界に先駆けて騒音下でのハンズフリー音声対話システムの構築に成功しました．
- 音拡張現実感・聴覚補助システム
音には画像のような背後隠蔽が存在しないため，音の拡張現実感（リアルとバーチャルの融合）を実現するためには，まずリアル音環境の分解・理解が不可欠となります．我々は，ブラインド音源分離技術を応用して，空間情報を保持したまま音環境を分解・拡張・再合成するシステムを研究しています．また，これを両耳補聴器へ応用し，聴覚補助システムの開発も行っております．
- 音臨場感・音バーチャルリアリティ
反射や残響などの部屋の特性や，実際の空間における音の状態を制御することにより，ある場所の音空間を全く別の部屋で再現することができます．
当研究室ではこのような音場再現システムを，複数のスピーカを用いて将来の臨場感オーディオシステムの構築を目指しています．
またこの技術を応用し，音源のないところからの音を知覚させる仮想音源の合成や，割り込み自由な音声対話システムを
音拡張現実感を利用して実現する研究も行っています．また，3D映像提示技術との融合を目指し，立体音像の奥行き制御・仮想定位及びデフォルメなど，音バーチャルリアリティの研究も行います．
- 音楽信号処理
新しい「ユーザ主体のエンタテイメント体験」を実現するため，ブラインド音源分離や波面ベクトル量子化技術を応用して，音楽信号における音像配置を自由に操作できる技術の研究を進めています．また，この技術を応用し，音楽の要約見本（サムネイル）を自動生成する技術の開発にも取り組んでいます．
Research Activities in More Details in English
音情報処理学研究室トップページに戻る．
Last update 2011.03.17
川波 弘道 (kawanami@is.naist.jp)
