こちらに共通ヘッダが追加されます。

知的機構研究室

教員

  • 坂東 敏博 (准教授) Toshihiro BANDO
    Researcher Database

    研究分野: ヒトの美的感性を刺激する視覚情報の研究 研究室: HS-305
    TEL: 0774-65-6695 FAX: 0774-65-6801
    E-mail: tbando
  • 桂井 麻里衣 (助教) Marie KATSURAI
    Researcher Database

    研究分野: マルチメディア理解のための知識抽出 研究室: KE-210
    TEL: 0774-65-7687 FAX:
    研究室のHP: http://mm.doshisha.ac.jp/
    E-mail: mkatsura

 研究内容(インテリジェント情報工学科 担当分)

概要

聴覚情報と視覚情報に関する研究を信号処理の立場と感性処理の立場から行っている.
聴覚情報に関しては,音楽,音声,空間音響について,視覚情報に関しては,自然画像ならびに照明とものの見えを扱っている.表1にその分類を示し,その内のトピックをいくつか説明する.

 

表1 研究分野とテーマ名

分野 信号処理 感性処理
音楽 自動採譜,最適押弦位置 和声付与,旋律生成
音声 雑音除去 歌唱音声,感情音声
空間音響 音場シミュレータ 音源の方向感,距離感
自然画像 テクスチャ解析,特徴抽出 景観・美術作品の感性評価,表情判定
照明とものの見え 画像の分光分析 照明によるディスプレイ演出

 

 

ポップス系旋律への和声付与とその応用

当研究室では,過去数年にわたって音大における基礎科目である和声法に関するシステム(バス課題システムBDS, ソプラノ課題システムSDS, 和声課題回答添削システムVISAGE, 音楽美評価システムMAESTRO)を開発してきたが,その発展型としてポップス系の旋律に和声を付与するシステムAMORを開発し,それを携帯電話システムに載せて商用運用している.(右図)
現在はそのシステムに対して,ジャズ理論や確率的手法を用いて出力音楽の品質向上を図る他,歌唱の自動採譜による入力の省力化,歌詞の合成歌唱などの機能拡張を目指している.さらに,画像から抽出された特徴や内容判定に基づく旋律の生成も視野に入れている.

 

 

実環境における音声認識

マイクロホン・アレイ

現在,音声認識の性能は,接話マイクロホンを用いると,明瞭に発声された音声なら80%程度の認識率が得られているが,実環境では雑音源や壁などからの反射もあるので,その認識率は得られない.その対策として,当研究室では次の研究を行っている.

  1. 実環境中での音声認識(TVの音声制御)
  2. テクスチャーの視覚認知
  3. 既知雑音(TV音など)の除去
  4. 補間処理を排除したアレイ処理
 

 

空間音響

音場シミュレータ(表示は3回反射まで)
室形状:Davis記念館(34面で近似)

聴覚に関する研究として音像定位と空間音響創成,室内音響として音場シミュレータの高速化・高機能化に関する研究を行っている.

  1. 種々の音源を用いた音像定位精度の調査
  2. 音源位置の方向感・距離感の創成
  3. 移動音像の合成
  4. 頭部伝達関数の測定
  5. トランスオーラル音像再生
  6. 超高速度イメージ・メソッド
  7. イメージ・メソッドにおける曲面反射の逐次計算
 

 

視覚認知におけるテクスチャーの役割の研究

 

視覚認知における感性情報について,自然パターン,特にテクスチャーの役割に注目して,認知科学的手法によって解析する.

  1. 景観や建築物のが醸し出す雰囲気の解析
    自然や人工の景観の特徴はその豊富なテクスチャに有ると考え,景観パターンのテクスチャ解析による特徴把握や,解析データをもとにした景観再現を試みている.
    テクスチャ再構成による景観画像の雰囲気再現(右図上)
  2. カモフラージュパターンのテクスチャ解析
    人が作り出すパターンや動物の持つ体表パターンは,「目立つ」ことと「紛れる」ことでその役割を果たしていると考えられる.パターンが周囲の環境に「紛れる」ためには,テクスチャとしての特徴が似ている必要があると考えられるので,動物のカモフラージュパターンと背景パターンをテクスチャ解析することによって「紛れる」為に必要なパターンの条件を調べている.
 
  1. 絵画や視覚芸術作品の構成・色彩・テクスチャ解析
  2. 照明とものの見えについての研究
  3. 顔と目の伝える情報についての研究
 

 

視覚認知でのテクスチャの大切さは次の写真で確認を!

 

音が聞こえた方向を答えて貰う装置 この状態で聞こえた方向を答えて貰う

 

実環境(環境騒音+反射)下でのリモートマイク音声認識

 

バス課題システムBDSの表示画面

 

和音付けの携帯着メロへの応用
メールの文面に基づく自動作成旋律への和音付与
ユーザ入力による旋律への和音付与

プレミアムサウンド → 「着つく」,「オリジナル・アレンジ」

 

 研究内容(情報システムデザイン学科・桂井担当分)

  マルチメディアデータの内容・意味・文脈理解

スマートフォンやソーシャルメディアの普及に伴い,画像・テキスト・楽曲といった異なる形態で構成されるデータが爆発的に増加しています.データの内容をコンピュータが自動で理解するために,様々な形態の特徴(画像特徴やテキスト特徴など)を有効利用する方法について研究しています.また,大規模マルチメディアデータからユーザの意見を抽出し,マーケティングや情報収集支援に利活用することを目的として,画像の表す感情や感性,意味,文脈を自動認識する研究にも取り組んでいます.
 

 学術論文データベースからの知識抽出

 学術論文データベースから主要な技術や研究グループを発見・追跡することで,科学技術の動向の把握や,研究戦略の決定,共同研究活動の推進に役立てます.特に最近では,国立情報学研究所と協力して,CiNiiと呼ばれる国内最大の学術論文データベースを分析する新たな手法を開発しています.具体的には,学術論文の内容(研究トピック)の解析に基づく類似研究者ネットワークの自動構築などに取り組んでいます.ネットワークを可視化することで,研究者の興味の広さや研究テーマの時間変化など,新たな発見が期待できます.