人の感情や状態を計測する研究

ファッション画像からのファッションスタイル認識

ファッションスタイルを認識することは、デザインした服飾の評価や、顧客の好みのスタイルに合わせたアイテムの推薦などへ応用可能なため、重要な技術です。そのため本研究では、ファッションスタイル分類問題を取り上げ、その分類性能向上を目指しています。

従来手法では、入力画像を1つの深層学習のネットワークに入力し、ファッションスタイルの分類を行っていました。 それに対して我々の提案手法では、入力画像を各成分に分解し、マルチストリームに深層学習のネットワークに入力することで、分類性能の向上を達成することが出来ました。

  • T. Yamamoto and A. Nakazawa. Fashion Style Recognition Using Component-Dependent Convolutional Neural Networks. pp. 3397-3401. In IEEE ICIP2019.
  • 山本卓永, 中澤篤志. 入力画像の要素分割と各要素に対する学習を用いたファッションスタイル分類の性能向上. 電子情報通信学会論文誌 Vol. J102-D. No.10. pp. 639-650. 2019.
  • 山本卓永, 中澤篤志. 深層学習を用いたファッションスタイルの印象推定. 画像の認識・理解シンポジウム (MIRU2018). (MIRUインタラクティブ発表賞).

画像観察者の生起感情の理解

SNS等には日夜画像が投稿され、その画像が惹起する感情を理解することは重要なタスクです. 既に、画像に感情をタグ付けた大規模なデータセットが公開され、それに基づいて画像を入力、感情を出力とするディープニューラルネットワークによる分類モデルが複数提案されています. ところで、画像には、そこに写っている状況の意味を理解して初めて感情を抱きうるものがあります. 例えば、「花を手向けている人の写真」は、それが人の死を暗示するものであることを理解して初めて「悲しみ」が誘発されます. このような画像は、前述のような画像特徴量のみを用いる手法では認識が難しいです. そこで本研究では、高次の特徴量として画像中のオブジェクトに着目しました. 既存の物体検知器を用いて画像中のオブジェクトを列挙し、それを特徴量とすることで、認識精度の向上に成功しました. 今後は、オブジェクト同士の関係に着目し、画像を見た人の視線移動を計測することで、画像の意味的な理解についてさらに研究を進めていきます.

屋外シーンにおける視線データと印象との関係

街路(シーン)を歩行することによって,人は常に何らかの印象を受けます.そこで本研究では,歩行者が何を見ているのかという情報が重要なのではないかと考え,アイトラッキングで測定した注視行動情報(停留回数,停留時間,サッケードの総移動距離)とシーンに対する主観評価に相関があるのか調査しました.被験者はアイトラッカーを装着し,8面ディスプレイに投影した動画を見た後にアンケートに答えてもらいました.それから眼球運動解析のために,MATLABと,EyeMMVツールボックスを使用して注視行動情報を計算し,主成分分析,相関分析を行いました.その結果,有意な相関が見られました.具体的には「明るい」,「開放的」,「美しい」,「好き」の項目と,合計停留時間との間に正の相関があることが判明しました.
  • 桜栄 翔大,中澤 篤志:歩行時におけるシーンの主観評価と注視行動の関係