一人称画像からのアイコンタクト検出
頭部装着カメラ（一人称カメラ）を用いて，装着者のコミュニケーション相手とのアイコンタクトを検出アルゴリズムを提案しています．画像から顔検出を行い，目領域を深層学習などの様々な方法を用いて解析することで，アイコンタクト検出精度の向上を図っています．介護のスキル評価などへの応用を行っています．- 沖野祐介, 中澤篤志, 本田美和子, 石川翔吾, 竹林洋一, & 西田豊明. (2016). 頭部装着型カメラを用いた介護スキル評価 (パターン認識・メディア理解). 電子情報通信学会技術研究報告= IEICE technical report: 信学技報, 116(38), 95-100.
- Mitsuzumi, Y., Nakazawa, A., & Nishida, T. (2017). DEEP eye contact detector: Robust eye contact bid detection using convolutional neural network. In BMVC.
- Watanabe, Y., Nakazawa, A., Mitsuzumi, Y., & Nishida, T. (2019, May). Spatio-temporal eye contact detection combining CNN and LSTM. In 2019 16th International Conference on Machine Vision Applications (MVA) (pp. 1-7). IEEE.
三人称画像からのアイコンタクト検出
三人称視点映像を用いる，新しいアイコンタクト検出アルゴリズムの研究を行いました．一人称視点映像からのアイコンタクト検出手法と比較して，本手法には，頭部装着カメラなどの特別な機器を装着する必要がないという利点があります．そのため，介護分野に応用する際に，介護従事者の負担の軽減に貢献することが期待されています．また，YouTubeの動画やホームビデオなどのすでに撮られている映像からの検出も可能であるため，コミュニケーション分析への応用など，幅広い応用が見込まれます．具体的なアルゴリズムは，視線方向，顔の位置，目領域の画像を用いた畳み込みニューラルネットワークの構造になっています．
- Ohshima, Y., & Nakazawa, A. (2019, November). Eye Contact Detection from Third Person Video. In Asian Conference on Pattern Recognition (pp. 667-677). Springer, Cham.