Learners' efficiency prediction using facial behavior analysis
Manisha Verma, Yuta Nakashima, Hirokazu Kobori, Ryota Takaoka, Noriko Takemura, Tsukasa Kimura, Hajime Nagahara, Masayuki Numao, Kazumitsu Shinohara
September 2021
概要
In the e-learning context, how much the learner is concentrated and engaged, or the learners' efficiency, is essential for providing adaptive and flexible materials, timely suggestions, etc., which can lead to efficient learning. In this work, we explore to predict learners' efficiency with a realistic configuration, in which we use a webcam or a laptop PC’s built-in camera. Specifically, we first provide a feasible definition of the learners' efficiency, and based on this definition, we predict one’s efficiency from facial behavior. We predict the learners' efficiency using various convolutional neural networks. Results are discussed using different evaluation metrics.
収録
Proc.~International Conference on Image Processing (ICIP)
特任研究員
Manisha’s research interest broadly lies in computer vision and image processing. Currently, she is working on micro facial expression recognition using multi-model deep learning frameworks.
准教授
コンピュータビジョン・パターン認識などの研究。ディープニューラルネットワークなどを用いた画像・映像の認識・理解を主に、自然言語処理を援用した応用研究などに従事。
招へい准教授
パターン認識、機械学習等を用いた環境知能や歩容認証等に関する研究に従事。
教授
コンピューテーショナルフォトグラフィ、コンピュータビジョンを専門とし実世界センシングや情報処理技術、画像認識技術の研究を行う。さらに、画像センシングにとどまらず様々なセンサに拡張したコンピュテーショナルセンシング手法の開発や高次元で冗長な実世界ビッグデータから意味のある情報を計測するスパースセンシングへの転換を目指す。