先生の研究室では視線や目の動きに関する研究をされていると聞きました。

例えば、眠くなってきた人の目をじっと見ていると、目の揺れ方が変わってくるのが面白いですよ。眠気に耐えられなくなって、カクンとなる時がありますよね。これはマイクロスリープという短い睡眠の状態で、ほんの数秒眠ってしまっているのですが、目の動きを見ていると、目の揺れ方が大きくなって、小さな引きつけのような動きが増加するので「もうすぐ寝るぞ」という状態が分かります。このように目がどのような動きをした時に覚醒レベルが下がるのかというのを調べています。
授業中でも学生を見ていると、「あいつは聞いていないな」とか「眠そうだな」と分かりますよ。集中している時は、目の動きが止まり、ぼーっとしていると揺れます。ものを見るという同じ行為でも集中しているかどうかが、目の動きから数値化できます。
ただ、目はこちらを向いていても、注意は別の方向を向いている、見ているものと考えていることが別、といったことも判断できると良いのですが、そこまではなかなか分かりませんね。

自動車関連メーカーと共同研究されているそうですが、自動運転や運転支援機能の開発に役立ちそうです。

自動車業界では、「注意」を非常に重要なテーマと捉えていて、運転手の状態をどうやって把握するかについて自動車メーカーや部品メーカーと研究しています。完全な自動運転が実現できれば平和な車社会になると思いますが、現実的にはなかなか難しいです。例えば、自動運転の車の中に1台でも旧来の自動車が混ざるだけで、完全な自動運転は困難になります。人が運転に介入するしかなくなるのです。
しかし、運転をサポートする技術は年々高まっており、人がどんどん運転をサボれるようになってきました。そうするとドライバーは道路状況に注意を払わなくなって、不意に何か起きた時に瞬時に対応できず、大きな問題が起こります。こうした事態を回避するためにどうすれば良いのか、自動車メーカーさんは強い関心を持っています。ドライバーが運転中に何を気にしているのか把握することで安全運転につながる技術の開発に取り組まれています。
そこで私たちの研究室で扱っている視覚認知や脳の情報処理といった生体工学と情報処理能力がうまくマッチしました。

研究室にはさまざまな計測装置がありますね。

生命情報工学科には、fNIRS（エフニルス）という脳の血流を測定する装置があります。脳の神経細胞が活動すると、その周辺にある毛細血管に新鮮な血液がたくさん流れ込みます。この装置では脳に近赤外光を当てて反射光量から血流の変化を計測し、脳がどのような活動をしているかを測定できます。例えば、このfNIRSを装着した被験者役の学生に「1万から7を引き続けて」と暗算させて、脳がどのような活動をしているのかを調べるといったことができます。
また、目の動きを測る装置もあり、例えば、ドライバーが車内インテリアの何をよく見るのかといったことなどが可視化できます。詳しく調査すると、よく見られる場所とそうでない場所があるので、極端に言えばよく見られる場所だけにお金をかけてデザインを工夫すれば、乗った瞬間にかっこいいと思わせる車ができるかもしれません。運転支援とは別に視線を使ったマーケティングの方法もありますね。でも多くの人の視線のデータを集めて多くの人に共通する傾向を調べなければならないため、時間がたくさんかかります。

そこでAI技術を活用しているのですね。

コンピューター上で人の視線が計算できないだろうかというニーズがあるため、私たちの研究室では実際に計測したデータと同じような振る舞いをするコンピュータ技術を作ろうとしています。
例えば、複数の人物が描かれた絵画を見ている時、何も指示しなければ人の視線は、顔から顔へと、非常に特徴的な動きをします。そして、注目する場所があるとそこに目が止まります。それもサーチライトのように動くのではなくて、次に注目する場所へと視線がジャンプします。停留とジャンプの繰り返しで、世界を見ているわけです。視線をジャンプさせようとする時、今Aを見ていて、次にBを見るという場合、そのAとBの距離や角度を測って、筋肉を一斉に収縮させなければなりません。目には6本の筋肉があり、この6本の筋肉を同時に収縮・弛緩させることで、瞬時に視線の位置がジャンプします。この時、あらかじめ周りの状況を理解して、次にどこに視線を動かすべきかを脳で計算しておく必要があります。 この過程は0.2秒ほどですが、この間に脳はさまざまな情報を処理していて、例えば、周りに知り合いがいるか探している時は、注意力を持ってサーチして、知り合いかもしれないと思う人がいたら、その距離と角度を計算して、ビュってジャンプさせる。私たちの目や脳はこんなことをやっているのです。
この目の動きには人の思考が強く反映されており、指示を変えると目の動き方も変わります。例えば、絵の登場人物の年齢を当ててくださいと言うと、顔ばかり見るようになりますし、描かれている人物の関係性を問うと、表情を見ながら背景事情を推定するような動きに切り替わります。指示内容と視線の動きはどうも関連しているようなので、画像の情報と視線の情報、指示内容をまとめて判断できるようなAI、一種のいわゆるマインドリーディング、心を読み取る技術を開発できないかと思い、今研究に取り組んでいます。つい最近、大学院生が学会で成果を発表したところです。
自動車メーカーさんとは、車内から撮影した映像と運転手の目の動きからドライバーの注意がどこに向いているのか調べられないか検討しています。また、人間の目の動きをAIで再現させることも手掛けています。ただ、人は見たものの背景にあるストーリーを推定して視線の向け先を決めますが、AIには不得意なことであるために再現が難しい点もあります。現時点では、ぼんやりとどこを見ているのかについてはAIなどの技術で生成できるようになってきました。

研究を通じて学生に身に付けてほしいことは？

脳を対象とした研究をしていますので、脳がどんな情報処理をしているかが分かってきます。その概略はというと、まず全体をざっと見て、注意、注目するところを定め、そこから詳細な情報を取得しようとする。そういう情報処理をしています。学び方もきっとそれが正しくて、まず全体を把握して、必要なところに絞り込んで、細かく掘り下げていく。研究室内では、これを「段階的詳細化」と呼んでいます。でも、これがなかなかできません。最初に細かいところだけを勉強して、それを積み重ねると、何となく学んだ気になってしまいます。でもそれは逆で、全体の論理的な説明できないままになっていることがほとんどです。そんなことが研究を通じて学んでほしいことですね。このような考え方を身に付けた大学院生は、大手自動車メーカーにも就職していますし、大切なことだと思います。

TOPICS

脳のリハビリテーションにfNIRSの活用を目指しています

脳の内部の活動状況を見ようと思うと病院にあるようなMRI装置が必要ですし、ある程度体を拘束する必要があります。しかし、生命情報工学科で使用しているfNIRSであれば、作業中や座っている状態でも脳の状態を簡単に見ることができます。
公共交通機関が充実していない地域で暮らしていると、車の運転ができるかどうかで生活の質が大きく変わってきます。生命理工学部の近隣にあるリハビリテーション病院では、脳卒中などで車の運転が難しくなった患者さんが運転を再開できるようなリハビリテーションに取り組まれていますが、そこでリハビリテーション中の脳の活動を捉える手法としてfNIRSを活用するための研究にも取り組んでいます。