NTTドコモR&Dの技術ブログです。

ドコモでUIST2022に論文投稿し会議発表してきた話

DOCOMO R&D Advent Calender 2022の11日目を担当させて頂きます,クロステック開発部,第3企画開発担当の角谷です.
通常業務では,主に再生可能エネルギーや蓄電装置などエネルギー分野に関する研究・開発を行なっておりますが,今年のアドベントカレンダーでは,ドコモのR&Dで行われている「X-lab」という育成施策を通して,自分が興味のある分野・題材をテーマにHCI分野のトップカンファレンスの一つであるUIST2022にデモ参加させて頂くこととなりましたので,その際の会議の様子とその研究内容について簡単に紹介させて頂ければなと思います.

そもそもX-labとは?

本施策は「新技術構想~著名な国際会議での発表、事業部提案まで一連の業務を、指導者のサポートのもと行い、高い構想力・技術力・影響力を備え自立した高度技術者を育てるOJT形式の育成施策」でして,実際の活動はトップカンファレンスでの発表経験豊富な指導者(先輩社員)のもと,有志で集まったメンバーが毎週のMTGで和気藹々と新技術や研究テーマについて議論したり,先輩社員の経験を交えた講義を拝聴するものとなっております!
13日目に投稿予定の勝見さんの記事も,本施策が関わっておりますので是非そちらの方もご一読頂けましたら幸いです!



UISTとは?

正式名称は「User Interface Software and Technology Symposium」で,ACM主催の国際会議の1つです.HCI(Human Computer Interaction)界隈のトップカンファレンスの1つで,主にテクノロジ寄りの分野を扱うことが多い会議となっております.
今年はオレゴン州のベンドで開催され,美しい Deschutes 川のほとりにあるロッジ風のおしゃれなホテルで優雅な会議となりました.笑

カンファレンスとしては98本の発表があり,投稿数は372本,採録率は26.3%でした. 参加人数は481人.そのうち日本は参加人数68人と,開催国アメリカの268人についで2番目に多い国でした.実際,多くの日本人の方々とお会いし,日本から良い研究が生まれる土壌がしっかりとできている研究分野だなぁという印象を受けました.
デモ展示会場の雰囲気は,非常に和気藹々としたお祭りのような雰囲気で,開催時期が丁度ハロウィンということもあり,多くの方が仮装し最終日にはベスト仮装賞なるものも発表されていました!
下の画像は当日の自身のデモブースの様子です.デモ環境を構築するための物品が多く,荷物の持ち運びが非常に大変でした,,笑



発表した研究テーマについて

研究概要

研究テーマの説明をする前に少し自分の話をすると,私は幼少期よりずっとバスケットボールを続けており競技年数は20年近くにもなります. そんな私の兼ねてからの悩みが「日本にはバスケットゴールが少なすぎる!」というもので,ちょっとシュート練習がしたいと思ってもすぐに練習することはできず,高い施設のレンタル料を払うか,遠いバスケットゴールが置いてある公園まで自転車を走らせるかしかありませんでした.
そこで,この自分自身の悩みを解消すべく「HMD(ヘッドマウントディスプレイ)で表示したCGのバスケットゴールでも適切なフィードバックがあれば練習効果が期待できることを証明する」ことを主張とした研究を行うこととしました.少しまどろっこしい日本語で記載しましたが,要するに「実際のゴールなんて使わなくても,HMDの画面上に表示したゴールに向かってシュート練習すればある程度練習になるよね」といったことを証明する研究となっております.



実装方法

上記の主張を証明するため,以下の様なプロトタイプを実装し実験を行いました.


(1)プロトタイプで使用した主な機材は,HMD(Hololens2),Depth Sensing Camera(Kinect),PC,QRCode,Basketballの5つです.画像中に青で表示している物体は仮想空間の3Dオブジェクトを,黒で表示している物体は実物とお考えください.HMDは仮想空間の3Dオブジェクトの表示,Depth Sensing CameraとPCは空間上のボール起動の推定,QRCodeは表示する3Dオブジェクトのアンカーを目的として使用しております.実物は以下の写真の様な感じです.


(2)Depth Sensing Cameraとは,深度センサーを内蔵していて奥行きの情報を取得することができるカメラです.一般的なRGBカメラが2D(平面)の情報のみであるならば、デプスカメラは3D(立体)の情報を取得することができるカメラと考えて頂ければと思います.今回使用したDepth Sensing Cameraに内蔵されている深度センサーは,Time-of-Flight Camera(ToFカメラ)方式のものを採用しております.ToFカメラ方式とは,自分自身が照射した赤外光が被写体に当たり、その反射光が戻ってくるまでの時間を求めることで被写体との距離を計測する方式となっております.ToFの他にも方式があり,例えば2つのカメラを平行に並べて同時に撮影し両画像の視差から深度を求める「ステレオカメラ」方式などがありますが,今回はCPU負荷が少なくFPS(frame per seconds)が期待できるToFカメラ方式を採用しました.下の図は深度センサーの情報がどのように取得されているか分かりやすくするため,深度情報をカラーマップした画像となっております.画像からも分かる通り,空中にあるバスケットボールの深度がそのボールを真上に投げた右手と同じくらいの深度になっていることがわかりますね.


(3)先ほど説明した深度カメラの使用用途は,バスケットボールが空間上のどの場所に存在するかを特定するために使用しております.特定方法としては以下のような手順をとっています. 1. RGBカメラで取得した画像に対しボールカラー(オレンジ)で2値化処理 2. 2値化画像からブロブを検出,最大サイズのブロブの画像上の中心位置を取得 3. 中心位置からXY方向に数要素の範囲をROI(Region Of Interest)と定義 4. ROI内に含まれる全ての深度情報をToFカメラから取得 5. ROI内の全要素の深度情報を集計し最小値を算出,深度情報として取得

ざっくりと上記の操作を説明すると「バスケットボールの色が一番大きい場所にバスケットボールがあると仮定し,その(x,y,z)座標をRGBカメラとToFカメラの情報から推定する」といったものとなっております.また,上記手順で取得した情報を時系列順に保持することで,空間上を動いたボールがどの様な軌道をとっていたのかを推定することを可能としております.


(4)最後に,上記方法で算出したボール軌道から,バスケットゴールの中心位置からどの程度離れていたか,シュートの入射角度は理想的な角度(過去研究から45度が最良と言われております.)からどの程度離れているか,そしてそれら情報からシュートはCGのバスケットゴールに対して入っていたのかを推定し,HMDの方でフィードバックメッセージの表示を行なっています.フィードバックメッセージとして表示したのはシュートが入っており角度が理想的だと「Best Shot」,角度が低いと「Little Lower」,角度が高いと「Little Higher」,そしてシュートが入っていないと「Not Goal」と表示されます.



評価方法と評価結果

今回は短期的な練習効果についての確認を行うため,実装したプロトタイプを使用して以下の様な実験を行いました. 1. 実際のバスケットゴールへ10本シュートを行い、そのボール軌道を横から動画撮影し記録する 2. CGのバスケットゴールで50本シュートを行い、そのボール軌道を横から動画撮影し記録する 3. もう一度実際のゴールへ10本シュートを行い、そのボール軌道を横から動画撮影し記録する


実験には,バスケットボールの経験が体育での授業レベルでしかない4人の男性被験者に協力頂き,撮影した動画から以下の評価項目を算出しました.

【評価項目】 1. ゴールが入った回数 2. ボールの入射角の平均値と標準偏差 3. リング中央と同じ高さに到達した際の水平距離の平均値と標準偏差


一つ目の評価指標である「ゴールが入った回数」については,以下の表な様な結果となりました.個人差はありますが,3人 / 4人 がよりシュートが入る様になったことがわかりますね.

被験者 トレーニング前 トレーニング後
Aさん 0本 / 10本 3本 / 10本
Bさん 2本 / 10本 6本 / 10本
Cさん 2本 / 10本 1本 / 10本
Dさん 4本 / 10本 7本 / 10本


また,二つ目と三つ目の評価使用である「ボールの入射角」「ゴール中央からの距離」に関しては以下の図の様な結果となりました. 図(a)(b)は各被験者の「ゴール中央からの距離」の平均値と標準偏差を,図(c)(d)は各被験者の「ボールの入射角」の平均値と標準偏差を表しています.(a)(b)(d)の結果は小さい程よい結果であり,(c)に関しては理想的な角度である45度に近い程良い結果と言えます.
図(a)(b)の結果より,平均値と標準偏差がどちらも減少したユーザーが多いことから,「ゴール中央からの距離」つまりシュートの距離感の面において練習効果があったと考えられます.また,この結果に対しWelchのt検定を行った所、「練習前後の平均値において有意な差はない」という帰無仮説を5%の有意水準で棄却する結果となりました.(p-value = 0.0118)
一方で,図(c)の結果から,入射角の平均値は理想の角度である45 度には近づいていないことがわかります.しかし,図(d)では、全ての被験者で標準偏差が減少していることがわかります.このことから、ボールの軌道は理想的ではないものの ボールの軌道を安定させるという点では有効であったと考えれます.


上記の結果から,本研究の主張である「実際のゴールなんて使わなくても,HMDの画面上に表示したゴールに向かってシュート練習すればある程度練習になるよね」について,短期的な練習であればその主張を証明できたかなと思います.また,実際に実験をやっていて,バスケ経験者の自分から見て明らかにシュートが上手くなっているなぁと感じており,数値的な結果としてもそれがある程度示された際にはとても感動しました!
また,最後に今回のUIST2022に投稿致しました文献情報を記載致しますので,もしご興味ございましたらご一読頂けますと幸いです!


文献情報 : https://dl.acm.org/doi/abs/10.1145/3526114.3558639



同会議に参加した他ドコモメンバーの研究内容の紹介

冒頭で説明したX-labの取り組みからは,自分の他に2人のドコモメンバーがUIST2022のデモにて発表を行っておりますので,本記事の最後にその方々の発表内容につきましても簡単にご紹介させて頂ければと思います.



山田渉さんの発表(クロステック開発部)

研究タイトル:M&M: Molding and Melting Method Using a Replica Diffraction Grating Film and a Laser for Decorating Chocolate with Structural Color


概要:下の画像は表面に加工を加えることで構造色での模様を描いたチョコレートです.これまでチョコレートに構造色で模様を描く方法は,いくつか開発されてきましたが,多くの方法が精密な金型とナノレベルの加工が必要でコストと時間がかかっていました.本研究ではレーザーカッターと回折格子フィルムを用いた,チョコレートの構造色による新しい加飾方法を提案しています.提案手法は,以下の4つのステップで構成され,
(a) 回折格子フィルムを底面に敷いた金型を用意する
(b) しっかりとテンパリングを行なったチョコレートを金型に流し込む
(c) 冷蔵庫(15度)でチョコレートが固まるまで数時間冷やした後,回折格子フィルムを剥がすと図の様な構造色がチョコレートに現れる
(d) 構造色を消したい部分だけ,低出力のレーザーカッターを用いてチョコレートの表面を溶かす
最終的に(e)の様な綺麗な構造色での模様をチョコレートに描くことができます.
提案方法により,特別な精密金型を用いることなく,簡単な製造工程と安価な設備で構造色で装飾されたチョコレートを作ることができる様になります.


*ちなみに山田さんはX-labの指導者の一人として活動頂いており,息をする様にトップカンファレンスに通す猛者です.笑


文献情報 : https://dl.acm.org/doi/10.1145/3526114.3558642



千葉麻莉子さんの発表 (サービスイノベーション部)

研究タイトル:Shadowed Speech: an Audio Feedback System which Slows Down Speech Rate


概要:音声コミュニケーションにおいて,状況に応じた適切なスピードで話すことは重要だと言われています.しかし,意図した通りに発話速度を制御するためには,多くの訓練が必要です(例えば,多くの人の前で発表する経験が少ないと,緊張で早口で話してしまったりなど…).本研究では,話し手の発話速度が閾値よりも速い時に,「少しだけ遅延した自分の声」を話し手自身にフィードバックすることで,発話のスピードを抑えるシステムを提案します .ユーザー実験を通して,音声フィードバックの遅延時間が変わる条件を事前に知らせることなく,ユーザーの発話速度を低下させる効果があることを確認しました.


文献情報 : https://dl.acm.org/doi/10.1145/3526114.3558640



まとめ

UIST2022の雰囲気について簡単に紹介させて頂き,また自身の研究テーマについても簡単に説明させて頂きました.今回は,自身の専門分野外での研究を行わせて頂いたことで,非常に勉強になったのと多くの刺激を受けることができました!
今後も本業務を疎かにしない範囲で,このような活動を続けられたらと思います!〔自担当を含め,多くの方にご理解とご協力を頂き実現することができておりますので,この場を借りて再度お礼申し上げます.)
それでは皆さん良いクリスマスをお過ごし下さい!最後まで読んで頂き誠にありがとうございました!