DOCOMO R&D Advent Calender 2024の21日目を担当させて頂きます、サービスイノベーション部 顧客理解AI担当の阿座上と先進技術推進担当の横野です。 普段はそれぞれ位置情報に関する分析・研究開発、空間データにまつわる研究開発に従事しています。 本日はドコモのR&Dで行われている「X-Lab」という育成施策を通して、自分が興味のある分野・題材であるコーヒー豆の鮮度推定と電気柵をタッチセンサーにする技術をテーマにHCI分野の学会の一つであるWISS2024にデモ参加させて頂きましたので、会議の様子と発表した研究内容について紹介させていただきます。
X-Labとは
”世界で”通用する技術者を育成することを目的とした、リサーチャー育成コミュニティです。新技術構想から著名な国際会議での発表、事業部提案まで一連の業務を、指導者のサポートのもと行い、高い構想力・技術力・影響力を備え自立した高度技術者を育てるOJT形式の育成施策として2021年10月に発足し、先々月に3周年を迎えました。 トップ会議での発表や技術発の事業創出に興味を持つ有志社員が集まり、毎週楽しく新技術や研究テーマについてディスカッションしています。 X-Labについては、発足者の落合・山田のインタビュー記事がございますので、より詳しく知りたい方はこちらの記事も参照していただければと思います。
WISSとは
インタラクティブシステムにおける未来を切り拓くような新しいアイデア・技術を議論するワークショップで、毎年合宿形式で実施されます。 1993年から開始され今年で30回目の開催となりました。 今年は新潟県苗場プリンスホテルが会場となり、雪が降るなかで毎日熱い議論を交わしながら、新しい知見を共有したり研究者間のネットワークを広げたりと大変有意義な充実した時間を過ごすことができました。
ワークショップとしては、登壇発表が21件、国際学会招待登壇発表が4件、デモ発表が135件、WISS Challengeが6件と過去最大規模(!)となり、246名の参加者が集う盛況ぶりでした。
デモ会場はメイン会場を取り囲むように設置され、毎日入れ替わりで異なるデモが展示される形式となっていました。 視覚的にもインタラクティブにも楽しめる内容が揃っており、参加者間での技術的な議論やフィードバックが盛んに行われていました。 下の画像は阿座上・横野のデモブースの様子です。
2展示ともに開始直後から多くの方々が足を運んでくださり、予想以上の反響をいただきました。実際に展示物に触れて体験していただく中で、現場での具体的な活用シナリオや改善点について、多くの貴重なフィードバックをいただくことができました。立ち寄ってくださった皆さまにはこの場を借りて感謝を述べたいと思います。大変ありがとうございました！
発表した研究テーマについて
阿座上の発表内容
論文タイトル：ESCAFE: スマートフォンのフラッシュを利用した表面油分の強調によるコーヒー豆の鮮度推定
突然ですが、みなさんコーヒーは好きですか？美味しいコーヒーを飲むには、鮮度の良いコーヒー豆を選ぶことが大切です。でも、スーパーや専門店で買ってきた豆を一目見て鮮度を判断するのは難しいですよね。そこで、私たちはスマートフォンを使って簡単にコーヒー豆の鮮度を推定できる方法として「ESCAFE」を提案しました。
研究概要
一般的に、コーヒー豆の鮮度を推定する方法として、抽出時の豆の膨らみ具合を観察する手法や、ガスクロマトグラフを用いて香りを測定する手法があります。しかし、これらの方法は抽出後でなければ判断できなかったり、専門的な機器を必要とするため、手軽に利用することは難しいのが現状です。
そこで本研究では、スマートフォンのフラッシュを活用して、コーヒー豆の鮮度を簡便に推定する新しい手法「ESCAFE」を提案しました。コーヒー豆は鮮度が低下すると表面に油分が滲み出る特性があります。この現象に着目し、フラッシュ撮影によって得られる画像から表面の油分を強調し、焙煎後の経過日数を推定します。
これにより、従来必要だった高価な機器や専門的な知識なしに、スマートフォンのみで簡単に鮮度を把握できる手法を実現しました。
提案手法
提案手法は、以下の3ステップで構成されています：
フラッシュ撮影による表面油分の強調： スマートフォンのフラッシュ有り・無しでコーヒー豆を撮影し、その画像の差分を計算します。この差分画像により、豆の表面に現れる油分の光沢を強調します。
視覚的特徴の抽出： 差分画像と焙煎度の情報を畳み込みニューラルネットワーク（CNN）に入力し、豆の状態を示す視覚的特徴を抽出します。これにより、焙煎後の日数に関連する特徴量をモデル内で学習します。
焙煎後日数の推定： 抽出された特徴を回帰層で処理し、焙煎後の経過日数を推定します。推定結果は連続値として出力され、最も近い整数値に丸めます。
評価方法と結果
評価には、推定した経過日数と実際の経過日数の差分を測定する平均絶対誤差（MAE）および二乗平均平方根誤差（RMSE）を使用しました。さらに、フラッシュを使用しないモデルとの比較を実施し、提案手法の有効性を確認しました。
結果として、提案手法は全体でMAEが5.24～9.82日、RMSEが6.39～11.38日となり、特にMediumやFrenchといった焙煎度で高い精度を示しました。一方で、CinnamonやCityなどの焙煎度では誤差がやや大きくなる傾向がありました。これは、これらの焙煎度では表面の油分が少なくコーヒーの劣化を上手く学習できなかったためと考察しています。
今回の結果はコーヒー豆の鮮度推定をより簡便かつ効果的に行うための可能性を示すことができたと思います。今後は、より多様な環境での評価や前処理の改良を進め、さらに精度を高めることを目指します。
横野の発表内容
論文タイトル：TouchFence: 接触箇所の検出が可能な電気柵 みなさん、電気柵はご存知でしょうか？農地への野生動物の侵入を阻むために、触れるとパチッと電気が流れる柵、電気柵が設置されます。 従来の電気柵は動物に電気ショックを与えるだけのものだったのですが、私たちは電気柵をタッチセンサーにする大規模なタッチセンシング技術「TouchFence」を提案しました。
研究概要
電気柵は、数千から1万Vに及ぶパルス電圧が印加されている導電性のワイヤーで、動物が触れると、ワイヤー、動物、地面で構成される回路を通して動物に弱い電気ショックを与えるものです。なお、この電流は微弱かつ一時的に流れるものであるので、動物を傷つけることはありませんが、恐怖を植え付けて農地に入るのを阻む効果があります。 電気柵は獣害対策として非常に有用なのですが、短絡や損傷によって機能しなくなることがあります。例えば、草木が電気柵に接触すると、接触箇所で短絡が生じて、動物が触れても電気ショックを与えることが不可能になります。他にも、動物との度重なる接触でワイヤーが切れてしまう可能性もあります。機能しない電気柵を放置すると、動物が電気柵を越えて農地に侵入できてしまい、電気柵を怖いものではないと学習してしまうため電気柵自体の効果を低減してしまう恐れがあります。これらの理由から機能しなくなった電気柵には早急に対策を講じる必要がありますが、電気柵は広大な農地に設置されているため、故障が起こっているポイントを特定するのは困難です。 そこで私たちは、草木や動物の接触で生じる2 つの経路の電気抵抗を比較することにより、その接触箇所を特定する大規模な接触箇所の検出技術（TouchFence）を提案しました。
提案手法
提案手法は以下3 つのステップで構成されます。
既存の電気柵に接触箇所の検出用の装置を取り付け、接触箇所検出用の数百ボルトのバイアス電圧をかける
草木や動物が電気柵に触れると、図1に示すように時計回りと反時計回りの2 つの経路で電気が流れる
各経路のワイヤーの抵抗値から、草木や動物が触れたポイントを計算する
この手法はたった1 つのセンサで、数百メートル以上の導電性ワイヤー上の接触箇所の検出を可能にします。そのため、従来のタッチセンサやカメラを用いたセンシングに対して、拡張性と費用対効果の面で優れています。また、カメラに比べ、プライバシーを侵害する恐れもありません。 実際に開発した試作機およびその回路は以下に示す通りです。試作機は電流源、接触箇所検出用の抵抗、ノイズ対策のためのチョークコイルとコモンモードフィルタとコンデンサで構成されており、電気柵と同時に利用しつつ、接触箇所の検出をできるようにしています。草や動物が電気柵に接触すると、電流源から経路A と経路B それぞれで電気が流れ、その時にワイヤーの抵抗値を電圧計で取得した値から計算することで、接触位置を計算します。
評価方法と結果
試作機を用いた接触の検出精度を検証する評価実験を行いました。実験では、試作機と電気柵をグラウンドに設置し、草と動物を模した抵抗で触れた際の位置検出精度の確認を行いました。電気柵は200mのものを設置し、抵抗で触れるポイントは30mおきに設定した上で、各ポイント3 回ずつ触れました。抵抗は草を模した1MΩ の抵抗と、動物を模した470Ω の抵抗の2 つを用いました。これらの抵抗で電気柵に触れた際の電圧計の値を記録し、接触した場所の算出を実施しました。 実験の結果は表の通りです。実際の位置に対する推定値の平均誤差は、1MΩ で0.26m 、470Ωで0.21m、最大誤差は0.65m でした。表中の括弧内は標準偏差を表し、1MΩ で0.25m 、470Ω で0.20mです。これらの結果から、草木や野生動物の接触位置を確認するという用途を考えると、十分な精度で接触を検出できることがわかりました。また、接触した位置による認識精度のばらつきはほとんどないこともわかりました。
これらの結果を踏まえ、電気柵を設置した環境による精度の変化への対応や、実際の農地でのフィールドワークを今後行う予定です。
まとめ
X-Labの活動を通してWISS2024にて、ESCAFE: スマートフォンのフラッシュを利用した表面油分の強調によるコーヒー豆の鮮度推定、TouchFence: 接触箇所の検出が可能な電気柵の論文についてデモ発表してきました。 今回はふたりとも自身の専門分野外での研究に挑戦しましたが、普段の業務では触れる機会が少ない分野であるHCI専門家のみなさまからフィードバックを受けることで、自分の技術者としての視野が大きく広がりました。
また、コーヒーの鮮度推定については鮮度推定の精度を上げるために色調や輝度補正のためのチャートを用意するのはどうかといったコメントや、電気柵についてはこの後実際の評価とユーザーインタビューを行ってトップ会議に出すのかといったコメントなど、自分が見えていなかった改善点や新しいシナリオにも気づくことができました。 次に繋がる前向きなコメントを多くいただくことができたので今後の活動に大いに参考にしたいと考えています。
今後も本業務を疎かにしない範囲で、活動を続けていきたいです。（自担当を含め多くの方にご理解とご協力を頂き実現できていることですので、この場を借りて再度お礼申し上げます。） 最後まで読んでいただきありがとうございました。みなさま良いクリスマスをお過ごしください。
