NTTドコモR&Dの技術ブログです。

データ分析

スバラしき逆行列の世界

はじめに NTTドコモ サービスイノベーション部の中村圭佑です。普段の業務では画像認識や生成系AIに関する研究開発を行っています。ネット上の日本語記事で数値的な逆行列の計算方法を網羅した記事が少ないなぁと感じたので備忘録的に書いておこうと思います…

AWS re:Invent 2023 Las Vegasの参加報告と生成AI, データ分析, ETL系の新サービスを触ってみる!

NTTドコモ R&Dイノベーション本部 サービスイノベーション部 ビッグデータ基盤担当 3年目社員の小澤です. 普段の業務では, 1日数百TBにわたる弊社のLTE/5GSA基地局の通信制御信信号をリアルタイムで分析可能とし, ネットワークエリア品質向上に役立つデータ…

CNNとメルスペクトログラムを用いて音楽感情認識を試してみた

はじめに はじめまして、NTTドコモ サービスイノベーション部、2年目社員の韓です。 今回、アドベントカレンダーのラスト記事を書かせていただきます!初めてのブログ投稿のため、お手柔らかにお願いいたします<m(__)m> 本記事では、画像認識の分野で良く使われるCNN</m(__)m>…

Pythonで簡単に時系列予測が行えるライブラリを試して比較してみた(Prophet、NeuralProphet、StatsForecast、Greykite)

はじめに この記事はドコモアドベントカレンダー24日目の記事になります。 素敵なクリスマスイブをお過ごしでしょうか こんにちは、NTTドコモ サービスイノベーション部3年目社員の上田です。 業務では主に、データ分析・機械学習に関する研究開発やビジネス…

Who Owns the Token?

NTTドコモ 新事業開発部の大月魁と申します。私は NTTドコモ の Software Engineer として、技術支援やアプリケーションの開発に携わっています。 その中で、分散システムに関わる研究活動を過去に行っていたこともあり、ブロックチェーン周りの技術支援にも…

Causl Discovery Toolboxで簡単にデータの因果関係を解析してみよう

TL;DR この記事では,Causal Discovery Toolbox(cdt)を用いて観測データから因果関係を簡単に解析する方法を紹介します.cdtは,Pythonで利用可能なツールで複数の因果分析モデルとアルゴリズムを提供しデータから因果関係を推定し視覚化することができま…

MapLibre GL JSおよびTurf.jsを使った位置情報分析

NTTドコモの石黒です。今回はMapLibreとTurf.jsを使って地図のWebアプリを作って、その上で位置情報の分析をやっていきたいと思います。 MapLibreについて Webサイトに地図を使ったWebアプリを作って公開できるソフトウェアライブラリです。Mapbox GL JSから…

初心者でも大丈夫!データ分析実務スキル検定(PM級)を攻略した私の経験

NTTドコモ サービスイノベーション部の山川です。 今回はデータ分析実務スキル検定とはどのような資格なのか、どのように勉強を行い合格したのかを解説したいと思います! また、今回私はデータ分析初心者の立場で受験を行なっておりますので、データ分析を…

ワンオペTableauで社員3000人が見るダッシュボードをフルリニューアルした話

リニューアルしたダッシュボードについて ダッシュボードの概要・提供目的 ダッシュボードのアーキテクチャ なぜリニューアルしたのか? 一番の問題:チェックしたい指標までの遷移数が多い リニューアルの企画 リニューアルした際のUIコンセプト 構築の際に…

バスの運行を一目で確認!~遅延情報の可視化~

はじめに NTTドコモ クロステック開発部の中村と申します。 本記事では、バスのオープンデータを使って、遅延が発生しやすい時間帯や場所をアニメーションで可視化してみようと思います。 ※普段の業務では交通や人流データの分析やシミュレーションを行って…

StreamlitでコードとUIをスッキリさせるためのノウハウをまとめてみた

.entry-content img{ display: inline-block; box-sizing: border-box; border: solid 1px #ccc; } 1. はじめに こんにちは、ドコモ・テクノロジの小泉です。「ドコモ・テクノロジ」はNTTドコモの機能分担子会社の一つであり、主にNTTドコモのR&D業務を分担…

社員1000人以上が使う、Streamlit in Google Cloudのサーバレスプラットフォームを完全内製してみた

google cloud上でstreamlit の社内限定サーバレスプラットフォームを独自実装してみました。streamlit自体をサーバレスにするだけでなく、コーディング環境からci/cdに至るまで全てサーバレスにすることで1000人以上の社員が使うプラットフォームを少人数で…

【Python】YouTubeのトレンド分析:113ヵ国のデータを用いたトレンド傾向と生存時間分析(Cox比例ハザードモデル)

はじめに 本記事は、ドコモアドベントカレンダー2023の10日目の記事になります。 こんにちは。NTTドコモサービスイノベーション部4年目社員の九島です。 主な業務は、マーケティング分野への機械学習・AI活用です。 今回は、Kaggleで公開されているYouTubeの…

【Python】意思決定支援のために手元で数理最適化を使ってみた話

はじめに 本記事はNTTドコモ Advent Calendar 2023の7日目の記事です。 こんにちは。NTTドコモサービスイノベーション部2年目の杉山です。 業務ではAI技術等のビジネス適用をしております。 入社してから2年目になりますが、たった2年の間にも社内におけるデ…

DatadogAPM導入奮闘記~お金と向き合った日々~

はじめに 導入決定の経緯 実施したこと 導入効果 まとめ はじめに NTTドコモ 第二プロダクトデザイン部の増子です。 コンシューマ向けサービスのシステム開発を担当し、 自分の業務がお客様に直接影響することの重大さをヒシヒシと感じながら仕事すること早1…

Vertical Federated Learning の通信コストを大幅削減!SparseVFL について解説

NTTドコモ R&D Advent Calendar 2023 の1日目の記事です。 井上と申します。アメリカのシリコンバレーにあるドコモの子会社,DOCOMO Innovations, Inc. (DII) で Principal Data Scientist として機械学習の研究開発に従事しています。 DII は Amazon Web Se…

KDDCUP2023に入賞したので現地でポスター発表してきました

TL;DR データ分析コンペであるKDD2023にて、ドコモの2チームが入賞(6位、9位)しました。手法詳細はこちらを御覧ください。 本記事では今回参加した国際会議であるKDD2023について、現地の様子をメインに紹介します はじめに はじめまして、NTTドコモ サービ…

データ分析コンペKDDCUP2023にてドコモの2チームが入賞した解法の紹介

TL;DR データ分析コンペであるKDD2023にて、ドコモの2チームが入賞(6位、9位)しました。 コンペの概要と入賞した2チームの解法を紹介します。 はじめに NTTドコモ クロステック部の鈴木明作です! ドコモR&Dでは、データマイニングの世界最高峰の国際学術会…

Amazon QuickSightでダッシュボードを作ってみた

こんにちは、NTTドコモサービスデザイン部の山川です。 普段の業務ではアジャイル開発のPO業務に取り組んでおり、AWS関連の技術に携わっています。 今回は、業務の中で得られたTipsを簡単ですが紹介したいと思います。 ■やったこと データの可視化についてこ…

ドコモ・バイクシェアのデータがオープンデータになったので触ってみた

アドベントカレンダーをご覧のみなのもの~!おはこんハロチャオ~! NTTドコモの三村だよ!今日は世界のみなのものに向けて記事を書いていくぞ〜! ということで新たな大地に旅に出て約1ヶ月たったのですが皆さんいかがお過ごしでしょうか? 私はアニメをよ…

Webスクレイピングによる東京ディズニーシーの混雑分析をしてみた

NTTドコモ サービスイノベーション部 ビッグデータ担当 2年目社員の小澤です. 学生時代は, 機械学習分野の研究に取り組んでいましたがドコモでは, 膨大な通信に関するデータの加工を担うデータエンジニア的な業務に携わっております. 昨年は, 自身の業務に関…

クラスタ構成におけるサーチを止めない再起動の方法

はじめまして。NTTドコモのサービスデザイン部の渡辺と申します。NTTドコモ R&D ADvent Calendar 2022の22日目を担当いたします。 本記事ではログの統合分析ソフトウェアであるSplunkについて、実際に利用してみて有用だと思ったクラスタ構成におけるSplunk…

機械学習で総合格闘技の勝敗予想してみた

はじめに この記事はNTTドコモアドベントカレンダーの21日目の記事です。 こんにちは、NTTドコモサービスイノベーション部の川嶋です。 普段の業務では画像認識技術を用いたサービス開発に取り組んでおり、スポーツ解析、自動運転系の案件に携わっています。…

たった3人で運用するドコモを支える機械学習基盤の作り方 ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプライン ー

TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込め…

Pythonで簡単に時系列予測が行えるGreykiteを使ってみた

はじめに この記事はドコモアドベントカレンダー19日目の記事になります。 NTTドコモサービスイノベーション部2年目社員の上田です。 業務では主に、AI等デジタルマーケティング技術の企業活動適用を行っております。 最近はVUCA (Volatility、Uncertainty、…

【Python】実務でデジタルマーケティングに取り組むエンジニア社員がZILNを使ったLTV予測してみた

本記事は、ドコモアドベントカレンダー17日目の記事になります。 こんにちは。NTTドコモサービスイノベーション部3年目社員の九島です。 主な業務は、マーケティング分野への機械学習・AI活用です。 今回は、これからのマーケティングではより重要となる指標…

Text-to-3D手法でいらすとや風の3Dモデルを作ってみる

この記事は,ドコモアドベントカレンダー17日目の記事になります。 こんにちは。ドコモの下山と言います。業務ではバーチャル空間における3Dコンテンツ生成に取り組んでいます。 この記事では,Stable Diffusionに代表されるText-to-Imageの技術と,Novel Vi…

マルチラベル分類モデル/多クラス分類モデルの閾値を最適な値に調整してみよう

こんにちは、ドコモの何と言います。 業務では自然言語処理に関する研究に取り組んでいます。 本記事は、ドコモアドベントカレンダー8日目の記事になります。 本記事では、BERTを使ったマルチラベル分類の閾値の調整に関する技術について紹介します。 マルチ…

【Python】PyTorch で作る Vertical Federated Learning

NTTドコモ R&D Advent Calendar 2022 の1日目の記事です。 井上と申します。アメリカのシリコンバレーにあるドコモの子会社,DOCOMO Innovations, Inc. (DII) でシニアデータサイエンティストとして機械学習の研究開発に従事しています。 現在,DII は Amazo…

因果推論を使って施策改善を検討してみた

因果推論を使って施策改善を検討してみた こんにちは、NTTドコモ4年目社員の相場です。 業務ではレコメンド関連の技術開発やサービス向上のための分析をしています。 本日は大きく2つ 最近流行りのデータドリブンなマーケティングについて pythonで1に基づく…

ノーベル経済学賞から学ぶA/Bテストできない場合の効果検証

ノーベル経済学賞から学ぶA/Bテストできない場合の効果検証 こんにちは. NTTドコモサービスイノベーション部の阿座上です. 今回の記事は,2021年のノーベル経済学賞の内容を解説しつつ,A/Bテストが出来ない場合の効果検証はどう行えば良いのかについて触…