NTTドコモR&Dの技術ブログです。

クラウド

AWS re:Invent 2023 Las Vegasの参加報告と生成AI, データ分析, ETL系の新サービスを触ってみる!

NTTドコモ R&Dイノベーション本部 サービスイノベーション部 ビッグデータ基盤担当 3年目社員の小澤です. 普段の業務では, 1日数百TBにわたる弊社のLTE/5GSA基地局の通信制御信信号をリアルタイムで分析可能とし, ネットワークエリア品質向上に役立つデータ…

Who Owns the Token?

NTTドコモ 新事業開発部の大月魁と申します。私は NTTドコモ の Software Engineer として、技術支援やアプリケーションの開発に携わっています。 その中で、分散システムに関わる研究活動を過去に行っていたこともあり、ブロックチェーン周りの技術支援にも…

MWAA、dbt、ECSを利用したデータパイプライン構築

はじめに・自己紹介 NTTドコモ データプラットフォーム部(以下DP部)の矢野です。 NTTドコモではデータを駆使した様々なサービスを取り入れることでサービス価値の向上を目指しています。そのためにDP部ではModern Data Stackといわれるツール群の導入を行う…

Cloud Composer×Cloud Run Jobでnotebook実行を自動化した件

TL;DR データ分析ツールの利用実績を定期的に社内で報告しており、利用データの集計と格納をJupyter Notebook(以下notebook)で実施していた。 Google CloudでCloud Composer、Cloud Run Job、papermillを使ってnotebookのスケジュール実行を実現した。 ス…

訳あってCI/CDをCloud BuildからGitHub Actionsに変えてみた

TL;DR CI/CDパイプラインを、Cloud BuildベースからGitHub Actionsベースに移行してみた プロジェクトの制約上、CI/CDパイプラインを継続的に作成する必要があり、リポジトリの手動接続が必要なCloud Buildは運用側の負荷が高かった 移行のコストは考慮しつ…

Cloud Workstationsをチーム開発で使うための(個人的)ベストプラクティス

Cloud Workstationsをチーム開発で使うための(個人的)ベストプラクティス

社員1000人以上が使う、Streamlit in Google Cloudのサーバレスプラットフォームを完全内製してみた

google cloud上でstreamlit の社内限定サーバレスプラットフォームを独自実装してみました。streamlit自体をサーバレスにするだけでなく、コーディング環境からci/cdに至るまで全てサーバレスにすることで1000人以上の社員が使うプラットフォームを少人数で…

CDKを使ったMLflow実験環境の構築とCode Editor機能を利用したMLflow UI表示方法の紹介

はじめに みなさんこんにちは、サービスイノベーション部の内村です。 普段の業務では機械学習モデルの開発運用を行ったり、社内のデータ活用推進業務に携わっています。 今回は機械学習モデルの実験管理を行うMLFlow環境をcdkでECS上に構築することを試して…

社内向けAPIポータルサイトのCMSをAWS App Runnerで作った

はじめに NTTドコモ サービスデザイン部の伊藤です。 RAFTELというドコモ社内向けの共通API基盤の開発を担当しています。 本記事ではRAFTELチームで取り組んだポータルサイト開発について行った取り組みについて紹介します。 RAFTELとは NTTドコモではLemino…

AWS PartyRockであそんでみた

はじめに はじめまして、NTTドコモ サービスイノベーション部の早川です。 ドコモ開発者ブログの運営を担当しており、今回アドベントカレンダーを盛り上げるために初記事投稿させていただきます! 本記事では、最近(2023/11/16に)AWSからリリースされた"Part…

DatadogAPM導入奮闘記~お金と向き合った日々~

はじめに 導入決定の経緯 実施したこと 導入効果 まとめ はじめに NTTドコモ 第二プロダクトデザイン部の増子です。 コンシューマ向けサービスのシステム開発を担当し、 自分の業務がお客様に直接影響することの重大さをヒシヒシと感じながら仕事すること早1…

Vertical Federated Learning の通信コストを大幅削減!SparseVFL について解説

NTTドコモ R&D Advent Calendar 2023 の1日目の記事です。 井上と申します。アメリカのシリコンバレーにあるドコモの子会社,DOCOMO Innovations, Inc. (DII) で Principal Data Scientist として機械学習の研究開発に従事しています。 DII は Amazon Web Se…

ShowNet 2023 展示紹介 ~5GConAWSを活用したマルチアクセスでのスライシング~

はじめに こんにちは、ネットワーク開発部の清水(和)、奥田、宮﨑です。 株式会社NTTドコモ (以下、ドコモ) は、「Interop Tokyo 2023(会場:幕張メッセ、会期:2023年6月14日〜16日)」 において構築される、世界最大級のイベントネットワーク ShowNet に…

ドコモ3年目社員がRedshiftの10年モノの技術負債解消にチャレンジしてみた

はじめに システム概要 長時間Vacuumの回避 列指向データベース Vacuumが走りにくい処理への変更 Truncateの積極活用 時系列テーブルの使用 ディープコピーの実行 Vacuumの頻度・範囲見直し 他にも改善策として挙げられるもの Concurrency Scalingの導入 Red…

AWS WAFのログ出力先を変更することでコスト削減を試みた

こんにちは、NTTドコモサービスデザイン部の山川です。 普段の業務ではアジャイル開発のPO業務に取り組んでおり、AWS関連の技術に携わっています。 今回は、業務の中で得られたTipsを簡単ですが紹介したいと思います。 ■課題内容 CloudWatchLogsのコストが非…

Amazon QuickSightでダッシュボードを作ってみた

こんにちは、NTTドコモサービスデザイン部の山川です。 普段の業務ではアジャイル開発のPO業務に取り組んでおり、AWS関連の技術に携わっています。 今回は、業務の中で得られたTipsを簡単ですが紹介したいと思います。 ■やったこと データの可視化についてこ…

CloudWatch+Lambda+SQSを活用したDB高負荷時の復旧自動化

はじめに こんにちは。NTTドコモ サービスデザイン部 @dcm_koshikawa です。 スクラム開発でプロダクトオーナーを担当しており、サービスデザイン部にJoinしてから2年半が経ちます。 サービスデザイン部では、各種ドコモサービスを動かす基盤を提供しており…

【Python】つまずきながらawswranglerでAthenaにデータ送ってみた

awswranglerを使ってDataFrameをAWS Athenaに送る際に生じた様々なつまずきと対処のまとめ

たった3人で運用するドコモを支える機械学習基盤の作り方 ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプライン ー

TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込め…

Github Actionsを用いてPush時にGithubのリポジトリをAWS CodeCommitへ同期させる方法

この記事はNTTドコモR&Dアドベントカレンダー2022、9日目の記事です。 こんにちは、中矢です。2022年10月からNTTドコモによって新しく設立されたARやVRの開発をメインに行うNTTコノキューに所属しています。 NTTコノキューにおける私の業務は、主にバックエ…

【Python】PyTorch で作る Vertical Federated Learning

NTTドコモ R&D Advent Calendar 2022 の1日目の記事です。 井上と申します。アメリカのシリコンバレーにあるドコモの子会社,DOCOMO Innovations, Inc. (DII) でシニアデータサイエンティストとして機械学習の研究開発に従事しています。 現在,DII は Amazo…