NTTドコモR&Dの技術ブログです。

MLOps

MWAA、dbt、ECSを利用したデータパイプライン構築

はじめに・自己紹介 NTTドコモ データプラットフォーム部(以下DP部)の矢野です。 NTTドコモではデータを駆使した様々なサービスを取り入れることでサービス価値の向上を目指しています。そのためにDP部ではModern Data Stackといわれるツール群の導入を行う…

Cloud Composer×Cloud Run Jobでnotebook実行を自動化した件

TL;DR データ分析ツールの利用実績を定期的に社内で報告しており、利用データの集計と格納をJupyter Notebook(以下notebook)で実施していた。 Google CloudでCloud Composer、Cloud Run Job、papermillを使ってnotebookのスケジュール実行を実現した。 ス…

訳あってCI/CDをCloud BuildからGitHub Actionsに変えてみた

TL;DR CI/CDパイプラインを、Cloud BuildベースからGitHub Actionsベースに移行してみた プロジェクトの制約上、CI/CDパイプラインを継続的に作成する必要があり、リポジトリの手動接続が必要なCloud Buildは運用側の負荷が高かった 移行のコストは考慮しつ…

Cloud Workstationsをチーム開発で使うための(個人的)ベストプラクティス

Cloud Workstationsをチーム開発で使うための(個人的)ベストプラクティス

CDKを使ったMLflow実験環境の構築とCode Editor機能を利用したMLflow UI表示方法の紹介

はじめに みなさんこんにちは、サービスイノベーション部の内村です。 普段の業務では機械学習モデルの開発運用を行ったり、社内のデータ活用推進業務に携わっています。 今回は機械学習モデルの実験管理を行うMLFlow環境をcdkでECS上に構築することを試して…

たった3人で運用するドコモを支える機械学習基盤の作り方 ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプライン ー

TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込め…