NTTドコモR&Dの技術ブログです。

MLOps

From Automation to Autonomy: How Agents will Transform 6G Network Management

本記事の、日本語翻訳版はこちら Introduction Hello! We are Refik, Hamza, and Oguz. We work at DOCOMO Euro-Labs (EUL), docomo’s centre of excellence of global telecom standardisation in Munich, where we study virtualized, automated, and data…

AutomationからAutonomyへ ― エージェントは6Gネットワーク管理をどのように変革するのか ―

はじめに こんにちは。私たちはRefik、Hamza、Oguzです。 私たちはミュンヘンにあるDOCOMO Euro-Labs(ドコモユーロ研)で、仮想化・自動化・データ駆動型のモバイルネットワーク管理について研究しています。EULは、docomoにおけるグローバル通信標準化の中…

MLOpsパイプラインをSnowflakeのみで実現してみた

1. 概要 2. 構築したMLOpsパイプライン 3. 実装におけるポイント 3.1. Pythonストアドプロシージャ 3.2. Snowflake TaskによるDAG実装 3.3. 外部ステージを使ったモデル管理 4. 切り替え効果 5. 今後に向けて 1. 概要 NTTドコモ データプラットフォーム部の…

MWAA、dbt、ECSを利用したデータパイプライン構築

はじめに・自己紹介 NTTドコモ データプラットフォーム部(以下DP部)の矢野です。 NTTドコモではデータを駆使した様々なサービスを取り入れることでサービス価値の向上を目指しています。そのためにDP部ではModern Data Stackといわれるツール群の導入を行う…

Cloud Composer×Cloud Run Jobでnotebook実行を自動化した件

TL;DR データ分析ツールの利用実績を定期的に社内で報告しており、利用データの集計と格納をJupyter Notebook(以下notebook)で実施していた。 Google CloudでCloud Composer、Cloud Run Job、papermillを使ってnotebookのスケジュール実行を実現した。 ス…

訳あってCI/CDをCloud BuildからGitHub Actionsに変えてみた

TL;DR CI/CDパイプラインを、Cloud BuildベースからGitHub Actionsベースに移行してみた プロジェクトの制約上、CI/CDパイプラインを継続的に作成する必要があり、リポジトリの手動接続が必要なCloud Buildは運用側の負荷が高かった 移行のコストは考慮しつ…

Cloud Workstationsをチーム開発で使うための(個人的)ベストプラクティス

Cloud Workstationsをチーム開発で使うための(個人的)ベストプラクティス

CDKを使ったMLflow実験環境の構築とCode Editor機能を利用したMLflow UI表示方法の紹介

はじめに みなさんこんにちは、サービスイノベーション部の内村です。 普段の業務では機械学習モデルの開発運用を行ったり、社内のデータ活用推進業務に携わっています。 今回は機械学習モデルの実験管理を行うMLFlow環境をcdkでECS上に構築することを試して…

たった3人で運用するドコモを支える機械学習基盤の作り方 ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプライン ー

TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込め…