NTTドコモR&Dの技術ブログです。

クラウド

ドコモ3年目社員がRedshiftの10年モノの技術負債解消にチャレンジしてみた

はじめに システム概要 長時間Vacuumの回避 列指向データベース Vacuumが走りにくい処理への変更 Truncateの積極活用 時系列テーブルの使用 ディープコピーの実行 Vacuumの頻度・範囲見直し 他にも改善策として挙げられるもの Concurrency Scalingの導入 Red…

AWS WAFのログ出力先を変更することでコスト削減を試みた

こんにちは、NTTドコモサービスデザイン部の山川です。 普段の業務ではアジャイル開発のPO業務に取り組んでおり、AWS関連の技術に携わっています。 今回は、業務の中で得られたTipsを簡単ですが紹介したいと思います。 ■課題内容 CloudWatchLogsのコストが非…

Amazon QuickSightでダッシュボードを作ってみた

こんにちは、NTTドコモサービスデザイン部の山川です。 普段の業務ではアジャイル開発のPO業務に取り組んでおり、AWS関連の技術に携わっています。 今回は、業務の中で得られたTipsを簡単ですが紹介したいと思います。 ■やったこと データの可視化についてこ…

CloudWatch+Lambda+SQSを活用したDB高負荷時の復旧自動化

はじめに こんにちは。NTTドコモ サービスデザイン部 @dcm_koshikawa です。 スクラム開発でプロダクトオーナーを担当しており、サービスデザイン部にJoinしてから2年半が経ちます。 サービスデザイン部では、各種ドコモサービスを動かす基盤を提供しており…

【Python】つまずきながらawswranglerでAthenaにデータ送ってみた

awswranglerを使ってDataFrameをAWS Athenaに送る際に生じた様々なつまずきと対処のまとめ

たった3人で運用するドコモを支える機械学習基盤の作り方 ー Kubernates × Airflow × DataRobot を使ったMLOpsパイプライン ー

TL;DR 自己紹介・モチベーション 処理の再現性の担保・デプロイの迅速化 実現したかったこと 1. コードの再現性を担保する 2. 簡単に機械学習タスクの実行パイプラインをかけるようにする 3. ノートブックファイルを、そのままの形でパイプラインに組み込め…

Github Actionsを用いてPush時にGithubのリポジトリをAWS CodeCommitへ同期させる方法

この記事はNTTドコモR&Dアドベントカレンダー2022、9日目の記事です。 こんにちは、中矢です。2022年10月からNTTドコモによって新しく設立されたARやVRの開発をメインに行うNTTコノキューに所属しています。 NTTコノキューにおける私の業務は、主にバックエ…

【Python】PyTorch で作る Vertical Federated Learning

NTTドコモ R&D Advent Calendar 2022 の1日目の記事です。 井上と申します。アメリカのシリコンバレーにあるドコモの子会社,DOCOMO Innovations, Inc. (DII) でシニアデータサイエンティストとして機械学習の研究開発に従事しています。 現在,DII は Amazo…