Snowflakeの新機能『dbt Project on Snowflake』を商用利用を見据えてデータエンジニア観点で開発運用フローを検討した結果を紹介します。

1. はじめに ドコモのデータプラットフォーム部の中村光宏と申します。 この記事では、GitHub CopilotのCustom Instructions を強化しチームのKPI管理に使っていた既存のSQLをdbtモデルに変換した経験と学びをまとめました。 まだベストプラクティスが少ない…

Apache Icebergを用いて、SnowflakeとBigQueryを横断するマルチDWHのデータパイプラインを実現しました。 開発・運用の効率性を高くするためdbtで実装したが、その中で気を付けなければいけない点が多くありました。 想定する読者 Icebergを用いたパイプライ…

NTTドコモが挑む、4万人以上が利用する大規模Slackのログ基盤構築。AWS Step Functionsの分散マップを活用し、15万超のチャンネルからのログ収集を自動化したアーキテクチャとノウハウを解説します。

目次 はじめに 1. ドコモにおける顧客分析の難しさとCX分析基盤 2. CX分析基盤を運用するときの課題 2.1. 基盤運用で発生する問題について 2.2. リカバリ対応が困難な問題 2.3. ドキュメント修正が煩雑な問題 2.4. 取り組むべき2つの課題 3. 課題に対するソ…