はじめに
こんにちは、コアネットワークデザイン部の奥田、宮本、小原です。
株式会社NTTドコモ (以下、ドコモ) は、「Interop Tokyo 2024（会場：幕張メッセ、 会期：2024年6月12日〜14日）」において構築される、世界最大級のイベントネットワーク ShowNet *1 に対して、AWS Region および現地のオンプレミス環境に構築した 5G コアネットワーク（以下、5GC）を提供し、 NTTコミュニケーションズ株式会社 (以下、NTT Com) が提供するローカル 5G 基地局と接続し、 ローカル5Gによる映像伝送デモンストレーションを実施しました。
また、フロントホール区間には NTT ネットワークサービスシステム研究所 (以下、NS研) が提供する FDN Bridge を使用し、 NTT Com が提供するオーケストレータ Qmonus と接続・連携して制御することで、 伝送トランスポートネットワークも含めたEnd-to-Endのネットワークスライシングを実現いたしました。
この記事では、上記検証のうちドコモのコントリビューション部分について紹介します。
NTT Com のコントリビューション部分については、 NTT Communications Enginner's Blogやをご覧ください。
モバイルネットワークにおけるこれまでの挑戦
専用ハードウェアから仮想化を経てクラウドへ
ドコモでは、3G～4G初期に使われていた専用ハードウェアから、VMベース仮想化を経て、コンテナベース仮想化へと進化してきました。 そして、2022年以降では、5G時代に求められるネットワークの柔軟な配備や信頼性の実現を目指して パブリッククラウド上の 5GC と自社の仮想化基盤上に構築した既存の 5GC とを接続した ハイブリッドクラウド構成を動作させる検証に2022年から取り組んでいます *2 。
クラウドとオンプレの選択と戦略：ハイブリッドクラウドへ
このようにドコモでは5GCのクラウドシフトを強力に推進してきましたが、 一方で昨今のIT業界において白熱している「クラウドvsオンプレ」については、 モバイルネットワークにおいても避けては通れません。
ドコモでは、コアネットワークの特性を踏まえてクラウドとオンプレをどのように棲み分けていくかを定め、 ハイブリッドクラウドのあるべき戦略を描いてきました。その内容は、Interop Tokyo 2024の展示会場内セミナー*3にてご紹介予定です。
また、並行してハイブリッドクラウド構成を実現する方式検討・技術実証を実施してきました *4 *5 。 2023年度には、オンプレミスクラウド基盤がオンプレミスとクラウドのいいとこ取りをできる ハイブリッドクラウドの優れた一形態ではないかとという考えのもと、 AWSのオンプレミスのエッジクラウドである、AWS Outposts serverへのUPF搭載を検証しました。
ShowNet 2023にて初めてAWS Outposts serverへのUPF搭載に挑戦し *6 、 その完成度を高めた上で実証実験により商用基地局との相互接続性を確認いたしました *7。
ネットワークスライシング
ドコモでは、2021年12月の5G SA方式導入以来、ネットワークスライシングの活用に全力を注いでおり、 スライスのオンデマンド化やエリア・品質制御など様々な検討を続けています *8。
昨年のShowNetでは、Qmonus を用いてキャリア5Gとローカル5Gを模擬した2つの5GCにオンデマンドにスライスを構築し連携させる実証実験を実施し *9 、 今年1月には、エリアや時間を指定したネットワークスライシングの実証実験を行いました *10。
Interop Tokyo 2024 ShowNet における取組み
これまでの取組みの発展として、NTTグループ先端5G技術を結集し、Interop Tokyo 2024 ShowNetでは3つの技術に取り組みました。
- ①オンプレミス版EKSであるEKS Anywhere上に構築されたUPF「UPF on EKS Anywhere」
- ②プログラマブル プロセッサであるNVIDIA DPU上に構築されたUPF「DPU offloaded dUPF」と5GConAWSの相互接続
- ③光波長多重伝送レイヤも含めたEnd-to-Endネットワークスライシング制御：Qmonus、IOWN FDN*11
「③光波長多重伝送レイヤも含めたEnd-to-Endネットワークスライシング制御」については、NTT Com の Enginner's Blog 記事をご覧ください。
①オンプレミス版EKSであるEKS Anywhere上に構築されたUPF「UPF on EKS Anywhere」
これまでに検証を続けてきたAWS Outposts serverはとても優れた基盤ですが、Webサービス用途に特化したものであり、 ネットワークインターフェースが1つしかないなどネットワーク機能として活用するにはいくつかの課題があります。
一方、AWS EKS Anywhere*12では、 自社所有のハードウェアにgithubからAWS EKS Anywhereをcloneして インストールするという利用形態となっており、ネットワークインターフェースに自由度があるというメリットがあります。
実際に、AWS EKS AnywhereにUPFを搭載し、複数ネットワークインターフェースの利用や、 柔軟なパケット制御などが実現できることを確認いたしました。
②プログラマブル プロセッサであるNVIDIA DPU上に構築されたUPF「DPU offloaded dUPF」と5GConAWSの相互接続
DPU offloaded dUPF (以降dUPF) *13 は、NTT NS研が開発中のData Processing Unit(DPU)によって動作するUPFで、 IOWNインクルーシブコア構想の先行実装形態として開発されているものです。
今回は、開発中のdUPFと5GC on AWSをN4参照点にて相互接続を行い、実際のユーザトラヒックを流通させ、ShowNetにおいて映像伝送に利用いたしました。 PFCP *14 と呼ばれる制御プロトコルを用いて、5GC on AWSからdUPFをOpenFlowのように制御しています。
相互接続においては、PFCPの各信号のパラメータの1つ1つの使用方法を相互に確認し、実装の調整を行い無事に相互接続に成功しています。EPCでは、3GPP TS23.214でC-plane/U-planeを分離するアーキテクチャが定義され、様々なU-plane装置を接続できるとしており *15、 5GCでもそのコンセプトは引き継がれていますが、 実際には内製レベルでUPFまたはSMFを開発する状況でないとSMFとUPFの相互接続は簡単ではないのかもしれません。
ShowNet でのUPF性能検証
今回のShowNetでは、Spirent Communications様、東陽テクニカ様の協力を得て、①②のUPFの性能検証を実施しました。
なぜShowNetに性能検証にチャレンジするのか
Interopは1986年米国カリフォルニア州モントレーでネットワークに関心を持つ学識者やエンジニアが集まって開催されたカンファレンスがその歴史の始まりです。 各自が持ち寄ったネットワーク機器を相互に接続し、実際に運用することで課題を解決し技術の進展と、インターネットの発展に寄与し続けてきました。ネットワークにつながるすべてのモノについて、Interoperability（相互接続性）を検証する場、それがInteropの原点です。
これは、ShowNetの公式ページからの引用です。 このShowNetの精神に則って、試験機であるSpirent TestCenter、Spirent Landslideとの相互接続および、 それらの機能を最大限に活かしたUPF性能検証に挑戦しました。
ドコモの実トラヒックを模擬したUPF性能検証への挑戦
試験を実施するためには、いくつかのステップがあります。
- セッション数やスループットなどの目標とする疑似環境の諸元を決める
- Registration、Xn Handover、N2Handover、Service Requestなどの各種信号処理の割合を決める
- 1.の諸元と2.の信号割合から、UPFに印加するC-plane信号の種類と量、U-plane信号の量を導出
- 1.～3.を元に試験機に入力するシナリオを作成する
- 試験シナリオを実行し測定を実施する
今回は、より現実に近い環境で試験できるように、下記のように定めてシナリオを作成いたしました。
- 疑似環境諸元： UPFや試験機に使用したサーバの性能などから、同時接続数100万セッション、基地局数4000、合計スループット50Gbpsとしました。
- 信号割合： ドコモのトラヒックモデルをベースに各信号の割合を決定。
得られた知見・課題など
- 今回はドコモ側で用意した試験機用のサーバ数の都合があり、ステップ4.の前に基地局数などの疑似環境諸元を調整することとなりました。
- 本気でやるには専用のアプライアンスか、相応のスペックのサーバを複数台用意する必要がありそうです。
- 試験機から4000gNBで試験呼を印加しようとしたら、途中に挟まってるL3SWがARP的に限界になって処理遅延やBGP断やICMP応答不可などの問題が発生しました。
- 当たり前のことですが、試験機は大量のトラヒックを吐き出してくるため、L2、L3装置を通すならarpやルーティング負荷を適切に処理できるように設計が必要でした。
- ステップ4.～5.のシナリオ作成や実際の負荷印加ではセッション数やトラフィック量などを細かに調整する必要があり、Spirent Communications様、東陽テクニカ様に多大な協力を頂きました。
- 今後は、ドコモだけで実施できるようにスキルアップを目指していきます。
どこで見れるの？
この記事に登場した装置の実機が、ShowNetブースNOCラック14に収容されています。 ローカル5G基地局はその隣にある背の高いトラスの先端に実装されています。 是非会場にて生で御覧ください。
おわりに
来る7月4日 JANOG54 にて、今回の取組や5GConAWSについて講演を予定しております。こちらも是非。
www.janog.gr.jp www.janog.gr.jp
ドコモでは、本検証を通して得られた知見や成果を踏まえ、さらなるモバイルネットワークの発展のため研究開発を継続していきます。
*1:ShowNet: ShowNetは、 最新のネットワーク技術・ネットワーク機器などを相互に接続し、 「5年後、10年後に必要となるネットワークの姿」を示すというビジョンのもとに 構築するコンセプトネットワークです。 ShowNetは最先端のアーキテクチャを動態展示するネットワークでありながら、 同時に来場者や出展社にインターネット接続性を提供するネットワークでもあります。 ShowNet | Interop Tokyo 2024～AI社会とインターネット～（インターロップ）
*2:5GC on AWS： 5GCをAWS上に構築する実証実験を2022年に開始
*3:Interop Tokyo 2024 展示会場内セミナー H2-07: 「モバイルネットワークの新たなる挑戦：クラウドとオンプレの選択と戦略」 06.13(木) 16:05-16:45 展示会場内RoomH
*4:ドコモと NEC が、アマゾン ウェブ サービスを活用し Graviton2 利用による 5G コアネットワークの消費電力の 7 割削減と ハイブリッドクラウド環境での 5G コアネットワークの動作に成功
*5:世界初、アマゾン ウェブ サービスを活用した ハイブリッドクラウド構成の 5G コアネットワークの冗長設計と エッジ向け 5G ユーザー通信装置の基本動作に成功 ～高可用かつ柔軟なネットワークの実現へ～
*6:モバイルコアネットワークのパブリッククラウド搭載に向けた取り組みとその課題 ～ちょっと気になったので5GCをAWSに載せてみた～ - JANOG52 Meeting in Nagasaki
*7:エリアや時間を指定したネットワークスライシングの実証実験に成功～世界初︕ハイブリッドクラウド構成で構築した 5GC と 5G SA 無線基地局を利用～
*8:NWスライシングはSLA保証の夢を見るか？ ～スライスの光と闇～ - JANOG53 Meeting in Hakata
*9:ShowNet 2023 展示紹介 ～5GConAWSを活用したマルチアクセスでのスライシング～ - ENGINEERING BLOG ドコモ開発者ブログ
*10:エリアや時間を指定したネットワークスライシングの実証実験に成功～世界初︕ ハイブリッドクラウド構成で構築した 5GC と 5G SA 無線基地局を利用～
*11:Function Dedicated Network
*12:AWS EKS Anywhere: https://github.com/aws/eks-anywhere
*13:6G Computing Architecture: Distributed, Software Defined Accelerated and AI-enabled | NVIDIA On-Demand
*14:PFCP: 3GPP TS29.244で定義されているN4参照点で用いられるC-planeプロトコル。SMFがUPFに対してパケット制御方法を指示する際にPFCPを使用する。
*15:ドコモテクニカルジャーナル VOL.29 NO.3「トラフィック特性に応じた柔軟なU-Plane処理を実現するCUPSの開発」
