NTTドコモR&Dの技術ブログです。

テスト自動化

AWS T4インスタンスでプライベートLLMはどこまで通じる?Locust負荷試験で見えた「性能の限界」

はじめに 負荷試験とは 概要 今回使ったツール:Locust オープンソースLLMとは 概要 (補足)Amazon Bedrock との比較 今回使ったモデル:Qwen2.5-7B-Instruct-AWQ 実験 アーキテクチャ 開発環境 (VS Code + Session Manager) 推論エンジンの設定 (vLLM) テ…