Azure OpenAI Service（AOAI）東日本リージョンができて約2ヶ月
7月のアップデートでAOAIが東日本リージョンにやってきました。 「ありがたや～」なのですが、提供開始当初は不安定だったり、バグがあったりとイロイロと気になる点があり、お客様から「東日本に乗り換えていいの？」という相談があってもこれまでは「もう少し待ちましょう」と返していました。
そこから早2ヶ月、動作的な不安がなくなり、問題なく東日本リージョンをお勧めできるようになっています。
問題なく使用できることがわかると欲が出るもので、さらに「日本リージョンにすると速度向上するの？」と御声がけされることが多くなりました。 そこで、数週間連続して速度調査し本当に速いのか検証してみました。
先に結論
シンプルに東日本リージョンが速い(まあ、距離の観点からも当たり前ですが・・・) 。
中央値で一回の回答につき5.6秒の差がみられました。
調査方法
以下の要件で日本のリージョンである東日本リージョンとアメリカのリージョンであるEast US（米国東部）リージョンの速度比較を実施
- ランダムな時間(大体1時間に1回)にAPIに所定のPromptを10回送信し、APIから返答があるまでの時間を測定
- 返答が返ってこずエラーとなった場合は0秒として記録する
- 本調査実施者は2名
- 期間は約3週間程度
- 平日9-17時中心に取得
- プロンプトタスクはある文章(我輩は猫であるの冒頭)をもってきて、要約させるタスク
調査結果
最大・最小返答速度、バンド比較
最大値と最小値でエリアを表現。
日本とアメリカで重なる部分があるもののアメリカが遅い日によっては最低速度すら負けている。
時間別比較
各時間毎の応答速度をBOXPlotで表現 四分位エリアの重なりが少なく、22時代以外はUSが遅いという結果。
日米全データ比較
全データの比較、BoxPlotで表現 。
中央値でアメリカより日本の方が5.6秒速いという結果になりました。
最大値、最小値においても日本リージョンの方が速いです。
ということで、
日本リージョンが圧勝でした。ユーザーは応答までの時間が長いと不快を感じるという研究結果もあり、特に対ユーザー向けのサービスにGPTを利用する場合は、非常に応答速度は重要となってきます。
今からAOAIを使用するなら国内のリージョンをお勧めします。
なお、8月頭の段階で同じテストを実施したときはJPサーバーは10回連続テストが通らないことが多発しており心配していたのですが、本テスト(8月末頃)では一度もエラーが出なくなっており、すんなりとテストが完了することができました。 この観点も重要な項目かと思いますので付加しておきます。
みなさんも、Azure OpenAI Service 東日本リージョンを活用ください。
執筆
AIコンサルティンググループ
黒田 裕伸
