こんにちは、AITCの小川です。普段は、様々な企業様から預かったデータの統計的な分析や、AIモデル構築をする業務に携わっています。 今回はタイトルにあるようにChatGPTのAPIについての話をします。
今回記事の目的
ChatGPTを利用するには一般的にWebUIのChatGPTが利用されますが、機密情報漏洩の危険があるためビジネスでは使用が難しいです。 そのため、ビジネス上ではChatGPTのAPIを利用することがほとんどだと思います。
現時点でChatGPTのAPIを利用するには大きくOpen AIとAzure Open AIの2つの選択肢があります。 Open AIのAPIはリリース速度という面で、新モデルや新サービスが先に解禁されるというメリットはありますが、Azure Open AIはセキュリティやサポートの面で優れています。 ではパフォーマンスの面ではどうでしょうか？
今回はOpen AIとAzure Open AIのAPIのパフォーマンスを比較してみた結果をご紹介します。 パフォーマンスといっても様々な指標がありますが、特に「答えが返ってくるまでの時間」を比較します。
想定読者
- ChatGPTを導入するにあたって機能比較含めて検討中のシステム担当者
- Open AIとAzure Open AIで何が違うのか知りたい人
比較条件
モデル
モデルは「gpt-3.5-turbo」を使用しました。 バージョンは0613です。 リージョンは、Azure Open AIではJapan Eastを2023年7月から選択できるようになったため、「Japan East」で検証します。 OpenAIのほうは、特にリージョンという概念がないです。
プロンプト
プロンプトは以下の２つを使用しました。 「こんにちは」のようなシンプルなプロンプトではなく、実際にビジネスの現場で使われることがありそうなプロンプトにしています。
プロンプト1
# 指示 部下とうまくやっていくにはどうすればいいか教えて ＃条件 ・部下は新しく配属される新人 ・お互いにほぼ初対面 ・自分の役職は部長 ・職種は経理
プロンプト2
# 指示 条件にしたがって以下の内容のセミナーのタイトルを５つ列挙して # 内容 ・ChatGPTの仕組み ・ChatGPTの活用方法 ・ChatGPT利用時の注意事項 # 条件 ・ビジネスマンの興味を引く ・文字数は30文字以内
その他のパラメータ
その他ChatGPTの細かいパラメータは以下のようにしました。 Azure Open AIで使われるデフォルトパラメータです。
- temperature : 0.7
- max_tokens : 800
- top_p : 0.95
- frequency_penalty : 0
- stop : None
計測条件
AzureのJapan EastのVM上でプロンプト1と2をそれぞれ3回投げて、答えが返ってくるまでの時間を計測します。 計測日は2023/8/18(金)の18時ごろです。
検証結果
結論として、Azure Open AIのほうが2倍以上速いという結果になりました。 以下結果の表です。 「OpenAI」及び「Azure Open AI」の列の値はそれぞれのAPIで答えが返ってくるまでの時間を表します。
プロンプト1の結果の表
| プロンプト1 | OpenAI | Azure Open AI |
|---|---|---|
| 1回目 | 24.68秒 | 9.22秒 |
| 2回目 | 28.93秒 | 19.43秒 |
| 3回目 | 26.71秒 | 6.59秒 |
| 平均 | 26.77秒 | 11.75秒 |
プロンプト2の結果の表
| プロンプト2 | OpenAI | Azure Open AI |
|---|---|---|
| 1回目 | 2.69秒 | 2.13秒 |
| 2回目 | 3.88秒 | 0.91秒 |
| 3回目 | 4.43秒 | 1.17秒 |
| 平均 | 3.67秒 | 1.40秒 |
もちろん状況によって変動することはありますが、今回計測した限りではAzure Open AIのほうが答えが返ってくるまでの時間が早いという結論になります。(2023/8/18時点)
終わりに
今回はOpen AIとAzure Open AIのAPIのパフォーマンス、特に答えが返ってくるまでの時間で比較してみた結果のご紹介をしました。 結論として、「Open AIはリリース速度で優れている一方で、Azure Open AIはセキュリティやサポート、そしてパフォーマンスの面で優れている」ということになります。 少しでも記事を読んでくださった方の参考になれば幸いです。
執筆
AIコンサルティンググループ
小川 裕也
