近日公開予定：GPT-3.5 16Kに対応した新プラン 🚀

新モデル GPT-3.5 16K が公開 🚀

こんにちは。'Q, ChatGPT for Slack'の広報の西尾です。OpenAI がつい先日 2023 年 6 月 13 日にGPT-3.5 16K モデルを発表しました。Q も近日中にこのモデルをサポートする新プランを公開予定です。

GPT-3.5 16K の概要 📝

GPT-3.5 16K は、通常の GPT-3.5 (4K)モデルのトークン上限の 4 倍を扱います。その分、API 使用量のコストは 2 倍になりますが・・・、その長所は一見の価値があります。ユースケースによっては、GPT-4 を上回る可能性すらあります 😃

トークンとは何か？ 🤔

トークンって何でしたっけ？という方にも説明すると、トークンとは要はテキストを AI が読める形式に変換したものです。トークンの長さは言語によりますが、英語では、トークンは通常 4 文字または 1 単語に相当します。日本語では、トークンはしばしば 1 文字未満に相当します。実際に文章をトークンに変換してみたい方は、こちらで OpenAI のトークンについての公式ページで出来ます。

トークン上限は、Q へインプットするチャット履歴と回答を合わせた文字数上限として使用されます。したがって、トークン上限が高ければ高いほど、扱えるチャット履歴と回答が長くなります。

これを具体的な数字で見てみると、今までは、チャット履歴に約 2,700 トークン、回答に約 800 トークンを確保したい場合、ヒントには約 500 トークンしか使えませんでした。Google 検索の場合、だいたい上位 5 件の結果の中に答えが見つかることが多いとざっくり考えると、これは一つのヒントにつき約 100 トークン（英語では 400 文字、日本語では 100 文字未満）しか扱えなかったことを意味します。言語によっては、これはかなり短いですよね。それが AI の回答のクオリティに直接影響していました。

つまり、この状況が変わるということです。

具体的に何が良くなるか？ 📚

前の GPT-3.5 モデルでは、トークン上限は 4,000 で、これは英語で約 16,000 文字を意味していました。しかし、新しい GPT-3.5 16K では、64,000 文字まで大幅に拡大することになります！😮

64,000 文字が使用可能になると、'Q, ChatGPT for Slack'は記憶力が向上し、一度により長い出力を生成できます。この記事のように、10 ヶ国語に多言語対応したブログ投稿のドラフトを作成することはもちろん、学術論文を丸っと全体コピーして読ませることも、GPT-3.5 16K がカバーしやすくなります。

Q のプラグインはもう利用されましたか？このプラグインにとっても朗報です。'Q, ChatGPT for Slack'は、元の ChatGPT と同様に、いわゆる WEB 検索や PDF 検索などの人気のあるプラグインをサポートしています。

例えば、'Q'がユーザーの問いに対して、自分の知識の範囲では答えることができないと判断した場合、これらのプラグインを使って関連する参考情報を Google 検索のように検索し、回答のヒントとして使うことが出来ます。これがプラグインの 1 つの仕組みです。そして、このヒントに対して、トークン上限が適用されます。そのため、新しいモデルの増加した 16K のトークン上限で、より十分なヒントを取得することができます。📊

まとめ 🎯

私も書きながら、GPT-3.5 16K モデルの可能性をより感じてきました。新しいプランは近日公開するので楽しみにしておいてください。

もし興味を持っていただけたなら、ホームページやブログを通じて、またはトライアルのインストールを通じて、'Q, ChatGPT for Slack'のパワーをぜひ体感してみてください。そして、ご満足頂けたならば、ぜひ料金と定期購読の詳細をチェックしてみてください。

また、いつものことですが、TwitterやYouTubeもやっております。私のTwitterもあります。プロダクトのリリース関連以外の AI にまつわることも発信しています。

ではまた次回！🥂