Stable DiffusionのStability AIが大規模言語モデル｢StableLM｣発表。｢ChatGPT｣などに対抗

2年前

現地時間4月19日、英Stability AIは独自の大規模言語モデル｢StableLM｣をオープンソースで発表した。

まずはアルファ版として30億／70億のパラメータのモデルをGitHubで公開し、今後150億〜650億パラメータのモデルをローンチする予定。将来的に1750億パラメータのモデルも計画しているという。

Stability AI 言語モデル「StableLM Suite」の第一弾をリリース | Stability AI

Stability AI、オープンソースの大規模言語モデル｢StableLM｣発表

｢StableLM｣はCreative Commons By-SA-4.0のライセンスに従うため、商用利用あるいは研究目的で自由に利用することが可能。ローカルで実行可能なかたちで提供されているものの、70億パラメータのものはHuggingFace上で試すことも可能。ちなみに、現在｢StableLM｣で利用できる言語は英語のみ。

また、Alpaca、GPT4All、Dolly、ShareGPT、HHなどの他大規模言語モデルを使ってベースのアルファモデルを追加で学習させた｢StableLM-Tuned-Alpha｣もあわせて公開している。こちらは、Creative Commons By-NC-SA-4.0のライセンスに従うため、研究用途に限定して利用可能。商用利用は不可。

｢StableLM｣は、いま流行りのAIを活用したチャットボットで、OpenAIのChatGPTに対抗するものになる。

モデルのトレーニングには、オープンソースの｢The Pile｣を約3倍ほど拡張した1.5兆個のトークンを含む、データセットを使用している。GTP-3のパラメータ数が1,750億個 (ちなみにGPT-4のパラメータ数は非公開) と大きなものであるのに対して、30〜70億程度でも高精度で返答できるのには、このデータセットを利用しているためであるという。

なお、前述したように｢StableLM｣は現在英語のみに対応しているが、将来的には日本語に対応するものとみられる。公式Twitterアカウントが以下のツイートを行なっているからだ。