ちょっと前の情報だが、MicrosoftはGPT-3の独占的ライセンスを取得したことを発表した（2020年9月22日）。https://blogs.microsoft.com/blog/2020/09/22/microsoft-teams-up-with-openai-to-exclusively-license-gpt-3-language-model/
「GPT-3」とは、Tesla motorやSpaceXの創業者であるイーロン・マスクが出資者として名を連ねる団体のOpenAIが開発し公開している言語モデルであり、GPT-3は、transformerとunsupervised pre-trainingという２つの技術を組み合わせた GPTのバージョン３を指している。
- 2018年6月 GPT https://openai.com/blog/language-unsupervised/
- 2019年2月 GPT-2 https://openai.com/blog/better-language-models/
- 2020年7月 GTP−3 https://arxiv.org/abs/2005.14165
Googleが開発しているBERTと競って言語モデルのSOTA（State Of The Art：最高水準）を更新しているモデルである。特に、GPT-2が公開された際には、大量のデータを用いて訓練生成したモデルは、フェイクニュースなどで悪用される恐れがあるという理由で公開されず、OpenAIの設立趣旨に反するのではないかとの議論になったほど優れたモデルである。
GPT-3は1,750億のパラメータによって構成されているため、個人や一般企業が新たにモデルをチューニングすることは現実的ではなく、OpenAIが提供するAPIを介して”利用”するということが現実的である。つまり転移学習のベースモデルとして利用することが想定される。
このモデルを用いることで言語における単語の出現を予測することが可能となり、ある単語の後に続く一番もっともらしい単語・文章の予測生成が可能となる。たとえば、ある記事の見出しを与えるだけで、その後に続く長い文章を高精度で生成することができる。transformer技術は言語だけでなく、画像や作曲などの”順序”が重要な要素となる分野においてもSOTAを更新しつつあり、transformerを応用したモデルであるBERTやGPT-3の応用が始まっている。
MicrosoftはOpenAIとパートナーシップを結んでおり、今回の独占的ライセンス取得はその流れによるものと思われる。Microsoftは6月にリリースしたAzureホストAPIにてGPT-3を提供すると発表している。今回の取引による、OpenAIのAPIサービスには影響はなく、これまで通り、OpenAIのAPIを介したGPT-3の利用も継続利用可能とOpenAIからコメントされている。