GPT-3とは

GPT-3（Generative Pretrained Transformer）はOpenAIが開発している1750億個のパラメータを使用した『文章生成言語モデル』です。
（＊言語モデルとは、入力されたテキストを基にその続きを予測するモデル）
GPT-3は一部の方が現在利用できる状態で制限されていますが、1つ前のバージョンであるGPT-2はオープンソースで公開されていますので試して利用する事が可能です。

GPTの歴史

GPT-3はGPTの3番目のバージョンで、これまでGPT→GPT-2→GPT-3とバージョンアップしています。
2020年8月8日現在バージョンは3です。

OpenAIが作ったGPTの初代バージョンである、GPTは2018/6/11日に1.1億パラメータを使用しており、バージョンが上がるごとにパラメータ数が増えています。
（GPT-2（2019/2/14）では15億パラメータ、GPT-3（2020/5/28）1,750億パラメータ）

出典）https://towardsdatascience.com/gpt-3-the-new-mighty-language-model-from-openai-a74ff35346fc

また、この記事によると、GPT-3のトレーニングには、市場で最も低価格のGPUクラウドを使った場合、355年と460万ドルが必要になるとのことです。（日本円で約4億9000万円）　

GPT-3でできること

GPT-3ではどのような事が出来るのでしょうか。
下記のようなものになります。

ReactJSのコードを自動生成（自然言語からソースオードを自動生成）

デザインの生成

ToDOアプリのコード（React）を自動生成

コードから仕様を英語で説明するツール

データセットと必要な出力を記述するとKerasのモデルのコードを生成

文章の自動生成（前半が自動生成された記事）

GPT-3のような言語AIモデルAIによって書かれた小論文や業務報告書、SNSなどから得られた高精度なボットなどが出てくるかもしれません。

他にもGPT-3を利用したアプリケーションをまとめたウェブサイトもあるので確認してみてください。

https://www.producthunt.com/posts/gpt3-crush

GPT-3の仕組み

GPT-3の構造はGoogleによる言語モデルである「Transformer」を基本としています。内部の仕組みに関しては既に詳細に解説している記事がありますので下記などをご参考にしてみてください。

https://gigazine.net/news/20200729-how-gpt-3-work/

GPT-3のできないところや問題点

このようにGPT-3ではこれまで以上に文章を生成する事が出来るようになっていますが、「空はなぜ青いのか？」のような複雑な質問にはうまく答えられないようです。
他にも、GPTは意味を理解せず、喜びや怒りなどの感情や、常識も備えていません。
また、機械学習アルゴリズムの開発に置いてデータセットに含まれる偏見や差別は大きな問題です。（AI倫理分野の課題）

https://www.itmedia.co.jp/business/articles/2007/29/news025_4.html

最新のAI技術を学ぶには

最新のAI技術を学ぶ事に限らず、深層学習や機械学習技術を学ぶ上でオススメは、機械学習エンジニアからいつでも質問できる環境で学ぶことです。

AI Academy Bootcampなら、６ヶ月35,000円にてチャットで質問し放題の環境で、機械学習やデータ分析が学べるサービスを提供しております。
数十名在籍しているデータサイエンティストや機械学習エンジニアに質問し放題の環境でデータ分析、統計、機械学習、SQL等が学べます。AI人材に必要なスキルを効率よく体系的に身に付けたい方は是非ご検討ください。