XGBoostとは

XGBoost（eXtreme Gradient Boosting / 勾配ブースティング回帰木）とは、アンサンブル学習の一つで、ブースティングと決定木を組み合わせています。

ブースティングとは、弱いモデル（弱学習器と呼びます）を複数作成し、一つ前の学習器の誤りを次の学習器が修正するという操作を繰り返し行うことで性能を向上させる手法です。

勾配ブースティング回帰木では、浅い決定木を複数作成し、それぞれの決定木はデータの一部に対してしか良い予測を行うことができないため、ブースティングを行うことで性能を向上させています。パラメータ設定に敏感という欠点がありますが、正しく設定すればランダムフォレストよりも良い性能となります。

また、XGBoost（勾配ブースティング回帰木）の名前に「回帰木」とありますが、回帰と分類のどちらでも使用可能です。

XGboostのインストール

pipコマンドを用いたXGBoostのインストールは下記のコマンドをMacの方はターミナル、Windowsの方はコマンドプロンプト上で実行することでインストールが出来ます。

pip install xgboost

Jupyter Notebookをお使いの方は、起動したNotebookのセルに、先頭に!マークをつけて実行することでインストールすることが出来ます。

!pip install xgboost

問題を報告するMacの方で上記の方法でエラーが出た場合下記をインストールしてから再度XGBoostをインストールしてみてください。

brew install gcc@8

おわりに

この記事では、XGBoostとは何かを説明し、インストールの方法をご紹介いたしました。

Kaggleなどのコンペティションでは大変人気なアルゴリズムなため、是非XGBoostを使いこなせるようにしててみてください。

機械学習を学ぶ上でオススメなのは、機械学習エンジニアからいつでも質問できる環境で学ぶことです。

AI Academy Bootcampなら、６ヶ月35,000円にてチャットで質問し放題の環境で、機械学習やデータ分析が学べるサービスを提供しております。
数十名在籍しているデータサイエンティストや機械学習エンジニアに質問し放題の環境でデータ分析、統計、機械学習、SQL等が学べます。AI人材に必要なスキルを効率よく体系的に身に付けたい方は是非ご検討ください。