XGBoostとは

XGBoost（eXtreme Gradient Boosting / 勾配ブースティング回帰木）とは、アンサンブル学習の一つで、ブースティングと決定木を組み合わせています。

ブースティングとは、弱いモデル（弱学習器と呼びます）を複数作成し、一つ前の学習器の誤りを次の学習器が修正するという操作を繰り返し行うことで性能を向上させる手法です。

勾配ブースティング回帰木では、浅い決定木を複数作成し、それぞれの決定木はデータの一部に対してしか良い予測を行うことができないため、ブースティングを行うことで性能を向上させています。パラメータ設定に敏感という欠点がありますが、正しく設定すればランダムフォレストよりも良い性能となります。

また、XGBoost（勾配ブースティング回帰木）の名前に「回帰木」とありますが、回帰と分類のどちらでも使用可能です。

XGboostのインストール

pipコマンドを用いたXGBoostのインストールは下記のコマンドをMacの方はターミナル、Windowsの方はコマンドプロンプト上で実行することでインストールが出来ます。

pip install xgboost

Jupyter Notebookをお使いの方は、起動したNotebookのセルに、先頭に!マークをつけて実行することでインストールすることが出来ます。

!pip install xgboost

問題を報告するMacの方で上記の方法でエラーが出た場合下記をインストールしてから再度XGBoostをインストールしてみてください。

brew install gcc@8

おわりに

この記事では、XGBoostとは何かを説明し、インストールの方法をご紹介いたしました。

Kaggleなどのコンペティションでは大変人気なアルゴリズムなため、是非XGBoostを使いこなせるようにしててみてください。

【無料動画：倍速で学ぶ！生成AIを活用したプログラミング勉強法（短縮版）】

生成AIを活用して効率的にプログラミングを学ぶ方法を解説しています。生成AIの基本的な仕組みや効果的な活用法、注意点についても詳しく説明。勉強法とともに生成AIそのものについても学べる内容となっています。ぜひご覧ください！

全編は、AI Academy公式LINEで配信中です。