外れ値とは
外れ値(outlier)とは、他のデータからみて極端に大きいもしくは極端に小さい値のことです。
例えば以下のプログラムでは、平均値を算出するプログラムですが、極端に大きい値が含まれているため、平均値が大きくなっています。
import numpy as np
data = [10, 8, 9, 7, 9, 500]
print(np.mean(data)) # 90.5
上記のように、500という数値が入っていると、平均をとると極端に大きい値や小さい数値(今回は極端に大きい500)に引っ張られてしまいます。
四分位数を用いた外れ値検知
外れ値を検知する方法はいくつかありますが、今回は四分位数を用いた外れ値検知を解説します。
外れ値の基準として、四分位数(Q1,Q2,Q3)の外側でIQR(四分位範囲)の1.5倍などの数値より離れたものとして考えることが出来ます。
IQRはQ3-Q1にて求めることが出来ます。
IQR = Q3(第3四分位数) - Q1(第1四分位数)
IQRを元にした外れ値の計算方法は以下の通りです。
Q3 + 1.5 * IQR
Q1 - 1.5 * IQR
Pythonや統計を効率よく学ぶには?
Pythonや統計を効率よく学ぶには、普段からPythonや統計学を用いて業務をしている現役のデータサイエンティストに質問できる環境で学ぶことです。
質問し放題かつ、体系的に学べる動画コンテンツでデータ分析技術を学びたい方は、オンラインで好きな時間に勉強できるAI Academy Bootcampがオススメです。受講料も業界最安値の35,000円(6ヶ月間質問し放題+オリジナルの動画コンテンツ、テキストコンテンツの利用可能)なので、是非ご活用ください。