【IT用語】クローリングとは

クローリングとは

クローリング(Crawling)とは、プログラムが「Webサイトを定期的に巡回し、情報を取得・保存する技術です。
クローリングを行うプログラムをクローラー(crawler)やスパイダー(Spider)とも呼びます。

クローリングにより、Webサイトを巡回し、html内のリンクを取得します。
似た用語にWebスクレイピングがありますが、Webスクレイピングでは、html内から特定の情報を抽出します。

Pythonでクローラーの開発やWebスクレイピングに関して学びたい方は下記の記事もあわせて確認してみてください。

関連:PythonでWebスクレイピングしてみよう!

関連:Pythonで画像データをスクレイピング

関連:Webスクレイピング入門 

Pythonやデータ分析を効率よく学ぶには?

Pythonやデータ分析を効率よく学ぶには、普段から分析業務をしている現役のデータサイエンティストに質問できる環境で学ぶことです。
質問し放題かつ、体系的に学べる動画コンテンツでデータ分析技術を学びたい方は、オンラインで好きな時間に勉強できるAI Academy Bootcampがオススメです。受講料も業界最安値の35,000円(6ヶ月間質問し放題+オリジナルの動画コンテンツ、テキストコンテンツの利用可能)なので、是非ご活用ください。