このサイトは、Pythonや生成AIなどを学べるオンラインプログラミングスクール AI Academy Bootcampが運営しています。

BigQueryとは

BigQuery（ビッグクエリ）は、Googleのクラウド側データベースで、Google Cloud Platform（GCP）にて提供されています。数テラバイトや数ペタバイトというビッグデータ出会っても、超高速で解析することができるのが特徴です。

※1テラバイト（TB）：1,000 ギガバイト（GB）
※1ペタバイト：1,024TB

BigQueryでできること

BigQueryではデータ分析やPythonとAPIの連携などが出来ます。

データ分析では、様々なログ情報のデータ解析などの膨大なデータを解析するのに向いています。また、実行処理速度が高速なため、リアルタイムでデータ解析も可能です。

またデータの蓄積場所としても利用可能です。様々なログデータなどの保存場所として利用可能です。

他にも、API連携が可能です。

PythonでBiqQueryを実行可能です。

まずは以下のライブラリをインストールします。

pip install google-cloud-bigquery

インストールが完了すると以下のようにクエリを書くことが出来ます。

事前にBigquery上にデータをアップロードする必要があります。

from google.cloud import bigquery

# GCPのProjectIDを指定
GCP_PROJECT_ID = "GCPのProjectIDを指定"
client = bigquery.Client(project=GCP_PROJECT_ID

# 実行したいクエリを記述
sample_query = """
    SELECT * FROM `project_id.dataset.table`
    WHERE time > "2022-01-10 00:00:00"
"""

# クエリを実行
query_job = client.query(sample_query)

BigQueryを利用するには

BigQueryを利用するにはこちらから利用できます。

Google Cloud Platformに登録が完了し何からの「プロジェクト」が作成されていると、以下のようなページが表示されます。

プロジェクトは以下のように新規に作成することも可能です。

上記の「作成」ボタンから作成すればプロジェクト作成可能です。

BigQueryの料金は？

BigQueryの料金体系は大きく、「データを保存するための料金」と「SQLを実行し結果を取得するための料金」の2つに大別できます。

ストレージ料金（つまりデータを保存するための料金）には、GBあたり$0.02/月（長期保存の場合$0.01/月）が発生します。

ストリーミング挿入には、200 MB あたり $0.01発生します。

クエリ実行用には、大きくオンデマンド料金と定額料金があります。この記事では前者のオンデマンド料金のみ紹介します。

オンデマンド料金モデルでは、各クエリによって処理されたバイト数に基づいて課金が発生します。クエリは毎月１TBまで無料となっています。より詳しく知りたい方は公式をご確認ください。

🎁ちょっとひと息 ! 業務や学習に役立つライブラリーをプレゼント !

オンラインプログラミングスクールのAI Academy Bootcamp LINE公式のライブラリーでは無料動画、講座、最新技術資料など、学習や業務に役立つ秀逸な教材や実践的なリソースを豊富に取り揃えています！毎週新しいコンテンツも更新中です。LINE友だち登録でプレゼントします。ぜひご活用ください！

LINE Libraryで人気 No.1の資料です。

【業務で役立つプロンプト15選！コピぺしてすぐに活用可！プロンプトを自動生成するGPTsも紹介】　「BigQueryで特定のデータを抽出するSQLを生成」「集計クエリのベストプラクティスを生成」などのプロンプトの自動作成も可能です！業務の効率化にお役立てください。

SQLを学ぶには？

SQLをある程度自由に扱い、必要なデータを抽出するためにはSQLの基本文法（SELECT,WHERE・・・）や、集約関数、テーブルの結合（内部結合、外部結合）、サブクエリ、VIEWなどなどを使いこなす必要があります。

データサイエンティストを目指す上でSQLは必須ツールです。その他にも統計学や数学、機械学習、Pythonプログラミングなど身につける必要があります。これらを身につけるには、相当な時間がかかります。わからないことがあった場合に、すぐに回答が得られなかったりすると、独学ではモチベーションが保てないこともあります。

AI Academy Bootcamp ではAI・データサイエンス、機械学習の実践力を高める全4コース40時間以上の動画が見放題！AIの学習に必須のPythonの学習から始まり、データサイエンス・機械学習など、目的に応じた幅広い分野をカバーしています。