【初心者向け】OpenCALM とは？使い方とPythonのサンプルコードを用いて解説！

はじめに

この記事では、OpenCALM（オープンカーム）とは何かを解説し、その後OpenCALMモデルに質問を行い回答を得るところまでを説明します。今回はGoogle Colabratory（以下、Colabと略記）を環境として使っていきます。Colabの使い方についてはこちらをご参考ください。より詳細な内容について学びたい方はLLMアプリ開発コースをご受講ください。

LLMアプリ開発のお得なクーポンの配布や最新コース情報はこちら！▶︎

OpenCALMとは？

株式会社サイバーエージェントが開発した、日本語に特化したLLMです。いくつかの異なるモデルが用意されており、それぞれでスペックが異なっています。

サイバーエージェント社が出したプレスリリースはこちら

それでは、早速使っていきます。

パッケージをインストール

!pip install transformers accelerate

パッケージをインポート

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

モデルとトークナイザーを準備

model = AutoModelForCausalLM.from_pretrained(
cyberagent/open-calm-large,
device_map=auto,
torch_dtype=torch.float32
)

# 今回使用するOpenCALMは”large”
tokenizer = AutoTokenizer.from_pretrained(cyberagent/open-calm-large)

プロンプトを宣言

prompt = “Q:　箱根駅伝は毎年いつ頃開催されている？\nA:　箱根駅伝は、”

質問を実行

inputs = tokenizer(prompt, return_tensors=”pt”).to(model.device)
with torch.no_grad():
tokens = model.generate(
**inputs,
max_new_tokens=64, do_sample=True,
temperature=0.7, pad_token_id=tokenizer.pad_token_id,
)