Ollama + LangChainでローカルRAGを構築する

# Ollamaインストール（macOS）
brew install ollama

# モデルのダウンロード
ollama pull gemma3:12b
ollama pull nomic-embed-text

pip install langchain langchain-community langchain-ollama chromadb

from langchain_community.document_loaders import DirectoryLoader, TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter

# ドキュメントの読み込み
loader = DirectoryLoader(
    "./docs",
    glob="**/*.md",
    loader_cls=TextLoader,
    loader_kwargs={"encoding": "utf-8"}
)
documents = loader.load()

# チャンク分割
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,
    chunk_overlap=50,
    separators=["\n\n", "\n", "。", "、", " "]
)
chunks = text_splitter.split_documents(documents)
print(f"ドキュメント数: {len(documents)}, チャンク数: {len(chunks)}")

from langchain_ollama import OllamaEmbeddings
from langchain_community.vectorstores import Chroma

# Ollamaのembeddingモデルを使用
embeddings = OllamaEmbeddings(model="nomic-embed-text")

# Chromaにベクトルを保存
vectorstore = Chroma.from_documents(
    documents=chunks,
    embedding=embeddings,
    persist_directory="./chroma_db"
)

from langchain_ollama import ChatOllama
from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate

# ローカルLLM
llm = ChatOllama(model="gemma3:12b", temperature=0)

# プロンプトテンプレート
prompt_template = PromptTemplate(
    input_variables=["context", "question"],
    template="""以下のコンテキストを参考にして質問に回答してください。
コンテキストに情報がない場合は「該当する情報が見つかりませんでした」と回答してください。

コンテキスト:
{context}

質問: {question}

回答:"""
)

# RAGチェーン
qa_chain = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vectorstore.as_retriever(search_kwargs={"k": 3}),
    chain_type_kwargs={"prompt": prompt_template}
)

result = qa_chain.invoke({"query": "SQLで移動平均を計算する方法は？"})
print(result["result"])

import os
from langchain_community.document_loaders import DirectoryLoader, TextLoader
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_ollama import OllamaEmbeddings, ChatOllama
from langchain_community.vectorstores import Chroma
from langchain.chains import RetrievalQA
from langchain.prompts import PromptTemplate

DOCS_DIR = os.environ.get("DOCS_DIR", "./docs")
CHROMA_DIR = os.environ.get("CHROMA_DIR", "./chroma_db")
LLM_MODEL = os.environ.get("LLM_MODEL", "gemma3:12b")

def build_vectorstore():
    loader = DirectoryLoader(DOCS_DIR, glob="**/*.md", loader_cls=TextLoader,
                             loader_kwargs={"encoding": "utf-8"})
    documents = loader.load()
    splitter = RecursiveCharacterTextSplitter(chunk_size=500, chunk_overlap=50)
    chunks = splitter.split_documents(documents)
    embeddings = OllamaEmbeddings(model="nomic-embed-text")
    return Chroma.from_documents(chunks, embeddings, persist_directory=CHROMA_DIR)

def create_qa_chain(vectorstore):
    llm = ChatOllama(model=LLM_MODEL, temperature=0)
    prompt = PromptTemplate(
        input_variables=["context", "question"],
        template="コンテキスト:\n{context}\n\n質問: {question}\n回答:"
    )
    return RetrievalQA.from_chain_type(
        llm=llm, chain_type="stuff",
        retriever=vectorstore.as_retriever(search_kwargs={"k": 3}),
        chain_type_kwargs={"prompt": prompt}
    )

if __name__ == "__main__":
    vs = build_vectorstore()
    chain = create_qa_chain(vs)
    while True:
        q = input("\n質問 (qで終了): ")
        if q.lower() == "q":
            break
        result = chain.invoke({"query": q})
        print(f"\n{result['result']}")