クラウドに頼らないAI体験：LM Studio＋LangChain＋StreamlitでつくるローカルRAG環境

pip install langchain langchain-community langchain-openai langchain-huggingface streamlit faiss-cpu

むかしむかし、あるところにおじいさんとおばあさんが住んでいました。
おじいさんは山へ芝刈りに、おばあさんは川へ洗濯に行きました。
おばあさんが川で洗濯をしていると、大きな桃がどんぶらこ、どんぶらこと流れてきました。
おばあさんはその桃を拾い上げて、家に持ち帰りました。
家に帰って桃を割ってみると、中から元気な男の子の赤ちゃんが出てきました。
桃から生まれたので、その子を「桃太郎」と名付けました。
桃太郎はすくすくと育ち、やがて鬼ヶ島へ鬼退治に行くと言い出しました。
おばあさんからきびだんごをもらい、桃太郎は旅に出ます。
旅の途中で、犬、猿、雉を家来にしました。
そして、みんなで力を合わせて鬼を退治し、宝物を持って家に帰りました。

import streamlit as st
from langchain_openai import ChatOpenAI
from langchain.text_splitter import CharacterTextSplitter
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_community.vectorstores import FAISS
from langchain.chains import RetrievalQA

# =============================
# --- LLMとRAGのセットアップ ---
# =============================

# ドキュメントを読み込んでRAGパイプラインを作成する関数
def create_rag_chain(document_path):
    # ドキュメントを読み込む
    with open(document_path, 'r', encoding='utf-8') as f:
        document_text = f.read()

    # 1. ドキュメントを小さな「チャンク」に分割する
    # これにより、モデルが関連情報を見つけやすくなります。
    text_splitter = CharacterTextSplitter(
        separator="\n",
        chunk_size=200,      # 各チャンクのサイズ（文字数）
        chunk_overlap=50,    # チャンク同士の重なり
        length_function=len
    )
    docs = text_splitter.split_text(document_text)

    # 2. 各チャンクの「埋め込みベクトル」を作成する
    # 埋め込み（Embeddings）は、テキストをコンピュータが意味を理解できる数値のベクトルに変換する技術です。
    # all-MiniLM-L6-v2は、文章をコンピュータが理解できる数値（ベクトル）に変換することに特化した、小型で高速なモデルです。
    embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")

    # 3. ベクトルストア（FAISS）を作成し、埋め込みを保存・検索できるようにする
    # これは、私たちの「教科書」に検索可能な索引を作るようなものです。
    db = FAISS.from_texts(docs, embeddings)

    # 4. ローカルLLMサーバー（LM Studio）への接続を設定する
    llm = ChatOpenAI(
       # ↓↓↓ LM Studioの「API Identifier」をここに貼り付けてください ↓↓↓
        model_name="local-model",            # ローカルモデルを使用するように指定
        base_url="http://localhost:1234/v1", # LM Studioサーバーのアドレス
        api_key="not-needed",                # ローカルサーバーなのでAPIキーは不要
        temperature=0.1                      # temperatureを低く設定して、「参考文章から外れず、最も確実な回答をしなさい」とAIに指示している
    )

    # 5. RetrievalQAチェーンを作成する
    # このチェーンは、検索役（FAISSの索引）とLLMを組み合わせます。
    # 質問をすると、まず最も関連性の高いテキストチャンクを見つけ出し、
    # それを質問と一緒にLLMに渡して、回答を生成させます。
    retriever = db.as_retriever()
    qa_chain = RetrievalQA.from_chain_type(
        llm=llm,
        chain_type="stuff", # "stuff"は、関連するチャンクをすべてプロンプトに「詰め込む」方式
        retriever=retriever,
        return_source_documents=True
    )
    return qa_chain

# knowledge.txtを使ってRAGチェーンを作成
rag_chain = create_rag_chain("knowledge.txt")

# =============================
# --- Streamlit UI ---
# =============================

st.title("🍑 桃太郎チャットボット")
st.write("桃太郎の物語について、質問してください！")

# チャット履歴を初期化する
if "messages" not in st.session_state:
    st.session_state.messages = []

# 履歴にあるメッセージを再表示する
for message in st.session_state.messages:
    with st.chat_message(message["role"]):
        st.markdown(message["content"])

# ユーザーの入力に反応する
if prompt := st.chat_input("質問をどうぞ"):
    # ユーザーのメッセージを表示
    with st.chat_message("user"):
        st.markdown(prompt)
    # ユーザーのメッセージを履歴に追加
    st.session_state.messages.append({"role": "user", "content": prompt})

    # LLMの応答を取得
    response = rag_chain.invoke({"query": prompt})
    answer = response["result"]

    # アシスタントの応答を表示
    with st.chat_message("assistant"):
        st.markdown(answer)
    # アシスタントの応答を履歴に追加
    st.session_state.messages.append({"role": "assistant", "content": answer})

streamlit run app.py

旅の途中で、犬、猿、雉を家来にしました。

旅の途中で、猫、亀、鶴を家来にしました。

    with st.chat_message("assistant"):
        st.markdown(answer)

   with st.chat_message("assistant"):
        st.markdown(answer)
        
        # --- ここから追加 ---
        with st.expander("参考にした文章"):
            for doc in response["source_documents"]:
                st.markdown(f"--- \n {doc.page_content}")
        # --- ここまで追加 ---