クラウドに頼らないAI体験：LM Studio＋LangChain＋StreamlitでつくるローカルRAGのマルチドキュメント・永続化対応

project/
├─ app2.py              # 本体アプリケーション
├─ vectorstore/         # ベクトルストアの永続化ディレクトリ
│   ├─ faiss_index/     # FAISSのインデックスファイル
│   ├─ metadata.json    # 読み込まれたファイル一覧
│   └─ temp_docs/       # アップロードされたドキュメントの一時保存場所

pip install langchain langchain-openai langchain-community langchain-huggingface sentence-transformers streamlit faiss-cpu pypdf python-docx python-pptx pydantic cryptography unstructured docx2txt

import streamlit as st
import os
import tempfile
from pathlib import Path
import shutil
import json
import uuid 

# --- LangChain関連ライブラリのインポート ---
# LLM（大規模言語モデル）および埋め込みモデルを利用したRAG（Retrieval-Augmented Generation）構成に使用
from langchain_openai import ChatOpenAI  # OpenAI互換LLM（例：LM Studio/Ollama）との接続用
from langchain_huggingface import HuggingFaceEmbeddings  # HuggingFaceの埋め込みモデル（ベクトル化用）
from langchain.text_splitter import RecursiveCharacterTextSplitter  # 文書をチャンク単位に分割
from langchain_community.vectorstores import FAISS  # 高速ベクトル検索エンジン（ローカル永続化対応）
from langchain.chains import RetrievalQA  # 検索と回答生成を結合したRAGチェーン
from langchain_community.document_loaders import (
    PyPDFLoader, Docx2txtLoader, TextLoader, UnstructuredPowerPointLoader
)  # 各種ファイル形式のローダー
from langchain.prompts import PromptTemplate  # LLMへのプロンプトテンプレート
from langchain.retrievers.multi_query import MultiQueryRetriever  # 複数クエリ拡張による検索精度向上

# ============================================================
# 永続化関連のパス設定
# ============================================================
DB_DIR = "vectorstore"  # ベクトルストア保存ディレクトリ
DB_FAISS_PATH = Path(DB_DIR) / "faiss_index"  # FAISSベクトルインデックスファイル
DB_METADATA_PATH = Path(DB_DIR) / "metadata.json"  # メタデータ保存ファイル
TEMP_DOCS_DIR = Path(DB_DIR) / "temp_docs"  # 一時的なアップロードファイルの保存先

# ============================================================
# file_uploader のキーを初期化
# ============================================================
# file_uploaderを再初期化するためのユニークキーを設定
if 'file_uploader_key' not in st.session_state:
    st.session_state['file_uploader_key'] = str(uuid.uuid4())

# ============================================================
# ファイル読み込み関数
# ============================================================
def load_document(file_path):
    """拡張子に応じて適切なLangChainローダーで文書を読み込む"""
    ext = os.path.splitext(file_path)[1].lower()
    if ext == ".pdf":
        loader = PyPDFLoader(str(file_path))
    elif ext == ".docx":
        loader = Docx2txtLoader(str(file_path))
    elif ext == ".pptx":
        loader = UnstructuredPowerPointLoader(str(file_path))
    else:
        loader = TextLoader(str(file_path), encoding="utf-8")
    return loader.load()  # LangChain Document形式で返却

# ============================================================
# 埋め込みモデル初期化（キャッシュ利用）
# ============================================================
# 埋め込みモデルをキャッシュして再利用する関数
@st.cache_resource(show_spinner=False)
def get_embeddings():
    """HuggingFaceのSentence-BERTモデルを一度だけロードしキャッシュ"""
    return HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")

# ============================================================
# ベクトルDB構築関数
# ============================================================
# ベクトルDBを構築し、ファイルリストと共にディスクに保存する関数
@st.cache_resource(show_spinner=False)
def build_and_save_db(documents, file_metadata_list):
    """文書群からFAISSベクトルDBを構築し、メタデータと共に保存"""
    if not documents:
        # 文書が空の場合は既存DBを削除
        if Path(DB_DIR).is_dir():
            shutil.rmtree(DB_DIR)
        return None
    
    # 文書を小さなチャンクに分割（500文字単位で100文字重複）
    text_splitter = RecursiveCharacterTextSplitter(
        chunk_size=500, 
        chunk_overlap=100, 
        length_function=len
    )
    docs = text_splitter.split_documents(documents) # 分割実行
    # 埋め込みモデルの初期化 (Sentence-BERTベースのモデルを使用)
    embeddings = get_embeddings()  # 埋め込みモデルの取得

    # FAISSベクトルストアの新規構築
    db = FAISS.from_documents(docs, embeddings)
    
    # 永続化ディレクトリ作成と保存
    Path(DB_FAISS_PATH).parent.mkdir(parents=True, exist_ok=True)
    db.save_local(str(DB_FAISS_PATH))

    # メタデータをJSONとして保存
    with open(DB_METADATA_PATH, "w", encoding="utf-8") as f:
        json.dump(file_metadata_list, f, ensure_ascii=False, indent=4)

    return db

# ============================================================
# RAGチェーン構築関数
# ============================================================
# 保存されたDBをロードし、RAGチェーンを作成する関数
def create_rag_chain_from_db(db):
    """既存DBからRAGチェーン（Retrieval＋LLM）を構築"""
    llm = ChatOpenAI(
        model_name="local-model",                       # LM Stduioに読み込まれているモデルを指定（モデル名は特定していない）
        openai_api_base="http://localhost:1234/v1",     # LM StduioサーバのURL
        openai_api_key="not-needed",                    # API-keyは無し
        temperature=0.1,                                # 高い確率の単語を優先的に選ぶ
        max_tokens=512                                  # 最大512トークンに制限
    )

    # 検索精度向上のため、質問を複数クエリに拡張するRetriever
    # MultiQueryRetrieverを設定: 質問をLLMに渡し、複数の質問に言い換えて検索精度を向上させる
    # search_kwargs={"k": 2} で取得する文書チャンク数を2つに制限し、応答速度を改善    
    retriever = MultiQueryRetriever.from_llm(
        retriever=db.as_retriever(search_kwargs={"k": 2}),
        llm=llm
    )

    # RAGプロンプト定義（回答方針）
    prompt_template = """
        以下の参考文章を元に、質問に日本語で回答してください。
        参考文章に答えが見つからない場合は、「分かりません」と回答してください。
        参考文章: {context}
        質問: {question}
    """
    PROMPT = PromptTemplate(
        template=prompt_template, 
        input_variables=["context", "question"]
        )

    # RetrievalQAチェーンを生成（検索→回答生成の一連の流れ）
    qa_chain = RetrievalQA.from_chain_type(
        llm=llm,
        chain_type="stuff",  # 検索結果を全てプロンプトに詰め込む方式
        retriever=retriever,
        return_source_documents=True, # 回答の根拠となった文書（ソース）を返す設定
        chain_type_kwargs={"prompt": PROMPT} # カスタムプロンプトを適用
        )
    return qa_chain

# ============================================================
# 個別ファイル削除とDB再構築
# ============================================================
# 個別ファイル削除とDB再構築のロジック
def delete_single_file(file_id_to_delete):
    """指定されたファイルIDを削除し、残りの文書でDBを再構築"""
    if not DB_METADATA_PATH.exists():
        st.error("メタデータが見つかりません。全体削除を推奨します。")
        return

    with open(DB_METADATA_PATH, "r", encoding="utf-8") as f:
        current_metadata = json.load(f)
    
    # 削除対象を特定
    file_to_remove = next((item for item in current_metadata if item["id"] == file_id_to_delete), None)
    if not file_to_remove:
        st.error("削除対象のファイルIDが見つかりませんでした。")
        return

    # 一時ファイルを削除
    temp_path = Path(file_to_remove["temp_path"])
    if temp_path.exists():
        os.remove(temp_path)

    # 残りのファイルでDBを再構築
    new_metadata = [item for item in current_metadata if item["id"] != file_id_to_delete]
    all_documents = []

    with st.spinner(f"ファイルを削除し、残りのデータでAIを再構築中..."):
        # 残ったすべてのファイルを再ロード
        for item in new_metadata:
            doc_path = Path(item["temp_path"])
            if doc_path.exists():
                documents = load_document(doc_path)
                all_documents.extend(documents)
        
        # 既存キャッシュをクリアしてDB再構築
        if "rag_chain" in st.session_state:
            del st.session_state["rag_chain"]
        build_and_save_db.clear()

        # 残りの文書でDBを再構築し、保存
        db = build_and_save_db(all_documents, new_metadata)

        # 再構築後の状態更新
        if db:
            st.session_state.rag_chain = create_rag_chain_from_db(db)
            st.session_state.current_files = new_metadata
            st.toast(f"✅ ファイル '{file_to_remove['name']}' を削除し、DBを更新しました。", icon="🗑️")
        else:
            # 全削除された場合の後処理
            keys_to_delete = ["rag_chain", "messages", "current_files", "file_identifiers"]
            for key in keys_to_delete:
                if key in st.session_state:
                    del st.session_state[key]
            st.toast("✅ 全てのファイルを削除しました。", icon="🗑️")
            st.session_state['file_uploader_key'] = str(uuid.uuid4())

    st.rerun()  # Streamlit再実行でUI更新

# ============================================================
# 全体削除処理
# ============================================================
def delete_all_data():
    """DBディレクトリとセッション変数を全削除"""
    if Path(DB_DIR).is_dir():
        try:
            shutil.rmtree(DB_DIR)
            st.toast("✅ 全ての読み込みデータを削除しました。", icon="🗑️")
        except OSError as e:
            st.error(f"データの削除中にエラーが発生しました: {e}")
            return

    # セッション変数をクリア
    keys_to_delete = ["rag_chain", "messages", "current_files", "file_identifiers"]
    for key in keys_to_delete:
        if key in st.session_state:
            del st.session_state[key]
    # file_uploader のキーをリセット
    st.session_state['file_uploader_key'] = str(uuid.uuid4())
    st.rerun()

# ============================================================
# Streamlit UI 構築
# ============================================================
st.title("📄 ドキュメント Chatbot")
st.write("複数のPDF, DOCX, PPTX, テキストファイルをアップロードして、内容について質問してください。")

# --- サイドバー: ファイルアップロード ---
uploaded_files = st.sidebar.file_uploader(
    "ファイルをアップロード（既存DBに追加・上書き）",
    type=["pdf", "docx", "pptx", "txt", "md"],
    accept_multiple_files=True,
    key=st.session_state['file_uploader_key']
)

# --- DB存在チェック ---
db_exists = DB_FAISS_PATH.exists()
metadata_exists = DB_METADATA_PATH.exists()
current_file_identifiers = [(f.name, f.size) for f in uploaded_files]

# ----------------------------------------------------------------------
# 初期化ロジック (既存データと新規データの結合処理)
# ----------------------------------------------------------------------

# 1. 新しいファイルがアップロードされた場合 (追加/新規構築＆保存)
if uploaded_files:
    
    # 既存のメタデータ（ファイルリスト）をロード
    existing_metadata = []
    if metadata_exists:
        with open(DB_METADATA_PATH, "r", encoding="utf-8") as f:
            existing_metadata = json.load(f)
    
    # 既存のファイル名（name）のセットを作成（重複チェック用）
    existing_names = {meta['name'] for meta in existing_metadata}

    # ----------------------------------------------------
    # 新規アップロードファイルの処理
    # ----------------------------------------------------
    newly_uploaded_files = []
    
    # アップロードされたファイルの中から、既存ファイル名と重複しないものだけを選択
    for uploaded_file in uploaded_files:
        if uploaded_file.name not in existing_names:
            newly_uploaded_files.append(uploaded_file)
        else:
             # 既存ファイルと同じ名前の場合はスキップ（上書きは行わない）
             pass 
    
    if newly_uploaded_files:
        
        all_documents = []
        new_metadata_list = []
        
        TEMP_DOCS_DIR.mkdir(parents=True, exist_ok=True)
        
        with st.spinner("新しいファイルを読み込んでいます..."):
            for uploaded_file in newly_uploaded_files:
                unique_id = str(uuid.uuid4())
                
                # 新しい一時ファイルとして保存
                temp_path = TEMP_DOCS_DIR / f"{unique_id}_{uploaded_file.name}"
                temp_path.write_bytes(uploaded_file.getvalue())
                
                # 新しいファイルのメタデータを生成
                new_metadata_list.append({
                    "id": unique_id, # 一意なID
                    "name": uploaded_file.name,
                    "temp_path": str(temp_path)
                })

                documents = load_document(temp_path)
                all_documents.extend(documents) # ドキュメントリストに追加
        
        # ----------------------------------------------------
        # 既存データと新規データの結合
        # ----------------------------------------------------
        
        # 既存のファイルを再度ロードし、全ドキュメントリストに結合
        for meta in existing_metadata:
             doc_path = Path(meta["temp_path"])
             if doc_path.exists():
                 documents = load_document(doc_path)
                 all_documents.extend(documents)
             
        # メタデータリストを結合
        combined_metadata = existing_metadata + new_metadata_list

        with st.spinner("AIのデータ統合と再構築をしています..."):
            
            # 古いキャッシュをクリア
            if "rag_chain" in st.session_state:
                del st.session_state["rag_chain"]
            build_and_save_db.clear()

            # 全文書と全メタデータでDBを再構築し、保存
            db = build_and_save_db(all_documents, combined_metadata)
            st.session_state.rag_chain = create_rag_chain_from_db(db)
            st.session_state.current_files = combined_metadata # セッションに新しいファイルリストを保存
        
        st.session_state.messages = []
        st.info("新しいデータが既存のデータに追加され、AIの準備が完了しました。")

        # DB構築成功後、アップローダーのリスト（赤枠部分）をクリアするためにリセット
        st.session_state['file_uploader_key'] = str(uuid.uuid4())
        st.rerun() 

    else:
        # アップロードはされたが、すべて既存ファイル名と同じだった場合
        st.info("アップロードされたファイルはすべて既に読み込まれているファイル名と同じだったため、処理をスキップしました。")
        # スキップされた場合も、手動での削除を防ぐためにアップローダーをリセット
        st.session_state['file_uploader_key'] = str(uuid.uuid4())
        st.rerun() 

# 2. アップロードがなく、既存DBファイルが存在する場合 (高速ロード)
elif not uploaded_files and db_exists and "rag_chain" not in st.session_state:
    with st.spinner("既存のAIデータ（DB）を読み込んでいます..."):
        # 埋め込みモデルをロード
        embeddings = get_embeddings()
        # 既存のFAISS DBをディスクからロード
        db = FAISS.load_local(str(DB_FAISS_PATH), embeddings, allow_dangerous_deserialization=True)
        st.session_state.rag_chain = create_rag_chain_from_db(db)
        
        # 既存のメタデータ（ファイルリスト）をロード
        if metadata_exists:
            with open(DB_METADATA_PATH, "r", encoding="utf-8") as f:
                loaded_metadata = json.load(f)
            st.session_state.current_files = loaded_metadata
            st.success("既存のドキュメントでチャット可能です。")
        else:
            st.session_state.current_files = []
            st.warning("既存のドキュメントでチャット可能ですが、元のファイル名リストが見つかりませんでした。")
        
        st.session_state.messages = []


# 3. 初期メッセージの表示
if "rag_chain" not in st.session_state and not db_exists:
    st.info("ファイルをアップロードするか、過去に保存したデータが存在すれば自動的にロードされます。")

# ----------------------------------------------------------------------
# 表示ロジック: 現在読み込まれているファイル名の表示と削除ボタン 
# ----------------------------------------------------------------------
if "current_files" in st.session_state:
    st.sidebar.markdown("---")
    st.sidebar.subheader("現在読み込まれているファイル")
    
    if st.session_state.current_files:
        for file_meta in st.session_state.current_files:
            col1, col2 = st.sidebar.columns([0.8, 0.2])
            
            # ファイル名を表示
            col1.markdown(f"- **{file_meta['name']}**")
            
            # 個別削除ボタンのUI (ポップオーバーで確認)
            with col2.popover("🗑️", help="このファイルを削除します"):
                st.write(f"ファイル **{file_meta['name']}** を削除し、DBを再構築しますか？")
                if st.button("削除を確定", key=f"delete_{file_meta['id']}", type="secondary"):
                    delete_single_file(file_meta['id'])
    else:
        st.sidebar.markdown("- ファイルがありません。")

    st.sidebar.markdown("---")
    if Path(DB_DIR).is_dir():
        # 全体削除ボタン
        if st.sidebar.button("🗑️ 全ての読み込みデータを削除", type="secondary"):
            delete_all_data()

# ============================================================
# チャット処理
# ============================================================
if "rag_chain" in st.session_state:
    # 履歴表示
    if "messages" in st.session_state:
        for message in st.session_state.messages:
            with st.chat_message(message["role"]):
                st.markdown(message["content"])

    # ユーザー入力受付
    if prompt := st.chat_input("ドキュメントについて質問をどうぞ"):
        with st.chat_message("user"):
            st.markdown(prompt)
        st.session_state.messages.append({"role": "user", "content": prompt})

        rag_chain = st.session_state.rag_chain
        with st.spinner("考え中..."):
            # RAG実行（検索＋回答生成）
            response = rag_chain.invoke({"query": prompt})
            answer = response["result"]

        # 回答表示と参照ソース展開
        with st.chat_message("assistant"):
            st.markdown(answer)
            with st.expander("参考にした文章"):
                for doc in response["source_documents"]:
                    st.markdown(f"--- \n {doc.page_content}")

        st.session_state.messages.append({"role": "assistant", "content": answer})

1.  ドキュメントローダー関数群
2.  ベクトルDB構築・保存・ロード関数
3.  RAGチェーン生成関数（MultiQueryRetrieverによる検索精度向上）
4.  ファイル削除ロジック
5.  Streamlit UI構成
    - サイドバー: アップロード・削除・一覧表示
    - メイン画面: チャットUI

from langchain_community.document_loaders import (
    PyPDFLoader, Docx2txtLoader, TextLoader, UnstructuredPowerPointLoader
)

from langchain.retrievers.multi_query import MultiQueryRetriever

retriever = MultiQueryRetriever.from_llm(
    retriever=db.as_retriever(search_kwargs={"k": 2}),
    llm=llm
)

streamlit run app2.py

むかしむかし、竹を取って暮らす翁（おきな）と、その妻が住んでいました。
ある日、翁が山で光る竹を見つけ、その竹を割ると中から小さな女の子が出てきました。
翁はその子を家に連れ帰り、妻とともに「かぐや姫」と名付けて大切に育てました。
かぐや姫は美しく成長し、そのうつくしさは都にまで広まりました。
多くの貴族が求婚しましたが、かぐや姫は誰の申し出も受けず、難しい宝を求めて試しました。
誰一人として成功する者はいませんでした。
やがて帝もかぐや姫を愛しましたが、彼女の心は月の国にありました。
十五夜の夜、月の使者が迎えに来て、かぐや姫は涙を流しながら月へ帰っていきました。
翁と妻は深く悲しみ、いつまでも夜空を見上げてかぐや姫を思いました。