无需依赖云端的 AI 体验：使用 LM Studio＋LangChain＋Streamlit 构建本地 RAG 环境

pip install langchain langchain-community langchain-openai langchain-huggingface streamlit faiss-cpu

很久很久以前，在某个地方住着一对老夫妻。
老爷爷去山上砍柴，老奶奶到河边洗衣。
当老奶奶在河边洗衣时，一个大桃子“哗啦哗啦”地顺流而下。
老奶奶捡起那个桃子，带回家中。
回到家后，她剖开桃子，发现里面蹦出一个健康的男婴。
因他从桃子中诞生，于是给他取名为“桃太郎”。
桃太郎茁壮成长，不久就说要去鬼之岛降妖除魔。
老奶奶给了他黍米团子，桃太郎便踏上旅程。
旅途中，他收编了狗、猴子和雉鸡作为家臣。
最后，大家齐心协力战胜了鬼怪，带着宝物回到了家中。

import streamlit as st
from langchain_openai import ChatOpenAI
from langchain.text_splitter import CharacterTextSplitter
from langchain_huggingface import HuggingFaceEmbeddings
from langchain_community.vectorstores import FAISS
from langchain.chains import RetrievalQA

# =============================
# --- LLM 与 RAG 的设置 ---
# =============================

# 从文档创建 RAG 管道的函数
def create_rag_chain(document_path):
    # 读取文档
    with open(document_path, 'r', encoding='utf-8') as f:
        document_text = f.read()

    # 1. 将文档拆分为小“块”（chunk）
    # 这样可以让模型更容易找到相关信息。
    text_splitter = CharacterTextSplitter(
        separator="\n",
        chunk_size=200,      # 每个块的大小（字符数）
        chunk_overlap=50,    # 块之间的重叠量
        length_function=len
    )
    docs = text_splitter.split_text(document_text)

    # 2. 为每个块创建“嵌入向量”
    # 嵌入（Embeddings）是一种将文本转换为计算机可理解的数值向量的技术。
    # all-MiniLM-L6-v2 是一个专门用于将文本转换为计算机可理解数值（向量）的轻量且高速的模型。
    embeddings = HuggingFaceEmbeddings(model_name="all-MiniLM-L6-v2")

    # 3. 创建向量存储（FAISS），以便保存和检索嵌入
    # 这就像为我们的“教科书”创建一个可搜索的索引。
    db = FAISS.from_texts(docs, embeddings)

    # 4. 设置与本地 LLM 服务器（LM Studio）的连接
    llm = ChatOpenAI(
       # ↓↓↓ 在此处粘贴 LM Studio 的“API Identifier” ↓↓↓
        model_name="local-model",            # 指定使用本地模型
        base_url="http://localhost:1234/v1", # LM Studio 服务器地址
        api_key="not-needed",                # 因为是本地服务器，所以无需 API 密钥
        temperature=0.1                      # 将 temperature 设置较低，以指示 AI “不要偏离参考文本，给出最可靠的回答”
    )

    # 5. 创建 RetrievalQA 链
    # 该链将搜索组件（FAISS 索引）与 LLM 结合。
    # 当有查询时，首先找到最相关的文本块，
    # 然后将其与查询一起传递给 LLM 以生成回答。
    retriever = db.as_retriever()
    qa_chain = RetrievalQA.from_chain_type(
        llm=llm,
        chain_type="stuff", # "stuff" 是将相关块全部“填充”到提示中的方式
        retriever=retriever,
        return_source_documents=True
    )
    return qa_chain

# 使用 knowledge.txt 创建 RAG 链
rag_chain = create_rag_chain("knowledge.txt")

# =============================
# --- Streamlit 界面 ---
# =============================

st.title("🍑 桃太郎 聊天机器人")
st.write("请就桃太郎的故事提问！")

# 初始化聊天历史
if "messages" not in st.session_state:
    st.session_state.messages = []

# 重新显示历史消息
for message in st.session_state.messages:
    with st.chat_message(message["role"]):
        st.markdown(message["content"])

# 响应用户输入
if prompt := st.chat_input("请提问"):
    # 显示用户消息
    with st.chat_message("user"):
        st.markdown(prompt)
    # 将用户消息添加到历史
    st.session_state.messages.append({"role": "user", "content": prompt})

    # 获取 LLM 响应
    response = rag_chain.invoke({"query": prompt})
    answer = response["result"]

    # 显示助手响应
    with st.chat_message("assistant"):
        st.markdown(answer)
    # 将助手响应添加到历史
    st.session_state.messages.append({"role": "assistant", "content": answer})

streamlit run app.py

旅途中，他收编了狗、猴子和雉鸡作为家臣。

旅途中，他收编了猫、乌龟和鹤作为家臣。

    with st.chat_message("assistant"):
        st.markdown(answer)

   with st.chat_message("assistant"):
        st.markdown(answer)
        
        # --- 从这里开始添加 ---
        with st.expander("参考的文章"):
            for doc in response["source_documents"]:
                st.markdown(f"--- \n {doc.page_content}")
        # --- 添加结束 ---