Files
ailine/backend/app/model_services
root 53fbfb4741
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 6m41s
📚 整理并更新文档
- 删除过时文档:REACT_PLAN.md、backend/docs/HYBRID_ROUTER.md
- 更新 REACT_MODE_SUMMARY.md:加入新的混合路由架构
- 更新 README.md:加入混合路由、双模型服务等新特性
- 更新 backend/app/README.md:加入 hybrid_router.py
- 更新 backend/app/model_services/README.md:加入 get_chat_service/get_small_llm_service
- 更新 .gitignore:允许 REACT_MODE_SUMMARY.md 上传
- 新增 backend/test/test_hybrid_router.py:测试脚本
2026-05-03 16:53:34 +08:00
..
2026-05-03 16:53:34 +08:00

""" 模型服务模块model_services

提供统一的嵌入、重排和生成式大模型服务获取接口,支持自动降级。


📚 生成式大模型服务Chat

双模型服务

函数 说明
get_chat_service() 获取大模型服务(用于复杂推理、生成)
get_small_llm_service() 获取轻量级模型服务(用于简单意图分类、快速问答)
get_all_chat_services() 获取所有可用的生成式大模型服务(用于多模型切换)

使用方法

from app.model_services import get_chat_service, get_small_llm_service

# 获取大模型服务(复杂任务)
llm = get_chat_service()
response = llm.invoke("什么是 LangGraph?")

# 获取轻量级模型服务(简单任务)
small_llm = get_small_llm_service()
response = small_llm.invoke("分类用户意图:'你好'")

📚 嵌入模型服务Embedding

函数 说明
get_embedding_service() 获取嵌入模型服务(自动降级)

使用方法

from app.model_services import get_embedding_service

# 获取嵌入服务LangChain 兼容的 Embeddings
embeddings = get_embedding_service()

📚 重排模型服务Rerank

函数 说明
get_rerank_service() 获取重排模型服务(自动降级)

使用方法

from app.model_services import get_rerank_service

# 获取重排服务
reranker = get_rerank_service()
sorted_docs = reranker.compress_documents(documents, query, top_n=5)

🔧 环境变量配置

# 智谱 API 配置
ZHIPUAI_API_KEY=***
ZHIPU_EMBEDDING_MODEL=embedding-3  # 可选embedding-2、embedding-3
ZHIPU_RERANK_MODEL=rerank-2        # 可选rerank-1、rerank-2
ZHIPU_API_BASE=https://open.bigmodel.cn/api/paas/v4

# DeepSeek API 配置(用于大模型)
DEEPSEEK_API_KEY=***

# 本地 llama.cpp 服务配置(原有配置保持不变)
LLAMACPP_EMBEDDING_URL=http://localhost:port/v1
LLAMACPP_RERANKER_URL=http://localhost:port/v1
LLAMACPP_API_KEY=***

"""