root/ailine
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
Files
c5ea93b7544b830835438d1686587e964fe77540
ailine/backend/app/model_services/__init__.py

23 lines
527 B
Python
Raw Normal View History

重构：添加模型服务模块，支持嵌入和重排服务的自动降级 新增功能： - 创建 app/model_services 模块，提供统一的模型服务获取接口 - 实现 BaseServiceProvider 基类和 FallbackServiceChain 降级链 - 实现 get_embedding_service()：优先本地 llama.cpp，降级到智谱 API - 实现 get_rerank_service()：优先本地 llama.cpp，降级到智谱 API - 支持单例管理，确保全局只有一个服务实例 修改内容： - 更新 app/config.py，添加智谱 API 相关配置 - 修改 rag_core/vector_store.py：支持接受外部传入的 embeddings - 修改 rag_core/retriever_factory.py：支持接受外部传入的 embeddings - 修改 app/agent/rag_initializer.py：使用 get_embedding_service() - 修改 app/rag/pipeline.py：使用 get_rerank_service() - 修改 app/memory/mem0_client.py：智能判断可用服务配置 mem0 - 修改 rag_indexer/index_builder.py：支持使用新服务，保持向后兼容 - 修改 rag_indexer/config.py：添加智谱配置 环境变量： - ZHIPUAI_API_KEY：智谱 API 密钥（必选） - ZHIPU_EMBEDDING_MODEL：可选，默认 embedding-3 - ZHIPU_RERANK_MODEL：可选，默认 rerank-2 - ZHIPU_API_BASE：可选，默认 https://open.bigmodel.cn/api/paas/v4
2026-04-24 22:52:36 +08:00
"""
模型服务模块
提供统一的嵌入和重排模型服务获取接口，支持自动降级。
"""
from .embedding_services import get_embedding_service
fix: 修复导入错误 BaseReranker -> BaseRerankService
2026-04-26 21:35:31 +08:00
from .rerank_services import get_rerank_service, BaseRerankService
refactor: 单图方案重构 + 动态模型选择 + chat_services优化 ## 核心改动 ### 1. 单图方案重构 - 删除了多图（self.graphs），改为单图（self.graph） - 新增 MainGraphState.current_model 字段用于运行时注入模型 - llm_call 节点改为动态选择模型（create_dynamic_llm_call_node） ### 2. chat_services 优化 - 添加 _cached_services 缓存，避免重复初始化 - 新增 get_cached_chat_services() 函数，用于单图注入 - 新增 _check_http_service_available() 统一HTTP探测逻辑 - 减少重复代码，LocalVLLMChatProvider和LocalSmallModelProvider共用探测方法 ### 3. AIAgentService 重构 - initialize() 只构建一次图，传入 chat_services 字典 - 新增 _resolve_model() 模型回退逻辑 - 新增 _build_invocation() 统一构建调用参数 - process_message() 和 process_message_stream() 改为注入 current_model - 流式处理代码拆分，增加可读性 ### 4. 新增和删除文件 - 新增：backend/app/main_graph/main_graph_builder.py（图构建） - 新增：backend/app/main_graph/subgraph_wrapper.py（子图封装） - 新增：tools/test/test_tavily_search.py（测试） - 删除：backend/app/main_graph/graph.py（旧图） - 删除：backend/app/main_graph/utils/main_graph_builder.py（旧构建器） - 删除：backend/app/main_graph/utils/__init__.py ### 5. 其他更新 - README.md：新增模型服务使用情况详解章节 - backend/app/model_services/__init__.py：新增 get_cached_chat_services 导出 ## 方案优势 - 内存优化：N张图 → 1张图 - 灵活性：运行时动态选择模型，支持同会话不同模型 - 性能：模型服务缓存，初始化仅一次 - 可维护性：减少重复代码，统一HTTP探测逻辑
2026-05-05 17:30:55 +08:00
from .chat_services import (
get_small_llm_service,
get_cached_chat_services,
get_all_chat_services
)
重构：添加模型服务模块，支持嵌入和重排服务的自动降级 新增功能： - 创建 app/model_services 模块，提供统一的模型服务获取接口 - 实现 BaseServiceProvider 基类和 FallbackServiceChain 降级链 - 实现 get_embedding_service()：优先本地 llama.cpp，降级到智谱 API - 实现 get_rerank_service()：优先本地 llama.cpp，降级到智谱 API - 支持单例管理，确保全局只有一个服务实例 修改内容： - 更新 app/config.py，添加智谱 API 相关配置 - 修改 rag_core/vector_store.py：支持接受外部传入的 embeddings - 修改 rag_core/retriever_factory.py：支持接受外部传入的 embeddings - 修改 app/agent/rag_initializer.py：使用 get_embedding_service() - 修改 app/rag/pipeline.py：使用 get_rerank_service() - 修改 app/memory/mem0_client.py：智能判断可用服务配置 mem0 - 修改 rag_indexer/index_builder.py：支持使用新服务，保持向后兼容 - 修改 rag_indexer/config.py：添加智谱配置 环境变量： - ZHIPUAI_API_KEY：智谱 API 密钥（必选） - ZHIPU_EMBEDDING_MODEL：可选，默认 embedding-3 - ZHIPU_RERANK_MODEL：可选，默认 rerank-2 - ZHIPU_API_BASE：可选，默认 https://open.bigmodel.cn/api/paas/v4
2026-04-24 22:52:36 +08:00
__all__ = [
"get_embedding_service",
"get_rerank_service",
refactor: 重构RAG核心组件，简化代码结构和测试文件
2026-05-04 17:58:10 +08:00
"get_small_llm_service",
refactor: 单图方案重构 + 动态模型选择 + chat_services优化 ## 核心改动 ### 1. 单图方案重构 - 删除了多图（self.graphs），改为单图（self.graph） - 新增 MainGraphState.current_model 字段用于运行时注入模型 - llm_call 节点改为动态选择模型（create_dynamic_llm_call_node） ### 2. chat_services 优化 - 添加 _cached_services 缓存，避免重复初始化 - 新增 get_cached_chat_services() 函数，用于单图注入 - 新增 _check_http_service_available() 统一HTTP探测逻辑 - 减少重复代码，LocalVLLMChatProvider和LocalSmallModelProvider共用探测方法 ### 3. AIAgentService 重构 - initialize() 只构建一次图，传入 chat_services 字典 - 新增 _resolve_model() 模型回退逻辑 - 新增 _build_invocation() 统一构建调用参数 - process_message() 和 process_message_stream() 改为注入 current_model - 流式处理代码拆分，增加可读性 ### 4. 新增和删除文件 - 新增：backend/app/main_graph/main_graph_builder.py（图构建） - 新增：backend/app/main_graph/subgraph_wrapper.py（子图封装） - 新增：tools/test/test_tavily_search.py（测试） - 删除：backend/app/main_graph/graph.py（旧图） - 删除：backend/app/main_graph/utils/main_graph_builder.py（旧构建器） - 删除：backend/app/main_graph/utils/__init__.py ### 5. 其他更新 - README.md：新增模型服务使用情况详解章节 - backend/app/model_services/__init__.py：新增 get_cached_chat_services 导出 ## 方案优势 - 内存优化：N张图 → 1张图 - 灵活性：运行时动态选择模型，支持同会话不同模型 - 性能：模型服务缓存，初始化仅一次 - 可维护性：减少重复代码，统一HTTP探测逻辑
2026-05-05 17:30:55 +08:00
"get_cached_chat_services",
"get_all_chat_services",
fix: 修复导入错误 BaseReranker -> BaseRerankService
2026-04-26 21:35:31 +08:00
"BaseRerankService"
重构：添加模型服务模块，支持嵌入和重排服务的自动降级 新增功能： - 创建 app/model_services 模块，提供统一的模型服务获取接口 - 实现 BaseServiceProvider 基类和 FallbackServiceChain 降级链 - 实现 get_embedding_service()：优先本地 llama.cpp，降级到智谱 API - 实现 get_rerank_service()：优先本地 llama.cpp，降级到智谱 API - 支持单例管理，确保全局只有一个服务实例 修改内容： - 更新 app/config.py，添加智谱 API 相关配置 - 修改 rag_core/vector_store.py：支持接受外部传入的 embeddings - 修改 rag_core/retriever_factory.py：支持接受外部传入的 embeddings - 修改 app/agent/rag_initializer.py：使用 get_embedding_service() - 修改 app/rag/pipeline.py：使用 get_rerank_service() - 修改 app/memory/mem0_client.py：智能判断可用服务配置 mem0 - 修改 rag_indexer/index_builder.py：支持使用新服务，保持向后兼容 - 修改 rag_indexer/config.py：添加智谱配置 环境变量： - ZHIPUAI_API_KEY：智谱 API 密钥（必选） - ZHIPU_EMBEDDING_MODEL：可选，默认 embedding-3 - ZHIPU_RERANK_MODEL：可选，默认 rerank-2 - ZHIPU_API_BASE：可选，默认 https://open.bigmodel.cn/api/paas/v4
2026-04-24 22:52:36 +08:00
]
Reference in New Issue Copy Permalink