Commit Graph

29 Commits

Author SHA1 Message Date
6dfa9f572e 重构:清理废弃代码 + 优化 Agent 架构
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 5m24s
主要变更:
- 删除 deprecated 文件夹(intent/hybrid_router/rag_nodes 等)
- 删除 intent_classifier.py(未使用)
- 删除 subgraph_wrapper.py(死代码)
- 重构 agent.py:简化工厂函数,支持动态模型切换
- 重构 prompts.py:添加信息获取优先级、思维链要求、工具调用约束
- 优化 tools:统一位置,rag_search 返回置信度评估
- 新增 RAG 置信度评估:embedding(25%) + rerank(25%) + LLM(50%)
- 添加循环检测:防止工具无限重复调用

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
2026-05-08 00:29:12 +08:00
a6813a5ab0 优化: 重排前增加向量初筛,只让前20个进入重排
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 7m32s
2026-05-06 17:08:47 +08:00
d09b0d16ce 修改日志用项目统一的 logger
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 10m46s
2026-05-06 16:15:09 +08:00
13499ecf2a 添加详细日志: 在关键节点加日志以便定位卡住问题
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 6m26s
2026-05-06 16:02:53 +08:00
ef6fbc1521 推理优化
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 6m36s
2026-05-06 04:26:06 +08:00
1260bef5cb 添加rag置信度判断
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 6m31s
2026-05-06 01:15:52 +08:00
3ae9daa01a 导入方式修改
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 6m44s
2026-05-05 23:17:00 +08:00
8b5fbbd395 修改readme
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 6m35s
2026-05-05 14:06:36 +08:00
9841f47432 refactor: 重构RAG核心组件,简化代码结构和测试文件
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 6m53s
2026-05-04 17:58:10 +08:00
a07e398739 refactor!: 完全异步化 RAG 系统,移除 LangChain ParentDocumentRetriever 依赖
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 6m34s
- 重写 rag_core/vector_store.py:完全异步实现 aadd_documents、asimilarity_search
- 重写 app/rag/retriever.py:异步混合检索,移除同步兼容代码
- 修改 rag_indexer/index_builder.py:全链路异步调用
- 删除 rag_core/retriever_factory.py:不再使用 LangChain ParentDocumentRetriever
- 清理冗余导入和代码:移除 model_services 兼容、不需要的异常导入
- 更新 rag_indexer/README.md:反映新架构

核心改进:
- 完全异步化:索引构建和检索全链路 async/await
- 自定义实现:不再依赖 LangChain 的 ParentDocumentRetriever
- 双向量支持:子文档同时存储 dense + sparse 向量到 Qdrant
- 架构清晰:rag_core 公共组件、rag_indexer 索引、app/rag 检索
2026-05-04 14:33:12 +08:00
82dde7113e 修改rag,实现混合检索
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 5m42s
2026-05-04 04:28:32 +08:00
8af82f8f7f feat: RAG混合检索系统完整实现 + 启动脚本修复
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 5m4s
- 实现了稠密+稀疏混合检索,使用 Qdrant 原生 RRF 融合
- 修复了 retriever.py 的 BaseRetriever 继承和稀疏向量包装问题
- 修复了 pipeline.py 的 Optional 导入问题
- 添加了稀疏 embedder 的缓存配置
- 简化了 vector_store.py,移除不必要的逻辑
- 修复了 start.sh 的 PROJECT_DIR 硬编码和端口配置问题
- 完善了 RAG 检索的测试文件
2026-05-04 02:54:37 +08:00
60afa86ded feat: 实现 BM25 稀疏 + 稠密向量混合检索功能
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Has been cancelled
2026-05-04 02:01:22 +08:00
2183c901b4 添加稀疏模型本地缓存功能
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 13m54s
- 创建 download_sparse_model.py 脚本用于下载稀疏模型到本地
- 添加 SPARSE_MODEL_PATH 和 SPARSE_MODEL_NAME 配置
- 修改 retriever.py 和 index_builder.py 使用 cache_dir
- 更新 .gitignore 排除 models/ 目录
- 更新 Dockerfile 在构建时下载稀疏模型
2026-05-03 18:55:39 +08:00
5c45806ad3 🚀 完全实现 Qdrant 混合检索功能
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 11m7s
- 不需要兼容,完全重写为混合检索
- 检索器:强制使用 FastEmbedSparse + RetrievalMode.HYBRID
- 索引器:强制启用稀疏向量,混合检索模式
- 添加 fastembed 依赖到 requirements.txt
- 语法检查通过
2026-05-03 18:12:20 +08:00
5094a87a8f 使用 Qdrant 原生混合检索功能
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 5m40s
- 用 langchain-qdrant 的 RetrievalMode.HYBRID
- 自动检测 Qdrant 集合是否有 sparse_vectors_config
- 有则用 Qdrant 原生混合检索,无则优雅回退纯稠密
- 接口完全兼容,0 改动现有代码
- 语法检查通过
2026-05-03 17:58:21 +08:00
422b3fb09e 实现真实混合检索框架
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Has been cancelled
- 最优雅、最兼容、最少修改方案
- 混合检索框架:Qdrant 稠密检索 + BM25Retriever 关键词检索
- 接口完全兼容,现有代码无需改动
- 语法检查通过
2026-05-03 17:56:15 +08:00
17bc72b76c 实现真实的混合检索框架
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 6m23s
- 移除假的 create_hybrid_retriever 实现
- 添加 HybridRetriever 类,支持检测 Qdrant 稀疏向量配置
- 更新 README.md 说明现状(未配置稀疏向量,优雅降级到纯稠密检索)
- 语法检查通过
2026-05-03 17:46:38 +08:00
a9451681f6 📝 修复 rag/README.md 里的过时引用
All checks were successful
构建并部署 AI Agent 服务 / deploy (push) Successful in 5m42s
- 从 app.graph.graph_builder 改为 app.main_graph.utils.main_graph_builder
2026-05-03 17:22:25 +08:00
223d1c9afd 优化memory、rag和embedding模块
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 5m5s
2026-04-29 10:52:01 +08:00
048f57a89f 集成三个子图到主Agent架构 + 修复前后端字段不匹配问题
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Has been cancelled
主要变更:
1. 创建 subgraph_tools.py - 将三个子图包装为 LangChain 工具
2. 更新 graph_tools.py - 删除旧工具,添加子图工具
3. 更新系统提示词 - 介绍三个子系统 + RAG 能力
4. 简化 backend.py - 删除独立子图 API 端点
5. 修复 service.py 字段名不匹配问题 - content -> token
6. 前端界面优化 - 移动子图测试到侧边栏、删除测试审核按钮
7. 添加 pyjwt 依赖到 requirements.txt
8. 更新 docker-compose.yml - 添加前端代码挂载
2026-04-27 15:23:50 +08:00
92863e86dc feat: 添加 RAG 评估模块,支持召回率和相关性评估
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 6m13s
2026-04-26 15:39:05 +08:00
f63c394fcd refactor: 重构 rerank 架构,分离服务层和业务逻辑
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Has been cancelled
- rerank_services.py:纯服务层,只负责调用 rerank server
- rag/rerank.py:业务逻辑层,负责文档处理、排序、top_n
- 更新 pipeline.py 使用新架构
- 架构与 embedding_services.py 保持一致
2026-04-26 11:57:42 +08:00
55c910bbe0 cleanup: 删除旧的 rag/reranker.py
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 6m52s
- rag/reranker.py 是旧代码,不再使用
- 现在使用 model_services/rerank_services.py 提供重排服务
- pipeline.py 已经通过 get_rerank_service() 使用服务层
2026-04-26 11:43:06 +08:00
8db63e7a8d 重构:添加模型服务模块,支持嵌入和重排服务的自动降级
新增功能:
- 创建 app/model_services 模块,提供统一的模型服务获取接口
- 实现 BaseServiceProvider 基类和 FallbackServiceChain 降级链
- 实现 get_embedding_service():优先本地 llama.cpp,降级到智谱 API
- 实现 get_rerank_service():优先本地 llama.cpp,降级到智谱 API
- 支持单例管理,确保全局只有一个服务实例

修改内容:
- 更新 app/config.py,添加智谱 API 相关配置
- 修改 rag_core/vector_store.py:支持接受外部传入的 embeddings
- 修改 rag_core/retriever_factory.py:支持接受外部传入的 embeddings
- 修改 app/agent/rag_initializer.py:使用 get_embedding_service()
- 修改 app/rag/pipeline.py:使用 get_rerank_service()
- 修改 app/memory/mem0_client.py:智能判断可用服务配置 mem0
- 修改 rag_indexer/index_builder.py:支持使用新服务,保持向后兼容
- 修改 rag_indexer/config.py:添加智谱配置

环境变量:
- ZHIPUAI_API_KEY:智谱 API 密钥(必选)
- ZHIPU_EMBEDDING_MODEL:可选,默认 embedding-3
- ZHIPU_RERANK_MODEL:可选,默认 rerank-2
- ZHIPU_API_BASE:可选,默认 https://open.bigmodel.cn/api/paas/v4
2026-04-24 22:52:36 +08:00
a869d884b7 docs: 更新文档路径引用,移除硬编码密钥,修复 Docker 配置
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 7m1s
2026-04-22 00:43:06 +08:00
5e9bbd519f 测试修改 2026-04-21 20:49:10 +08:00
37e86f3bb1 参数配置统一 2026-04-21 19:06:34 +08:00
8b354b7ccc 重构代码,统一config配置
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 47m14s
2026-04-21 11:02:16 +08:00