refactor!: 完全异步化 RAG 系统，移除 LangChain ParentDocumentRetriever 依赖

- 重写 rag_core/vector_store.py：完全异步实现 aadd_documents、asimilarity_search - 重写 app/rag/retriever.py：异步混合检索，移除同步兼容代码 - 修改 rag_indexer/index_builder.py：全链路异步调用 - 删除 rag_core/retriever_factory.py：不再使用 LangChain ParentDocumentRetriever - 清理冗余导入和代码：移除 model_services 兼容、不需要的异常导入 - 更新 rag_indexer/README.md：反映新架构核心改进： - 完全异步化：索引构建和检索全链路 async/await - 自定义实现：不再依赖 LangChain 的 ParentDocumentRetriever - 双向量支持：子文档同时存储 dense + sparse 向量到 Qdrant - 架构清晰：rag_core 公共组件、rag_indexer 索引、app/rag 检索
2026-05-04 14:33:12 +08:00
parent 4209386c77
commit a07e398739
14 changed files with 651 additions and 592 deletions
--- a/backend/rag_core/embedders.py
+++ b/backend/rag_core/embedders.py
@@ -1,121 +1,37 @@
 """
 嵌入模型包装器 - 直接使用统一嵌入服务
-支持自动降级（本地 llama.cpp → 智谱），由 get_embedding_service() 内部处理
 """

-import sys
 import logging
-from typing import List
-from pathlib import Path
+from typing import List, Optional

-from .config import LLAMACPP_EMBEDDING_URL, LLAMACPP_API_KEY
 from langchain_core.embeddings import Embeddings

 logger = logging.getLogger(__name__)


-class LlamaCppEmbedder:
+def get_embeddings() -> Embeddings:
    """
-    嵌入器包装类 - 直接使用统一的 get_embedding_service()
-    降级逻辑完全由 app.model_services 处理
+    获取统一的嵌入服务实例。
+    
+    Returns:
+        LangChain 兼容的 Embeddings 实例
    """
-
-    def __init__(self, model: str = "Qwen3-Embedding-0.6B-Q8_0", use_fallback: bool = True):
-        """
-        Args:
-            model: 嵌入模型名称（向后兼容，现在实际使用统一服务）
-            use_fallback: 是否使用降级机制（保留参数，现在始终为 True）
-        """
-        self.model = model
-        self._fallback_embeddings = None
-        
-        # 直接获取统一嵌入服务
-        try:
-            from backend.app.model_services import get_embedding_service
-            self._fallback_embeddings = get_embedding_service()
-            logger.info("✅ 统一嵌入服务加载成功")
-        except Exception as e:
-            logger.warning(f"⚠️ 无法加载统一嵌入服务: {e}")
-            # 保留向后兼容的初始化
-            self.base_url = LLAMACPP_EMBEDDING_URL
-            self.api_key = LLAMACPP_API_KEY
-
-    def as_langchain_embeddings(self) -> Embeddings:
-        """创建 LangChain 兼容的嵌入实例"""
-        if self._fallback_embeddings:
-            logger.info("✅ 使用统一嵌入服务（已内置降级机制）")
-            return self._fallback_embeddings
-        
-        # 向后兼容，仅在统一服务不可用时使用传统方式
-        logger.warning("⚠️ 统一服务不可用，使用传统模式（不推荐）")
-        return _LlamaCppLangchainAdapter(self)
-
-    def embed_documents(self, texts: List[str]) -> List[List[float]]:
-        """嵌入一批文档"""
-        if self._fallback_embeddings:
-            return self._fallback_embeddings.embed_documents(texts)
-        
-        # 向后兼容
-        return self._call_embedding_api(texts)
-
-    def embed_query(self, text: str) -> List[float]:
-        """嵌入单个查询"""
-        if self._fallback_embeddings:
-            return self._fallback_embeddings.embed_query(text)
-        
-        # 向后兼容
-        return self._call_embedding_api([text])[0]
-
-    def get_embedding_dimension(self) -> int:
-        """通过嵌入测试字符串获取嵌入维度"""
-        test_embedding = self.embed_query("test")
-        return len(test_embedding)
-
-    def _call_embedding_api(self, texts: List[str]) -> List[List[float]]:
-        """仅作为向后兼容的备用方法"""
-        import httpx
-        
-        if not hasattr(self, 'base_url') or not self.base_url:
-            raise ValueError("LLAMACPP_EMBEDDING_URL 未配置且统一服务不可用")
-        
-        headers = {"Content-Type": "application/json"}
-        if self.api_key:
-            headers["Authorization"] = f"Bearer {self.api_key}"
-
-        base = self.base_url.rstrip("/")
-        if not base.endswith("/v1"):
-            base = base + "/v1"
-
-        payload = {
-            "input": texts,
-            "model": self.model,
-        }
-
-        with httpx.Client(timeout=120) as client:
-            response = client.post(
-                f"{base}/embeddings",
-                headers=headers,
-                json=payload,
-            )
-            response.raise_for_status()
-            data = response.json()
-
-            if isinstance(data, list):
-                return [item["embedding"] for item in data]
-            elif isinstance(data, dict) and "data" in data:
-                return [item["embedding"] for item in sorted(data["data"], key=lambda x: x["index"])]
-            else:
-                raise ValueError(f"未知的嵌入 API 响应格式: {data}")
+    from backend.app.model_services import get_embedding_service
+    return get_embedding_service()


-class _LlamaCppLangchainAdapter(Embeddings):
-    """仅作为向后兼容的适配器"""
-
-    def __init__(self, embedder: LlamaCppEmbedder):
-        self._embedder = embedder
-
-    def embed_documents(self, texts: List[str]) -> List[List[float]]:
-        return self._embedder.embed_documents(texts)
-
-    def embed_query(self, text: str) -> List[float]:
-        return self._embedder.embed_query(text)
+def get_embedding_dimension(embeddings: Optional[Embeddings] = None) -> int:
+    """
+    获取嵌入维度。
+    
+    Args:
+        embeddings: 可选的嵌入实例，如果不提供则自动获取
+    
+    Returns:
+        嵌入维度大小
+    """
+    if embeddings is None:
+        embeddings = get_embeddings()
+    test_embedding = embeddings.embed_query("test")
+    return len(test_embedding)