优化memory、rag和embedding模块
Some checks failed
构建并部署 AI Agent 服务 / deploy (push) Failing after 5m5s

This commit is contained in:
2026-04-29 10:52:01 +08:00
parent da4a7b0dd4
commit 223d1c9afd
4 changed files with 113 additions and 84 deletions

View File

@@ -16,6 +16,7 @@ import asyncio
from typing import Optional, List, Dict
from mem0 import AsyncMemory
class Mem0Client:
"""Mem0 异步客户端封装类"""
@@ -37,34 +38,36 @@ class Mem0Client:
try:
# 获取可用的 embedding 服务并确定维度
info("🔄 正在获取嵌入服务...")
embeddings = get_embedding_service()
test_embedding = embeddings.embed_query("test")
embedding_dim = len(test_embedding)
info(f"✅ 嵌入服务可用,向量维度: {embedding_dim}")
# 构建正确的 embedder 配置 - 根据我们的降级机制
# 首先我们需要判断哪个服务实际可用
# 构建 embedder 配置 - 改进的方法
# 检查本地 provider
from ..model_services.embedding_services import LocalLlamaCppEmbeddingProvider, ZhipuEmbeddingProvider
embedder_config = None
# 检查本地服务
local_provider = LocalLlamaCppEmbeddingProvider()
if local_provider.is_available():
info("✅ 使用本地 llama.cpp 作为 mem0 embedder")
embedder_config = {
"provider": "openai",
"config": {
"model": "Qwen3-Embedding-0.6B-Q8_0",
"api_key": LLAMACPP_API_KEY or "dummy",
"api_key": LLAMACPP_API_KEY or "dummy-key",
"openai_base_url": LLAMACPP_EMBEDDING_URL,
}
}
else:
# 尝试使用智谱
# 检查智谱
zhipu_provider = ZhipuEmbeddingProvider()
if zhipu_provider.is_available():
info("✅ 使用智谱 API 作为 mem0 embedder")
# 注意mem0 可能不直接支持智谱,这里我们暂时还是用 openai 兼容方式
# 或者需要自定义 embedder
# 使用自定义 embedder 或者 openai 兼容方式
# 注意:这里我们使用一个特殊的配置方法
embedder_config = {
"provider": "openai",
"config": {
@@ -74,18 +77,19 @@ class Mem0Client:
}
}
else:
# 都不可用,使用 dummy 配置
# 都不可用,使用 dummy 配置并警告
warning("⚠️ 没有可用的 embedder使用 dummy 配置")
embedder_config = {
"provider": "openai",
"config": {
"model": "dummy",
"api_key": "dummy",
"model": "text-embedding-ada-002",
"api_key": "dummy-key",
"openai_base_url": "http://localhost:8080/v1",
}
}
# Mem0 配置
# Mem0 配置 - 简化配置,先确保能启动
info("🔄 正在构建 Mem0 配置...")
config = {
"vector_store": {
"provider": "qdrant",
@@ -99,9 +103,9 @@ class Mem0Client:
"llm": {
"provider": "openai",
"config": {
"model": "LLM_MODEL",
"api_key": LLM_API_KEY,
"openai_base_url": VLLM_BASE_URL,
"model": "gpt-3.5-turbo", # 使用一个通用的模型名
"api_key": LLM_API_KEY or ZHIPUAI_API_KEY or "dummy-key",
"openai_base_url": VLLM_BASE_URL or ZHIPU_API_BASE,
"temperature": 0.1,
"max_tokens": 2000,
}
@@ -110,27 +114,31 @@ class Mem0Client:
"version": "v1.1"
}
info("🔄 正在初始化 Mem0 实例...")
self.mem0 = AsyncMemory.from_config(config)
info("✅ Mem0 配置加载成功,开始连接测试...")
info("✅ Mem0 配置加载成功")
# 实际连接测试
# 尝试进行连接测试,但失败不会阻止初始化
try:
info("🔄 正在测试 Mem0 连接...")
# 使用短超时的测试
await asyncio.wait_for(
self.mem0.search("ping", user_id="test", limit=1),
timeout=30.0
timeout=10.0
)
info("✅ Mem0 实际连接测试成功,初始化完成")
info("✅ Mem0 连接测试成功")
except Exception as e:
warning(f"⚠️ Mem0 连接测试遇到问题,但仍继续初始化: {e}")
warning(f"⚠️ Mem0 连接测试遇到问题(但继续使用): {e}")
self._initialized = True
info("🎉 Mem0 初始化完成")
except asyncio.TimeoutError:
error("❌ Mem0 连接测试超时 (10s),请检查 Qdrant 或 Embedding 服务响应")
error("❌ Mem0 初始化超时")
self.mem0 = None
self._initialized = False
except Exception as e:
error(f"❌ Mem0 初始化或连接测试失败: {e}")
error(f"❌ Mem0 初始化失败: {e}")
import traceback
error(f"详细错误信息:\n{traceback.format_exc()}")
self.mem0 = None