Version: 0.9.14.dev.260410

后端： 1. LLM 客户端从 newAgent/llm 提升为 infra/llm 基础设施层 - 删除 backend/newAgent/llm/（ark.go / ark_adapter.go / client.go / json.go） - 等价迁移至 backend/infra/llm/，所有 newAgent node 与 service 统一改引用 infrallm - 消除 newAgent 对模型客户端的私有依赖，为 memory / websearch 等多模块复用铺路 2. RAG 基础设施完成可运行态接入（factory / runtime / observer / service 四层成型） - 新建 backend/infra/rag/factory.go / runtime.go / observe.go / observer.go / service.go：工厂创建、运行时生命周期、轻量观测接口、检索服务门面 - 更新 infra/rag/config/config.go：补齐 Milvus / Embed / Reranker 全部配置项与默认值 - 更新 infra/rag/embed/eino_embedder.go：增强 Eino embedding 适配，支持 BaseURL / APIKey 环境变量 / 超时 / 维度等参数 - 更新 infra/rag/store/milvus_store.go：完整实现 Milvus 向量存储（建集合 / 建 Index / Upsert / Search / Delete），支持 COSINE / L2 / IP 度量 - 更新 infra/rag/core/pipeline.go：适配 Runtime 接口，Pipeline 由 factory 注入而非手动拼装 - 更新 infra/rag/corpus/memory_corpus.go / vector_store.go：对接 Memory 模块数据源与 Store 接口扩展 3. Memory 模块从 Day1 骨架升级为 Day2 完整可运行态 - 新建 memory/module.go：统一门面 Module，对外封装 EnqueueExtract / ReadService / ManageService / WithTx / StartWorker，启动层只依赖这一个入口 - 新建 memory/orchestrator/llm_write_orchestrator.go：LLM 驱动的记忆抽取编排器，替代原 mock 抽取 - 新建 memory/service/read_service.go：按用户开关过滤 + 轻量重排 + 访问时间刷新的读取链路 - 新建 memory/service/manage_service.go：记忆管理面能力（列出 / 软删除 / 开关读写），删除同步写审计日志 - 新建 memory/service/common.go：服务层公共工具 - 新建 memory/worker/loop.go：后台轮询循环 RunPollingLoop，定时抢占 pending 任务并推进 - 新建 memory/utils/audit.go / settings.go：审计日志构造、用户设置过滤等纯函数 - 更新 memory/model/item.go / job.go / settings.go / config.go / status.go：补齐 DTO 字段与状态常量 - 更新 memory/repo/item_repo.go / job_repo.go / audit_repo.go / settings_repo.go：补齐 CRUD 与查询能力 - 更新 memory/worker/runner.go：Runner 对接 Module 与 LLM 抽取器，任务状态机完整化 - 更新 memory/README.md：同步模块现状说明 4. newAgent 接入 Memory 读取注入与工具注册依赖预埋 - 新建 service/agentsvc/agent_memory.go：定义 MemoryReader 接口 + injectMemoryContext，在 graph 执行前统一补充记忆上下文 - 更新 service/agentsvc/agent.go：新增 memoryReader 字段与 SetMemoryReader 方法 - 更新 service/agentsvc/agent_newagent.go：调用 injectMemoryContext 注入 pinned block，检索失败仅降级不阻断主链路 - 更新 newAgent/tools/registry.go：新增 DefaultRegistryDeps（含 RAGRuntime），工具注册表支持依赖注入 5. 启动流程与事件处理器接线更新 - 更新 cmd/start.go：初始化 RAG Runtime → Memory Module → 注册事件处理器 → 启动 Worker 后台轮询 - 更新 service/events/memory_extract_requested.go：改用 memory.Module.WithTx(tx) 统一门面，事件处理器不再直接依赖 repo/service 内部包 6. 缓存插件与配置同步 - 更新 middleware/cache_deleter.go：静默忽略 MemoryJob / MemoryItem / MemoryAuditLog / MemoryUserSetting 等新模型，避免日志刷屏；清理冗余注释 - 更新 config.example.yaml：补齐 rag / memory / websearch 配置段及默认值 - 更新 go.mod / go.sum：新增 eino-ext/openai / json-patch / go-openai 依赖前端：无仓库：无
2026-04-10 23:17:38 +08:00
parent fae162162a
commit bf1f1defa5
53 changed files with 5875 additions and 231 deletions
--- a/backend/memory/repo/audit_repo.go
+++ b/backend/memory/repo/audit_repo.go
@@ -17,6 +17,10 @@ func NewAuditRepo(db *gorm.DB) *AuditRepo {
 	return &AuditRepo{db: db}
 }

+func (r *AuditRepo) WithTx(tx *gorm.DB) *AuditRepo {
+	return &AuditRepo{db: tx}
+}
+
 func (r *AuditRepo) Create(ctx context.Context, log model.MemoryAuditLog) error {
 	if r == nil || r.db == nil {
 		return errors.New("memory audit repo is nil")
--- a/backend/memory/repo/item_repo.go
+++ b/backend/memory/repo/item_repo.go
@@ -3,12 +3,20 @@ package repo
 import (
 	"context"
 	"errors"
+	"strings"
+	"time"

+	memorymodel "github.com/LoveLosita/smartflow/backend/memory/model"
 	"github.com/LoveLosita/smartflow/backend/model"
 	"gorm.io/gorm"
 )

-// ItemRepo 封装 memory_items 的数据访问（Day1 先占位）。
+// ItemRepo 封装 memory_items 的数据访问。
+//
+// 职责边界：
+// 1. 只负责表级读写，不承载注入、重排、审计决策；
+// 2. 查询条件统一由 ItemQuery 表达，避免 service 层拼装 SQL；
+// 3. 软删除、访问时间刷新等状态变更也收敛到这里。
 type ItemRepo struct {
 	db *gorm.DB
 }
@@ -17,11 +25,11 @@ func NewItemRepo(db *gorm.DB) *ItemRepo {
 	return &ItemRepo{db: db}
 }

-// UpsertItems 预留给 Day2/Day3 的写入链路。
-//
-// Day1 约束：
-// 1. 先完成任务入队与状态机闭环；
-// 2. 不在本阶段引入复杂冲突消解与向量写入。
+func (r *ItemRepo) WithTx(tx *gorm.DB) *ItemRepo {
+	return &ItemRepo{db: tx}
+}
+
+// UpsertItems 批量写入记忆条目。
 func (r *ItemRepo) UpsertItems(ctx context.Context, items []model.MemoryItem) error {
 	if r == nil || r.db == nil {
 		return errors.New("memory item repo is nil")
@@ -29,5 +37,186 @@ func (r *ItemRepo) UpsertItems(ctx context.Context, items []model.MemoryItem) er
 	if len(items) == 0 {
 		return nil
 	}
-	return r.db.WithContext(ctx).Create(&items).Error
+
+	for i := range items {
+		if err := r.db.WithContext(ctx).Create(&items[i]).Error; err != nil {
+			return err
+		}
+	}
+	return nil
+}
+
+// FindByQuery 按统一过滤条件读取记忆条目。
+//
+// 步骤化说明：
+// 1. 先强制 user_id 过滤，避免跨用户串记忆；
+// 2. 再按会话/助手/run 维度补充过滤，IncludeGlobal=true 时允许读取对应全局条目；
+// 3. 最后补状态、类型、过期时间和 limit，返回稳定排序结果。
+func (r *ItemRepo) FindByQuery(ctx context.Context, query memorymodel.ItemQuery) ([]model.MemoryItem, error) {
+	if r == nil || r.db == nil {
+		return nil, errors.New("memory item repo is nil")
+	}
+	if query.UserID <= 0 {
+		return nil, errors.New("memory item query user_id is invalid")
+	}
+
+	db := r.db.WithContext(ctx).Model(&model.MemoryItem{}).Where("user_id = ?", query.UserID)
+	db = applyScopedEquality(db, "conversation_id", query.ConversationID, query.IncludeGlobal)
+	db = applyScopedEquality(db, "assistant_id", query.AssistantID, query.IncludeGlobal)
+	db = applyScopedEquality(db, "run_id", query.RunID, query.IncludeGlobal)
+
+	if len(query.Statuses) > 0 {
+		db = db.Where("status IN ?", query.Statuses)
+	}
+	if len(query.MemoryTypes) > 0 {
+		db = db.Where("memory_type IN ?", query.MemoryTypes)
+	}
+	if query.OnlyUnexpired {
+		now := query.Now
+		if now.IsZero() {
+			now = time.Now()
+		}
+		db = db.Where("(ttl_at IS NULL OR ttl_at > ?)", now)
+	}
+	if query.Limit > 0 {
+		db = db.Limit(query.Limit)
+	}
+
+	var items []model.MemoryItem
+	err := db.
+		Order("is_explicit DESC").
+		Order("importance DESC").
+		Order("updated_at DESC").
+		Find(&items).Error
+	return items, err
+}
+
+// GetByIDForUser 读取某个用户的一条记忆条目。
+func (r *ItemRepo) GetByIDForUser(ctx context.Context, userID int, memoryID int64) (*model.MemoryItem, error) {
+	if r == nil || r.db == nil {
+		return nil, errors.New("memory item repo is nil")
+	}
+	if userID <= 0 || memoryID <= 0 {
+		return nil, errors.New("memory item query params is invalid")
+	}
+
+	var item model.MemoryItem
+	err := r.db.WithContext(ctx).
+		Where("id = ? AND user_id = ?", memoryID, userID).
+		First(&item).Error
+	if err != nil {
+		return nil, err
+	}
+	return &item, nil
+}
+
+// UpdateStatusByID 更新某条记忆的状态。
+func (r *ItemRepo) UpdateStatusByID(ctx context.Context, userID int, memoryID int64, status string) error {
+	return r.UpdateStatusByIDAt(ctx, userID, memoryID, status, time.Now())
+}
+
+// UpdateStatusByIDAt 更新某条记忆的状态，并允许上层显式指定更新时间。
+//
+// 这样做的原因：
+// 1. 管理侧删除时，需要让“库内更新时间”和“审计 after 快照时间”保持一致；
+// 2. 读取侧若只是刷新 last_access_at，不应该误改 updated_at；
+// 3. 因此把“更新时间来源”收口到 repo，避免 service 层自己拼 SQL。
+func (r *ItemRepo) UpdateStatusByIDAt(
+	ctx context.Context,
+	userID int,
+	memoryID int64,
+	status string,
+	updatedAt time.Time,
+) error {
+	if r == nil || r.db == nil {
+		return errors.New("memory item repo is nil")
+	}
+	if userID <= 0 || memoryID <= 0 {
+		return errors.New("memory item update params is invalid")
+	}
+
+	status = strings.TrimSpace(status)
+	if status == "" {
+		return errors.New("memory item status is empty")
+	}
+	if updatedAt.IsZero() {
+		updatedAt = time.Now()
+	}
+
+	return r.db.WithContext(ctx).
+		Model(&model.MemoryItem{}).
+		Where("id = ? AND user_id = ?", memoryID, userID).
+		Updates(map[string]any{
+			"status":     status,
+			"updated_at": updatedAt,
+		}).Error
+}
+
+// TouchLastAccessAt 批量刷新记忆访问时间。
+//
+// 说明：
+// 1. 这里只更新 last_access_at，不更新 updated_at；
+// 2. 因为 updated_at 代表“内容被修改”的时间，不能被一次普通读取污染；
+// 3. 否则后续读取重排会把“最近被读过的旧记忆”误判成“最近被更新的记忆”。
+func (r *ItemRepo) TouchLastAccessAt(ctx context.Context, ids []int64, accessedAt time.Time) error {
+	if r == nil || r.db == nil {
+		return errors.New("memory item repo is nil")
+	}
+	if len(ids) == 0 {
+		return nil
+	}
+	if accessedAt.IsZero() {
+		accessedAt = time.Now()
+	}
+
+	return r.db.WithContext(ctx).
+		Model(&model.MemoryItem{}).
+		Where("id IN ?", ids).
+		Updates(map[string]any{
+			"last_access_at": accessedAt,
+		}).Error
+}
+
+// UpdateVectorStateByID 更新单条记忆的向量同步桥接状态。
+//
+// 说明：
+// 1. 这里只更新 vector_status/vector_id，不更新 updated_at；
+// 2. 因为向量同步属于索引层状态，不代表记忆内容本身被修改；
+// 3. 若误改 updated_at，会污染读取侧的时间排序语义。
+func (r *ItemRepo) UpdateVectorStateByID(
+	ctx context.Context,
+	memoryID int64,
+	vectorStatus string,
+	vectorID *string,
+) error {
+	if r == nil || r.db == nil {
+		return errors.New("memory item repo is nil")
+	}
+	if memoryID <= 0 {
+		return errors.New("memory item vector update id is invalid")
+	}
+
+	vectorStatus = strings.TrimSpace(vectorStatus)
+	if vectorStatus == "" {
+		return errors.New("memory item vector status is empty")
+	}
+
+	return r.db.WithContext(ctx).
+		Model(&model.MemoryItem{}).
+		Where("id = ?", memoryID).
+		UpdateColumns(map[string]any{
+			"vector_status": vectorStatus,
+			"vector_id":     vectorID,
+		}).Error
+}
+
+func applyScopedEquality(db *gorm.DB, column, value string, includeGlobal bool) *gorm.DB {
+	value = strings.TrimSpace(value)
+	if value == "" {
+		return db
+	}
+	if includeGlobal {
+		return db.Where("("+column+" = ? OR "+column+" IS NULL)", value)
+	}
+	return db.Where(column+" = ?", value)
 }
--- a/backend/memory/repo/job_repo.go
+++ b/backend/memory/repo/job_repo.go
@@ -87,18 +87,19 @@ func (r *JobRepo) ClaimNextRunnableExtractJob(ctx context.Context, now time.Time
 	var claimed *model.MemoryJob
 	err := r.db.WithContext(ctx).Transaction(func(tx *gorm.DB) error {
 		var job model.MemoryJob
-		queryErr := tx.
+		query := tx.
 			Clauses(clause.Locking{Strength: "UPDATE"}).
 			Where("job_type = ?", model.MemoryJobTypeExtract).
 			Where("status IN ?", []string{model.MemoryJobStatusPending, model.MemoryJobStatusFailed}).
 			Where("(next_retry_at IS NULL OR next_retry_at <= ?)", now).
 			Order("id ASC").
-			First(&job).Error
-		if queryErr != nil {
-			if errors.Is(queryErr, gorm.ErrRecordNotFound) {
-				return nil
-			}
-			return queryErr
+			Limit(1).
+			Find(&job)
+		if query.Error != nil {
+			return query.Error
+		}
+		if query.RowsAffected == 0 {
+			return nil
 		}

 		updates := map[string]any{
--- a/backend/memory/repo/settings_repo.go
+++ b/backend/memory/repo/settings_repo.go
@@ -18,6 +18,36 @@ func NewSettingsRepo(db *gorm.DB) *SettingsRepo {
 	return &SettingsRepo{db: db}
 }

+func (r *SettingsRepo) WithTx(tx *gorm.DB) *SettingsRepo {
+	return &SettingsRepo{db: tx}
+}
+
+// GetByUserID 读取用户记忆设置。
+//
+// 返回语义：
+// 1. 命中时返回真实记录；
+// 2. 未命中时返回 nil,nil，由上层决定是否走默认开关；
+// 3. 不在仓储层偷偷补默认值，避免写路径和读路径语义不一致。
+func (r *SettingsRepo) GetByUserID(ctx context.Context, userID int) (*model.MemoryUserSetting, error) {
+	if r == nil || r.db == nil {
+		return nil, errors.New("memory settings repo is nil")
+	}
+	if userID <= 0 {
+		return nil, errors.New("memory settings user_id is invalid")
+	}
+
+	var setting model.MemoryUserSetting
+	query := r.db.WithContext(ctx).Where("user_id = ?", userID).Limit(1).Find(&setting)
+	if query.Error != nil {
+		return nil, query.Error
+	}
+	if query.RowsAffected == 0 {
+		return nil, nil
+	}
+	return &setting, nil
+}
+
+// Upsert 写入用户记忆设置。
 func (r *SettingsRepo) Upsert(ctx context.Context, setting model.MemoryUserSetting) error {
 	if r == nil || r.db == nil {
 		return errors.New("memory settings repo is nil")