Version: 0.9.77.dev.260505
后端:
1.阶段 6 CP4/CP5 目录收口与共享边界纯化
- 将 backend 根目录收口为 services、client、gateway、cmd、shared 五个一级目录
- 收拢 bootstrap、inits、infra/kafka、infra/outbox、conv、respond、pkg、middleware,移除根目录旧实现与空目录
- 将 utils 下沉到 services/userauth/internal/auth,将 logic 下沉到 services/schedule/core/planning
- 将迁移期 runtime 桥接实现统一收拢到 services/runtime/{conv,dao,eventsvc,model},删除 shared/legacy 与未再被 import 的旧 service 实现
- 将 gateway/shared/respond 收口为 HTTP/Gin 错误写回适配,shared/respond 仅保留共享错误语义与状态映射
- 将 HTTP IdempotencyMiddleware 与 RateLimitMiddleware 收口到 gateway/middleware
- 将 GormCachePlugin 下沉到 shared/infra/gormcache,将共享 RateLimiter 下沉到 shared/infra/ratelimit,将 agent token budget 下沉到 services/agent/shared
- 删除 InitEino 兼容壳,收缩 cmd/internal/coreinit 仅保留旧组合壳残留域初始化语义
- 更新微服务迁移计划与桌面 checklist,补齐 CP4/CP5 当前切流点、目录终态与验证结果
- 完成 go test ./...、git diff --check 与最终真实 smoke;health、register/login、task/create+get、schedule/today、task-class/list、memory/items、agent chat/meta/timeline/context-stats 全部 200,SSE 合并结果为 CP5_OK 且 [DONE] 只有 1 个
This commit is contained in:
144
backend/cmd/internal/coreinit/mysql.go
Normal file
144
backend/cmd/internal/coreinit/mysql.go
Normal file
@@ -0,0 +1,144 @@
|
||||
package coreinit
|
||||
|
||||
import (
|
||||
"fmt"
|
||||
"log"
|
||||
|
||||
"github.com/LoveLosita/smartflow/backend/services/runtime/model"
|
||||
mysqlinfra "github.com/LoveLosita/smartflow/backend/shared/infra/mysql"
|
||||
outboxinfra "github.com/LoveLosita/smartflow/backend/shared/infra/outbox"
|
||||
"gorm.io/gorm"
|
||||
)
|
||||
|
||||
// autoMigrateCoreModels 只迁移仍留在当前单体进程内的业务表。
|
||||
//
|
||||
// 职责边界:
|
||||
// 1. 负责 agent / task / schedule / memory 等尚未独立拆出的表;
|
||||
// 2. 不负责 users、notification_records、JWT、黑名单、token 额度等已拆服务表;
|
||||
// 3. user/auth 与 notification 表由各自独立进程在自己的 DAO 初始化阶段迁移,避免 all 启动时跨服务碰核心表。
|
||||
func autoMigrateCoreModels(db *gorm.DB) error {
|
||||
models := []any{
|
||||
&model.AgentChat{},
|
||||
&model.ChatHistory{},
|
||||
&model.AgentTimelineEvent{},
|
||||
&model.Task{},
|
||||
&model.TaskClass{},
|
||||
&model.TaskClassItem{},
|
||||
&model.ScheduleEvent{},
|
||||
&model.Schedule{},
|
||||
&model.ActiveScheduleJob{},
|
||||
&model.ActiveScheduleTrigger{},
|
||||
&model.ActiveSchedulePreview{},
|
||||
&model.AgentScheduleState{},
|
||||
&model.ActiveScheduleSession{},
|
||||
&model.AgentStateSnapshotRecord{},
|
||||
&model.MemoryItem{},
|
||||
&model.MemoryJob{},
|
||||
&model.MemoryAuditLog{},
|
||||
&model.MemoryUserSetting{},
|
||||
}
|
||||
|
||||
for _, m := range models {
|
||||
if err := db.AutoMigrate(m); err != nil {
|
||||
return fmt.Errorf("auto migrate failed for %T: %w", m, err)
|
||||
}
|
||||
}
|
||||
if err := autoMigrateOutboxTables(db); err != nil {
|
||||
return err
|
||||
}
|
||||
if err := backfillAutoMigrateData(db); err != nil {
|
||||
return err
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// autoMigrateOutboxTables 按服务目录一次性创建各服务的 outbox 物理表。
|
||||
//
|
||||
// 职责边界:
|
||||
// 1. 只创建 outbox 目录,不改写业务表;
|
||||
// 2. 每张表都复用同一套模型结构,保证字段和索引一致;
|
||||
// 3. 这里显式列出服务目录,避免把共享单表误当成终态。
|
||||
func autoMigrateOutboxTables(db *gorm.DB) error {
|
||||
// 1. 这里必须按服务目录读取最终生效的 table 名,而不能只看默认内置映射。
|
||||
// 2. 这样即使后续通过配置覆盖 outbox.services.*.table,启动建表也会和运行时写入保持一致。
|
||||
for _, serviceName := range outboxinfra.ServiceNames() {
|
||||
cfg, ok := outboxinfra.ResolveServiceConfig(serviceName)
|
||||
if !ok {
|
||||
return fmt.Errorf("resolve outbox config failed for service %s", serviceName)
|
||||
}
|
||||
if err := db.Table(cfg.TableName).AutoMigrate(&model.AgentOutboxMessage{}); err != nil {
|
||||
return fmt.Errorf("auto migrate outbox table failed for %s (%s): %w", cfg.Name, cfg.TableName, err)
|
||||
}
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// backfillAutoMigrateData 补齐 AutoMigrate 无法表达的条件回填。
|
||||
//
|
||||
// 职责边界:
|
||||
// 1. 只处理新增列上线后的兼容数据修复,不替代业务迁移系统;
|
||||
// 2. 当前仅回填历史动态任务日程来源,确保旧的 type=task 记录按 task_item 解释;
|
||||
// 3. 失败时直接返回错误,避免服务在 schema 半迁移状态下继续启动。
|
||||
func backfillAutoMigrateData(db *gorm.DB) error {
|
||||
// 1. AutoMigrate 只能新增列和默认值,不能表达"仅 type=task 时回填"。
|
||||
// 2. 这里把历史任务日程显式标记为 task_item,避免后续主动调度读取 rel_id 时误判来源。
|
||||
// 3. 新增 task_pool 正式落库仍必须由 apply 链路显式写 task_source_type=task_pool。
|
||||
result := db.Exec(
|
||||
"UPDATE schedule_events SET task_source_type = ? WHERE type = ? AND (task_source_type IS NULL OR task_source_type = '')",
|
||||
"task_item",
|
||||
"task",
|
||||
)
|
||||
if result.Error != nil {
|
||||
return fmt.Errorf("backfill schedule_events.task_source_type failed: %w", result.Error)
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// OpenDBFromConfig 只按配置创建 MySQL 连接,不执行任何自动迁移。
|
||||
//
|
||||
// 职责边界:
|
||||
// 1. 负责把 viper 中的 database 配置转换成 *gorm.DB;
|
||||
// 2. 不负责选择要迁移哪些模型,迁移入口必须由具体服务显式调用;
|
||||
// 3. 调用方负责决定这是单体残留域、user/auth 还是后续新服务的连接。
|
||||
func OpenDBFromConfig() (*gorm.DB, error) {
|
||||
return mysqlinfra.OpenDBFromConfig()
|
||||
}
|
||||
|
||||
// AutoMigrateCoreStorage 执行当前单体残留域拥有的 schema 初始化。
|
||||
//
|
||||
// 职责边界:
|
||||
// 1. 只迁移当前 all/api/worker 仍直接拥有的表和这些域的 outbox 表;
|
||||
// 2. 不迁移 userauth.User,避免 gateway/all 在阶段 2 之后继续直接管理用户核心表;
|
||||
// 3. 回填逻辑仍保留在当前域内,因为 schedule_events 仍属于单体残留域。
|
||||
func AutoMigrateCoreStorage(db *gorm.DB) error {
|
||||
if err := autoMigrateCoreModels(db); err != nil {
|
||||
return err
|
||||
}
|
||||
return nil
|
||||
}
|
||||
|
||||
// ConnectCoreDB 创建当前单体残留域的 MySQL 连接,并执行该域自己的迁移。
|
||||
//
|
||||
// 迁移期约束:
|
||||
// 1. all/api/worker 仍需要这条入口来承载尚未拆出的业务域;
|
||||
// 2. 已拆出的 user/auth 不再通过这里迁移;
|
||||
// 3. 后续每拆出一个服务,就从 autoMigrateCoreModels 中移走对应模型。
|
||||
func ConnectCoreDB() (*gorm.DB, error) {
|
||||
db, err := OpenDBFromConfig()
|
||||
if err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
if err = AutoMigrateCoreStorage(db); err != nil {
|
||||
return nil, err
|
||||
}
|
||||
|
||||
log.Println("Database connected successfully")
|
||||
log.Println("Database auto migration completed")
|
||||
return db, nil
|
||||
}
|
||||
|
||||
// ConnectDB 保留历史兼容入口,新的装配代码应优先调用 ConnectCoreDB。
|
||||
func ConnectDB() (*gorm.DB, error) {
|
||||
return ConnectCoreDB()
|
||||
}
|
||||
32
backend/cmd/internal/coreinit/redis.go
Normal file
32
backend/cmd/internal/coreinit/redis.go
Normal file
@@ -0,0 +1,32 @@
|
||||
package coreinit
|
||||
|
||||
import (
|
||||
"log"
|
||||
|
||||
redisinfra "github.com/LoveLosita/smartflow/backend/shared/infra/redis"
|
||||
"github.com/go-redis/redis/v8"
|
||||
)
|
||||
|
||||
// OpenRedisFromConfig 只创建 Redis client 并做连通性校验。
|
||||
//
|
||||
// 职责边界:
|
||||
// 1. 负责当前调用方声明需要 Redis 时的连接初始化;
|
||||
// 2. 不承载 user/auth 黑名单、token 额度等业务语义,那些语义已经收进 userauth 服务;
|
||||
// 3. 返回 error 给服务入口统一处理,避免基础设施包直接 log.Fatal 终止进程。
|
||||
func OpenRedisFromConfig() (*redis.Client, error) {
|
||||
return redisinfra.OpenRedisFromConfig()
|
||||
}
|
||||
|
||||
// InitCoreRedis 初始化当前单体残留域使用的 Redis 连接。
|
||||
func InitCoreRedis() (*redis.Client, error) {
|
||||
return OpenRedisFromConfig()
|
||||
}
|
||||
|
||||
// InitRedis 保留历史兼容入口,新的装配代码应优先使用 InitCoreRedis。
|
||||
func InitRedis() *redis.Client {
|
||||
rdb, err := InitCoreRedis()
|
||||
if err != nil {
|
||||
log.Fatalf("Redis 连接失败: %v", err)
|
||||
}
|
||||
return rdb
|
||||
}
|
||||
Reference in New Issue
Block a user