Files
smartmate/backend/inits/mysql.go
Losita abe3b4960e Version: 0.9.68.dev.260504
后端:
1. 阶段 3 notification 服务边界落地,新增 `cmd/notification`、`services/notification`、`gateway/notification`、`shared/contracts/notification` 和 notification port,按 userauth 同款最小手搓 zrpc 样板收口
2. notification outbox consumer、relay 和 retry loop 迁入独立服务入口,处理 `notification.feishu.requested`,gateway 改为通过 zrpc client 调用 notification
3. 清退旧单体 notification DAO/model/service/provider/runner 和 `service/events/notification_feishu.go`,旧实现不再作为活跃编译路径
4. 修复 outbox 路由归属、dispatch 启动扫描、Kafka topic 探测/投递超时、sending 租约恢复、毒消息 MarkDead 错误回传和 RPC timeout 边界
5. 同步调整 active-scheduler 触发通知事件、核心 outbox handler、MySQL 迁移边界和 notification 配置

文档:
1. 更新微服务迁移计划,将阶段 3 notification 标记为已完成,并明确下一阶段从 active-scheduler 开始
2026-05-04 18:40:39 +08:00

161 lines
5.6 KiB
Go
Raw Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
package inits
import (
"fmt"
"log"
outboxinfra "github.com/LoveLosita/smartflow/backend/infra/outbox"
"github.com/LoveLosita/smartflow/backend/model"
"github.com/spf13/viper"
"gorm.io/driver/mysql"
"gorm.io/gorm"
)
// autoMigrateCoreModels 只迁移仍留在当前单体进程内的业务表。
//
// 职责边界:
// 1. 负责 agent / task / schedule / memory 等尚未独立拆出的表;
// 2. 不负责 users、notification_records、JWT、黑名单、token 额度等已拆服务表;
// 3. user/auth 与 notification 表由各自独立进程在自己的 DAO 初始化阶段迁移,避免 all 启动时跨服务碰核心表。
func autoMigrateCoreModels(db *gorm.DB) error {
models := []any{
&model.AgentChat{},
&model.ChatHistory{},
&model.AgentTimelineEvent{},
&model.Task{},
&model.TaskClass{},
&model.TaskClassItem{},
&model.ScheduleEvent{},
&model.Schedule{},
&model.ActiveScheduleJob{},
&model.ActiveScheduleTrigger{},
&model.ActiveSchedulePreview{},
&model.AgentScheduleState{},
&model.ActiveScheduleSession{},
&model.AgentStateSnapshotRecord{},
&model.MemoryItem{},
&model.MemoryJob{},
&model.MemoryAuditLog{},
&model.MemoryUserSetting{},
}
for _, m := range models {
if err := db.AutoMigrate(m); err != nil {
return fmt.Errorf("auto migrate failed for %T: %w", m, err)
}
}
if err := autoMigrateOutboxTables(db); err != nil {
return err
}
if err := backfillAutoMigrateData(db); err != nil {
return err
}
return nil
}
// autoMigrateOutboxTables 按服务目录一次性创建各服务的 outbox 物理表。
//
// 职责边界:
// 1. 只创建 outbox 目录,不改写业务表;
// 2. 每张表都复用同一套模型结构,保证字段和索引一致;
// 3. 这里显式列出服务目录,避免把共享单表误当成终态。
func autoMigrateOutboxTables(db *gorm.DB) error {
// 1. 这里必须按服务目录读取最终生效的 table 名,而不能只看默认内置映射。
// 2. 这样即使后续通过配置覆盖 outbox.services.*.table启动建表也会和运行时写入保持一致。
for _, serviceName := range outboxinfra.ServiceNames() {
cfg, ok := outboxinfra.ResolveServiceConfig(serviceName)
if !ok {
return fmt.Errorf("resolve outbox config failed for service %s", serviceName)
}
if err := db.Table(cfg.TableName).AutoMigrate(&model.AgentOutboxMessage{}); err != nil {
return fmt.Errorf("auto migrate outbox table failed for %s (%s): %w", cfg.Name, cfg.TableName, err)
}
}
return nil
}
// backfillAutoMigrateData 补齐 AutoMigrate 无法表达的条件回填。
//
// 职责边界:
// 1. 只处理新增列上线后的兼容数据修复,不替代业务迁移系统;
// 2. 当前仅回填历史动态任务日程来源,确保旧的 type=task 记录按 task_item 解释;
// 3. 失败时直接返回错误,避免服务在 schema 半迁移状态下继续启动。
func backfillAutoMigrateData(db *gorm.DB) error {
// 1. AutoMigrate 只能新增列和默认值,不能表达"仅 type=task 时回填"。
// 2. 这里把历史任务日程显式标记为 task_item避免后续主动调度读取 rel_id 时误判来源。
// 3. 新增 task_pool 正式落库仍必须由 apply 链路显式写 task_source_type=task_pool。
result := db.Exec(
"UPDATE schedule_events SET task_source_type = ? WHERE type = ? AND (task_source_type IS NULL OR task_source_type = '')",
"task_item",
"task",
)
if result.Error != nil {
return fmt.Errorf("backfill schedule_events.task_source_type failed: %w", result.Error)
}
return nil
}
// OpenDBFromConfig 只按配置创建 MySQL 连接,不执行任何自动迁移。
//
// 职责边界:
// 1. 负责把 viper 中的 database 配置转换成 *gorm.DB
// 2. 不负责选择要迁移哪些模型,迁移入口必须由具体服务显式调用;
// 3. 调用方负责决定这是单体残留域、user/auth 还是后续新服务的连接。
func OpenDBFromConfig() (*gorm.DB, error) {
host := viper.GetString("database.host")
port := viper.GetString("database.port")
user := viper.GetString("database.user")
password := viper.GetString("database.password")
dbname := viper.GetString("database.dbname")
dsn := fmt.Sprintf(
"%s:%s@tcp(%s:%s)/%s?charset=utf8mb4&parseTime=True&loc=Local",
user, password, host, port, dbname,
)
db, err := gorm.Open(mysql.Open(dsn), &gorm.Config{})
if err != nil {
return nil, err
}
return db, nil
}
// AutoMigrateCoreStorage 执行当前单体残留域拥有的 schema 初始化。
//
// 职责边界:
// 1. 只迁移当前 all/api/worker 仍直接拥有的表和这些域的 outbox 表;
// 2. 不迁移 userauth.User避免 gateway/all 在阶段 2 之后继续直接管理用户核心表;
// 3. 回填逻辑仍保留在当前域内,因为 schedule_events 仍属于单体残留域。
func AutoMigrateCoreStorage(db *gorm.DB) error {
if err := autoMigrateCoreModels(db); err != nil {
return err
}
return nil
}
// ConnectCoreDB 创建当前单体残留域的 MySQL 连接,并执行该域自己的迁移。
//
// 迁移期约束:
// 1. all/api/worker 仍需要这条入口来承载尚未拆出的业务域;
// 2. 已拆出的 user/auth 不再通过这里迁移;
// 3. 后续每拆出一个服务,就从 autoMigrateCoreModels 中移走对应模型。
func ConnectCoreDB() (*gorm.DB, error) {
db, err := OpenDBFromConfig()
if err != nil {
return nil, err
}
if err = AutoMigrateCoreStorage(db); err != nil {
return nil, err
}
log.Println("Database connected successfully")
log.Println("Database auto migration completed")
return db, nil
}
// ConnectDB 保留历史兼容入口,新的装配代码应优先调用 ConnectCoreDB。
func ConnectDB() (*gorm.DB, error) {
return ConnectCoreDB()
}