959049db42
feat: 🗄️ 新增自动建表功能 * 新增项目启动时自动建表能力，减少手动初始化数据库步骤 * 解决 `agent_chat` 与 `chat_history` 结构体互相持有对方结构体用于 `preload` 导致的循环依赖问题 * 修复因结构体互相依赖引发的建表失败问题，保证数据库初始化流程稳定 feat: 🐳 Docker Compose 引入 Kafka 分区自动初始化 * 更新 `docker-compose` 配置，引入 Kafka partition 自动初始化脚本 * 保证服务启动后 Topic 即具备可用 partition，实现开箱即用 * 修复转移环境后 MySQL 等容器数据无法持久化的问题，统一改为使用命名卷进行数据持久化 docs: 📚 补充 Outbox + Kafka 持久化链路注释 * 为 Outbox + Kafka 消息持久化链路补充详细代码注释 * 提升异步消息链路的可读性与维护性 * 当前代码 Review 进度约 50% undo: ⚠️ Kafka 初始化阶段出现消息短暂堆积 * 初次初始化项目时观察到消息在 Kafka 中短暂堆积现象 * 后续被消费者一次性消费且未再次复现 * 已在生产者启动、消费者启动以及消息消费流程中增加控制台日志输出，降低系统黑箱程度 * 后续若条件允许将进一步排查该现象的触发原因
64 lines
1.7 KiB
Go
64 lines
1.7 KiB
Go
package kafka
|
||
|
||
import (
|
||
"strings"
|
||
"time"
|
||
|
||
"github.com/spf13/viper"
|
||
)
|
||
|
||
const (
|
||
DefaultTopic = "smartflow.agent.outbox"
|
||
DefaultGroup = "smartflow-agent-outbox-consumer"
|
||
)
|
||
|
||
// Config 描述 outbox 异步链路所需的 Kafka 配置。
|
||
// 说明：这些参数同时影响“发送端（producer）”与“消费端（consumer）”。
|
||
type Config struct {
|
||
Enabled bool
|
||
Brokers []string
|
||
Topic string
|
||
GroupID string
|
||
// RetryScanInterval/RetryBatchSize/MaxRetry 作用于 outbox 扫描与失败重试。
|
||
RetryScanInterval time.Duration
|
||
RetryBatchSize int
|
||
MaxRetry int
|
||
}
|
||
|
||
// LoadConfig 从配置中心读取 Kafka 配置，并做兜底默认值。
|
||
// 兼容性：优先读取 kafka.brokers（数组），为空时降级读取 kafka.broker（单值）。
|
||
func LoadConfig() Config {
|
||
brokers := viper.GetStringSlice("kafka.brokers")
|
||
if len(brokers) == 0 {
|
||
single := strings.TrimSpace(viper.GetString("kafka.broker"))
|
||
if single != "" {
|
||
brokers = []string{single}
|
||
}
|
||
}
|
||
cfg := Config{
|
||
Enabled: viper.GetBool("kafka.enabled"),
|
||
Brokers: brokers,
|
||
Topic: strings.TrimSpace(viper.GetString("kafka.topic")),
|
||
GroupID: strings.TrimSpace(viper.GetString("kafka.groupID")),
|
||
RetryScanInterval: viper.GetDuration("kafka.retryScanInterval"),
|
||
RetryBatchSize: viper.GetInt("kafka.retryBatchSize"),
|
||
MaxRetry: viper.GetInt("kafka.maxRetry"),
|
||
}
|
||
if cfg.Topic == "" {
|
||
cfg.Topic = DefaultTopic
|
||
}
|
||
if cfg.GroupID == "" {
|
||
cfg.GroupID = DefaultGroup
|
||
}
|
||
if cfg.RetryScanInterval <= 0 {
|
||
cfg.RetryScanInterval = time.Second
|
||
}
|
||
if cfg.RetryBatchSize <= 0 {
|
||
cfg.RetryBatchSize = 100
|
||
}
|
||
if cfg.MaxRetry <= 0 {
|
||
cfg.MaxRetry = 20
|
||
}
|
||
return cfg
|
||
}
|