959049db42
feat: 🗄️ 新增自动建表功能 * 新增项目启动时自动建表能力，减少手动初始化数据库步骤 * 解决 `agent_chat` 与 `chat_history` 结构体互相持有对方结构体用于 `preload` 导致的循环依赖问题 * 修复因结构体互相依赖引发的建表失败问题，保证数据库初始化流程稳定 feat: 🐳 Docker Compose 引入 Kafka 分区自动初始化 * 更新 `docker-compose` 配置，引入 Kafka partition 自动初始化脚本 * 保证服务启动后 Topic 即具备可用 partition，实现开箱即用 * 修复转移环境后 MySQL 等容器数据无法持久化的问题，统一改为使用命名卷进行数据持久化 docs: 📚 补充 Outbox + Kafka 持久化链路注释 * 为 Outbox + Kafka 消息持久化链路补充详细代码注释 * 提升异步消息链路的可读性与维护性 * 当前代码 Review 进度约 50% undo: ⚠️ Kafka 初始化阶段出现消息短暂堆积 * 初次初始化项目时观察到消息在 Kafka 中短暂堆积现象 * 后续被消费者一次性消费且未再次复现 * 已在生产者启动、消费者启动以及消息消费流程中增加控制台日志输出，降低系统黑箱程度 * 后续若条件允许将进一步排查该现象的触发原因
51 lines
1.3 KiB
Go
51 lines
1.3 KiB
Go
package kafka
|
||
|
||
import (
|
||
"context"
|
||
"errors"
|
||
|
||
segmentkafka "github.com/segmentio/kafka-go"
|
||
)
|
||
|
||
// Producer 是 Kafka 写入端封装。
|
||
// 这里保持同步写（Async=false），方便把写入结果直接反馈给 outbox 状态机。
|
||
type Producer struct {
|
||
writer *segmentkafka.Writer
|
||
}
|
||
|
||
func NewProducer(cfg Config) (*Producer, error) {
|
||
if len(cfg.Brokers) == 0 {
|
||
return nil, errors.New("kafka brokers 未配置")
|
||
}
|
||
writer := &segmentkafka.Writer{
|
||
Addr: segmentkafka.TCP(cfg.Brokers...),
|
||
// Hash 分区器保证相同 key 落同一分区，利于同会话消息顺序。
|
||
Balancer: &segmentkafka.Hash{},
|
||
RequiredAcks: segmentkafka.RequireOne,
|
||
// 关闭异步，确保写失败时可立即触发 outbox 重试逻辑。
|
||
Async: false,
|
||
}
|
||
return &Producer{writer: writer}, nil
|
||
}
|
||
|
||
// Enqueue 将消息写入 Kafka。
|
||
// 成功仅代表“已被 Kafka 接收”，不代表业务已完成（业务完成由 consumer + 落库决定）。
|
||
func (p *Producer) Enqueue(ctx context.Context, topic, key string, value []byte) error {
|
||
if p == nil || p.writer == nil {
|
||
return errors.New("kafka producer 未初始化")
|
||
}
|
||
msg := segmentkafka.Message{
|
||
Topic: topic,
|
||
Key: []byte(key),
|
||
Value: value,
|
||
}
|
||
return p.writer.WriteMessages(ctx, msg)
|
||
}
|
||
|
||
func (p *Producer) Close() error {
|
||
if p == nil || p.writer == nil {
|
||
return nil
|
||
}
|
||
return p.writer.Close()
|
||
}
|