Commit Graph

66 Commits

Author SHA1 Message Date
SengokuCola
67c24f84cd feat:日志上线数量可更改 2025-12-31 00:07:55 +08:00
SengokuCola
a3c3fcf518 remove:无用模型 2025-12-24 18:53:15 +08:00
DawnARC
8939a02d86 fix:补全#1386号PR中关于embedding_store.py的相关基础函数
引入了一个 “dirty” 标志,用于跟踪嵌入存储(embedding store)是否需要重新构建 Faiss 索引;新增了 delete_items 方法,支持按 key 删除嵌入向量。
同时改进了 Faiss 索引的重建逻辑,在不必要时跳过重建操作;EmbeddingManager 也利用了这些增强功能,以优化索引管理流程。
另外还包含了一些 小规模重构,以及一个用于 文本哈希的静态方法。
2025-12-19 18:03:47 +08:00
墨梓柒
3231995ebd feat: 增强 WebUI 配置,支持防爬虫和安全 Cookie 设置 2025-12-19 00:44:22 +08:00
陈曦
f41c2113dc feat:为 LPMM 流水线脚本添加非交互模式
为 info_extraction.py、import_openie.py、delete_lpmm_items.py 以及新增的 lpmm_manager.py 引入统一的 --non-interactive 参数,使其能够在 CI 和自动化场景下实现完全脚本化、无交互运行。新增了一个功能完整的命令行管理脚本(lpmm_manager.py)以及一份详细的用户指南(lpmm_pipelines_guide.md)。同时,更新了 test_lpmm_retrieval.py,以支持通过 CLI 自定义测试用例,并改进了整个流水线中的错误处理和用户提示。最后,从文档和代码中移除了 ppr_relation_cap 参数。
2025-12-18 20:40:05 +08:00
陈曦
1383caf249 LPMM 知识库删除能力与自检脚本增强(附关键健壮性修复)
为 LPMM 新增安全可控的删除能力:
KGManager.delete_paragraphs 支持按段落/实体哈希删除图节点及关联边,可选清理孤立实体,并从图中重建元数据
统一删除脚本 scripts/delete_lpmm_items.py,支持按批次(OpenIE 文件)、哈希文件、原始文本段落、关键字搜索进行删除,内置 dry-run 和最大节点数保护
新增自检与回归脚本:
scripts/inspect_lpmm_batch.py / scripts/inspect_lpmm_global.py 用于批次级和全局状态检查
scripts/test_lpmm_retrieval.py 一键初始化 LPMM 并用固定问题测试检索效果。
健壮性与性能保护:
在 KGManager.kg_search 中对 ent_appear_cnt 缺失增加兜底,避免实体权重计算时的 KeyError。
增加同义实体数量限制与 PPR 节点/关系阈值,必要时自动退回纯向量检索
文档补充:
docs-src/lpmm_user_guide.md:面向零基础用户的导入 / 删除 / 自检脚本使用指南
docs-src/lpmm_parameters_guide.md:[lpmm_knowledge] 关键参数说明与简单调参建议
2025-11-27 13:20:12 +08:00
SengokuCola
256a5e3cef feat:优化log配置项 2025-11-20 14:48:10 +08:00
墨梓柒
44f427dc64 Ruff fix 2025-11-19 23:35:14 +08:00
SengokuCola
43754b5c18 feat:优化记忆查询表现 2025-11-18 19:38:45 +08:00
SengokuCola
f2819be5e9 feat:lpmm可选接入memory agent,将memory agent改为标准工具格式,修改llm_utils以兼容 2025-11-13 18:55:37 +08:00
墨梓柒
163dbb6b90 超级Ruff 2025-09-09 19:25:12 +08:00
UnCLAS-Prommer
b636683fe4 增加了event_handler修改内容的方法 2025-09-07 01:15:21 +08:00
UnCLAS-Prommer
418cb62434 lpmm初始化位置更改 2025-08-22 11:39:42 +08:00
UnCLAS-Prommer
f41a3076f6 消灭一下print 2025-08-21 23:21:04 +08:00
墨梓柒
fab4656185 优化异步处理,避免事件循环问题并增强错误日志记录 2025-08-19 17:05:07 +08:00
UnCLAS-Prommer
4cb57278b1 typing和防炸 2025-08-11 11:35:14 +08:00
墨梓柒
22a625ce46 fix:统一段落hash命名空间格式,确保与EmbeddingStore一致 2025-08-10 20:43:53 +08:00
UnCLAS-Prommer
1e5db5d7e1 正确使用lpmm构建prompt 2025-08-03 19:52:31 +08:00
UnCLAS-Prommer
44f53213af fix typing 2025-08-03 13:08:28 +08:00
墨梓柒
a5631fd23a 删除visualize_graph.py文件,移除不再使用的图形绘制逻辑 2025-08-03 11:33:26 +08:00
墨梓柒
2c93b2dac8 删除lpmmconfig.py和raw_processing.py文件,移除不再使用的配置和数据加载逻辑 2025-08-03 11:31:39 +08:00
墨梓柒
e6855bbe56 移除未使用的导入和配置加载逻辑,简化lpmmconfig.py文件 2025-08-03 11:30:34 +08:00
墨梓柒
42e00dd0aa 更新KGManager和知识库配置,统一使用global_config的lpmm_knowledge属性,移除未使用的MemoryActiveManager导入 2025-08-03 11:27:34 +08:00
墨梓柒
5725481097 重构KGManager类,移除对local_storage的依赖,简化KG目录路径获取逻辑 2025-08-03 11:19:20 +08:00
墨梓柒
0b298bf6c8 修复知识库查询时的空结果处理,增强动态TopK选择函数的输入检查 2025-08-03 11:03:27 +08:00
墨梓柒
423525ead5 优化多线程处理,调整嵌入获取和存储逻辑,增强模型一致性校验 2025-08-02 23:52:41 +08:00
UnCLAS-Prommer
52acfe5958 knowledge系统对应修改 2025-07-31 13:38:56 +08:00
UnCLAS-Prommer
32cb4dc726 some typing 2025-07-19 19:14:52 +08:00
UnCLAS-Prommer
ffa88b5462 events manager and some typing fix 2025-07-18 14:50:15 +08:00
墨梓柒
eb716f1e46 fix:修复实体和段落节点不存在时的处理逻辑 2025-07-16 21:02:01 +08:00
墨梓柒
2229f98993 fix:修复LPMM学习问题 2025-07-16 19:58:19 +08:00
墨梓柒
221ed0e5a5 fix function name error 2025-07-16 11:35:08 +08:00
墨梓柒
3a1f544014 soft reset commit c71f2b21c064564631b960ecbbca6f25cfcae08d(use repush) 2025-07-16 11:20:26 +08:00
墨梓柒
c71f2b21c0 feat: 添加同步获取embedding向量和生成响应的方法 2025-07-16 11:00:16 +08:00
SengokuCola
9927322bf9 fix:修复qa 2025-07-15 22:35:38 +08:00
UnCLASPrommer
2fab069dca Merge branch 'dev' of https://github.com/MaiM-with-u/MaiBot into dev 2025-07-15 18:02:43 +08:00
UnCLASPrommer
418d555b57 enhance logging message, fix default 2025-07-15 18:02:06 +08:00
墨梓柒
1966b4eaf8 fix: remove unused imports and comments 2025-07-15 17:13:15 +08:00
墨梓柒
9dc683c85a feat: 移除对LLMClient的依赖,直接初始化EmbeddingManager 2025-07-15 16:57:08 +08:00
墨梓柒
eac2c17049 feat: 移除LLMClient依赖,优化信息提取模块的导入逻辑 2025-07-15 16:55:24 +08:00
墨梓柒
f15e074cca feat: 重构信息提取模块,移除LLMClient依赖,改为使用LLMRequest,优化数据加载和处理逻辑 2025-07-15 16:54:25 +08:00
墨梓柒
2b76dc2e21 feat: 移除LLMClient依赖,改为使用get_embedding函数获取嵌入 2025-07-15 15:50:56 +08:00
墨梓柒
956232d493 feat: 优化KG目录路径获取逻辑,支持备用路径
fix: 修复local_storage设置默认值的逻辑
2025-07-15 15:45:50 +08:00
墨梓柒
b4e8d192e5 Merge branch 'dev' of https://github.com/MaiM-with-u/MaiBot into dev 2025-07-15 15:33:30 +08:00
github-actions[bot]
1bff478fcc 🤖 自动格式化代码 [skip ci] 2025-07-11 05:19:35 +00:00
墨梓柒
e339f0b228 feat: 移除不必要的命名空间导入,优化本地存储初始化 2025-07-08 00:18:19 +08:00
github-actions[bot]
871d3ee745 🤖 自动格式化代码 [skip ci] 2025-07-06 03:42:36 +00:00
CNMr.Sunshine
c0de1fcc3f Update knowledge_lib.py 2025-07-06 11:25:37 +08:00
墨梓柒
f5d25f3bc6 缩短非DEBUG情况下的LPMM日志长度 2025-06-16 20:47:59 +08:00
墨梓柒
407a19c021 feat: 删除加载时的嵌入模型一致性检验,仅保留插入数据时的校验 2025-06-16 20:43:07 +08:00