96 lines
4.5 KiB
Python
96 lines
4.5 KiB
Python
from typing import Optional, Dict, List
|
||
from openai import OpenAI
|
||
from .message import Message
|
||
from .config import global_config, llm_config
|
||
import jieba
|
||
|
||
class TopicIdentifier:
|
||
def __init__(self):
|
||
self.client = OpenAI(
|
||
api_key=llm_config.SILICONFLOW_API_KEY,
|
||
base_url=llm_config.SILICONFLOW_BASE_URL
|
||
)
|
||
|
||
def identify_topic_llm(self, text: str) -> Optional[str]:
|
||
"""识别消息主题"""
|
||
|
||
prompt = f"""判断这条消息的主题，如果没有明显主题请回复"无主题"，要求：
|
||
1. 主题通常2-4个字，必须简短，要求精准概括，不要太具体。
|
||
2. 建议给出多个主题，之间用英文逗号分割。只输出主题本身就好，不要有前后缀。
|
||
|
||
消息内容：{text}"""
|
||
|
||
response = self.client.chat.completions.create(
|
||
model="Pro/deepseek-ai/DeepSeek-V3",
|
||
messages=[{"role": "user", "content": prompt}],
|
||
temperature=0.8,
|
||
max_tokens=10
|
||
)
|
||
|
||
if not response or not response.choices:
|
||
print(f"\033[1;31m[错误]\033[0m OpenAI API 返回为空")
|
||
return None
|
||
|
||
# 从 OpenAI API 响应中获取第一个选项的消息内容,并去除首尾空白字符
|
||
topic = response.choices[0].message.content.strip() if response.choices[0].message.content else None
|
||
|
||
if topic == "无主题":
|
||
return None
|
||
else:
|
||
# print(f"[主题分析结果]{text[:20]}... : {topic}")
|
||
split_topic = self.parse_topic(topic)
|
||
return split_topic
|
||
|
||
|
||
def parse_topic(self, topic: str) -> List[str]:
|
||
"""解析主题，返回主题列表"""
|
||
if not topic or topic == "无主题":
|
||
return []
|
||
return [t.strip() for t in topic.split(",") if t.strip()]
|
||
|
||
def identify_topic_jieba(self, text: str) -> Optional[str]:
|
||
"""使用jieba识别主题"""
|
||
words = jieba.lcut(text)
|
||
# 去除停用词和标点符号
|
||
stop_words = {
|
||
'的', '了', '和', '是', '就', '都', '而', '及', '与', '这', '那', '但', '然', '却',
|
||
'因为', '所以', '如果', '虽然', '一个', '我', '你', '他', '她', '它', '我们', '你们',
|
||
'他们', '在', '有', '个', '把', '被', '让', '给', '从', '向', '到', '又', '也', '很',
|
||
'啊', '吧', '呢', '吗', '呀', '哦', '哈', '么', '嘛', '啦', '哎', '唉', '哇', '嗯',
|
||
'哼', '哪', '什么', '怎么', '为什么', '怎样', '如何', '什么样', '这样', '那样', '这么',
|
||
'那么', '多少', '几', '谁', '哪里', '哪儿', '什么时候', '何时', '为何', '怎么办',
|
||
'怎么样', '这些', '那些', '一些', '一点', '一下', '一直', '一定', '一般', '一样',
|
||
'一会儿', '一边', '一起',
|
||
# 添加更多量词
|
||
'个', '只', '条', '张', '片', '块', '本', '册', '页', '幅', '面', '篇', '份',
|
||
'朵', '颗', '粒', '座', '幢', '栋', '间', '层', '家', '户', '位', '名', '群',
|
||
'双', '对', '打', '副', '套', '批', '组', '串', '包', '箱', '袋', '瓶', '罐',
|
||
# 添加更多介词
|
||
'按', '按照', '把', '被', '比', '比如', '除', '除了', '当', '对', '对于',
|
||
'根据', '关于', '跟', '和', '将', '经', '经过', '靠', '连', '论', '通过',
|
||
'同', '往', '为', '为了', '围绕', '于', '由', '由于', '与', '在', '沿', '沿着',
|
||
'依', '依照', '以', '因', '因为', '用', '由', '与', '自', '自从'
|
||
}
|
||
|
||
# 过滤掉停用词和标点符号,只保留名词和动词
|
||
filtered_words = []
|
||
for word in words:
|
||
if word not in stop_words and not word.strip() in {
|
||
'。', '，', '、', '：', '；', '！', '？', '"', '"', ''', ''',
|
||
'（', '）', '【', '】', '《', '》', '…', '—', '·', '、', '~',
|
||
'～', '+', '=', '-'
|
||
}:
|
||
filtered_words.append(word)
|
||
|
||
# 统计词频
|
||
word_freq = {}
|
||
for word in filtered_words:
|
||
word_freq[word] = word_freq.get(word, 0) + 1
|
||
|
||
# 按词频排序，取前3个
|
||
sorted_words = sorted(word_freq.items(), key=lambda x: x[1], reverse=True)
|
||
top_words = [word for word, freq in sorted_words[:3]]
|
||
|
||
return top_words if top_words else None
|
||
|
||
topic_identifier = TopicIdentifier() |