一、概念
1.1 主题模型
主题模型(Topic Model)是自然语言处理中的一种常用模型,是一种无监督学习方法,它用于从大量文档中自动提取主题信息。
主题模型的核心思想是,每篇文档都可以看作是多个主题的混合,而每个主题则由一组词构成。
- 主题模型能够帮助我们理解文档集中的主题结构,有助于文档分类、聚类和信息检索。
- 主题模型能够将高维的文本数据降维到低维的主题空间,便于后续的分析和处理。
1.2 BERTopic
BERTopic是基于BERT词向量进行主题建模技术,它利用 Transformer 和 c-TF-IDF 来创建密集的集群(分类),允许轻松解释主题,同时在主题描述中保留重要词。
从个人实践效果来看,要优于LDA、BTM等主题模型
BERTopic 可以看作是创建其主题表示的一系列步骤。此过程有五个步骤:
- Embeddings:词嵌入,选择预训练模型
- Dimensionality Reduction:降维,默认选择UMAP
- Clustering:聚类,默认选择HDBSCAN
- Vectorizers:将文本中的词语词频矩阵
- c-TF-IDF:获得主题的准确表示
- Fine-tune Topics:模型微调(可选)
里面涉及到的模型原理后续会分别整理
二、建模流程
使用BERTopic,有两种方式,一种是全部使用默认参数,直接调包运行;另外一种是自己根据实际数据集进行超参数进行调整
2.1 快速入门
直接使用默认的参数进行调用
2.1.1 安装包
pip install bertopic
2.1.2 数据导入
df = pd.read_csv('news.csv')
2.1.3 分词
分词可以实现处理好再进行建模,也可以定义好分词的方法在建模时传入,一般建议先分词在建模,这样可以打印中间分词结果进行检查
2.1.4 创建模型
from sentence_transformers import SentenceTransformer from sklearn.feature_extraction.text import CountVectorizer embedding_model = SentenceTransformer("distiluse-base-multilingual-cased-v1") vectorizer = CountVectorizer() from bertopic import BERTopic topic_model = BERTopic(embedding_model=embedding_model, vectorizer_model=vectorizer) topics, probs = topic_model.fit_transform(docs)
训练时如果报错,可参照之前的一篇文章
2.1.5 查看结果
-
topic_model.get_topic_info 查看各主题信息
-
topic_model.visualize_topics() 话题间距离的可视化
-
topic_model.visualize_hierarchy(top_n_topics=20) 主题层次聚类可视化
-
topic_model.visualize_barchart(topics=[1]) 显示主题1的词条形图
-
topic_model.visualize_heatmap() 主题相似度热力图
猜你喜欢
- 14天前(哥伦比亚号邮轮)爱达邮轮与哥仑比亚船舶管理集团达成合作
- 14天前(瑞虎7plus2021款)重塑10万级SUV价值标杆,全新一代瑞虎7PLUS冠军版给你惊喜
- 14天前(甘州区文化旅游局)2025甘津文旅资源对接推介会在兰州举办
- 14天前(2025年“文化和自然遗产日”广东主会场活动举办)2025年“文化和自然遗产日”广东主会场活动举办
- 14天前(云南滇陇工程咨询有限公司)陇滇携手谋发展 文旅合作谱新篇
- 14天前(澳涞山庄见证北欧零碳到中国实践,世界十佳环境保护城市榜单发布)澳涞山庄见证北欧零碳到中国实践,世界十佳环境保护城市榜单发布
- 14天前(希尔顿集团2021年筹建的酒店)希尔顿集团两大重点项目亮相第四届上海旅游投资促进大会
- 14天前(辽宁新增6个国家4a级旅游景区有哪些)辽宁新增6个国家4A级旅游景区
- 14天前(大黄山景区高质量发展联盟成立多少年)大黄山景区高质量发展联盟成立
- 14天前(新西兰登陆《我的世界》!全球首个目的地游戏模组震撼上线)新西兰登陆《我的世界》!全球首个目的地游戏模组震撼上线
网友评论
- 搜索
- 最新文章
- (2020广州车展哈弗)你的猛龙 独一无二 哈弗猛龙广州车展闪耀登场
- (哈弗新能源suv2019款)智能科技颠覆出行体验 哈弗重塑新能源越野SUV价值认知
- (2021款全新哈弗h5自动四驱报价)新哈弗H5再赴保障之旅,无惧冰雪护航哈弗全民电四驱挑战赛
- (海南航空现况怎样)用一场直播找到市场扩张新渠道,海南航空做对了什么?
- (visa jcb 日本)优惠面面俱到 JCB信用卡邀您畅玩日本冰雪季
- (第三届“堡里有年味·回村过大年”民俗花灯会活动)第三届“堡里有年味·回村过大年”民俗花灯会活动
- (展示非遗魅力 长安启源助力铜梁龙舞出征)展示非遗魅力 长安启源助力铜梁龙舞出征
- (阿斯塔纳航空公司)阿斯塔纳航空机队飞机数量增至50架
- (北京香港航班动态查询)香港快运航空北京大兴新航线今日首航
- (我在港航“呵护”飞机 每一次安全着陆就是最好的荣誉)我在港航“呵护”飞机 每一次安全着陆就是最好的荣誉
- 热门文章