计算
LDA 主题模型的
困惑度和一致性,可以使用gensim库中的CoherenceModel方法。下面是一个示例代码:
pythonfrom gensim.models import
LdaModel
from gensim.corpora import Dictionary
from gensim.models.coherencemodel import CoherenceModel
# 加载语料和字典
corpus = ...
dictionary = Dictionary.load('dictionary.dict')
# 训练
LDA模型
lda
_model =
LdaModel(corpus=corpus, id2word=dictionary, num_topics=10)
# 计算
困惑度p
erp lex ity=
lda_model.log_p
erp lex ity(corpus)
# 计算一致性
coherence_model_
lda= CoherenceModel(model=
lda_model, texts=texts, dictionary=dictionary, coherence='c_v')
coherence_score = coherence_model_
lda.get_coherence()
上面的代码中,我们首先加载语料和字典,然后使用这些
数据训练
LDA模型。接着,我们使用
LDA模型的log_p
erp lex ity方法计算
困惑度。最后,我们使用CoherenceModel方法计算一致性得分。
需要注意的是,计算一致性时需要提供原始文本
数据,而不是仅仅提供语料和字典。因此,在使用CoherenceModel方法时,需要将原始文本
数据作为texts参
数传递进去。
到此这篇lda主题模型分析过程(lda主题模型困惑度)的文章就介绍到这了,更多相关内容请继续浏览下面的相关推荐文章,希望大家都能在编程的领域有一番成就!版权声明:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若内容造成侵权、违法违规、事实不符,请将相关资料发送至xkadmin@xkablog.com进行投诉反馈,一经查实,立即处理!
转载请注明出处,原文链接:https://www.xkablog.com/bcyy/75301.html