zyt 发表于 2023-12-26 15:47:42

张少涵教程:Python词云制作——以HOH言论为例



进一步屏蔽了单个字,左下角有个大大的“反思”



词云是对文本内容进行可视化呈现的一种方式,它会对文本中出现频率较高的词进行视觉上的突出, 词语出现的频率越高,字体就会越大,颜色也会越醒目。通过查看词云图,我们能快速获取文本中的主要内容。(摘抄自 https://cloud.tencent.com/developer/article/2160340)

1. 首先需要HOH的历史发言,使用爬虫可以得到。放入附件中了,需要的人可以自行下载。

2. 安装所需的pip包

pip install wordcloud # 主包,会自动安装多个绘图所需的包pip install jieba # 汉字分词

3. 下载中文字体包
GitHub上已经有人提供了,https://raw.githubusercontent.com/StellarCN/scp_zh/master/fonts/SimHei.ttf,可以直接下载
可以使用wget等下载,如
wget https://raw.githubusercontent.com/StellarCN/scp_zh/master/fonts/SimHei.ttf

4. 主程序
要注意文件的路径,HOH的废话太多了,有很多无意义的内容,所以使用了屏蔽词功能。

import matplotlib.pyplot as pltimport jiebafrom wordcloud import WordCloud, STOPWORDSpath = r'./hoh.txt'# 读取文本文件with open(path, 'r', encoding='utf-8') as f:    text = f.read()# 使用jieba进行分词wordlist = jieba.cut(text, cut_all=False)wl = " ".join(wordlist)# 增加屏蔽词STOPWORDS.update(['吧', '是', '我', '了', '有', '都', '不', '就', '还', '没', '的', '你', '在', '也', '这'])# 创建WordCloud对象,使用SimHei.ttf中文字体wc = WordCloud(font_path='./SimHei.ttf', background_color='white',               stopwords=STOPWORDS, max_font_size=200,               max_words=500, width=1920, height=1080)# 生成词云myword = wc.generate(wl)# 显示词云plt.imshow(myword)plt.axis("off")# plt.show()wc.to_file(r'./wordcloud.png')

muoon 发表于 2023-12-26 15:47:49

别人拉屎 你还要收集起来研究下什么成分

灌水王 发表于 2023-12-26 15:48:49

有的,最右侧有个“反思”

灌水王 发表于 2023-12-26 15:48:57

前排支持:lolzsbd

灌水王 发表于 2023-12-26 15:49:35

这是要做h2o评论生成器吗;Phttps://cdn.jsdelivr.net/gh/hishis/forum-master/public/images/patch.gif

灌水王 发表于 2023-12-26 15:49:51

给张少涵点赞:hug:

vivip 发表于 2023-12-26 15:50:23

没有反思?

unusybeanty 发表于 2023-12-26 15:50:31

我尝试使用LORA微调llama2模型,确实可以做出来评论生成器,但是特别阴阳怪气,让人生理不适。可能是我还没有调整好。

灌水王 发表于 2023-12-26 15:51:19

你跟张少涵是真爱啊 ,@HOH

灌水王 发表于 2023-12-26 15:52:05

HOH人呢https://cdn.jsdelivr.net/gh/master-of-forums/master-of-forums/public/images/patch.gif

灌水王 发表于 2023-12-26 15:52:59

哈哈,可以可以,再训练训练https://cdn.jsdelivr.net/gh/hishis/forum-master/public/images/patch.gif
页: [1]
查看完整版本: 张少涵教程:Python词云制作——以HOH言论为例