Python 官方文档:入门教程 => 点击学习
本篇内容介绍了“python sklearn CountVectorizer如何使用”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够
本篇内容介绍了“python sklearn CountVectorizer如何使用”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
CountVectorizer官方文档。
将一个文档集合向量化为为一个计数矩阵。
如果不提供一个先验字典,不使用分析器做某种特征选择,那么特征的数量将等于通过分析数据发现的词汇量。
两种方法:1.可以不分词直接投入模型;2.可以先将中文文本进行分词。
两种方法产生的词汇会非常不同。在后面会具体给出示范。
import jiebaimport refrom sklearn.feature_extraction.text import CountVectorizer#原始数据text = ['很少在公众场合手机外放', '大部分人都还是很认真去学习的', '他们会用行动来', '无论你现在有多颓废,振作起来', '只需要一点点地改变', '你的外在和内在都能焕然一新']#提取中文text = [' '.join(re.findall('[\u4e00-\u9fa5]+',tt,re.S)) for tt in text]#分词text = [' '.join(jieba.lcut(tt)) for tt in text]text
#构建模型vectorizer = CountVectorizer()#训练模型X = vectorizer.fit_transfORM(text)
#所有文档汇集后生成的词汇feature_names = vectorizer.get_feature_names()print(feature_names)
不分词生成的词汇
分词后生成的词汇
#每个文档相对词汇量出现次数形成的矩阵matrix = X.toarray()print(matrix)
#计数矩阵转化为DataFramedf = pd.DataFrame(matrix, columns=feature_names)df
print(vectorizer.vocabulary_)
“Python sklearn CountVectorizer如何使用”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注编程网网站,小编将为大家输出更多高质量的实用文章!
--结束END--
本文标题: Python sklearn CountVectorizer如何使用
本文链接: https://www.lsjlt.com/news/352875.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑,方便收藏和打印~
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
0