iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >如何利用python实现词频统计功能
  • 384
分享到

如何利用python实现词频统计功能

2024-04-02 19:04:59 384人浏览 八月长安

Python 官方文档:入门教程 => 点击学习

摘要

目录功能要求方法如下运行结果总结功能要求 这是我们老师的作业 代码中都有注释 要求 词频统计软件: 1)从文本中读入数据:(文件的输入输出) 2)不区分大小写,去除特殊字符。 3)&

功能要求

这是我们老师的作业 代码中都有注释 要求 词频统计软件:

1)从文本中读入数据:(文件的输入输出)

2)不区分大小写,去除特殊字符。

3) 统计单词 例如:about :10 并统计总共多少单词

4)对单词排序。出现次数

5)输出词频最高的10个单词和次数

6)把统计结果存入文本

方法如下

1.文件的读取,区分大小写,去除特殊字符


import re
 
def getword():
     # 读取文件
     f=open('read.txt','r',encoding='utf-8')
     # 将大写转化成小写
     Word=f.read().lower()
     # 关闭文件
     f.close()
     #利用正则除去特殊字符   |\符+
     list=re.split('\s+|\,+|\.+|\!+|\:+|\?+|\;+|\(+|\)+|\-+|\_+|\=+|\++|\“+|\、+|\/+|\{+|\}+|\”+|\:+|\。+|\“+|\[+|\]+|\【+|\】+|\—+|\%+|\"+',word)
     # 遍历列表 去除列表中的空格
     i = 0
     while i < len(list):
          if list[i] == '':
               list.remove(list[i])
               i -= 1
          i += 1
 
     # for a in list:
     #      if a == "":
     #         list.remove(a)
    #用for循环的话如果存在多个空字符串 其列表会随时发生变化,导致无法正常删除空字符串 所以在使用for…in循环遍历列表时,最好不要对元素进行增删操作
 
#  对于others'优化 如果最后一个字符是‘就将'其去掉
     for i in range(len(list)):
          l=list[i]
          if list[i][-1] == "'":
               list[i] = list[i][:-1]
     return list
 
 
 
 
 

2. 统计,排序


from getfilewords import getword
 
def statistics():
    dict={}  #定义一个空的字典,在后面的运算中逐步添加数据
    words=getword()
    for word in words: #遍历整个列表
        if word in dict.keys():  #判断当前单词是否已经存在 dict.keys()是已存进字典中的单词
            # 补充:keys() 方法用于返回字典中的所有键;
            # values() 方法用于返回字典中所有键对应的值;
            #详情见Test1
            dict[word]=dict[word]+1  #在当前单词的个数上加 1
        else:
            dict[word]=1  #当前单词第一次出现时 会把单词写入dict字典里 格式为 ‘单词'=1
#排序
    w_order=sorted(dict.items(),key=lambda x:x[1],reverse=True)
# print(dict.items())
# dict.items()返回的是列表
# 按字典集合中,每一个元组的第二个元素排列。
# sorted会对dict.items()这个list进行遍历,把list中的每一个元素,也就是每一个tuple()当做x传入匿名函数lambda x:x[1],函数返回值为x[1]
# reverse属性True为降序 False为升序
    return w_order #返回排序后的列表

3.结果写入文本


from WordStatistics import statistics
def writefile():
    w_order=statistics()
    f = open('result.txt', 'w',encoding='utf-8')
    print("文章单词总个数:",+len(getword()),file=f)
    print("文章单词总个数:", +len(getword()))
 
    # 写入文件
    print("词频最高的10个单词和次数",file=f)
    print("词频最高的10个单词和次数")
 
    w_order10=w_order[:10]#将列表的前十位提取并且遍历 输出key(单词)和values(次数)
    for key,values in w_order10:
        print(key,':',values,file=f)
        print(key, ':', values)
 
    #遍历列表中的所有数据
    print("统计结果",file=f)
    for key,values in w_order:
        print(key,':',values,file=f)
    f.close()#关闭文件

4.程序入口


import os
 
from writefile import writefile
 
print("词频统计软件")
print("正在统计中。。。")
print("统计成功,结果保存到result.txt")
writefile()
print("程序运行结束")
os.system("pause")

5.运行截图 这是需要统计的文本

运行程序

运行结果

总结

到此这篇关于如何利用python实现词频统计功能的文章就介绍到这了,更多相关Python实现词频统计内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: 如何利用python实现词频统计功能

本文链接: https://www.lsjlt.com/news/154638.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 如何利用python实现词频统计功能
    目录功能要求方法如下运行结果总结功能要求 这是我们老师的作业 代码中都有注释 要求 词频统计软件: 1)从文本中读入数据:(文件的输入输出) 2)不区分大小写,去除特殊字符。 3)&...
    99+
    2022-11-12
  • Python实现词云图词频统计
    目录一:安装必要的库二:数据分析 条形图可视化三:数据分析 词频统计 词云图可视化一:安装必要的库 导入必要的库 import collections # 词频统计库 import...
    99+
    2022-12-26
    Python词云图词频统计 Python词云图 Python 词频统计
  • python中文分词和词频统计如何实现
    这篇文章主要介绍“python中文分词和词频统计如何实现”,在日常操作中,相信很多人在python中文分词和词频统计如何实现问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”python中文分词和词频统计如何实现...
    99+
    2023-07-02
  • Ubuntu如何实现词频统计
    Ubuntu实现词频统计的示例:使用shell实现简单的词频统计,例如:统计如下中第二列单词出现的次数。1,huabingood,1002,haha,2003,huabingood,3004,haha,1005,haha,200实现代码命令...
    99+
    2022-10-17
  • python中文分词+词频统计的实现步骤
    目录前言一、文本导入二、使用步骤1.引入库2.读入数据3.取出停用词表4.分词并去停用词(此时可以直接利用python原有的函数进行词频统计)5. 输出分词并去停用词的有用...
    99+
    2022-11-11
  • Python利用pynput实现划词复制功能
    目录前言实现代码知识点补充1.pynput是什么2.使用步骤前言 本文参考了以下代码 Windows系统环境下Python脚本实现全局“划词复制”功能 fro...
    99+
    2022-11-10
  • python实现简单中文词频统计示例
    本文介绍了python实现简单中文词频统计示例,分享给大家,具体如下: 任务 简单统计一个小说中哪些个汉字出现的频率最高 知识点 1.文件操作 2.字典 3.排序 4.lambda 代码 import...
    99+
    2022-06-04
    词频 示例 中文
  • 如何利用Redis实现数据统计功能
    Redis是一种高效的内存数据库,可以被广泛应用于数据统计功能的实现中。本文将介绍如何使用Redis来实现数据统计功能,并提供具体实现的代码示例。统计计数器在很多场景下,需要对某个事件或对象的数量进行统计。这时候可以使用Redis的计数器功...
    99+
    2023-11-07
    数据聚合 实时统计 Redis 数据统计 Redis 统计实现
  • 利用Java怎么实现一个单词提取功能
    这篇文章给大家介绍利用Java怎么实现一个单词提取功能,内容非常详细,感兴趣的小伙伴们可以参考借鉴,希望对大家能有所帮助。实现方法如下:package fanyi;import java.util.Scanner;import java.u...
    99+
    2023-05-30
    java ava
  • 使用Python怎么实现一个词云功能
    使用Python怎么实现一个词云功能?很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。Python的优点有哪些1、简单易用,与C/C++、Java、C# 等传统语言...
    99+
    2023-06-14
  • 利用Celery实现Django博客PV统计功能详解
    前言 前几天给网站的文章增加了pv统计,之前只有uv统计。之前没加pv统计是觉得每个用户每访问一次文章,我都需要做一次数据库写操作实在是有损性能,毕竟从用户在the5fire博客的的一次访问来看,只需要从...
    99+
    2022-06-04
    详解 功能 博客
  • jQuery如何实现移除单词功能
    这篇文章主要为大家展示了“jQuery如何实现移除单词功能”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“jQuery如何实现移除单词功能”这篇文章吧。移除单词功...
    99+
    2022-10-19
  • Android利用Chronometer实现倒计时功能
    项目需要实现一个计时的功能,利用Chronometer虽然可以很方便的实现计时功能,但需要的却是一个倒计时控件。 百度了一下方法不少,倒计时的却没有,于是用Chronomete...
    99+
    2022-06-06
    倒计时 Android
  • Python基于词频排序如何实现快速挖掘关键词
    这篇文章主要介绍“Python基于词频排序如何实现快速挖掘关键词”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“Python基于词频排序如何实现快速挖掘关键词”文章能帮助大家解决问题。一、所有的代码这...
    99+
    2023-07-05
  • 如何使用python实现监控视频人数统计
    小编给大家分享一下如何使用python实现监控视频人数统计,希望大家阅读完这篇文章之后都有所收获,下面让我们一起去探讨吧!一、图示客户端请求输入一段视频或者一个视频流,输出人数或其他目标数量,上报给上层服务器端,即提供一个http API调...
    99+
    2023-06-15
  • vbs如何实现字符统计功能
    这篇文章主要为大家展示了“vbs如何实现字符统计功能”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“vbs如何实现字符统计功能”这篇文章吧。字符统计功能模块 代码如下:Sub TongJi() S...
    99+
    2023-06-08
  • Python如何利用字典树实现猎词游戏
    本篇内容主要讲解“Python如何利用字典树实现猎词游戏”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Python如何利用字典树实现猎词游戏”吧!猎词(word hunt)是一类很常见的游戏,给...
    99+
    2023-07-02
  • 利用Java实现一个短视频点赞功能
    这篇文章将为大家详细讲解有关利用Java实现一个短视频点赞功能,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。 这行代码是弹出点赞的时间为18s.18秒后发生了什么呢 ?继续看&nb...
    99+
    2023-05-31
    java ava 点赞
  • 利用IKAnalyzer与Lucene怎么实现一个中文分词功能
    利用IKAnalyzer与Lucene怎么实现一个中文分词功能?针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。步骤如下:step1:准备相关的Jar依赖,lucene-cor...
    99+
    2023-05-31
    ikanalyzer lucene
  • 用python实现监控视频人数统计
    目录一、图示二、准备三、一个简单服务器应用四、向服务器发送图片五、最终关键yolov5调用代码:一、图示 客户端请求输入一段视频或者一个视频流,输出人数或其他目标数量,上报给上层...
    99+
    2022-11-12
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作