iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >python文件数据分析治理提取
  • 937
分享到

python文件数据分析治理提取

2024-04-02 19:04:59 937人浏览 薄情痞子

Python 官方文档:入门教程 => 点击学习

摘要

目录前提提要要求思路代码运行结果分析1)读取文件2)读取数据3)数据整理4)正则表达式匹配外加数据去重6)数据导出保存前提提要 python2.0有无法直接读取中文路径的问题,需要另

前提提要

python2.0有无法直接读取中文路径的问题,需要另外写函数。python3.0在2018年的时候也无法直接读取。

现在使用的时候,发现Python3.0是可以直接读取中文路径的。

需要自带或者创建几个txt文件,里面最好写几个数据(姓名,手机号,住址)

要求

写代码的时候最好,自己设几个要求,明确下目的:

  • 需要读取对应目录路径的所有对应文件
  • 按行读取出每个对应txt文件的记录
  • 使用正则表达式获取每行的手机号
  • 将手机号码存储到excel

思路

  • 1)读取文件
  • 2)读取数据
  • 3)数据整理
  • 4)正则表达式匹配
  • 5)数据去重
  • 6)数据导出保存

代码

import glob
import re
import xlwt
filearray=[]
data=[]
phone=[]
filelocation=glob.glob(r'课堂实训/*.txt')
print(filelocation)
for i in range(len(filelocation)):
file =open(filelocation[i])
file_data=file.readlines()
data.append(file_data)
print(data)
combine_data=sum(data,[])

print(combine_data)
for a in combine_data:
data1=re.search(r'[0-9]{11}',a)
phone.append(data1[0])
phone=list(set(phone))
print(phone)
print(len(phone))

#存到excel中
f=xlwt.Workbook('encoding=utf-8')
sheet1=f.add_sheet('sheet1',cell_overwrite_ok=True)
for i in range(len(phone)):
sheet1.write(i,0,phone[i])
f.save('phonenumber.xls')

运行结果

会生成一个excel文件

分析

import glob
import re
import xlwt

globe用来定位文件,re正则表达式,xlwt用于excel

1)读取文件

filelocation=glob.glob(r'课堂实训/*.txt')

指定目录下的所有txt文件

2)读取数据

for i in range(len(filelocation)):
file =open(filelocation[i])
file_data=file.readlines()
data.append(file_data)
print(data)

将路径下的txt文件循环读取,按序号依次读取文件
打开每一次循环对应的文件
将每一次循环的txt文件的数据按行读取出来
使用append()方法将每一行的数据添加到data列表中
输出一下,可以看到将几个txt的文件数据以字列形式存在同一个列表

3)数据整理

combine_data=sum(data,[])

列表合并成一个列表

4)正则表达式匹配外加数据去重

print(combine_data)
for a in combine_data:
data1=re.search(r'[0-9]{11}',a)
phone.append(data1[0])
phone=list(set(phone))
print(phone)
print(len(phone))

set()函数:无序去重,创建一个无序不重复元素集

6)数据导出保存

#存到excel中
f=xlwt.Workbook('encoding=utf-8')
sheet1=f.add_sheet('sheet1',cell_overwrite_ok=True)
for i in range(len(phone)):
sheet1.write(i,0,phone[i])
f.save('phonenumber.xls')
  • Workbook('encoding=utf-8'):设置工作簿的编码
  • add_sheet('sheet1',cell_overwrite_ok=True):创建对应的工作表
  • write(x,y,z):参数对应行、列、值

到此这篇关于python文件数据分析治理提取的文章就介绍到这了,更多相关python文件数据分析内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: python文件数据分析治理提取

本文链接: https://www.lsjlt.com/news/120155.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • python文件数据分析治理提取
    目录前提提要要求思路代码运行结果分析1)读取文件2)读取数据3)数据整理4)正则表达式匹配外加数据去重6)数据导出保存前提提要 python2.0有无法直接读取中文路径的问题,需要另...
    99+
    2024-04-02
  • python数据分析之文件读取详解
    目录前言:一·Numpy库中操作文件二·Pandas库中操作文件三·补充总结前言: 如果你使用的是Anaconda中的Jupyter,则不需要下载Pands和Numpy库;如果你使用...
    99+
    2024-04-02
  • Python数据分析:从数据中提取价值
    背景 数据已渗透到我们生活的各个层面,从智能传感器到庞大数据库。从这些数据中提取有用信息已变得至关避要,以帮助我们制定明智的决策、提升运营效率和创造创新洞察。使用诸如 Pandas、NumPy 等库的编程语言(如:python)扮演着关...
    99+
    2024-02-17
    数据科学 机器语言 数据挖掘 数据可视化
  • Python数据分析基础之文件的读取
    目录一·Numpy库中操作文件1.操作csv文件2.在pycharm中操作csv文件3.其他情况(.npy类型文件)二·Pandas库中操作文件1.操作csv文件2.从剪贴板上复制数...
    99+
    2024-04-02
  • Python中怎么PDF文件提取数据
    这篇文章将为大家详细讲解有关Python中怎么PDF文件提取数据,文章内容质量较高,因此小编分享给大家做个参考,希望大家阅读完这篇文章后对相关知识有一定的了解。示例:使用Python从PDF文件中提取一个表格a) 将表复制到Excel并保存...
    99+
    2023-06-16
  • Python怎么从csv文件中读取数据及提取数据
    本篇内容主要讲解“Python怎么从csv文件中读取数据及提取数据”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Python怎么从csv文件中读取数据及提取数据”吧!数据保存在csv文件中1.从...
    99+
    2023-06-25
  • python 数据分析之 HTML文件解析
    python 数据分析之 HTML文件解析 一 :Html1. Html 理解2. Html 介绍3. Html 构成4. HTML结构 介绍1> HTML文件结构A: 文档类型声明B: 根标...
    99+
    2023-09-02
    html python 数据分析
  • Python从txt文件中提取特定数据
    本段代码用于,想要从一段txt文件中只提取目标数据的情况。 代码: def get_data(txt_path: str = '', epoch: int = 100, target: str = '...
    99+
    2023-09-12
    python 算法 c#
  • Python从csv文件中读取数据及提取数据的方法
    目录1.从csv文件中读取数据2.数据切割数据保存在csv文件中 1.从csv文件中读取数据 参数header=None的有无 (1)没有header=None——直接将csv表中...
    99+
    2024-04-02
  • Python 数据分析之Beautiful Soup 提取页面信息
    概述 数据分析 (Data Analyze) 可以在工作中的各个方面帮助我们. 本专栏为量化交易专栏下的子专栏, 主要讲解一些数据分析的基础知识. Beautiful Soup B...
    99+
    2024-04-02
  • python提取文件名
       首先声明本人初涉python,由于是自学,而且课余时间比较琐碎,所以打算分主次两条线。主的一条线是看python教程,但是这样实在枯燥,所以又有了次的一条线,就是写一些小程序练练手,只想总结下所得,记录自己学习的历程。    今天写...
    99+
    2023-01-31
    文件名 python
  • Python取读csv文件做dbscan分析
    目录1.读取csv数据做dbscan分析2.输出结果显示3.计算效率1.读取csv数据做dbscan分析 读取csv文件中相应的列,然后进行转化,处理为本算法需要的格式,然后进行db...
    99+
    2024-04-02
  • python如何提取数据中的部分数据
    您可以使用Python中的切片(slicing)来提取数据中的部分数据。切片允许您根据索引从序列(如列表、字符串或元组)中选择部分子...
    99+
    2023-08-23
    python
  • Linux上无痛文件提取的示例分析
    小编给大家分享一下Linux上无痛文件提取的示例分析,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!它们有很多格式,从 .gz 到  .tbz2,这些文件...
    99+
    2023-06-15
  • Python提取json数据
    import json jsonstring = '{"user_man":[{"name":"Peter"},{"name":"xiaoming"}],"user_woman":[{"name":"Anni"},{"name":"zha...
    99+
    2023-01-31
    数据 Python json
  • python从txt文件读取数据
      (作为一个python初学者,记录一点学习期间的笔记,方便日后查阅,若有错误或者更加便捷的方法,望指出!)  1、读取TXT文件数据,并对其中部分数据进行划分。一部分作为训练集数据,一部分作为测试集数据: def loadData(...
    99+
    2023-01-30
    文件 数据 python
  • python怎么读取数据文件
    使用python读取文件数据的方法:1.新建python项目;2.导入pandas模块;3.使用pd.read方法读取文件数据;具体步骤如下:首先,打开python,并新建一个python项目;python项目创建好后,在项目中使用impo...
    99+
    2024-04-02
  • python提取文件名改进
       昨天晚上遇到的问题今天好好想了下,可以用正则表达式判断下文件名里是否有".",没有的话就是目录,需要进入目录再次遍历。今天工作比较累,直接贴代码了。import os import re addr='./test...
    99+
    2023-01-31
    文件名 python
  • Python怎么取读csv文件做dbscan分析
    本篇内容介绍了“Python怎么取读csv文件做dbscan分析”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!1.读取csv数据做dbsca...
    99+
    2023-06-30
  • Python文件操作和数据格式实例分析
    这篇文章主要介绍“Python文件操作和数据格式实例分析”,在日常操作中,相信很多人在Python文件操作和数据格式实例分析问题上存在疑惑,小编查阅了各式资料,整理出简单好用的操作方法,希望对大家解答”Python文件操作和数据格式实例分析...
    99+
    2023-06-30
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作