iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > Python >关于使用OpenCsv导入大数据量报错的问题
  • 724
分享到

关于使用OpenCsv导入大数据量报错的问题

2024-04-02 19:04:59 724人浏览 安东尼

Python 官方文档:入门教程 => 点击学习

摘要

导入100W的Csv数据,使用OpenCsv解析工具解析Csv,发现报错 报错内容 com.opencsv.exceptions.CsvMalfORMedLineException

导入100W的Csv数据,使用OpenCsv解析工具解析Csv,发现报错

报错内容

com.opencsv.exceptions.CsvMalfORMedLineException: Unterminated quoted field at end of CSV line. Beginning of lost text: [XXXXX...]
 at com.opencsv.CSVReader.readNext(CSVReader.java:355) ~[opencsv-4.6.jar!/:na]

解析代码


CSVParser csvParser = new CSVParserBuilder().build();
try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(csvParser).build()) {
    String[] lines;
    while ((lines = readerCsv.readNext()) != null) {
        doRead(lines);
    }
} catch (CsvValidationException e) {
    throw new IOException(e);
}

报错位置发生在英文逗号处,一开始怀疑是英文逗号解析问题
Csv 文本报错位置

"2018-04-28 00:40:43","xxx,XXXXX"

去掉当前位置英文逗号导入仍旧失败
后来查看源码发现默认的 CSVParser 会对反斜杠""进行处理

这导致了解析Csv逻辑与源文件不同
后来使用了 RFC4180Parser 问题解决


RFC4180Parser rfc4180Parser = new RFC4180ParserBuilder().build();
try (CSVReader readerCsv = new CSVReaderBuilder(new InputStreamReader(csv)).withCSVParser(rfc4180Parser).build()) {
    String[] lines;
    while ((lines = readerCsv.readNext()) != null) {
        doRead(lines);
    }
} catch (CsvValidationException e) {
    throw new IOException(e);
}

参考文档:(RFC4180标准文档)https://datatracker.ietf.org/doc/html/rfc4180

到此这篇关于使用OpenCsv导入大数据量报错的问题 的文章就介绍到这了,更多相关OpenCsv导入大数据量报错内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: 关于使用OpenCsv导入大数据量报错的问题

本文链接: https://www.lsjlt.com/news/133558.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作