iis服务器助手广告广告
返回顶部
首页 > 资讯 > 后端开发 > PHP编程 >PHP实现导入大量CSV数据的示例代码
  • 841
分享到

PHP实现导入大量CSV数据的示例代码

2024-04-02 19:04:59 841人浏览 泡泡鱼
摘要

目录前言代码部分一. controller 写法二. yield 读取数据以及处理空行方法结论知识点补充前言 网上有很多介绍大量上传数据的,感觉都是一个抄一个,这是自己写的处理方式,

前言

网上有很多介绍大量上传数据的,感觉都是一个抄一个,这是自己写的处理方式,在一些项目中已经应用.

主要利用 yield 完成文件读取,这个重点看会了,其他基本就很简单.

代码部分

一. controller 写法

//获取请求的参数
$arrayParams = Request::all();
$objCsvFile = $arrayParams['csv_file'];
$strRealPath = $objCsvFile->getRealPath();//tmp路径, 这里可以先保存到自己预定路径,再进行读取

//
$glob = CommonUtilFunction::readPathCsvFile($strRealPath);
//

$intRowNum = 0;
while($glob->valid()) {
    $arrayNewLineData = [];
    $intRowNum++;
    if (1 === $intRowNum) {
        //第一行跳过,一般是标题
        $glob->next();
        continue;
    }
    $arrayLineData = $glob->current();

    //处理空字符串 空行
    
    $arrayLineData = CommonUtilFunction::dealCsvLineData($arrayLineData);
    //跳过空行
    if (true === empty($arrayLineData)) {
        $glob->next();
        continue;
    }
    
    //自己的代码逻辑
    ...
    
    // 避免意外错误
    unset($arrayNewLineData);
    $glob->next(); // 处理下一行数据

}

二. yield 读取数据以及处理空行方法


  public static function readPathCsvFile($strCsvPath)
  {
    if ($handle = fopen($strCsvPath, 'r')) {
        while (!feof($handle)) {
            yield fgetcsv($handle);
        }
        fclose($handle);
    }
  }


public static function dealCsvLineData($arrData = [])
  {
    $arrAfterData = [];
    if (false === empty($arrData)) {
        //去除每个字符串 前后空格
        foreach ($arrData as &$colData) {
            //检测对应编码格式 csv文件格式Shift-JIS
            $strEncodeType = mb_detect_encoding($colData, ['UTF-8', 'Shift-JIS']);
            //如果认为utf-8格式不用转码, shift-jis格式需要转为utf8格式
            if ('SJIS' === $strEncodeType) {
                //jis=>utf8
                $colData = mb_convert_encoding($colData, 'UTF-8', 'Shift-JIS');
            }
            $colData = trim($colData);
        }  
        //去除空行
        $isEmptyRow = true;
        foreach ($arrData as $item) {
            if ('' !== $item) {
                $isEmptyRow = false;
                break;
            } 
        }  
        if (false === $isEmptyRow) {
            $arrAfterData = $arrData;
        }
    } 
    return $arrAfterData;
  }

结论

使用 yield 可以很大程度上减低服务器开销,压力在数据库方面。上限没有测试过,不过 1 万条数据是很轻松.

知识点补充

yield是PHP5.6版本才有的函数,作用是实现生成器,作用的在读取文件的时候,可以一行一行的读取

简单的说可以理解为 php版本的非缓冲查询,意思即是 把数据一行行 读取到php运行内存,并非一次性读取到php运行内存,众所周知,php有很多内置函数,可以帮助我们对数据进行加工操作,因为数据都在内存里面,所以能操作,但是php的运行内存是有极限,默认128M。

以下附上php 实现 yield 链接 Mysql 几种方法:

方法一

<?php
$link = mysqli_connect('localhost','root','','advertising');
if( $result1 = mysqli_query($link, 'SELECT * FROM `test`',MYSQLI_USE_RESULT) )
{
    $result = $result1;
//    unset($result1);
//    mysqli_close($link); //如果这里切断 mysql 链接 将无法获取 数据,原因是加了MYSQLI_USE_RESULT
    while ( $res = mysqli_fetch_assoc($result1) ){
        echo $res['a'] . PHP_EOL;
        $i++;
        if( $i ==1000  ){
            exit;
        }
    }
}
?>

方法二

<?php
$pdo = new \PDO('mysql:host=localhost;dbname=advertising','root','');
$pdo->setAttribute(PDO::MYSQL_ATTR_USE_BUFFERED_QUERY, false);
$res = $pdo->query("SELECT * FROM `test`");
//unset($pdo);
$i = 0;
if ($res) {
    while ($row = $res->fetch(PDO::FETCH_ASSOC)) {
        echo $row['a'] . PHP_EOL;
        $i++;
        if( $i ==1000  ){
            exit;
        }
    }
}
?>

方法三

<?php
$mysqli  = new mysqli("localhost", "root", "", "advertising");
$uresult = $mysqli->query("SELECT * FROM `test`", MYSQLI_USE_RESULT);
//$uresult->close();
if ($uresult) {
    while ($row = $uresult->fetch()) {
        echo $row['a'] . PHP_EOL;
        $i++;
        if( $i ==1000  ){
            exit;
        }
    }
}

到此这篇关于PHP实现导入大量CSV数据的示例代码的文章就介绍到这了,更多相关PHP导入CSV数据内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网!

--结束END--

本文标题: PHP实现导入大量CSV数据的示例代码

本文链接: https://www.lsjlt.com/news/153736.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作