-
PHP快速按行读取CSV大文件的封装类分享(也适用于其它超大文本文件)
这篇文章主要介绍了一个PHP快速按行读取CSV大文件的封装类,这个类同时也适用于其它体积较大的文本文件,需要的朋友可以参考下。
CSV大文件的读取已经在前面讲述过了(PHP按行读取、处理较大CSV文件的代码实例),但是如何快速完整的操作大文件仍然还存在一些问题。
1、如何快速获取CSV大文件的总行数?
办法一:直接获取文件内容,使用换行符进行拆分得出总行数,这种办法对小文件可行,处理大文件时不可行;
办法二:使用fgets一行一行遍历,得出总行数,这种办法比办法一好一些,但大文件仍有超时的可能;
办法三:借助SplFileObject类,直接将指针定位到文件末尾,通过SplFileObject::key方法获取总行数,这种办法可行,且高效。
具体实现方法:
- $csv_file = 'path/bigfile.csv';
- $spl_object = new SplFileObject($csv_file, 'rb');
- $spl_object->seek(filesize($csv_file));
- echo $spl_object->key();
2、如何快速获取CSV大文件的数据?
仍然使用PHP的SplFileObject类,通过seek方法实现快速定位,代码如下:
- $csv_file = 'path/bigfile.csv';
- $start = 100000; // 从第100000行开始读取
- $num = 100; // 读取100行
- $data = array();
- $spl_object = new SplFileObject($csv_file, 'rb');
- $spl_object->seek($start);
- while ($num-- && !$spl_object->eof()) {
- $data[] = $spl_object->fgetcsv();
- $spl_object->next();
- }
- print_r($data);
3、综合上面两点,整理成一个csv文件读取的类:
- class CsvReader {
- private $csv_file;
- private $spl_object = null;
- private $error;
- public function __construct($csv_file = '') {
- if($csv_file && file_exists($csv_file)) {
- $this->csv_file = $csv_file;
- }
- }
- public function set_csv_file($csv_file) {
- if(!$csv_file || !file_exists($csv_file)) {
- $this->error = 'File invalid';
- return false;
- }
- $this->csv_file = $csv_file;
- $this->spl_object = null;
- }
- public function get_csv_file() {
- return $this->csv_file;
- }
- private function _file_valid($file = '') {
- $file = $file ? $file : $this->csv_file;
- if(!$file || !file_exists($file)) {
- return false;
- }
- if(!is_readable($file)) {
- return false;
- }
- return true;
- }
- private function _open_file() {
- if(!$this->_file_valid()) {
- $this->error = 'File invalid';
- return false;
- }
- if($this->spl_object == null) {
- $this->spl_object = new SplFileObject($this->csv_file, 'rb');
- }
- return true;
- }
- public function get_data($length = 0, $start = 0) {
- if(!$this->_open_file()) {
- return false;
- }
- $length = $length ? $length : $this->get_lines();
- $start = $start - 1;
- $start = ($start < 0) ? 0 : $start;
- $data = array();
- $this->spl_object->seek($start);
- while ($length-- && !$this->spl_object->eof()) {
- $data[] = $this->spl_object->fgetcsv();
- $this->spl_object->next();
- }
- return $data;
- }
- public function get_lines() {
- if(!$this->_open_file()) {
- return false;
- }
- $this->spl_object->seek(filesize($this->csv_file));
- return $this->spl_object->key();
- }
- public function get_error() {
- return $this->error;
- }
- }
调用方法如下:
- include('CsvReader.class.php');
- $csv_file = 'path/bigfile.csv';
- $csvreader = new CsvReader($csv_file);
- $line_number = $csvreader->get_lines();
- $data = $csvreader->get_data(10);
- echo $line_number, chr(10);
- print_r($data);
其实,上述CsvReader类并不只针对CSV大文件,对于其他文本类型的大文件或超大文件同样可用,前提是将类中fgetcsv方法稍加改动为current即可。
出处:http://www.phpfensi.com/php/20201108/13429.html
栏目列表
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
SQL SERVER中递归
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
这是目前我见过最好的跨域解决方案!
减少回流与重绘
减少回流与重绘
如何使用KrpanoToolJS在浏览器切图
performance.now() 与 Date.now() 对比
一款纯 JS 实现的轻量化图片编辑器
关于开发 VS Code 插件遇到的 workbench.scm.
前端设计模式——观察者模式
前端设计模式——中介者模式
创建型-原型模式