VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > PHP >
  • PHP快速按行读取CSV大文件的封装类分享(也适用于其它超大文本文件)

这篇文章主要介绍了一个PHP快速按行读取CSV大文件的封装类,这个类同时也适用于其它体积较大的文本文件,需要的朋友可以参考下。

CSV大文件的读取已经在前面讲述过了(PHP按行读取、处理较大CSV文件的代码实例),但是如何快速完整的操作大文件仍然还存在一些问题。

1、如何快速获取CSV大文件的总行数?

办法一:直接获取文件内容,使用换行符进行拆分得出总行数,这种办法对小文件可行,处理大文件时不可行;

办法二:使用fgets一行一行遍历,得出总行数,这种办法比办法一好一些,但大文件仍有超时的可能;

办法三:借助SplFileObject类,直接将指针定位到文件末尾,通过SplFileObject::key方法获取总行数,这种办法可行,且高效。

具体实现方法:

  1. $csv_file = 'path/bigfile.csv'
  2. $spl_object = new SplFileObject($csv_file'rb'); 
  3. $spl_object->seek(filesize($csv_file)); 
  4. echo $spl_object->key(); 

2、如何快速获取CSV大文件的数据?

仍然使用PHP的SplFileObject类,通过seek方法实现快速定位,代码如下:

  1. $csv_file = 'path/bigfile.csv'
  2. $start = 100000;  // 从第100000行开始读取 
  3. $num = 100;    // 读取100行 
  4. $data = array(); 
  5. $spl_object = new SplFileObject($csv_file'rb'); 
  6. $spl_object->seek($start); 
  7. while ($num-- && !$spl_object->eof()) { 
  8.  $data[] = $spl_object->fgetcsv(); 
  9.  $spl_object->next(); 
  10. print_r($data); 

3、综合上面两点,整理成一个csv文件读取的类:

  1. class CsvReader { 
  2.  private $csv_file
  3.  private $spl_object = null; 
  4.  private $error
  5.  
  6.  public function __construct($csv_file = '') { 
  7.   if($csv_file && file_exists($csv_file)) { 
  8.    $this->csv_file = $csv_file
  9.   } 
  10.  } 
  11.  
  12.  public function set_csv_file($csv_file) { 
  13.   if(!$csv_file || !file_exists($csv_file)) { 
  14.    $this->error = 'File invalid'
  15.    return false; 
  16.   } 
  17.   $this->csv_file = $csv_file
  18.   $this->spl_object = null; 
  19.  } 
  20.  
  21.  public function get_csv_file() { 
  22.   return $this->csv_file; 
  23.  } 
  24.  
  25.  private function _file_valid($file = '') { 
  26.   $file = $file ? $file : $this->csv_file; 
  27.   if(!$file || !file_exists($file)) { 
  28.    return false; 
  29.   } 
  30.   if(!is_readable($file)) { 
  31.    return false; 
  32.   } 
  33.   return true; 
  34.  } 
  35.  
  36.  private function _open_file() { 
  37.   if(!$this->_file_valid()) { 
  38.    $this->error = 'File invalid'
  39.    return false; 
  40.   } 
  41.   if($this->spl_object == null) { 
  42.    $this->spl_object = new SplFileObject($this->csv_file, 'rb'); 
  43.   } 
  44.   return true; 
  45.  } 
  46.  
  47.  public function get_data($length = 0, $start = 0) { 
  48.   if(!$this->_open_file()) { 
  49.    return false; 
  50.   } 
  51.   $length = $length ? $length : $this->get_lines(); 
  52.   $start = $start - 1; 
  53.   $start = ($start < 0) ? 0 : $start
  54.   $data = array(); 
  55.   $this->spl_object->seek($start); 
  56.   while ($length-- && !$this->spl_object->eof()) { 
  57.    $data[] = $this->spl_object->fgetcsv(); 
  58.    $this->spl_object->next(); 
  59.   } 
  60.   return $data
  61.  } 
  62.  
  63.  public function get_lines() { 
  64.   if(!$this->_open_file()) { 
  65.    return false; 
  66.   } 
  67.   $this->spl_object->seek(filesize($this->csv_file)); 
  68.   return $this->spl_object->key(); 
  69.  } 
  70.  
  71.  public function get_error() { 
  72.   return $this->error; 
  73.  } 

调用方法如下:

  1. include('CsvReader.class.php'); 
  2.  
  3. $csv_file = 'path/bigfile.csv'
  4.  
  5. $csvreader = new CsvReader($csv_file); 
  6.  
  7. $line_number = $csvreader->get_lines(); 
  8.  
  9. $data = $csvreader->get_data(10); 
  10.  
  11. echo $line_numberchr(10); 
  12.  
  13. print_r($data); 

其实,上述CsvReader类并不只针对CSV大文件,对于其他文本类型的大文件或超大文件同样可用,前提是将类中fgetcsv方法稍加改动为current即可。

 




出处:http://www.phpfensi.com/php/20201108/13429.html


相关教程