VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > 编程开发 > python爬虫 >
  • python爬虫之Python中对文件的相关操作详解

本站最新发布   Python从入门到精通|Python基础教程
试听地址  
https://www.xin3721.com/eschool/pythonxin3721/


文件的操作在今后的Python开发中也是使用非常频繁的。

 

先说下对文件操作的流程

  1. 打开文件,得到文件的一个句柄,赋值给一个变量
  2. 然后通过句柄对文件进行操作(内容的增、删、改、查)
  3. 最后要关闭文件(有打开就要有关闭,否则文件会一直被暂用,直到程序运行结束。)

 

文件的基本操作
复制代码
#按照上面所说的流程
f = open('demo.txt')#1.打开文件,句柄赋值给f
data = f.read()#2.对文件操作,读取文件内容
print(data)#打印文件
f.close()#3.关闭文件

#按照上面的流程,就完成了对文件的基本操作
复制代码

 

打开文件模式

前面我们用打开文件,并没有地方选择打开的模式,其实默认就是使用了“只读模式”(r),在只读模式下我们只能读取文件内容,而不能对文件进行写入,追加等操作。

那如果想要写入怎么办,这里就要用到打开模式了。

打开文件是模式有如下:

  1.  r,只读模式(默认)
  2.  w,只写模式。(不可读,不存在文件时则创建,存在时则删除原有内容写入新内容。)
  3.  a,追加模式。(可读,不存在文件时则创建,存在时则在原有内容上追加新内容。)

那么如何使用呢?其实很简单,下面写一个例子:

f = open('demo.txt','w')
f.write('test')
f.close()

#我们只需要在open的时候加上‘w’,就可以对文件进行写入操作了

 

 

如果想同时读取又可以写入怎么办?打开模式中有个‘"+"表示可以同时读写文件

  1. r+,可读写文件。(可读,可写,可追加)
  2. w+,写读
  3. a+,和a是一样的

还有一个“U”表示在读取时,可以将 \r\n自动转换成 \n

  • rU
  • r+U

"b"表示处理二进制文件,如果我们打开的文件不是文本,而且其他类型的文件就会用到这个模式

(使用场景:FTP发送上传的文件,linux中可以忽略,windows处理二进制文件时需标注)

  • rb
  • wb
  • ab

 

打开文件编码

前面我们都没有使用到打开编码,其实默认都是 “gbk”

如果我们文件是utf-8编码的格式,且内容中存在中文,则读取的时候不会报错可以正常读取,

如果文件是utf-8编码格式的,内容中添加了中文,这个时候我们默认编码打卡就会报错,如下:

UnicodeDecodeError: 'gbk' codec can't decode byte 0xac in position 5: illegal multibyte sequence

这个时候后我们就要用到 encoding 对打开文件编码格式的修改:

f = open('demo.txt','r+', encoding='utf-8')

#加上encoding='utf-8'就不会出现报错,或者中文乱码了

 

 

大文件操作

前面我们读取文件内容,都是一次性读取全部内容,这样操作如果文件小还行,如果文件特别大,内容特别多,比如1G、10G等,则会让我们的电脑卡死,甚至内存溢出。

针对大文件的操作,我们其实可以每次只读一行,读完一行在内存中就删除

复制代码
f = open('demo.txt','r+', encoding='utf-8')

#只要使用这种循环,读一条,删一条,内存中只保存一行数据
for line in f:
     print(line)
f.close()
#此方法针对大文件操作效果显著
复制代码

 

 

文件修改

上面我们用追加模式打开,然后写入文件就可以把追加的内容写入到文件中了。

如果要修改和删除,是不是用读写模式,把内容读出来,修改或删除内容,然后在从新写入到文件中,就可以实现删除和修改了。

但是,我们刚刚提到了大文件,假设20G的文件,你不可能全部读出来,在修改或删除相应内容之后,在重新写入文件,你的程序直接卡死了。那怎么办呢?

其实还是用到上面大文件操作的方式,我们一条一条读,然后一条一条写

复制代码
#思路就是一行一行读出源文件内容,在一行一行写入新的文件中
f = open('demo.txt', 'r+', encoding='utf-8')#原文件
f2 = open('demo2.txt', 'a', encoding='utf-8')#修改后保存的新文件

for line in f:
    #判断如果行中有出现'zhangsan'则修改成'lisi'
    if 'zhangsan' in line:
        line = line.replace('zhangsan', 'lisi')
    #判断如果行中有出现'wangwu'则跳过,既这行不添加到新文件,相当于删除了这行
    elif 'wangwu' in line:
        continue
    f2.write(line)#最后修改过的内容一行一行写入到新的文件中
    print(line)

f.close()
f2.close()
复制代码

 

 

with 语句

前面我们说了,文件打开就要关闭。但是我们经常忘记关闭,怎么办呢?

Python提供了一个 with语句,使用方式:

复制代码
#使用with语句,当with代码块执行完毕时,内部会自动关闭并释放文件资源。
with open('demo.txt', 'r', encoding='utf-8') as f:
    pass

#在Python2.7以后,with还同时支持操作多个文件
with open('demo.txt', 'r', encoding='utf-8') as f, open('demo2.txt', 'r', encoding='utf-8') as f2:
    pass
复制代码

 

 

关于Python中的文件操作常用的方法就写这么多,还有一些如

tell
seek
seekable
...
等等之类的方法,在大家实际使用的时候在具体了解吧。
相关教程