Python基础_文件读写

一、I/O操作概述#

I/O概述：#

    I/O在计算机中时指Input/Output，也就是Stream的输入与输出。我们通常说的输入与输出其实在操作系统中都是相对于内存而言的，InputStream（输入流）是指数据从外部（网络、键盘、I/O设备）流进内存，OutputStream正好与之相反，数据从内存流出到外部。程序运行时，数据都是在哎内存中驻留，由CPU这个超级快的计算核心来执行，涉及到数据交换的地方就需要IO接口。

IO接口的提供以及高级编程语言中的IO操作的实现：#

    操作系统十个通用的软件程序，其通用目的如下：

    硬件驱动、进程管理、内存管理、网络管理、安全管理、I/O管理

    操作系统屏蔽了底层硬件，向上提供通用接口。因此，操作I/O的能力是由操作系统提供的，每一种编程语言都会把操作系统提供的低级C接口封装起来供开发者使用，Python也不例外。

二、文件读写实现原理和操作步骤#

1.文件读写实现原理：#

    由于操作I/O的能力是由操作系统提供的，且操作系统不允许普通程序直接操作磁盘，所以读写文件时需要操作系统打开一个对象，这个对象通常被称之为文件描述符--file descriptor，简称fd，这个就是我们在程序中要操作的文件对象。

    通常高级编程语言会提供一个内置的函数，通过接收‘文件路径’、‘文件打开模式’等参数来打开一个文件对象，并返回该文件对象的文件描述符。因此通过这个函数我们就可以获取到要操作的文件对象，在Python中这个函数叫open(）,在PHP中叫fopen()

2.文件读写操作步骤：#

不同编程语言读写文件的操作步骤大体都一样，都分为以下几步：

    1）打开文件，获取文件描述符；

    2）操作文件描述符--读/写；

    3）关闭文件。

3.需要注意的是：#

文件读写操作完成后，应该及时关闭。一方面，文件对象会占用操作系统的资源，另一方面，操作系统对同一时间能够打开的文件描述符的数量是有限的，在linux操作系统上可以通过ulimit -n来查看这个现实数量。如果不能及时关闭文件，还可能造成数据丢失，因为将数据写入文件时，操作系统不会立即把数据写入磁盘，而是先把数据放到内存缓存区异步写入磁盘。当调用close方法时，操作系统才会保证把没有写入磁盘的数据全部写入到磁盘，否则可能会丢失数据。

三、Python3中文件打开模式#

open(file, mode='r', buffering=None, encoding=None, errors=None, newline=None, closefd=True)#

打开文件的参数通常有：文件路径名称、mode参数（即打开模式）、编码模式...

这里需要搞清楚的就是mode参数，也就是我们使用什么模式打开一个文件：

Python3源码中时这样解释的：

Python3源码文件其实对文件的打开模式进行了详细的英文阐述，这里非常建议大家自己打开builtins.py文件自行查看，我相信研究看懂的远远比看别人写的文章描述的更加深刻。

这里只是粘贴一部分打开模式的简单描述部分：

========= ===============================================================

Character Meaning

--------- ---------------------------------------------------------------

'r'       open for reading (default)

'w'       open for writing, truncating the file first

'x'       create a new file and open it for writing

'a'       open for writing, appending to the end of the file if it exists

'b'       binary mode

't'       text mode (default)

'+'       open a disk file for updating (reading and writing)

'U'       universal newline mode (deprecated)

========= ===============================================================

接下来我们队几个常见且重要的模式进行中文解析：

打开模式	描述
r	以只读模式打开文件，并将文件指针指向文件开头；如果文件不存在则报错。
w	以只写模式打开文件，并将文件指针指向文件开头；如果文件存在则将其情况并写入，如果文件不存在则创建
a	以只追加写模式打开文件，并将文件指针指向文件末尾；如果文件不存在则创建。
r+	在r的基础上增加可写功能
w+	在w的基础上增加可读功能
a+	在a的模式上增加可读功能
b	读写二进制文件(默认是t，表示文本模式)，需要与上面几种模式搭配使用，如：ab，wb，ab
x	创建一个新文件再打开它写入；如果文件已存在则报错。

思考1：r+、w+和a+都可以对文件进行读写，他们有何区别？

    会覆盖当前文件指针所在位置的字符，如原来文件内容是“Hello World”，以r+模式打开文件写入“hi”则文件内容变成“hillo World”

打开模式	详细描述
r+	会覆盖当前文件指针所在位置的字符，如原来文件内容是“Hello World”，以r+模式打开文件写入“hi”则文件内容变成“hillo World”
w+	w+在打开文件时就会先将文件内清空，再进行写入。
a+	该模式只能写在文件末尾，也就是在文件末尾进行追加写入。

思考2:为何要定义这些模式？为什么不能像word文档意义打开它之后既可读又可写还可以修改呢？

    问题答案参考网上：

    跟安全有关，有这种观点的大部分是做运维的朋友，他们认为这就像linux上的rwx（读、写、执行）权限。

    跟操作系统内核管理I/O的机制有关，有这种观点的大部分是做C开发的，特别是与内核相关的开发人员。为了提高读写速度，要写入磁盘的数据会先放进内存缓冲区，之后再回写。由于可能会同时打开很多文件，当要回写数据时，需要遍历以打开的文件判断是否需要回写。他们认为如果打开文件时指定了读写模式，那么需要回写时，只要去查找以“可写模式”打开的文件就可以了。

四、Python文件操作实例#

读取文件open_test.py，该文件的字符编码为utf-8

Python3实现：

输出结果：

这里需要注意一点就是，我们在读写文件时候，特别是在读的时候大部分情况，如果文件路径不正确或者文件不存在，也就是找不到文件，又或者是在进行文件操作时候出现I/O错误，就会报错。此时如果要保证代码的健壮性最好加上try...finally来实现错误捕捉以及及时关闭文件对象(优化代码如下)：

输出结果：

上面关闭文件的代码有时候很容易忘记，所以我们接下来使用Python with方法来完成自动关闭文件：

输出结果：

可以看到在with语句中文件时没有关闭的，只有出了with语句后文件会自动关闭

关于Python with上下文管理的用法可以查看文章了解： https://www.cnblogs.com/suguangti/p/11123515.html

五、Python文件读取相关方法#

对文件的读取操作需要将文件中的数据加载到内存中，而在上面所用到的read()方法会一次性的把文件中所有的内容全部加载到内存中。这显然是不合理的，如果我们读取的是一个大文件，有几个G的文件时，必然会耗光机器的内存或者直接报错，所以肯定有一些其他的读取方法来解决：

 

方法	描述
read()	一次性读取文件所有内容
read(size)	每次最多读取指定长度内容，在Python2中size指定是字节长度，而在Python3中size指定为字符长度
readlines()	一次性读取文件所有内容，按行返回一个list
readline()	每次只读取一行内容

此外还有两个关于文件指针位置的方法：

方法	描述
seek()	将文件指针移动到指定字节位置
tell()

实例一：#

输出结果：

实例二：#

输出结果：

readlines()方法跟read()方法一样，都会消耗大量内存空间。

实例三：#

或者：

输出结果：

解决打印每一行换行符问题：#

方法一：

方法二：

输出结果：

六、文件操作其他方法#

方法	描述
flush()	刷新缓冲区数据，将缓冲区中的数据立刻写入文件
next()	返回文件下一行，这个方法也是file对象实例可以被当作迭代器使用的原因
truncate(size)	截取文件中指定字节数的内容，并覆盖保存到文件中，如果不指定size参数，则文件将被清空；Python2中无返回值，Python3返回新文件的内容字节数
write(str)	将字符写入文件，没有返回值
writelines(sequence)	向文件写入一个字符串货一个字符串列表，如果字符串列表中元素需要换行要自己加入换行符
fileno()	返回一个整型的文件描述符，可以用于一些底层I/O操作上(如os模块的read方法）
issatty()	判断文件是否被连接到一个虚拟终端，是则返回True，否则返回False