Python读取大文件的＂坑“与内存占用检测(2)

当前位置:

首页 > Python基础教程 >

Python读取大文件的＂坑“与内存占用检测(2)

3.内存检测工具的介绍

对于python代码的内存占用问题，对于代码进行内存监控十分必要。这里笔者这里推荐两个小工具来检测python代码的内存占用。

####memory_profiler

首先先用pip安装memory_profiler

1	`pip` `install` `memory_profiler`

memory_profiler是利用python的装饰器工作的，所以我们需要在进行测试的函数上添加装饰器。

						from hashlib import sha1

						import sys

						@profile

						def my_func():

						    sha1Obj = sha1()

						    with open(sys.argv[1], 'rb') as f:

						        while True:

						            buf = f.read(10 * 1024 * 1024)

						            if buf:

						                sha1Obj.update(buf)

						            else:

						                break

						    print(sha1Obj.hexdigest())

						if __name__ == '__main__':

						    my_func()

之后在运行代码时加上** -m memory_profiler**

就可以了解函数每一步代码的内存占用了

加载中...

guppy

依样画葫芦，仍然是通过pip先安装guppy

1	`pip` `install` `guppy`

之后可以在代码之中利用guppy直接打印出对应各种python类型（list、tuple、dict等）分别创建了多少对象，占用了多少内存。

						from guppy import hpy

						import sys

						def my_func():

						    mem = hpy()

						    with open(sys.argv[1], 'rb') as f:

						        while True:

						            buf = f.read(10 * 1024 * 1024)

						            if buf:

						                print(mem.heap())

						            else:

						                break

栏目列表