Python程序到底有没有内存泄漏

为何要撰写这篇文章?

    前段时间测试虚拟机用着用着就宕机了,然后我登录终端就弹出oom的错误,并且kill掉了一个python的程序,故我接着我以前的经验就说是不是内存泄漏了?哎!就是我说了下是不是内存泄漏,然后问题来了。我们的开发同学说“python内存泄漏?” 这下可好,那我就来分析一下Python到底会不会内存泄漏。

什么叫内存泄漏?

    内存泄漏(Memory Leak)是指程序中已动态分配的堆内存由于某种原因程序未释放或无法释放,造成系统内存的浪费,导致程序运行速度减慢甚至系统崩溃等严重后果。(摘:内存泄漏)

Python存在内存泄漏的地方

  1. 所用到的用 C 语言开发的底层模块中出现了内存泄露
  2. 代码中用到了全局的 list、 dict 或其它容器,不停的往这些容器中插入对象,而忘记了在使用完之后进行删除回收
  3. 代码中有“引用循环”,并且被循环引用的对象定义了__del__方法,就会发生内存泄露
    以上引用原文地址请戳我。

演示Python的内存泄漏

    你可以说Python的内存管理是由“Python 内存管理器”来完成的,我们用户是不需要关心内存管理的。是的,你说的完全正确!虽然Python程序不可能像C/C++一样“忘记释放”内存而导致没有足够的free这样的Memory Leak,但是也会遇到“逻辑上Memory Leak”的情况。
    像下面这种情况默认参数是可变的类型时就存在内存泄漏,如下:

def foo(a=[]):
    a.append(time.time())
    return a

    并且到现在requests模块内存泄露的问题都还没解决。
    下面我们按照上面的可变参数可导致内存泄漏的方法来演示,代码如下:

#!/bin/python3
# encoding: utf-8

import psutil, os


def memory_usage_psutil():
    # 用来返回内存大小,单位MB
    process = psutil.Process(os.getpid())
    mem = process.memory_info()[0] / float(2 ** 20)
    return mem


def get_current_obj(a=[], i=1):
    a.append([0] * i)
    return a


def sum_abj(a):
    return a ** 2


def main():
    obj = []
    for i in range(10000):
        obj = get_current_obj(obj,i)
        # 正常逻辑,我们每次调用get_current_obj完成后
        # 内存都会释放,但是现实好像不是这样,内存而是
        # 一直在增加。
        if (i % 100 == 0):
            print(memory_usage_psutil())
    print("========Below is the sum_obj function call.========")
    for j in range(10000):
        sum_abj(j)
        if (j % 100 == 0):
            print(len(gc.get_objects()))


if __name__ == '__main__':
    main()

以下是运行结果。

运行截图
    通过截图对比发现,函数get_current_obj在调用完毕后内存也没有释放,可想而知,如果该程序是一直处理请求的后台程序,那您的服务器内存一定会被撑破的。
    其实我们还可以在程序中添加如下代码,来看看到程序当前跟踪的对象数量,像下面这样:

import gc
...
def main():
...
        if (i % 100 == 0):
            print(memory_usage_psutil())
            print("跟踪的对象数量",len(gc.get_objects()))
...
        if (j % 100 == 0):
            print(memory_usage_psutil())
            print("跟踪的对象数量",len(gc.get_objects()))
...

最后具体的执行效果像这样,可变参数的对象数量一直在增加:

如何解决上述的内存泄漏问题

    23    def main():
    24        obj = []
    25        for i in range(10000):
    26            obj = []
    27            obj = get_current_obj(obj,i)
    28            # 正常逻辑,我们每次调用get_current_obj完成后
    29            # 内存都会释放,但是现实好想不是这样,内存而是
    30            # 一直在增加。
    31            if (i % 100 == 0):
    32                print("内存使用大小",memory_usage_psutil())
    33                print(len(obj[0]))
    34                print("跟踪的对象数量",len( gc.get_objects() ) )
    35            del obj
    36    if __name__ == '__main__':
    37        main()

如上,我们只需要添加26、35行代码即可,即使用完毕后进行回收。

总结

    最后Python到底有没有内存泄漏?答案是肯定的,但是不是与您所想的C代码“忘记回收内存”而导致的内存泄漏,而是在程序的运行中“进程占用的内存莫名其妙一直再升高”。进程占用内存一直升高,与逻辑预期不一致,最后导致了内存泄漏。
    而且我们可以用下面的几个步骤来验证,总结如下:

  1. 使用 gc.get_objects() 获取被跟踪对象的列表,然后使用 len 函数计算对象的数量
  2. 函数调用完毕后,再统计对象的跟踪列表大小(当函数返回时,函数内创建的所有内容都应该被删除)
  3. 最后进行对象数量比较,如果函数执行完毕后的对象数量比执行前大,则存在内存泄漏

参考文献

python内存管理
memory-leak-in-python-requests
Python 官方模块OS内存泄漏
Note On some platforms, including FreeBSD and macOS, setting environ may cause memory leaks. Refer to the system documentation for putenv().
Python memory leak

评论

暂无评论