python内存管理机制

Bill78 等级 129 0 0

1. 内存管理架构

第0层: 是操作系统提供的内存管理接口,比如c运行时提供的malloc和free接口。这一层是由操作系统实现并管理的,python不能干涉这一层的行为。

第1层:基于第0层操作系统提供的内存管理接口包装而成,其目的仅仅是为python提供一层统一的raw memory的管理接口。

提供统一的接口是虽然不同的操作系统提供了ANSI C标准所定义的内存管理接口,但对于某些特殊的情况不同的操作系统有不同的行为。为了处理这些平台相关的内存分配行为,python必须要在C的内存分配接口上再提供一层包装。

第2层:第1层所提供的内存管理接口其功能是有限的,想象一下,如果创建一个PyIntObject对象,还要进行许多额外的工作,比如设置对象的类型对象参数,初始化对象的引用计数器等。为了简化python自身的开发,python在比第一层更高的抽象层次上提供了第二层内存管理接口。GC是在这层实现的。

第3层:在第2层内存管理机制之上,对于python的一些常用对象,比如整数对象,字符串对象等,python又构建了更高抽象层次的内存管理策略。对于第3层的内存管理策略,主要就是对象缓冲池对象。

2. 小块空间的内存池

整个小块内存池可以视为一个层次结构,在这个层次结构中,一共分为4层,从下到上分别为:block、pool、arena和内存池。其中,block、pool和arena都是python代码中可以找到的实体,而最顶层的内存池只是一个概念上的东西,表示python对于整个小块内存分配和释放行为的内存管理机制。

2.1 block

 在最底层,block是一个确定大小的内存块。在python中,有很多种block,不同种类的block都有不同的内存大小,这些内存大小的值就被称为size class。为了在当前主流32位和64位平台上都能获得最佳的性能,所有的block的长度都是8字节对齐的。

2.2 Pool

初始化pool的结构图:

pool的内存申请情况如下:

2.3 arena

arena的默认大小是256KB,那么大致相当于包含64个pool。

arena的内存分布情况如下:

arena在某时刻的可能状态:

申请arena:

2.4 内存池

pool的三种状态:

 ![](https://img-hello-world.oss-cn-beijing.aliyuncs.com/6341c8f71bd0afaf3a8818860c6eba97.png)

2.4.1 pool的初始化

2.4.2 block的释放

当我们释放一个block后,可能会引起pool的状态变化:

 a) used状态转变成empty状态:

      将pool链接到链入到freepool中

 b) full状态转变成used状态:

    仅仅是将pool重新链回usedpools即可

 c)仍然还是used状态:

     python仅仅将释放的block放到自由block链表中,并调整pool中的ref.count这个引用计数器

  对arena的处理,分为下面4种情况:

1)如果arena所有的pool都是empty,释放掉pool占用的内存,将arena链接到“未使用”状态

 2) 如果arena没有了empty的pool,那么usable\_arenas链表中就找不到该arena,由于arena中有了一个pool,需要将这个arena链入到usable\_arenas链表的表头

 3)

4) 其他情况,不对arena进行任何的处理。

2.5 内存池全景图

本文转自 https://blog.csdn.net/yehuoneng/article/details/89047319,如有侵权,请联系删除。

预览图
收藏
评论区