python内存管理机制

Bill78
• 阅读 1750

1. 内存管理架构

第0层: 是操作系统提供的内存管理接口,比如c运行时提供的malloc和free接口。这一层是由操作系统实现并管理的,python不能干涉这一层的行为。

第1层:基于第0层操作系统提供的内存管理接口包装而成,其目的仅仅是为python提供一层统一的raw memory的管理接口。

提供统一的接口是虽然不同的操作系统提供了ANSI C标准所定义的内存管理接口,但对于某些特殊的情况不同的操作系统有不同的行为。为了处理这些平台相关的内存分配行为,python必须要在C的内存分配接口上再提供一层包装。

第2层:第1层所提供的内存管理接口其功能是有限的,想象一下,如果创建一个PyIntObject对象,还要进行许多额外的工作,比如设置对象的类型对象参数,初始化对象的引用计数器等。为了简化python自身的开发,python在比第一层更高的抽象层次上提供了第二层内存管理接口。GC是在这层实现的。

第3层:在第2层内存管理机制之上,对于python的一些常用对象,比如整数对象,字符串对象等,python又构建了更高抽象层次的内存管理策略。对于第3层的内存管理策略,主要就是对象缓冲池对象。

python内存管理机制

2. 小块空间的内存池

整个小块内存池可以视为一个层次结构,在这个层次结构中,一共分为4层,从下到上分别为:block、pool、arena和内存池。其中,block、pool和arena都是python代码中可以找到的实体,而最顶层的内存池只是一个概念上的东西,表示python对于整个小块内存分配和释放行为的内存管理机制。

2.1 block

 在最底层,block是一个确定大小的内存块。在python中,有很多种block,不同种类的block都有不同的内存大小,这些内存大小的值就被称为size class。为了在当前主流32位和64位平台上都能获得最佳的性能,所有的block的长度都是8字节对齐的。

python内存管理机制

python内存管理机制

2.2 Pool

初始化pool的结构图:

python内存管理机制

pool的内存申请情况如下:

python内存管理机制

2.3 arena

arena的默认大小是256KB,那么大致相当于包含64个pool。

arena的内存分布情况如下:

python内存管理机制

arena在某时刻的可能状态:

python内存管理机制

申请arena:

2.4 内存池

pool的三种状态:

 ![](https://img-hello-world.oss-cn-beijing.aliyuncs.com/6341c8f71bd0afaf3a8818860c6eba97.png)

python内存管理机制

2.4.1 pool的初始化

2.4.2 block的释放

当我们释放一个block后,可能会引起pool的状态变化:

 a) used状态转变成empty状态:

      将pool链接到链入到freepool中

 b) full状态转变成used状态:

    仅仅是将pool重新链回usedpools即可

 c)仍然还是used状态:

     python仅仅将释放的block放到自由block链表中,并调整pool中的ref.count这个引用计数器

  对arena的处理,分为下面4种情况:

1)如果arena所有的pool都是empty,释放掉pool占用的内存,将arena链接到“未使用”状态

 2) 如果arena没有了empty的pool,那么usable\_arenas链表中就找不到该arena,由于arena中有了一个pool,需要将这个arena链入到usable\_arenas链表的表头

 3)

python内存管理机制

4) 其他情况,不对arena进行任何的处理。

2.5 内存池全景图

python内存管理机制

本文转自 https://blog.csdn.net/yehuoneng/article/details/89047319,如有侵权,请联系删除。

点赞
收藏
评论区
推荐文章
blmius blmius
2年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Stella981 Stella981
2年前
Python3:sqlalchemy对mysql数据库操作,非sql语句
Python3:sqlalchemy对mysql数据库操作,非sql语句python3authorlizmdatetime2018020110:00:00coding:utf8'''
Stella981 Stella981
2年前
KVM调整cpu和内存
一.修改kvm虚拟机的配置1、virsheditcentos7找到“memory”和“vcpu”标签,将<namecentos7</name<uuid2220a6d1a36a4fbb8523e078b3dfe795</uuid
Wesley13 Wesley13
2年前
4cast
4castpackageloadcsv.KumarAwanish发布:2020122117:43:04.501348作者:KumarAwanish作者邮箱:awanish00@gmail.com首页:
Stella981 Stella981
2年前
Python之time模块的时间戳、时间字符串格式化与转换
Python处理时间和时间戳的内置模块就有time,和datetime两个,本文先说time模块。关于时间戳的几个概念时间戳,根据1970年1月1日00:00:00开始按秒计算的偏移量。时间元组(struct_time),包含9个元素。 time.struct_time(tm_y
Wesley13 Wesley13
2年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
5个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这