学习Disruptor时的一些联想和总结

周阳
• 阅读 1387

一、前言

  前两天整log4j2的时候不是碰到Disruptor了嘛,想着能不能从这个吹爆了的并发框架里汲取些性能优化的思路呢。稍微学习下源码,还真是有收获的。
学习Disruptor时的一些联想和总结

对Disruptor感兴趣的小伙伴可以看看哈希大佬的博客,对于Disruptor有系列文章,算是网上比较细的https://blog.csdn.net/zhxdick...

二、RingBuffer

  大致看了下,好像所有的点都和RingBuffer有关,就将标题写成RingBuffer。

  1. Disruptor在初始化的时候创建指定大小的RingBuffer,创建之后大小恒定,不会自动扩容,避免了频繁扩容的性能损耗;【可以联想到List、Map、StringBuilder、StringBuffer些自动扩容的骚玩意儿】
     
  2. RingBuffer中存放数据的核心是entries的数组变量,RingBuffer初始化的时候会进行数据预分配【是不是类似一些池化的东西】,将数组填满;【数据内容为自定义的event对象】。这段逻辑在RingBuffer的父类RingBufferFields实现中可以看到:
RingBufferFields(
    EventFactory<E> eventFactory,
    Sequencer sequencer)
{
    this.sequencer = sequencer;
    this.bufferSize = sequencer.getBufferSize();
    if (bufferSize < 1)
    {
        throw new IllegalArgumentException("bufferSize must not be less than 1");
    }
    if (Integer.bitCount(bufferSize) != 1)
    {
        throw new IllegalArgumentException("bufferSize must be a power of 2");
    }
    this.indexMask = bufferSize - 1;
    this.entries = new Object[sequencer.getBufferSize() + 2 * BUFFER_PAD];
    // 预分配对象
    fill(eventFactory);
}
private void fill(EventFactory<E> eventFactory)
{
    for (int i = 0; i < bufferSize; i++)
    {
        entries[BUFFER_PAD + i] = eventFactory.newInstance();
    }
}
  1. RingBuffer相比较其他环形数据结构,基于数组实现【可以充分利用CPU cache line,高性能】,没有尾指针,只有一个next指针,指向下一个可用位置。
     
  2. RingBuffer循环写的核心思想是,使用sequence的下标和bufferSize进行取模运算,实际使用的位运算【联想到HashMap的数组定位】,在二进制环境下,位运算mod运算性能高很多。
     
  3. RingBuffer不会主动清除已经消费过的对象信息,只会覆盖先前的数据,而覆盖操作其实是自定义event对象属性的覆盖。这里实现了对象重用,降低了GC压力
    对象重用在某些地方对性能提升简直就是起飞模式,特别对于那些频繁初始化的重类比如xstream,或者可能会涉及类加载这种耗时操作的,尽可能使用单例模式或者对象池进行操作。
     
  4. Disruptor充分利用了CPU cache line的强大性能,为了解决伪共享的问题,在频繁使用的Sequence类和RingBuffer类中,可以看到很多用来填充对齐的long变量;Sequence在处理的时候在左右分别设置7位padding long【缓存填充数据】保证独占缓存行;
class LhsPadding
{
    protected long p1, p2, p3, p4, p5, p6, p7;
}

class Value extends LhsPadding
{
    protected volatile long value;
}

class RhsPadding extends Value
{
    protected long p9, p10, p11, p12, p13, p14, p15;
}

同样的操作在RingBuffer中:

abstract class RingBufferPad
{
    protected long p1, p2, p3, p4, p5, p6, p7;
}

abstract class RingBufferFields<E> extends RingBufferPad
{
    private static final int BUFFER_PAD;
    private static final long REF_ARRAY_BASE;
    private static final int REF_ELEMENT_SHIFT;
    private static final Unsafe UNSAFE = Util.getUnsafe();
    ....
}

public final class RingBuffer<E> extends RingBufferFields<E> implements Cursored, EventSequencer<E>, EventSink<E>
{
    public static final long INITIAL_CURSOR_VALUE = Sequence.INITIAL_VALUE;
    protected long p1, p2, p3, p4, p5, p6, p7;
    ....
}
  1. 还有就是Disruptor的大思想,无锁化。Disruptor中,除了WaitStrategy那块涉及到ReentrantLock外,基本就没有其他锁的操作,要么就是CAS。在多线程环境下,线程数越多,线程程竞争越激烈,锁的开销越大。这里甚至可以联想到一些无锁串行化的应用实现,比如redis,netty。
    还有类似的其他无锁的框架:java.util.concurrent.atomic包、Amino框架

结尾

  也没啥说的了,如果对各位小伙伴有些些启发的话,就关注我吧➕。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
4年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
Python Challenge Level 18
初学Python,挑战一下流行的PythonChallenge,很不幸,卡在了18关~~被字符字节码之间的转换搞得焦头烂额,不过终于搞定了还是很happy的~~~主要的问题就是16进制形式的字符如何转成字节码(注意:不是encoding)如:\'89','50','4e','47','0d','0a','1a','0a','00
Easter79 Easter79
3年前
Twitter的分布式自增ID算法snowflake (Java版)
概述分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的。有些时候我们希望能使用一种简单一些的ID,并且希望ID能够按照时间有序生成。而twitter的snowflake解决了这种需求,最初Twitter把存储系统从MySQL迁移
Wesley13 Wesley13
3年前
mysql设置时区
mysql设置时区mysql\_query("SETtime\_zone'8:00'")ordie('时区设置失败,请联系管理员!');中国在东8区所以加8方法二:selectcount(user\_id)asdevice,CONVERT\_TZ(FROM\_UNIXTIME(reg\_time),'08:00','0
Wesley13 Wesley13
3年前
Java日期时间API系列36
  十二时辰,古代劳动人民把一昼夜划分成十二个时段,每一个时段叫一个时辰。二十四小时和十二时辰对照表:时辰时间24时制子时深夜11:00凌晨01:0023:0001:00丑时上午01:00上午03:0001:0003:00寅时上午03:00上午0
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Python进阶者 Python进阶者
1年前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这
美凌格栋栋酱 美凌格栋栋酱
5个月前
Oracle 分组与拼接字符串同时使用
SELECTT.,ROWNUMIDFROM(SELECTT.EMPLID,T.NAME,T.BU,T.REALDEPART,T.FORMATDATE,SUM(T.S0)S0,MAX(UPDATETIME)CREATETIME,LISTAGG(TOCHAR(