多线程(十六、ConcurrentHashMap原理(3)扩容)

2020-12-13 03:53

阅读:503

标签:node   imu   步骤   tab   com   原理   bin   div   ble   

扩容的原理

扩容一般分为2个步骤

1、table数组的扩容,一般是2倍的扩容,这个是单线程操作的。

2、数据的迁移,把旧table中的各个槽中的结点重新分配到新table中。

ConcurrentHashMap在处理rehash的时候,并不会重新计算每个key的hash值,而是利用了一种很巧妙的方法。

1、ConcurrentHashMap内部的table数组的大小必须为2的幂次,原因是让key均匀分布,减少冲突
2、当table数组的大小为2的幂次时,通过key.hash & table.length-1这种方式计算出的索引i,当table扩容后(2倍),新的索引要么在原来的位置i,要么是i+n,n为扩容之前的容量。
3、这种处理方式非常利于扩容时多个线程同时进行的数据迁移操作,因为旧table的各个桶中的结点迁移不会互相影响,将整个table数组划分为很多部分,每一部分包含一定区间的桶,每个数据迁移线程处理各自区间中的结点

什么时候扩容?

链表的结点数目超过一定阈值,就会触发链表 -> 红黑树的转换,执行treeifyBin方法。

/**
 *  链表 -> 红黑树 的转换.
 */
private final void treeifyBin(Node[] tab, int index) {
    Node b;
    int n, sc;
    if (tab != null) {

        // CASE 1: table的容量  红黑树的转换
        else if ((b = tabAt(tab, index)) != null && b.hash >= 0) {
            synchronized (b) {
                if (tabAt(tab, index) == b) {
                    TreeNode hd = null, tl = null;

                    // 遍历链表,建立红黑树
                    for (Node e = b; e != null; e = e.next) {
                        TreeNode p = new TreeNode(e.hash, e.key, e.val, null, null);
                        if ((p.prev = tl) == null)
                            hd = p;
                        else
                            tl.next = p;
                        tl = p;
                    }
                    // 封装TreeBin,并链接到table[index]中
                    setTabAt(tab, index, new TreeBin(hd));
                }
            }
        }
    }
}

扩容函数tryPresize

private final void tryPresize(int size) {
        //动态调整扩容的大小
        int c = (size >= (MAXIMUM_CAPACITY >>> 1)) ? MAXIMUM_CAPACITY :
                tableSizeFor(size + (size >>> 1) + 1);
        int sc;
        while ((sc = sizeCtl) >= 0) { //大于等于0代表,初始化或者扩容后的(table*负载因子)的桶数量
            Node[] tab = table; int n;
            //Case1,table没有初始化,先初始化
            if (tab == null || (n = tab.length) == 0) {
                n = (sc > c) ? sc : c;
                //设置SIZECTL为-1代表,初始化或者扩容进行中
                if (U.compareAndSwapInt(this, SIZECTL, sc, -1)) {
                    try {
                        if (table == tab) {
                            Node[] nt = (Node[])new Node,?>[n];//生成新的table
                            table = nt;
                            sc = n - (n >>> 2); //n-(n/4) = 0.75n,也就是负载因子
                        }
                    } finally {
                        sizeCtl = sc; //设置sizeCtl为扩容后的桶*负载因子
                    }
                }
            }
            //Case2, c=MAXIMUM_CAPACITY,说明桶超限了。
            else if (c = MAXIMUM_CAPACITY)
                break;
            //Case3,开始扩容
            else if (tab == table) {
                int rs = resizeStamp(n);//根据容量n生成一个随机数,唯一标识本次扩容操作
                if (sc [] nt;
                    //不能协助扩容,退出
                    if ((sc >>> RESIZE_STAMP_SHIFT) != rs || sc == rs + 1 ||
                            sc == rs + MAX_RESIZERS || (nt = nextTable) == null ||
                            transferIndex 

数据迁移方法transfer

/**
     * tab,    旧table
     * nextTAB 扩容后的table
     */
    private final void transfer(Node[] tab, Node[] nextTab) {
        int n = tab.length, stride;
        //每个线程负责迁移table一个区间段的桶的个数,最少是16个
        if ((stride = (NCPU > 1) ? (n >>> 3) / NCPU : n) [] nt = (Node[])new Node,?>[n  fwd = new ForwardingNode(nextTab);
        boolean advance = true; //为true,表示当前桶迁移完成,可以继续处理下一个桶
        boolean finishing = false; // 最后一个数据迁移的线程将该值置为true,进行扩容的收尾工作
        //i桶索引,bound就是线程要处理的另一个区间边界
        for (int i = 0, bound = 0;;) {
            Node f; int fh;
            //定位本轮处理区间【transferIndex-1,transferIndex-stride】
            while (advance) {
                int nextIndex, nextBound;
                if (--i >= bound || finishing)
                    advance = false;
                else if ((nextIndex = transferIndex)  stride ?
                                        nextIndex - stride : 0))) {
                    bound = nextBound;
                    i = nextIndex - 1;
                    advance = false;
                }
            }
            //Case1,最后一个迁移线程或者是线程出现了冲突,导致了i= n || i + n >= nextn) {
                int sc;
                if (finishing) { //迁移完成
                    nextTable = null;
                    table = nextTab;
                    sizeCtl = (n >> 1);
                    return;
                }
                //扩容线程数减1,当前线程任务已执行完成
                if (U.compareAndSwapInt(this, SIZECTL, sc = sizeCtl, sc - 1)) {
                    //判断是否最后一个迁移线程,不是则退出
                    if ((sc - 2) != resizeStamp(n)  ln, hn;
                        if (fh >= 0) { //桶是链表,迁移链表

                            /**
                             * 下面的过程会将旧桶中的链表分成两部分:ln链和hn链
                             * ln链会插入到新table的槽i中,hn链会插入到新table的槽i+n中
                             */
                            int runBit = fh & n;
                            Node lastRun = f;
                            for (Node p = f.next; p != null; p = p.next) {
                                int b = p.hash & n;
                                if (b != runBit) {
                                    runBit = b;
                                    lastRun = p;
                                }
                            }
                            if (runBit == 0) {
                                ln = lastRun;
                                hn = null;
                            }
                            else {
                                hn = lastRun;
                                ln = null;
                            }
                            for (Node p = f; p != lastRun; p = p.next) {
                                int ph = p.hash; K pk = p.key; V pv = p.val;
                                if ((ph & n) == 0)
                                    ln = new Node(ph, pk, pv, ln);
                                else
                                    hn = new Node(ph, pk, pv, hn);
                            }
                            setTabAt(nextTab, i, ln);  // ln链表存入新桶的索引i位置
                            setTabAt(nextTab, i + n, hn); // hn链表存入新桶的索引i+n位置
                            setTabAt(tab, i, fwd); // 设置ForwardingNode占位
                            advance = true; // 表示当前旧桶的结点已迁移完毕
                        }
                        else if (f instanceof TreeBin) { //红黑树迁移
                            TreeBin t = (TreeBin)f;
                            TreeNode lo = null, loTail = null;
                            TreeNode hi = null, hiTail = null;
                            /**
                             * 先以链表方式遍历,复制所有结点,然后根据高低位组装成两个链表;
                             * 然后看下是否需要进行红黑树转换,最后放到新table对应的桶中
                             */
                            int lc = 0, hc = 0;
                            for (Node e = t.first; e != null; e = e.next) {
                                int h = e.hash;
                                TreeNode p = new TreeNode
                                        (h, e.key, e.val, null, null);
                                if ((h & n) == 0) {
                                    if ((p.prev = loTail) == null)
                                        lo = p;
                                    else
                                        loTail.next = p;
                                    loTail = p;
                                    ++lc;
                                }
                                else {
                                    if ((p.prev = hiTail) == null)
                                        hi = p;
                                    else
                                        hiTail.next = p;
                                    hiTail = p;
                                    ++hc;
                                }
                            }
                            // 判断是否需要进行 红黑树  链表 的转换
                            ln = (lc (lo) : t;
                            hn = (hc (hi) : t;
                            setTabAt(nextTab, i, ln);
                            setTabAt(nextTab, i + n, hn);
                            setTabAt(tab, i, fwd);// 设置ForwardingNode占位
                            advance = true; // 表示当前旧桶的结点已迁移完毕
                        }
                    }
                }
            }
        }
    }

多线程(十六、ConcurrentHashMap原理(3)扩容)

标签:node   imu   步骤   tab   com   原理   bin   div   ble   

原文地址:https://blog.51cto.com/janephp/2413949


评论


亲,登录后才可以留言!