亚洲最大看欧美片,亚洲图揄拍自拍另类图片,欧美精品v国产精品v呦,日本在线精品视频免费

  • 站長資訊網(wǎng)
    最全最豐富的資訊網(wǎng)站

    你或許聽過對Golang map做GC?

    Golang 中的 map 結(jié)構(gòu),在刪除鍵值對的時候,并不會真正的刪除,而是標(biāo)記。那么隨著鍵值對越來越多,會不會造成大量內(nèi)存浪費?

    首先答案是會的,很有可能導(dǎo)致 OOM,而且針對這個還有一個討論:github.com/golang/go/issues/20135。大致的意思就是在很大的 map 中,delete 操作沒有真正釋放內(nèi)存而可能導(dǎo)致內(nèi)存 OOM。

    所以一般的做法:就是 重建map。而 go-zero 中內(nèi)置了 safemap 的容器組件。safemap 在一定程度上可以避免這種情況發(fā)生。

    那首先我們看看 go 原生提供的 map 是怎么刪除的?

    原生map刪除

    1  package main 2 3  func main() { 4      m := make(map[int]string, 9) 5      m[1] = "hello" 6      m[2] = "world" 7      m[3] = "go" 8 9      v, ok := m[1] 10     _, _ = fn(v, ok) 11 12     delete(m, 1) 13  } 14 15 func fn(v string, ok bool) (string, bool) { 16     return v, ok 17 }

    測試代碼如上,我們可以通過 go tool compile -S -N -l testmap.go | grep "CALL"

    0x0071 00113 (test/testmap.go:4)        CALL    runtime.makemap(SB) 0x0099 00153 (test/testmap.go:5)        CALL    runtime.mapassign_fast64(SB) 0x00ea 00234 (test/testmap.go:6)        CALL    runtime.mapassign_fast64(SB) 0x013b 00315 (test/testmap.go:7)        CALL    runtime.mapassign_fast64(SB) 0x0194 00404 (test/testmap.go:9)        CALL    runtime.mapaccess2_fast64(SB) 0x01f1 00497 (test/testmap.go:10)       CALL    "".fn(SB) 0x0214 00532 (test/testmap.go:12)       CALL    runtime.mapdelete_fast64(SB) 0x0230 00560 (test/testmap.go:7)        CALL    runtime.gcWriteBarrier(SB) 0x0241 00577 (test/testmap.go:6)        CALL    runtime.gcWriteBarrier(SB) 0x0252 00594 (test/testmap.go:5)        CALL    runtime.gcWriteBarrier(SB) 0x025c 00604 (test/testmap.go:3)        CALL    runtime.morestack_noctxt(SB)

    執(zhí)行第12行的 delete,實際執(zhí)行的是 runtime.mapdelete_fast64。

    這些函數(shù)的參數(shù)類型是具體的 int64,mapdelete_fast64 跟原始的 delete 操作一樣的,所以我們來看看 mapdelete。

    mapdelete

    長圖預(yù)警?。?!

    你或許聽過對Golang map做GC?

    大致代碼分析如上,具體代碼就留給大家去閱讀了。其實大致過程:

    1. 寫保護,防止并發(fā)寫
    2. 查詢要刪除的 key 是否存在
    3. 存在則對其標(biāo)志做刪除標(biāo)記
    4. count--

    所以你在大面積刪除 key ,實際 map 存儲的 key 是不會刪除的,只是標(biāo)記當(dāng)前的key狀態(tài)為 empty。

    其實出發(fā)點,和 mysql 的標(biāo)記刪除類似,防止后續(xù)會有相同的 key 插入,省去了擴縮容的操作。

    但是這個對有些場景是不妥的,如果開發(fā)者在未來時間內(nèi)都不會再插入相同的 key ,很可能會導(dǎo)致 OOM。

    所以針對以上情況,go-zero 開發(fā)了 safemap 。下面我們看看 safemap 是如何避免這個問題的?

    safemap

    直接從操作 safemap 中分析為什么要這么設(shè)計:

    你或許聽過對Golang map做GC?

    1. 預(yù)設(shè)一個 刪除閾值,如果觸發(fā)會放到一個新預(yù)設(shè)好的 newmap
    2. 兩個 map 是一個整體,所以 key 只能留一份

    所以為什么要設(shè)置兩個 map 就很清楚了:

    1. dirtyOld 作為存儲主體,如果 delete 操作達到閾值,則會觸發(fā)遷移。
    2. dirtyNew 作為暫存體,會在到達閾值時,存放部分 key/value

    所以在遷移操作時,我們需要做的就是:將原先的 dirtyOld 清空,存儲的 key/value 通過 for-range 重新存儲到 dirtyNew,然后將 dirtyNew 指向 dirtyOld。

    可能會有疑問:不是說 key/value 沒有刪除嗎,只是標(biāo)記了 tophash=empty

    其實在 for-range 過程中,會過濾掉 tophash <= emptyOne 的 key

    這樣就實現(xiàn)了不需要的 key 不會被加入到 dirtyNew,進而不會影響 dirtyOld。

    你或許聽過對Golang map做GC?

    這其實也就是垃圾回收的年老代和新生代的概念。

    贊(0)
    分享到: 更多 (0)
    網(wǎng)站地圖   滬ICP備18035694號-2    滬公網(wǎng)安備31011702889846號