業(yè)界最大數(shù)據(jù)湖0故障遷上阿里云

2024-11-13 11:14:23 1584

最近，小紅書(shū)技術(shù)團(tuán)隊(duì)完成了一件前所未有的壯舉： 一年內(nèi)，把業(yè)界最大數(shù)據(jù)湖0故障遷上阿里云。

壯舉的背后意味著風(fēng)險(xiǎn)和挑戰(zhàn)。

作為中國(guó)頭部互聯(lián)網(wǎng)公司之一，小紅書(shū)月活用戶(hù)已過(guò)3億，其數(shù)據(jù)湖存儲(chǔ)了過(guò)去11年的所有原始數(shù)據(jù)，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。近年來(lái)，隨著業(yè)務(wù)的高速增長(zhǎng)，小紅書(shū)在線(xiàn)處理數(shù)據(jù)的需求不斷增加，同時(shí)離線(xiàn)處理所積累的歷史問(wèn)題，也提高了切換的難度。

為此，2023年11月，小紅書(shū)共有1500人參與遷云項(xiàng)目——計(jì)劃一年內(nèi)，把小紅書(shū)的數(shù)據(jù)湖搬上阿里云。

饒是如此，難度依舊超出想象。即便是業(yè)界體量最大的案例，也遠(yuǎn)小于小紅書(shū)的本次遷移。

*注：任務(wù)=數(shù)據(jù)處理過(guò)程（如，數(shù)據(jù)出入數(shù)倉(cāng)就需要通過(guò)任務(wù)進(jìn)行調(diào)度）

// 拉著1500人一起開(kāi)盲盒

2023年11月，項(xiàng)目組正式成立，在小紅書(shū)內(nèi)部出現(xiàn)了一種聲音，覺(jué)得這是個(gè)「推著推著就會(huì)不了了之的事」。

不看好的理由，來(lái)自于沉重的歷史包袱。

這是小紅書(shū)歷史上首次盤(pán)點(diǎn)公司數(shù)字資產(chǎn)，過(guò)去11年發(fā)展歷程中積累了大量無(wú)主任務(wù)與不標(biāo)準(zhǔn)操作。即便前期做了取舍，仍需要大量治理。

即便壓力重重，團(tuán)隊(duì)還是在立項(xiàng)文檔的最后一行寫(xiě)下了4個(gè)字，「干就完了」。

首先要解決的還是標(biāo)準(zhǔn)問(wèn)題。

過(guò)去的數(shù)據(jù)平臺(tái)開(kāi)發(fā)模式混亂，需要在遷移前把新的基礎(chǔ)環(huán)境搭建好，切換到自研平臺(tái)，統(tǒng)一開(kāi)發(fā)標(biāo)準(zhǔn)。

其次根據(jù)標(biāo)準(zhǔn)進(jìn)行治理。

大家把這一過(guò)程形容為「拉著1500人一起開(kāi)盲盒，如果不打開(kāi)就不知道里面有多千奇百怪」。

以下是幾種典型：

· 引用自己寫(xiě)的「野生」代碼

· 離線(xiàn)任務(wù)不按規(guī)范經(jīng)過(guò)數(shù)倉(cāng)，直接訪問(wèn)在線(xiàn)

· 源代碼已丟失、流程已丟失

· 交接好幾手，「跑很久沒(méi)掛，就一直沒(méi)管」

為此，小紅書(shū)幾大業(yè)務(wù)的負(fù)責(zé)人，把各自O(shè)KR的最重要一項(xiàng)列為遷云，開(kāi)始為結(jié)果負(fù)責(zé)、推動(dòng)問(wèn)題解決。

數(shù)據(jù)平臺(tái)與業(yè)務(wù)技術(shù)的配合也變得更加緊密。

// 如果項(xiàng)目失敗，可能的原因是什么？

在遷云項(xiàng)目中，關(guān)鍵是「舍掉什么」以及「誰(shuí)來(lái)拍板」，背后對(duì)應(yīng)著兩個(gè)「有限」：

1. 時(shí)間有限

量大，無(wú)法一次性全量遷移。

為此團(tuán)隊(duì)總結(jié)出了一套取舍的標(biāo)準(zhǔn)：「長(zhǎng)期無(wú)人維護(hù)、訪問(wèn)，說(shuō)明不重要」、「斷掉后沒(méi)有人舉手，說(shuō)明不重要」。同時(shí)在測(cè)試環(huán)境中頻繁演練、迭代。

2. 準(zhǔn)確度有限

需要和項(xiàng)目驗(yàn)收方提前達(dá)成共識(shí)。

算法類(lèi)：算法數(shù)據(jù)工程負(fù)責(zé)人驗(yàn)收。

報(bào)表類(lèi)：由數(shù)據(jù)分析負(fù)責(zé)人驗(yàn)收。懂?dāng)?shù)據(jù)，更易拉齊與收斂。

子城是小紅書(shū)遷云項(xiàng)目負(fù)責(zé)人，在他看來(lái)，這一次會(huì)議很關(guān)鍵，「跟算法數(shù)據(jù)工程負(fù)責(zé)人和DI負(fù)責(zé)人拉齊標(biāo)準(zhǔn)、一起排查驗(yàn)收，大大降低了驗(yàn)收環(huán)節(jié)的難度」。

// 到底還有多少問(wèn)題需要解決？

完成治理后，項(xiàng)目在2024年5月正式進(jìn)入雙跑階段。作為切換到正式環(huán)境前最后的測(cè)試，是穩(wěn)定性最大的保障。需要把數(shù)據(jù)拷貝到阿里云，兩邊同時(shí)跑數(shù)，驗(yàn)證正確性與及時(shí)性。

這一階段，需要解決的問(wèn)題數(shù)不勝數(shù)。

類(lèi)似「蜘蛛網(wǎng)」，數(shù)據(jù)從入倉(cāng)到出倉(cāng)，需要經(jīng)過(guò)一條漫長(zhǎng)的鏈路，通過(guò)各種任務(wù)進(jìn)行處理，也在雙跑中帶來(lái)了三個(gè)問(wèn)題：

一、在其中的網(wǎng)狀結(jié)構(gòu)中，下游數(shù)據(jù)會(huì)受到上游影響，一個(gè)小小的錯(cuò)誤就會(huì)帶來(lái)很大的偏差，難以歸因；

二、算法具有隨機(jī)性，如果不跑就不知道會(huì)有什么問(wèn)題；

三、現(xiàn)有的任務(wù)仍隨著業(yè)務(wù)的發(fā)展在快速新增，導(dǎo)致每次鏈路都會(huì)有所不同。

每周都會(huì)平均新增500多個(gè)問(wèn)題，推進(jìn)起來(lái)十分緩慢。問(wèn)題的積累最終造成了延期。問(wèn)題很?chē)?yán)峻，項(xiàng)目組開(kāi)始了全面的復(fù)盤(pán)。

首先要做的仍然是頂層的取舍。

任務(wù)多，時(shí)間有限，則必須先解決最重要的問(wèn)題。最終確定：高風(fēng)險(xiǎn)任務(wù)＞高優(yōu)任務(wù)＞普通任務(wù)的判斷邏輯。

這一原則讓項(xiàng)目團(tuán)隊(duì)更明確需要重點(diǎn)解決的問(wèn)題。

// 保障割接無(wú)故障

靈活的調(diào)整之下，進(jìn)度很快被追回。

團(tuán)隊(duì)士氣高漲，開(kāi)始自發(fā)給自己提出了更高要求：把準(zhǔn)確度從90%提高到99%，進(jìn)度上要求自己提前1個(gè)月完成任務(wù)，同時(shí)確保P2及以上的故障小于等于3個(gè)。

8月，項(xiàng)目結(jié)束雙跑，進(jìn)入割接階段。需要斷掉跑數(shù)過(guò)程，并在新云上觀察結(jié)果。一旦產(chǎn)生故障，不但影響用戶(hù)體驗(yàn)，還會(huì)帶來(lái)直接的資產(chǎn)損失。最主要的目標(biāo)也因此從速度變成了質(zhì)量。

正式雙跑定在了9月，一周時(shí)間，所有人在會(huì)議室完成線(xiàn)下割接，一旦出現(xiàn)問(wèn)題，就當(dāng)下立刻解決。

割接現(xiàn)場(chǎng)

阿里云團(tuán)隊(duì)也全程在現(xiàn)場(chǎng)保障。讓他們印象最深的是，「小紅書(shū)技術(shù)團(tuán)隊(duì)反應(yīng)速度很快，出現(xiàn)了問(wèn)題，第二天就能閉環(huán)處理」。

在全力保障之下，團(tuán)隊(duì)順利完成了割接，沒(méi)有發(fā)生任何一個(gè)P2及以上故障。

// 客戶(hù)成功才是最大的價(jià)值

2024年11月，小紅書(shū)遷云項(xiàng)目正式宣告結(jié)束。在沒(méi)有故障的情況下，遷移數(shù)據(jù)500PB，任務(wù)11萬(wàn)。參與人數(shù)1500人，涉及部門(mén)40多個(gè)。

遷移至阿里云上后，數(shù)據(jù)湖可通過(guò)多個(gè)OSS Bucket支持納入統(tǒng)一資源池，實(shí)現(xiàn)多個(gè)Bucket共享資源池內(nèi)的OSS吞吐及QPS能力。這樣的流控能力在面向小紅書(shū)復(fù)雜業(yè)務(wù)場(chǎng)景，可靈活調(diào)配資源，高效利用吞吐性能，降低不同業(yè)務(wù)租戶(hù)間的互相影響。

阿里云原生HDFS+DLF元數(shù)據(jù)可實(shí)現(xiàn)無(wú)縫對(duì)接Hadoop EMR體系，支持元數(shù)據(jù)線(xiàn)性擴(kuò)展能力，輕松應(yīng)對(duì)小紅書(shū)數(shù)百PB數(shù)據(jù)下的元數(shù)據(jù)線(xiàn)性增長(zhǎng)。

在結(jié)項(xiàng)會(huì)議上，阿里云智能集團(tuán)資深副總裁、公共云事業(yè)部總裁劉偉光分享了一個(gè)小故事。

他翻到了多年前的一次會(huì)議記錄。2021年的一次交流會(huì)議中，他和小紅書(shū)中臺(tái)技術(shù)負(fù)責(zé)人凱奇第一次談到了數(shù)據(jù)湖遷云的可能，三年后終于一起見(jiàn)證了小紅書(shū)的成長(zhǎng)，與遷云項(xiàng)目的落地。

劉偉光說(shuō)：「三年中小紅書(shū)發(fā)生了巨大的變化，到今天變成了一個(gè)國(guó)民級(jí)的APP，作為云廠商，客戶(hù)的成功也是我們最高興的事」。

對(duì)于小紅書(shū)遷云項(xiàng)目成員而言，他們也因?yàn)檫@個(gè)項(xiàng)目創(chuàng)造了歷史：第一次系統(tǒng)性盤(pán)點(diǎn)了小紅書(shū)十多年的數(shù)字資產(chǎn)，第一次參與千人以上、涉及公司所有產(chǎn)品的項(xiàng)目，共同完成了業(yè)界最大體量的遷云項(xiàng)目。

這些第一次為大家?guī)?lái)了「信心」的提升。

有人說(shuō)，「做完這個(gè)項(xiàng)目，再做任何事都不會(huì)怵了」。

TAG：小紅數(shù)據(jù)標(biāo)準(zhǔn)過(guò)去結(jié)構(gòu)化歷史任務(wù)團(tuán)隊(duì)數(shù)據(jù)遷移云服務(wù)器遷移阿里云遷移

上一篇：這個(gè)雙11，我們提供了1000000核算力資源下一篇：沒(méi)有了

全國(guó)特價(jià)	400-889-0304
在線(xiàn)QQ	1833102442
聯(lián)系郵箱	kf@tjwlt.com
聯(lián)系地址	天津、北京、上海、廣州、濟(jì)南

国产成a人片在线观看视频下载,厨房玩朋友,大又大又粗又硬又爽少妇毛片自己的妹妹自己操,午夜精品久视频在线观看丝袜美腿91a,精品爆乳一区二区三区无码A∨

業(yè)界最大數(shù)據(jù)湖0故障遷上阿里云