業(yè)界最大數(shù)據(jù)湖0故障遷上阿里云

2024-11-13 11:14:23 1580

最近，小紅書技術(shù)團(tuán)隊(duì)完成了一件前所未有的壯舉： 一年內(nèi)，把業(yè)界最大數(shù)據(jù)湖0故障遷上阿里云。

壯舉的背后意味著風(fēng)險(xiǎn)和挑戰(zhàn)。

作為中國頭部互聯(lián)網(wǎng)公司之一，小紅書月活用戶已過3億，其數(shù)據(jù)湖存儲(chǔ)了過去11年的所有原始數(shù)據(jù)，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。近年來，隨著業(yè)務(wù)的高速增長，小紅書在線處理數(shù)據(jù)的需求不斷增加，同時(shí)離線處理所積累的歷史問題，也提高了切換的難度。

為此，2023年11月，小紅書共有1500人參與遷云項(xiàng)目——計(jì)劃一年內(nèi)，把小紅書的數(shù)據(jù)湖搬上阿里云。

饒是如此，難度依舊超出想象。即便是業(yè)界體量最大的案例，也遠(yuǎn)小于小紅書的本次遷移。

*注：任務(wù)=數(shù)據(jù)處理過程（如，數(shù)據(jù)出入數(shù)倉就需要通過任務(wù)進(jìn)行調(diào)度）

// 拉著1500人一起開盲盒

2023年11月，項(xiàng)目組正式成立，在小紅書內(nèi)部出現(xiàn)了一種聲音，覺得這是個(gè)「推著推著就會(huì)不了了之的事」。

不看好的理由，來自于沉重的歷史包袱。

這是小紅書歷史上首次盤點(diǎn)公司數(shù)字資產(chǎn)，過去11年發(fā)展歷程中積累了大量無主任務(wù)與不標(biāo)準(zhǔn)操作。即便前期做了取舍，仍需要大量治理。

即便壓力重重，團(tuán)隊(duì)還是在立項(xiàng)文檔的最后一行寫下了4個(gè)字，「干就完了」。

首先要解決的還是標(biāo)準(zhǔn)問題。

過去的數(shù)據(jù)平臺(tái)開發(fā)模式混亂，需要在遷移前把新的基礎(chǔ)環(huán)境搭建好，切換到自研平臺(tái)，統(tǒng)一開發(fā)標(biāo)準(zhǔn)。

其次根據(jù)標(biāo)準(zhǔn)進(jìn)行治理。

大家把這一過程形容為「拉著1500人一起開盲盒，如果不打開就不知道里面有多千奇百怪」。

以下是幾種典型：

· 引用自己寫的「野生」代碼

· 離線任務(wù)不按規(guī)范經(jīng)過數(shù)倉，直接訪問在線

· 源代碼已丟失、流程已丟失

· 交接好幾手，「跑很久沒掛，就一直沒管」

為此，小紅書幾大業(yè)務(wù)的負(fù)責(zé)人，把各自O(shè)KR的最重要一項(xiàng)列為遷云，開始為結(jié)果負(fù)責(zé)、推動(dòng)問題解決。

數(shù)據(jù)平臺(tái)與業(yè)務(wù)技術(shù)的配合也變得更加緊密。

// 如果項(xiàng)目失敗，可能的原因是什么？

在遷云項(xiàng)目中，關(guān)鍵是「舍掉什么」以及「誰來拍板」，背后對(duì)應(yīng)著兩個(gè)「有限」：

1. 時(shí)間有限

量大，無法一次性全量遷移。

為此團(tuán)隊(duì)總結(jié)出了一套取舍的標(biāo)準(zhǔn)：「長期無人維護(hù)、訪問，說明不重要」、「斷掉后沒有人舉手，說明不重要」。同時(shí)在測(cè)試環(huán)境中頻繁演練、迭代。

2. 準(zhǔn)確度有限

需要和項(xiàng)目驗(yàn)收方提前達(dá)成共識(shí)。

算法類：算法數(shù)據(jù)工程負(fù)責(zé)人驗(yàn)收。

報(bào)表類：由數(shù)據(jù)分析負(fù)責(zé)人驗(yàn)收。懂?dāng)?shù)據(jù)，更易拉齊與收斂。

子城是小紅書遷云項(xiàng)目負(fù)責(zé)人，在他看來，這一次會(huì)議很關(guān)鍵，「跟算法數(shù)據(jù)工程負(fù)責(zé)人和DI負(fù)責(zé)人拉齊標(biāo)準(zhǔn)、一起排查驗(yàn)收，大大降低了驗(yàn)收環(huán)節(jié)的難度」。

// 到底還有多少問題需要解決？

完成治理后，項(xiàng)目在2024年5月正式進(jìn)入雙跑階段。作為切換到正式環(huán)境前最后的測(cè)試，是穩(wěn)定性最大的保障。需要把數(shù)據(jù)拷貝到阿里云，兩邊同時(shí)跑數(shù)，驗(yàn)證正確性與及時(shí)性。

這一階段，需要解決的問題數(shù)不勝數(shù)。

類似「蜘蛛網(wǎng)」，數(shù)據(jù)從入倉到出倉，需要經(jīng)過一條漫長的鏈路，通過各種任務(wù)進(jìn)行處理，也在雙跑中帶來了三個(gè)問題：

一、在其中的網(wǎng)狀結(jié)構(gòu)中，下游數(shù)據(jù)會(huì)受到上游影響，一個(gè)小小的錯(cuò)誤就會(huì)帶來很大的偏差，難以歸因；

二、算法具有隨機(jī)性，如果不跑就不知道會(huì)有什么問題；

三、現(xiàn)有的任務(wù)仍隨著業(yè)務(wù)的發(fā)展在快速新增，導(dǎo)致每次鏈路都會(huì)有所不同。

每周都會(huì)平均新增500多個(gè)問題，推進(jìn)起來十分緩慢。問題的積累最終造成了延期。問題很嚴(yán)峻，項(xiàng)目組開始了全面的復(fù)盤。

首先要做的仍然是頂層的取舍。

任務(wù)多，時(shí)間有限，則必須先解決最重要的問題。最終確定：高風(fēng)險(xiǎn)任務(wù)＞高優(yōu)任務(wù)＞普通任務(wù)的判斷邏輯。

這一原則讓項(xiàng)目團(tuán)隊(duì)更明確需要重點(diǎn)解決的問題。

// 保障割接無故障

靈活的調(diào)整之下，進(jìn)度很快被追回。

團(tuán)隊(duì)士氣高漲，開始自發(fā)給自己提出了更高要求：把準(zhǔn)確度從90%提高到99%，進(jìn)度上要求自己提前1個(gè)月完成任務(wù)，同時(shí)確保P2及以上的故障小于等于3個(gè)。

8月，項(xiàng)目結(jié)束雙跑，進(jìn)入割接階段。需要斷掉跑數(shù)過程，并在新云上觀察結(jié)果。一旦產(chǎn)生故障，不但影響用戶體驗(yàn)，還會(huì)帶來直接的資產(chǎn)損失。最主要的目標(biāo)也因此從速度變成了質(zhì)量。

正式雙跑定在了9月，一周時(shí)間，所有人在會(huì)議室完成線下割接，一旦出現(xiàn)問題，就當(dāng)下立刻解決。

割接現(xiàn)場

阿里云團(tuán)隊(duì)也全程在現(xiàn)場保障。讓他們印象最深的是，「小紅書技術(shù)團(tuán)隊(duì)反應(yīng)速度很快，出現(xiàn)了問題，第二天就能閉環(huán)處理」。

在全力保障之下，團(tuán)隊(duì)順利完成了割接，沒有發(fā)生任何一個(gè)P2及以上故障。

// 客戶成功才是最大的價(jià)值

2024年11月，小紅書遷云項(xiàng)目正式宣告結(jié)束。在沒有故障的情況下，遷移數(shù)據(jù)500PB，任務(wù)11萬。參與人數(shù)1500人，涉及部門40多個(gè)。

遷移至阿里云上后，數(shù)據(jù)湖可通過多個(gè)OSS Bucket支持納入統(tǒng)一資源池，實(shí)現(xiàn)多個(gè)Bucket共享資源池內(nèi)的OSS吞吐及QPS能力。這樣的流控能力在面向小紅書復(fù)雜業(yè)務(wù)場景，可靈活調(diào)配資源，高效利用吞吐性能，降低不同業(yè)務(wù)租戶間的互相影響。

阿里云原生HDFS+DLF元數(shù)據(jù)可實(shí)現(xiàn)無縫對(duì)接Hadoop EMR體系，支持元數(shù)據(jù)線性擴(kuò)展能力，輕松應(yīng)對(duì)小紅書數(shù)百PB數(shù)據(jù)下的元數(shù)據(jù)線性增長。

在結(jié)項(xiàng)會(huì)議上，阿里云智能集團(tuán)資深副總裁、公共云事業(yè)部總裁劉偉光分享了一個(gè)小故事。

他翻到了多年前的一次會(huì)議記錄。2021年的一次交流會(huì)議中，他和小紅書中臺(tái)技術(shù)負(fù)責(zé)人凱奇第一次談到了數(shù)據(jù)湖遷云的可能，三年后終于一起見證了小紅書的成長，與遷云項(xiàng)目的落地。

劉偉光說：「三年中小紅書發(fā)生了巨大的變化，到今天變成了一個(gè)國民級(jí)的APP，作為云廠商，客戶的成功也是我們最高興的事」。

對(duì)于小紅書遷云項(xiàng)目成員而言，他們也因?yàn)檫@個(gè)項(xiàng)目創(chuàng)造了歷史：第一次系統(tǒng)性盤點(diǎn)了小紅書十多年的數(shù)字資產(chǎn)，第一次參與千人以上、涉及公司所有產(chǎn)品的項(xiàng)目，共同完成了業(yè)界最大體量的遷云項(xiàng)目。

這些第一次為大家?guī)砹恕感判摹沟奶嵘?/section>

有人說，「做完這個(gè)項(xiàng)目，再做任何事都不會(huì)怵了」。

TAG：小紅數(shù)據(jù)標(biāo)準(zhǔn)過去結(jié)構(gòu)化歷史任務(wù)團(tuán)隊(duì)數(shù)據(jù)遷移云服務(wù)器遷移阿里云遷移

上一篇：這個(gè)雙11，我們提供了1000000核算力資源下一篇：沒有了

全國特價(jià)	400-889-0304
在線QQ	1833102442
聯(lián)系郵箱	kf@tjwlt.com
聯(lián)系地址	天津、北京、上海、廣州、濟(jì)南

国产成a人片在线观看视频下载,厨房玩朋友,大又大又粗又硬又爽少妇毛片自己的妹妹自己操,午夜精品久视频在线观看丝袜美腿91a,精品爆乳一区二区三区无码A∨

業(yè)界最大數(shù)據(jù)湖0故障遷上阿里云