業(yè)界最大數據湖0故障遷上阿里云

2024-11-13 11:14:23 1578

最近，小紅書技術團隊完成了一件前所未有的壯舉： 一年內，把業(yè)界最大數據湖0故障遷上阿里云。

壯舉的背后意味著風險和挑戰(zhàn)。

作為中國頭部互聯(lián)網公司之一，小紅書月活用戶已過3億，其數據湖存儲了過去11年的所有原始數據，包括結構化、半結構化和非結構化數據。近年來，隨著業(yè)務的高速增長，小紅書在線處理數據的需求不斷增加，同時離線處理所積累的歷史問題，也提高了切換的難度。

為此，2023年11月，小紅書共有1500人參與遷云項目——計劃一年內，把小紅書的數據湖搬上阿里云。

饒是如此，難度依舊超出想象。即便是業(yè)界體量最大的案例，也遠小于小紅書的本次遷移。

*注：任務=數據處理過程（如，數據出入數倉就需要通過任務進行調度）

// 拉著1500人一起開盲盒

2023年11月，項目組正式成立，在小紅書內部出現了一種聲音，覺得這是個「推著推著就會不了了之的事」。

不看好的理由，來自于沉重的歷史包袱。

這是小紅書歷史上首次盤點公司數字資產，過去11年發(fā)展歷程中積累了大量無主任務與不標準操作。即便前期做了取舍，仍需要大量治理。

即便壓力重重，團隊還是在立項文檔的最后一行寫下了4個字，「干就完了」。

首先要解決的還是標準問題。

過去的數據平臺開發(fā)模式混亂，需要在遷移前把新的基礎環(huán)境搭建好，切換到自研平臺，統(tǒng)一開發(fā)標準。

其次根據標準進行治理。

大家把這一過程形容為「拉著1500人一起開盲盒，如果不打開就不知道里面有多千奇百怪」。

以下是幾種典型：

· 引用自己寫的「野生」代碼

· 離線任務不按規(guī)范經過數倉，直接訪問在線

· 源代碼已丟失、流程已丟失

· 交接好幾手，「跑很久沒掛，就一直沒管」

為此，小紅書幾大業(yè)務的負責人，把各自OKR的最重要一項列為遷云，開始為結果負責、推動問題解決。

數據平臺與業(yè)務技術的配合也變得更加緊密。

// 如果項目失敗，可能的原因是什么？

在遷云項目中，關鍵是「舍掉什么」以及「誰來拍板」，背后對應著兩個「有限」：

1. 時間有限

量大，無法一次性全量遷移。

為此團隊總結出了一套取舍的標準：「長期無人維護、訪問，說明不重要」、「斷掉后沒有人舉手，說明不重要」。同時在測試環(huán)境中頻繁演練、迭代。

2. 準確度有限

需要和項目驗收方提前達成共識。

算法類：算法數據工程負責人驗收。

報表類：由數據分析負責人驗收。懂數據，更易拉齊與收斂。

子城是小紅書遷云項目負責人，在他看來，這一次會議很關鍵，「跟算法數據工程負責人和DI負責人拉齊標準、一起排查驗收，大大降低了驗收環(huán)節(jié)的難度」。

// 到底還有多少問題需要解決？

完成治理后，項目在2024年5月正式進入雙跑階段。作為切換到正式環(huán)境前最后的測試，是穩(wěn)定性最大的保障。需要把數據拷貝到阿里云，兩邊同時跑數，驗證正確性與及時性。

這一階段，需要解決的問題數不勝數。

類似「蜘蛛網」，數據從入倉到出倉，需要經過一條漫長的鏈路，通過各種任務進行處理，也在雙跑中帶來了三個問題：

一、在其中的網狀結構中，下游數據會受到上游影響，一個小小的錯誤就會帶來很大的偏差，難以歸因；

二、算法具有隨機性，如果不跑就不知道會有什么問題；

三、現有的任務仍隨著業(yè)務的發(fā)展在快速新增，導致每次鏈路都會有所不同。

每周都會平均新增500多個問題，推進起來十分緩慢。問題的積累最終造成了延期。問題很嚴峻，項目組開始了全面的復盤。

首先要做的仍然是頂層的取舍。

任務多，時間有限，則必須先解決最重要的問題。最終確定：高風險任務＞高優(yōu)任務＞普通任務的判斷邏輯。

這一原則讓項目團隊更明確需要重點解決的問題。

// 保障割接無故障

靈活的調整之下，進度很快被追回。

團隊士氣高漲，開始自發(fā)給自己提出了更高要求：把準確度從90%提高到99%，進度上要求自己提前1個月完成任務，同時確保P2及以上的故障小于等于3個。

8月，項目結束雙跑，進入割接階段。需要斷掉跑數過程，并在新云上觀察結果。一旦產生故障，不但影響用戶體驗，還會帶來直接的資產損失。最主要的目標也因此從速度變成了質量。

正式雙跑定在了9月，一周時間，所有人在會議室完成線下割接，一旦出現問題，就當下立刻解決。

割接現場

阿里云團隊也全程在現場保障。讓他們印象最深的是，「小紅書技術團隊反應速度很快，出現了問題，第二天就能閉環(huán)處理」。

在全力保障之下，團隊順利完成了割接，沒有發(fā)生任何一個P2及以上故障。

// 客戶成功才是最大的價值

2024年11月，小紅書遷云項目正式宣告結束。在沒有故障的情況下，遷移數據500PB，任務11萬。參與人數1500人，涉及部門40多個。

遷移至阿里云上后，數據湖可通過多個OSS Bucket支持納入統(tǒng)一資源池，實現多個Bucket共享資源池內的OSS吞吐及QPS能力。這樣的流控能力在面向小紅書復雜業(yè)務場景，可靈活調配資源，高效利用吞吐性能，降低不同業(yè)務租戶間的互相影響。

阿里云原生HDFS+DLF元數據可實現無縫對接Hadoop EMR體系，支持元數據線性擴展能力，輕松應對小紅書數百PB數據下的元數據線性增長。

在結項會議上，阿里云智能集團資深副總裁、公共云事業(yè)部總裁劉偉光分享了一個小故事。

他翻到了多年前的一次會議記錄。2021年的一次交流會議中，他和小紅書中臺技術負責人凱奇第一次談到了數據湖遷云的可能，三年后終于一起見證了小紅書的成長，與遷云項目的落地。

劉偉光說：「三年中小紅書發(fā)生了巨大的變化，到今天變成了一個國民級的APP，作為云廠商，客戶的成功也是我們最高興的事」。

對于小紅書遷云項目成員而言，他們也因為這個項目創(chuàng)造了歷史：第一次系統(tǒng)性盤點了小紅書十多年的數字資產，第一次參與千人以上、涉及公司所有產品的項目，共同完成了業(yè)界最大體量的遷云項目。

這些第一次為大家?guī)砹恕感判摹沟奶嵘?/section>

有人說，「做完這個項目，再做任何事都不會怵了」。

TAG：小紅數據標準過去結構化歷史任務團隊數據遷移云服務器遷移阿里云遷移

上一篇：這個雙11，我們提供了1000000核算力資源下一篇：沒有了

全國特價	400-889-0304
在線QQ	1833102442
聯(lián)系郵箱	kf@tjwlt.com
聯(lián)系地址	天津、北京、上海、廣州、濟南

国产成a人片在线观看视频下载,厨房玩朋友,大又大又粗又硬又爽少妇毛片自己的妹妹自己操,午夜精品久视频在线观看丝袜美腿91a,精品爆乳一区二区三区无码A∨

業(yè)界最大數據湖0故障遷上阿里云