最近,小紅書(shū)技術(shù)團(tuán)隊(duì)完成了一件前所未有的壯舉:一年內(nèi),把業(yè)界最大數(shù)據(jù)湖0故障遷上阿里云。壯舉的背后意味著風(fēng)險(xiǎn)和挑戰(zhàn)。作為中國(guó)頭部互聯(lián)網(wǎng)公司之一,小紅書(shū)月活用戶已過(guò)3億,其數(shù)據(jù)湖存儲(chǔ)了過(guò)去11年的所有原始數(shù)據(jù),包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。近年來(lái),隨著業(yè)務(wù)的高速增長(zhǎng),小紅書(shū)在線處理數(shù)據(jù)的需求不斷增加,同時(shí)離線處理所積累的歷史問(wèn)題,也提高了切換的難度。為此,2023年11月,小紅書(shū)共有1500人