近日,快手大數(shù)據(jù)團(tuán)隊(duì)聯(lián)合“快手中學(xué)”,舉辦“快手?jǐn)?shù)據(jù)管治技術(shù)交流會(huì)”,各行業(yè)數(shù)據(jù)相關(guān)開(kāi)發(fā)者報(bào)名參與。快手是短視頻行業(yè)開(kāi)創(chuàng)者與引領(lǐng)者,致力于成為全球最癡迷于為客戶創(chuàng)造價(jià)值的公司,幫助人們發(fā)現(xiàn)所需、發(fā)揮所長(zhǎng),持續(xù)用有溫度的科技提升每個(gè)人獨(dú)特的幸福感。

在海量的 UGC 數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)、用戶數(shù)據(jù)背后,支撐快手?jǐn)?shù)據(jù)業(yè)務(wù)的快手大數(shù)據(jù)平臺(tái),秉承“以領(lǐng)先的大數(shù)據(jù)技術(shù),激活數(shù)據(jù)價(jià)值,賦能業(yè)務(wù),打造快手核心競(jìng)爭(zhēng)力”的使命。

日處理數(shù)據(jù)集群規(guī)模超過(guò) 3W,數(shù)據(jù)量超過(guò) 3EB,日入數(shù)據(jù)量超 5PB,例行任務(wù)數(shù)超 30W。今年9月,快手曾圍繞“數(shù)據(jù)架構(gòu)”這一主題舉辦了“快手大數(shù)據(jù)平臺(tái)架構(gòu)技術(shù)交流會(huì)”。本次交流則聚焦“數(shù)據(jù)管治”主題,明年將繼續(xù)開(kāi)展更多數(shù)據(jù)領(lǐng)域相關(guān)主題活動(dòng),歡迎在快手APP搜索并關(guān)注“快手大數(shù)據(jù)”官方賬號(hào)獲取活動(dòng)資訊。

(▲出品人介紹)

(▲快手?jǐn)?shù)據(jù)工廠團(tuán)隊(duì)負(fù)責(zé)人 董西成)

首先由快手?jǐn)?shù)據(jù)工廠團(tuán)隊(duì)負(fù)責(zé)人董西成帶來(lái)開(kāi)場(chǎng)致辭。他介紹,快手在數(shù)據(jù)管治領(lǐng)域涉及的方面非常廣泛,包括數(shù)據(jù)規(guī)范、資源控制、集成交換、數(shù)據(jù)建模等,為了推進(jìn)數(shù)據(jù)管治,需要在技術(shù)產(chǎn)品、規(guī)范流程、組織等方面進(jìn)行考慮。

(▲快手?jǐn)?shù)據(jù)管治體系)

本次交流從數(shù)據(jù)管治的標(biāo)準(zhǔn)規(guī)范、資源管控、數(shù)據(jù)質(zhì)量和數(shù)據(jù)服務(wù)四個(gè)方面展開(kāi)分享,由來(lái)自快手的數(shù)據(jù)研發(fā)專家孫偉、程偉、楊釗、薛言、劉一凡分別帶來(lái)五個(gè)主題演講。

孫偉介紹了快手在數(shù)據(jù)中臺(tái)化過(guò)程中由于模型不規(guī)范帶來(lái)的數(shù)據(jù)孤島、指標(biāo)不一致、模型質(zhì)量差等一系列問(wèn)題,并針對(duì)這些問(wèn)題結(jié)合元數(shù)據(jù)驅(qū)動(dòng)的思路制定了治理方案,從元數(shù)據(jù)驅(qū)動(dòng)問(wèn)題的發(fā)現(xiàn)再到治理優(yōu)化,最終實(shí)現(xiàn)數(shù)據(jù)模型的規(guī)范化。

從快手 EB 級(jí)數(shù)據(jù)量下對(duì)于存儲(chǔ)成本管理所遇到的涉及面廣、成本意識(shí)弱、缺乏有效方法等問(wèn)題出發(fā),程偉站在成本分析的角度,制定相應(yīng)的存儲(chǔ)成本控制策略,并以專項(xiàng)數(shù)據(jù)治理和自驅(qū)式數(shù)據(jù)管理相結(jié)合的方式去推進(jìn)落地,從而達(dá)到存儲(chǔ)成本管理的目的。

楊釗分享了快手的數(shù)據(jù)保障理念,并通過(guò)體系化的方式,保障數(shù)據(jù)完整、準(zhǔn)確、一致、及時(shí)。基于上述保障體系,詳細(xì)介紹了快手在直播場(chǎng)景通過(guò)需求流程管理、測(cè)試、質(zhì)檢、應(yīng)急方案等保障策略,以及這些保障策略在直播事前、事中、事后具體的執(zhí)行手段,如雙鏈路設(shè)計(jì)、壓力測(cè)試、應(yīng)急方案制定等,保障了在數(shù)據(jù)量巨大,指標(biāo)計(jì)算復(fù)雜等困難情況下,依然能夠保障整個(gè)數(shù)據(jù)產(chǎn)品的產(chǎn)出及時(shí),數(shù)據(jù)準(zhǔn)確。

當(dāng)談到元數(shù)據(jù)平臺(tái)和相關(guān)應(yīng)用在快手的發(fā)展過(guò)程、現(xiàn)狀及當(dāng)前快手元數(shù)據(jù)平臺(tái)的架構(gòu)時(shí),薛言分析了面對(duì)數(shù)十種的資產(chǎn)、過(guò)億的實(shí)體規(guī)模的異構(gòu)元數(shù)據(jù),是如何進(jìn)行抽象及管理的。并通過(guò)找數(shù)、全鏈路血緣、數(shù)據(jù)治理平臺(tái)等幾個(gè)主要的應(yīng)用場(chǎng)景,展示了元數(shù)據(jù)在快手大數(shù)據(jù)平臺(tái)中發(fā)揮的作用和價(jià)值。

劉一凡介紹了快手在數(shù)據(jù)中臺(tái)化建設(shè)過(guò)程中,在指標(biāo)領(lǐng)域建設(shè)所面臨的缺乏流程、規(guī)范引起的口徑不一致、反復(fù)梳理重構(gòu)、缺乏統(tǒng)一服務(wù)引起的數(shù)據(jù)出口不一致等問(wèn)題。并針對(duì)上述問(wèn)題分享了流程、規(guī)范、組織以及系統(tǒng)方面的整體解決思路,重點(diǎn)闡述了 OneMetric 以及 OneService 兩個(gè)核心系統(tǒng)模塊的系統(tǒng)設(shè)計(jì)及其關(guān)鍵技術(shù)。

(▲演講嘉賓合影:從左至右,分別為孫偉、薛言、程偉、董西成、楊釗、劉一凡)

本次交流采取線下線上結(jié)合的參會(huì)方式。線下開(kāi)放了部分參會(huì)名額,所有現(xiàn)場(chǎng)觀眾需佩戴口罩,確保測(cè)溫和健康寶狀態(tài)正常,在簽署健康聲明后方可入場(chǎng),入會(huì)就座時(shí)也均保持了一定間隔。此外,交流全程還通過(guò)“快手 APP”直播,觀看總?cè)藬?shù)超3萬(wàn)人。

(▲現(xiàn)場(chǎng)簽到)

快手以技術(shù)為核心競(jìng)爭(zhēng)力,十分重視技術(shù)創(chuàng)新和應(yīng)用,同時(shí)也希望通過(guò)更多更廣泛的技術(shù)交流,和業(yè)內(nèi)開(kāi)發(fā)者分享經(jīng)驗(yàn),碰撞出更多智慧火花,推動(dòng)技術(shù)不斷前進(jìn)?！翱焓种袑W(xué)”作為內(nèi)部專業(yè)人才培養(yǎng)平臺(tái),旨在通過(guò)提供豐富多樣的專業(yè)課堂培訓(xùn)、比賽、技術(shù)交流,助力人才成長(zhǎng),提升專業(yè)能力和專業(yè)影響力。

2020年“快手中學(xué)”聯(lián)合快手技術(shù)團(tuán)隊(duì)共舉辦了四場(chǎng)技術(shù)交流活動(dòng),內(nèi)容涉及移動(dòng)端、前端、數(shù)據(jù)平臺(tái)架構(gòu)及數(shù)據(jù)管治。未來(lái),由“快手中學(xué)”舉辦的技術(shù)交流還將以每季度一次的頻次長(zhǎng)期開(kāi)展。

(大會(huì)PPT下載地址:https://github.com/CN-CJ/KwaiTechnologyCommunication)