首先來介紹一下當(dāng)前企業(yè)數(shù)倉建設(shè)的現(xiàn)狀。
1、模型分層和建模流程數(shù)倉建設(shè)的意義,簡單來說就是將業(yè)務(wù)數(shù)據(jù)通過整合、轉(zhuǎn)換、計(jì)算以及其它一些操作,提取出有價(jià)值的信息,最終把這些信息反饋給業(yè)務(wù),為業(yè)務(wù)的發(fā)展持續(xù)賦能。
(資料圖片僅供參考)
從技術(shù)上來看,現(xiàn)在通用的模型遵循圖中的分層設(shè)計(jì)準(zhǔn)則。源頭是ODS層,即引入層,嚴(yán)選的數(shù)據(jù)主要有兩個(gè)來源,一個(gè)是數(shù)據(jù)庫binlog對(duì)應(yīng)的快照,另一個(gè)是日志,包括業(yè)務(wù)日志、埋點(diǎn)日志、APP日志等等。
中間部分是數(shù)倉建模。包括貼源層,我們命名為DWD事實(shí)層,然后是DWS明細(xì)層,第三層是DWS匯總層,再后面是DM集市層,主要是面向上層的應(yīng)用以及數(shù)據(jù)產(chǎn)品的需求。
圖中右邊是嚴(yán)選數(shù)倉建模的生命周期。首先是業(yè)務(wù)調(diào)研和需求分析;然后定義指標(biāo),進(jìn)行數(shù)據(jù)刻畫;第三步就是進(jìn)行邏輯模型的設(shè)計(jì),把不同的指標(biāo)和它們的維度進(jìn)行關(guān)聯(lián),也就是進(jìn)行數(shù)據(jù)組織的過程;第四步就是編碼開發(fā),將數(shù)據(jù)生產(chǎn)出來;接下來是上線交付、對(duì)外服務(wù),也就是進(jìn)行數(shù)據(jù)使用;最后就是長期的運(yùn)行維護(hù)。
2、網(wǎng)易嚴(yán)選數(shù)倉現(xiàn)狀網(wǎng)易嚴(yán)選的核心業(yè)務(wù)是電商,數(shù)倉建設(shè)已有六七年時(shí)間,已經(jīng)具有了相當(dāng)大的規(guī)模,有大量的模型和指標(biāo)都在服務(wù)于各種各樣的生產(chǎn)環(huán)境上的產(chǎn)品。其中物理模型的數(shù)量有一萬多個(gè),開發(fā)任務(wù)有近萬個(gè),指標(biāo)數(shù)也有近萬個(gè),產(chǎn)品和服務(wù)有數(shù)十個(gè)。
嚴(yán)選整個(gè)數(shù)倉建模流程中的各個(gè)步驟都有相應(yīng)的一些產(chǎn)品進(jìn)行承接,比如指標(biāo)設(shè)計(jì),就是通過我們的指標(biāo)管理系統(tǒng)進(jìn)行指標(biāo)定義和模型設(shè)計(jì);模型開發(fā)和任務(wù)運(yùn)維是通過離線開發(fā)平臺(tái)進(jìn)行編碼;數(shù)據(jù)對(duì)外提供服務(wù)是通過數(shù)據(jù)服務(wù)平臺(tái)。由于歷史原因,我們各個(gè)產(chǎn)品之間目前基本上是獨(dú)立的狀態(tài),沒有形成一個(gè)完整的體系,而各系統(tǒng)也存在著一些問題,包括接下來將重點(diǎn)介紹的指標(biāo)管理系統(tǒng)。
3、舊指標(biāo)管理系統(tǒng)現(xiàn)狀舊的指標(biāo)管理系統(tǒng)存在的問題大致可以歸納為四大方面:
首先是功能邊界有限。當(dāng)前系統(tǒng)不支持DW層模型的設(shè)計(jì)和管理,沒有模型物理化能力,無法有效指導(dǎo)模型開發(fā),缺乏與任務(wù)運(yùn)維和數(shù)據(jù)服務(wù)關(guān)聯(lián)的能力。
第二是指標(biāo)定義不規(guī)范。存在比較多的指標(biāo)重復(fù)定義、原子指標(biāo)命名不規(guī)范、原子指標(biāo)與派生指標(biāo)混用等。比如包含派生詞、未包含統(tǒng)計(jì)單位,另外非匯總數(shù)據(jù)也可能被錯(cuò)誤的定義成一些指標(biāo),比如一些根據(jù)機(jī)器學(xué)習(xí)算法得出預(yù)測值。
第三是模型設(shè)計(jì)不規(guī)范。模型命名分層不清晰,模型開發(fā)線上化率比較低,存在大量沒有進(jìn)行登記的模型,模型與指標(biāo)的關(guān)聯(lián)關(guān)系也比較混亂。整個(gè)模型設(shè)計(jì),沒有跟模型開發(fā)進(jìn)行強(qiáng)綁定,可能有些需求比較緊急就導(dǎo)致開發(fā)人員忽略了設(shè)計(jì)過程。
第四是模型構(gòu)建不規(guī)范。邏輯模型與物理模型的結(jié)構(gòu)存在差異。存在很多煙囪式的開發(fā),導(dǎo)致指標(biāo)被重復(fù)計(jì)算。還有跨層依賴問題,比如DM層直接依賴了最底下的DWD層;反向依賴問題,比如DWS層依賴了DM層,DM層的有些數(shù)據(jù)當(dāng)作匯總表在用。
4、數(shù)倉建設(shè)的痛點(diǎn)通過對(duì)現(xiàn)有系統(tǒng)的量化分析,我們整理出了當(dāng)前數(shù)倉建設(shè)的痛點(diǎn)。
首先,業(yè)務(wù)復(fù)雜多變,比如電商會(huì)經(jīng)常做活動(dòng),各種玩法帶來很多復(fù)雜的業(yè)務(wù)流程,由此帶來的就是數(shù)倉體量龐大,數(shù)據(jù)之間的關(guān)系網(wǎng)非常復(fù)雜。
其次,事前規(guī)劃不足,模型設(shè)計(jì)能力欠缺,經(jīng)常出現(xiàn)指標(biāo)重復(fù)定義、描述不規(guī)范的情況,指標(biāo)和模型缺乏嚴(yán)謹(jǐn)性。
第三,設(shè)計(jì)和實(shí)現(xiàn)過程就脫節(jié),一方面開發(fā)效率低下,職責(zé)不清,存在重復(fù)計(jì)算的問題,另外,依賴關(guān)系混亂,人工編碼也很容易引入錯(cuò)誤。
第四,事后治理困難,由于事前和事中沒有做好,就會(huì)導(dǎo)致事后治理起來非常困難,比如業(yè)務(wù)有變動(dòng),模型設(shè)計(jì)或者指標(biāo)的計(jì)算方式就會(huì)有變化,但是很難追溯,變更過程非常復(fù)雜。數(shù)據(jù)質(zhì)量也就無法保障,運(yùn)維管理過程會(huì)非常低效。
第五,數(shù)據(jù)孤島問題,指標(biāo)口徑不一致,觀察視角不統(tǒng)一,比如開發(fā)人員看到的是指標(biāo)模型,而上層應(yīng)用可能看到的是表字段的視角,繼而導(dǎo)致學(xué)習(xí)和使用數(shù)據(jù)的成本比較高。
二、解決方案1、方案切入點(diǎn)針對(duì)上述痛點(diǎn),我們制定了以建設(shè)完整、規(guī)范的數(shù)倉建模體系為目標(biāo)的解決方案:制定一個(gè)標(biāo)準(zhǔn),輸出一款產(chǎn)品,落地一套規(guī)范。
我們在一開始的時(shí)候其實(shí)是有一個(gè)標(biāo)準(zhǔn)的,但僅停留在文檔層面,并沒有非常好的落地。所以希望通過產(chǎn)品化的方式,對(duì)這套標(biāo)準(zhǔn)進(jìn)行強(qiáng)制的規(guī)范落地。產(chǎn)品會(huì)包括業(yè)務(wù)過程管理、維度管理、指標(biāo)定義、模型設(shè)計(jì)等能力。通過這款產(chǎn)品,落地一整套的規(guī)范,比如指標(biāo)定位數(shù)據(jù)、數(shù)據(jù)訪問約束,以及后期的模型治理、任務(wù)運(yùn)維規(guī)范等等。
2、方案做什么-平臺(tái)定位我們的數(shù)倉建模平臺(tái),整體上還是以經(jīng)典的數(shù)倉建模方法論為理論依據(jù),結(jié)合網(wǎng)易嚴(yán)選的數(shù)倉建設(shè)現(xiàn)狀,對(duì)標(biāo)業(yè)界優(yōu)秀的相關(guān)產(chǎn)品,借助大數(shù)據(jù)其它產(chǎn)品能力,指導(dǎo)數(shù)倉從設(shè)計(jì)、開發(fā)、使用到最后維護(hù),這樣一套全流程一站式的解決方案。
上圖中右邊是我們新建的數(shù)據(jù)建模平臺(tái)在大數(shù)據(jù)體系中的定位,以及與其它一些平臺(tái)的關(guān)聯(lián)。
3、方案怎么做-產(chǎn)品框架上圖是整體的產(chǎn)品框架,產(chǎn)品功能重點(diǎn)在紅框中的數(shù)據(jù)模型設(shè)計(jì)部分。主要分為五大塊內(nèi)容:數(shù)據(jù)規(guī)劃、數(shù)據(jù)標(biāo)準(zhǔn)、維度建模、數(shù)據(jù)指標(biāo)和數(shù)據(jù)資產(chǎn)。其中維度建模和數(shù)據(jù)指標(biāo)是我們整個(gè)產(chǎn)品設(shè)計(jì)的核心。數(shù)據(jù)規(guī)劃和數(shù)據(jù)標(biāo)準(zhǔn)主要是結(jié)合嚴(yán)選現(xiàn)狀,做一些定制化內(nèi)容,相對(duì)來說沒有后面幾塊做的靈活。
下面一層是數(shù)據(jù)開發(fā),這一層就是將上面的邏輯定義設(shè)計(jì)真正落實(shí)到代碼當(dāng)中。最下面是物理層,包括引擎、存儲(chǔ)、計(jì)算等等。
右邊的應(yīng)用場景包括數(shù)據(jù)報(bào)表、風(fēng)控引擎、用戶畫像、榜單服務(wù)、輿情管理等等。
4、方案怎么做-功能模塊功能模塊中,有三個(gè)核心的功能模塊:
第一塊是業(yè)務(wù)過程和指標(biāo)定義,包括業(yè)務(wù)過程定義、總線矩陣設(shè)計(jì)、維度管理、度量定義、原子指標(biāo)管理、派生指標(biāo)管理等等。
第二塊是邏輯模型設(shè)計(jì),結(jié)合現(xiàn)狀設(shè)計(jì)了一個(gè)分層模型,最底下是數(shù)據(jù)引入層ODS層;通過清洗轉(zhuǎn)換,形成了明細(xì)模型DWD層;再通過一些細(xì)粒度計(jì)算,以及一些復(fù)雜的數(shù)據(jù)規(guī)劃(如歸一化、標(biāo)準(zhǔn)化、維度計(jì)算等),形成數(shù)據(jù)服務(wù)模型DWS明細(xì)層,在這個(gè)明細(xì)層關(guān)聯(lián)原子指標(biāo);然后再把原子指標(biāo)這一層數(shù)據(jù)進(jìn)行派生匯總,形成匯總DWS層,這一層模型跟派生指標(biāo)進(jìn)行關(guān)聯(lián);最后上面是面向應(yīng)用的集市層DM,按需進(jìn)行取數(shù)。
第三塊是模型物理化和構(gòu)建,主要包括模型進(jìn)行物理化,任務(wù)的發(fā)布和運(yùn)維,以及數(shù)據(jù)服務(wù)的生成和綁定。
三、實(shí)施步驟1、實(shí)施過程-3步走戰(zhàn)略嚴(yán)選數(shù)倉規(guī)范化建設(shè)制定了三步走的戰(zhàn)略:
第一步是規(guī)范指標(biāo)定義體系建設(shè),包括規(guī)范業(yè)務(wù)過程、度量、指標(biāo)命名、指標(biāo)分類、派生依賴、匯總算法、派生算法、派生詞關(guān)聯(lián)等等。
第二步是規(guī)范模型的設(shè)計(jì)體系建設(shè),在指標(biāo)定義規(guī)范的前提下,進(jìn)行模型設(shè)計(jì)的規(guī)范,包括模型命名、分層、依賴、數(shù)據(jù)時(shí)效、維度關(guān)聯(lián)等等。
第三步是規(guī)范指標(biāo)計(jì)算和模型構(gòu)建的過程,我們希望不僅模型是規(guī)范的,數(shù)據(jù)的生產(chǎn)過程也必須是規(guī)范的,包括結(jié)構(gòu)的一致性、自動(dòng)構(gòu)建任務(wù)、任務(wù)運(yùn)維、變更通知、算法優(yōu)化、參數(shù)調(diào)優(yōu)等。
2、實(shí)施步驟1 - 規(guī)范指標(biāo)定義體系建設(shè)第一個(gè)實(shí)施步驟是規(guī)范指標(biāo)定義體系的建設(shè)。原先的設(shè)計(jì)流程通常僅僅是很隨意地錄入到舊的指標(biāo)管理系統(tǒng)中,經(jīng)常存在指標(biāo)含義表述不清、重復(fù)設(shè)計(jì)等問題;此外還存在不少指標(biāo)只記錄在離線文檔,口口相傳。
規(guī)范后的定義流程按照下面五步強(qiáng)制流程來走:
(1)切分業(yè)務(wù)域。
(2)進(jìn)行維度設(shè)計(jì),生成派生詞,也就是業(yè)務(wù)限定。
(3)設(shè)計(jì)業(yè)務(wù)過程,包括確定業(yè)務(wù)流程,設(shè)計(jì)維度矩陣以及度量。
(4)設(shè)計(jì)原子指標(biāo)、衍生原子指標(biāo),包括關(guān)聯(lián)度量,明確數(shù)據(jù)類型、匯總方式,公式化地描述衍生原子指標(biāo)的計(jì)算方式。
(5)基于原子指標(biāo),設(shè)計(jì)派生指標(biāo)、派生計(jì)算指標(biāo),保證派生指標(biāo)能夠自動(dòng)關(guān)聯(lián)依賴的原子指標(biāo),確定派生詞集合以及時(shí)間周期,自動(dòng)生成中英文標(biāo)識(shí)。
對(duì)于指標(biāo)派生和依賴的規(guī)范建設(shè),我們制定了各類指標(biāo)派生的原則,定義派生指標(biāo)=統(tǒng)計(jì)周期+派生詞集合+原子指標(biāo)。比如”日支付成功抖音渠道銷售額“,“日”就是統(tǒng)計(jì)周期,“支付成功”是支付狀態(tài)維度的一個(gè)派生詞,“抖音渠道”是渠道維度的一個(gè)派生詞,“銷售額”是原子指標(biāo)。
在產(chǎn)品層面,如上圖右邊所示,做了一些限定去保證指標(biāo)完全按照我們的設(shè)計(jì)規(guī)范進(jìn)行設(shè)計(jì)。
我們希望形成圖中的邏輯閉環(huán),首先在設(shè)計(jì)規(guī)范上達(dá)成共識(shí),使得指標(biāo)是可描述、可理解、可查詢、可管理,并且可使用的,最后要達(dá)到可驗(yàn)證,通過驗(yàn)證來優(yōu)化指標(biāo)定義規(guī)范,從而形成一個(gè)邏輯閉環(huán)。我們單獨(dú)對(duì)于指標(biāo)的可查詢、可管理、可理解這一塊做了一個(gè)指標(biāo)地圖,目的就是對(duì)于指標(biāo)的一些必要信息能夠快速定位和快速查詢,能夠快速消除理解上的歧義,降低指標(biāo)的使用門檻。
3、實(shí)施步驟2 - 規(guī)范模型設(shè)計(jì)體系建設(shè)第二個(gè)實(shí)施步驟是規(guī)范模型設(shè)計(jì)體系建設(shè)。為了打破原有數(shù)據(jù)開發(fā)的一些不好的工作習(xí)慣,我們設(shè)計(jì)了一整套嚴(yán)格的模型設(shè)計(jì)流程:
(1)設(shè)計(jì)DWD事實(shí)模型,要關(guān)聯(lián)業(yè)務(wù)過程和度量設(shè)計(jì)。
(2)設(shè)計(jì)DWS底層模型,要實(shí)現(xiàn)標(biāo)識(shí)自動(dòng)生成,關(guān)聯(lián)原子指標(biāo)、維度,以及模型物理化。
(3)設(shè)計(jì)DWS匯總模型,因?yàn)镈WS底層模型是關(guān)聯(lián)原子指標(biāo)的,而DWS匯總層模型是關(guān)聯(lián)派生指標(biāo)的,派生指標(biāo)本身就有嚴(yán)格的量化定義,所以DWS匯總模型的指標(biāo)依賴包括模型的依賴關(guān)系是可以自動(dòng)發(fā)現(xiàn)并自動(dòng)關(guān)聯(lián)的。借助產(chǎn)品的能力,可以做到所有指標(biāo)、維度等信息都是可以溯源的,從而達(dá)到模型設(shè)計(jì)規(guī)范化建設(shè)的目的。
(4)設(shè)計(jì)DM集市層模型,我們將這一層定位為僅取數(shù),不做任何數(shù)據(jù)計(jì)算匯總、轉(zhuǎn)換的工作,也就是達(dá)到one data的效果。我們的模型指標(biāo)只會(huì)在一個(gè)地方進(jìn)行設(shè)計(jì)和計(jì)算,其它地方都是從這個(gè)地方取數(shù)就行了。
對(duì)于模型設(shè)計(jì)規(guī)范,舉幾個(gè)例子來說明。首先,我們做了模型命名規(guī)范的分層,前后綴當(dāng)中要體現(xiàn)分層和業(yè)務(wù)過程,后綴代表模型數(shù)據(jù)的更新方式。
模型分層職責(zé)劃分為,DWD事實(shí)層只做清洗、轉(zhuǎn)換、歸一化等工作;DWS明細(xì)層做一些細(xì)粒度計(jì)算,包括一些復(fù)雜的計(jì)算,比如有的訂單數(shù)據(jù)里面需要對(duì)每一件商品的銷售額計(jì)算用戶支付的金額,要把這一單商品的運(yùn)費(fèi)均攤到每一件商品當(dāng)中,那么就要在明細(xì)層中實(shí)現(xiàn)運(yùn)費(fèi)均攤計(jì)算;DWS匯總層就是基于明細(xì)層做派生計(jì)算;DM集市層僅僅是面向應(yīng)用,只取數(shù)不計(jì)算。
最后,模型內(nèi)容限定,就是不同層對(duì)應(yīng)不同類型的指標(biāo),且只包含維度、匯總粒度、時(shí)間周期等這些信息。
上圖是我們產(chǎn)品設(shè)計(jì)的一個(gè)demo。可以看到,匯總信息是基于派生指標(biāo)得到的,所依賴的原子指標(biāo)都可以自動(dòng)發(fā)現(xiàn),并且定位到上游的模型以及計(jì)算的邏輯?;谝?guī)范的指標(biāo)依賴和規(guī)范的模型定義,就可以實(shí)現(xiàn)對(duì)模型構(gòu)建和指標(biāo)計(jì)算的規(guī)范化。
4、實(shí)施步驟3 - 規(guī)范指標(biāo)計(jì)算和模型構(gòu)建第三個(gè)步驟是規(guī)范指標(biāo)計(jì)算和模型構(gòu)建。原來我們存在一些不規(guī)范的模型開發(fā)習(xí)慣,首先,我們的模型設(shè)計(jì)和開發(fā)幾乎是獨(dú)立的,導(dǎo)致人工編碼工作量大,還有可能前后不一致,存在實(shí)際的業(yè)務(wù)邏輯與定義不符。另外為了快速交付,存在一些煙囪式開發(fā)、指標(biāo)重復(fù)計(jì)算和跨層依賴的情況。
在規(guī)范后的模型開發(fā)流程中,我們對(duì)DWD層和DWS底層模型還是按照平臺(tái)設(shè)計(jì)+人工開發(fā)的方式。但對(duì)DWS匯總層進(jìn)行了自動(dòng)構(gòu)建能力的建設(shè),平臺(tái)基于指標(biāo)定義和模型設(shè)計(jì),完全能自動(dòng)發(fā)現(xiàn)依賴并按指標(biāo)匯總邏輯生成計(jì)算代碼,自動(dòng)完成任務(wù)的開發(fā)、調(diào)度和運(yùn)維。最后DM層相對(duì)簡單,且定位清晰:只取數(shù)不計(jì)算,平臺(tái)也做了自動(dòng)構(gòu)建能力的建設(shè),并支持自動(dòng)生成和綁定標(biāo)準(zhǔn)數(shù)據(jù)服務(wù)。
從DWD層模型到DM層模型構(gòu)建的職責(zé)劃分如上圖所示。前兩層雖然是人工開發(fā)的,但為了盡可能規(guī)范整個(gè)數(shù)倉體系的建設(shè),模型的設(shè)計(jì)必須在平臺(tái)上完成,并且平臺(tái)能夠?qū)@兩層模型進(jìn)行持續(xù)規(guī)范化掃描和監(jiān)控,防范指標(biāo)模型體系的快速腐化。
后面兩層則完全由平臺(tái)進(jìn)行設(shè)計(jì),基于指標(biāo)之間的關(guān)聯(lián)派生關(guān)系,黑盒形式實(shí)現(xiàn)數(shù)據(jù)的計(jì)算可以從源頭保障指標(biāo)口徑統(tǒng)一、數(shù)據(jù)質(zhì)量穩(wěn)定。減少開發(fā)工作量、降低變更的復(fù)雜性,達(dá)到指標(biāo)可定位、可管理、可追溯,并且可控制。整個(gè)數(shù)倉體系的指標(biāo)實(shí)現(xiàn)“定義即實(shí)現(xiàn),所見即所得”是本平臺(tái)建設(shè)的最終目標(biāo)。
我們還實(shí)現(xiàn)了一個(gè)指標(biāo)匯總代碼生成引擎,支持并抽象了嚴(yán)選離線數(shù)倉幾乎所有常用的指標(biāo)計(jì)算場景。主要包括9步:首先是找到派生指標(biāo)依賴的原子指標(biāo),綁定底層模型,根據(jù)派生詞拼接匯總時(shí)的過濾條件,然后根據(jù)指標(biāo)匯總方法拼接聚合函數(shù),根據(jù)維度關(guān)聯(lián)相應(yīng)維度表,再從維度表中獲取維度屬性,接著是根據(jù)取數(shù)范圍拼接取數(shù)的時(shí)間周期條件,根據(jù)模型粒度拼接分組條件,最后根據(jù)回刷周期拼接目標(biāo)分區(qū)。
這是我們系統(tǒng)自動(dòng)生成的匯總代碼的一個(gè)demo,里面每一部分都能體現(xiàn)出前面描述的流程。
模型的發(fā)布、更新和運(yùn)維是指標(biāo)數(shù)據(jù)真正落地的過程,通過對(duì)接嚴(yán)選大數(shù)據(jù)體系的其它相關(guān)產(chǎn)品如離線開發(fā)平臺(tái)、實(shí)時(shí)開發(fā)平臺(tái)、數(shù)據(jù)質(zhì)量平臺(tái)等實(shí)現(xiàn)。
上圖是產(chǎn)品設(shè)計(jì)的一個(gè)demo,對(duì)模型的發(fā)布、更新和運(yùn)維完全實(shí)現(xiàn)了黑盒化。這樣做的好處一方面是大大降低了數(shù)據(jù)開發(fā)人工操作的工作量,他們只需要在平臺(tái)上直接點(diǎn)發(fā)布,就可以完成一整套流程;另一方面也可以避免數(shù)據(jù)質(zhì)量以及時(shí)效性、產(chǎn)出效率等方面的問題。
網(wǎng)易嚴(yán)選已有一個(gè)相對(duì)比較完整和成熟的數(shù)據(jù)服務(wù)平臺(tái),所以我們就直接對(duì)接即可實(shí)現(xiàn)數(shù)據(jù)的對(duì)外服務(wù)。我們通過規(guī)范化的指標(biāo)和模型的定義,生成標(biāo)準(zhǔn)的數(shù)據(jù)服務(wù)的查詢代碼,形成了代碼的模板化構(gòu)建,減少了人工干預(yù),為下游數(shù)據(jù)使用規(guī)范化進(jìn)行了約束。
四、成果和總結(jié)1、取得效果最后做一個(gè)成果總結(jié),現(xiàn)在我們這個(gè)平臺(tái)在模型指標(biāo)的定義和設(shè)計(jì)規(guī)范化,以及模型的自動(dòng)化構(gòu)建這兩塊已經(jīng)全面落地。一方面是增量的指標(biāo)模型,已經(jīng)實(shí)現(xiàn)完全的規(guī)范化,對(duì)于存量的指標(biāo)模型正在逐步進(jìn)行切換。另一方面由于DWS匯總層以及DM層的自動(dòng)化構(gòu)建能力的交付,使得模型的開發(fā)效率、業(yè)務(wù)需求的交付效率都有了大幅提升。
2、業(yè)務(wù)價(jià)值我們的產(chǎn)品最重要的價(jià)值是解決了指標(biāo)口徑不一致的核心問題,對(duì)于數(shù)據(jù)的設(shè)計(jì)、生產(chǎn)、使用、維護(hù)治理都形成統(tǒng)一的視角,達(dá)到了降本增效的目的。
在整個(gè)實(shí)施過程中,比較重要的一點(diǎn)就是我們一直在探索規(guī)范性和靈活性之間的平衡點(diǎn),有些規(guī)范定的太死可能會(huì)導(dǎo)致需求不能滿足,即數(shù)倉建模一些現(xiàn)有的場景可能無法滿足;但是太靈活又可能會(huì)導(dǎo)致逐漸腐化的后果。所以其間的平衡是很重要的一項(xiàng)工作。