<listing id="zpvbj"></listing>
<var id="zpvbj"><strike id="zpvbj"></strike></var><cite id="zpvbj"><video id="zpvbj"><thead id="zpvbj"></thead></video></cite>
<cite id="zpvbj"></cite>
<menuitem id="zpvbj"></menuitem>
<menuitem id="zpvbj"></menuitem><var id="zpvbj"><video id="zpvbj"><thead id="zpvbj"></thead></video></var>
<var id="zpvbj"><video id="zpvbj"></video></var><cite id="zpvbj"></cite><var id="zpvbj"></var>
<var id="zpvbj"><strike id="zpvbj"></strike></var>
<var id="zpvbj"></var>
<cite id="zpvbj"></cite><var id="zpvbj"><dl id="zpvbj"></dl></var>
<var id="zpvbj"></var><var id="zpvbj"><strike id="zpvbj"></strike></var>
<var id="zpvbj"></var>

手機版 歡迎訪問人人都是自媒體網站

當前位置:主頁 > 體驗 >

從技術和業務視角,認識數據平臺

時間:2021-08-11 09:26|來源:網絡整理|編輯:|點擊:

本文主要面向讀者為互聯網行業相關從業人員,期望對企業數據平臺有所了解的人群;因篇幅有限,文中所述的主題及相關概念點到為止。

 從技術和業務視角,認識數據平臺

一、什么是數據平臺?

數據平臺字面的意思是“數據+平臺”:

數據:源于業務又作用于業務;

平臺:基于數據也服務于數據。

整體看數據平臺是由「數據流程」和「業務流程」兩大運轉主體共同構成的解決方案,兩大主體相輔相成、互相依賴、密不可分。

從數據流程的視角看:不同業務類型企業的解決方案大同小異,目標都是為了保證數據整體的完整性、準確性、時效性;

從業務流程的視角看:不同業務類型企業的解決方案各有不同,本文中業務類型偏電商類。

二、數據的技術視角

數據從生產到應用的整體流程是任何一個數據從業者都繞不開的主題,即便是非數據領域的產品和運營同學,同樣也應該對業務中數據的流向有個初步的認識。要展開描述,我們必須從數據的技術視角思考兩個問題:

需要解決的問題是什么?

如何保證數據流中不同階段的最優解?

1. 需要解決的問題是什么?

數據供給:提供便捷的數據生產方案,以數據產生為起點,規范數據整個主體的供給,為夯實數據平臺的基礎提供保障;

數據產出:保證數據在產出層面的普遍適用性。該階段包括分析報表,自動化分析工具,查詢入口等的建設;

過程管理:保證數據的完整性、準確性、時效性,實現數據從產生到應用全流程的高效管理。

2. 數據流的不同階段如何保證最優解?

「立足現狀,具體問題具體分析」,不同企業所處的業務發展階段不同,所面對的問題會不一樣。同樣,業務本身特性及企業對數據建設的資源傾斜程度不同,也會直接影響數據全流程處理的差異。最重要的還是立足于現狀,站在更高的戰略視角去思考整體的解決方案。下面從技術視角以“數據流”為骨架展開講解數據產生至應用各環節中我們分別需要做什么:

?2.1 數據產生

數據產生,這個階段是最適合向業務方宣灌數據生產應用流程的階段,因為該階段的優劣將會直接影響之后的各環節。該階段的關鍵字是「規范輸入」,需要給數據上游的業務方提供可行的數據埋點規范(業務團隊自身業務庫除外):

數據接入流程:需要對業務數據的接入流程做全面了解,重點從數據認知層面規避“不合理的輸入”;

數據上報地址及API應用方法:確定API應用規范,保證數據上報位置準確,上報信息不被丟棄;

埋點規范及內容 :在遵循數據接入埋點規范的前提下,保證各業務中具有差異性部分數據的完整性,通常會基于事件模型中的“who when how where what”幾個關鍵要素設計埋點;

數據測試方法:數據測試方法也會依據埋點形式的不同而不同,一般分為前端和后端數據測試。前端常見測試抓包工具如“Fiddler”,后端通常將數據上報至測試服務器,撈取日志觀察其完整性、實時性。

2.2 數據采集

數據采集,這個階段是一個既主動又被動的環節。我們偶爾會收到xx業務方的疑問“為什么業務上線了,沒有看到數據”,排查后才發現是因為模塊日志并沒有被采集。那該環節關鍵字便是「讓日志被正確的采集」

針對現有業務:數據部門會提供給業務方不同場景下的模塊日志采集方案清單,業務方只需按照現有清單選擇模塊上報,數據部門會自動收集;

針對新業務:數據部門會提供模塊日志注冊系統,形成良性注冊機制,讓數據部門提前感知,自動化收集模塊數據。

?2.3 數據處理

數據處理、清洗是數據輸入到倉庫的前置階段,該階段關鍵字是「清洗規則」,目的是建立符合業務需要的數據清洗方案。比如什么格式的數據該被過濾;比如在廣告投放中,用戶符合哪種規則算是作弊用戶;比如在用戶行為數據中,符合哪種特征的行為算是爬蟲用戶等等。

2.4 數據倉庫

數據倉庫面向應用而生,該階段的關鍵字是「分層、建?!?。為了保證數據的普遍適用性及拓展性,會對倉庫進行分層,通常分為:源數據層、數據倉庫層、數據集市層、數據應用層。常見數據倉庫模型為“星型模型”,星型模型就是一種典型的維度模型。我們在進行維度建模的時候會建一張事實表,這個事實表就是星型模型的中心,然后會有一堆維度表,這些維度表就是向外發散的星星。

?2.5 數據計算

Copyright © 2018 DEDE97. 織夢97 版權所有 京ICP

淘宝av国产福利资源-欧美成人影院-怎样观看网红直播app定制-啪啪啪国产-1024你懂的国产首页-国产精品偷拍人妻-勾魂尤物-av撸啪啪在线-制服下的诱惑全文-在线视频?国产?亚洲?素人-国产情侣负免费视频-偷拍巨乳欧美日韩国产-久久免费网国产_久久免费网站_久久免费无修韩国漫画网站,国产素人女同人妻,沈艺语麻豆传媒,中文字幕朝鲜歌曲 麻豆传媒3在线播放| 欧美朋友母| 欧美尺度电影| 进阶日本语高级教程| 91新人夜愿第二集磁力| 欧美女同性恋热吻视频在线观看| 制服丝袜在线视频中文字幕| 更新久久精品中文字幕| 国产在线视频观看海量| 99在线精品视频94| 午夜电影手机影院在线观看视频| 午夜日本三级手机在线观看| 国产高清自拍| 送快递国产剧情| 国产自拍变态另类 迅雷下载 迅雷下载 迅雷下载| 线国产情侣偷拍视频100| 国产丝袜黑色高跟91| 国产偷拍有哪些神作| 国产一区二区三四区| 国产主播天仙| 中国渔船 韩国| 韩国混血女星| 麻豆传媒原创AC| 麻豆传媒前女友在线播放| 日本r级| 日本樱花和服| 果冻传媒伴郎| 中文字幕在线观看1| 精灵宝可梦新无印55集中文字幕| hongkongdoll翻译| 网红刘婷演绎骗快递上楼取件在线| 国产人成视频手机在线视频| 久99久热在线视频精品10| 午夜福利757在线120集免费观看| 国产手机av剧情| 国产剧以法之名分集剧情| 国产情侣爱视频| 澳门丝袜国产制服| 国产 偷拍工地宿舍普通语对白| 国产网红直播链接| 国产异性spa视频直播| http://www.wwwsd7111.com http://www.wwwp04j.com http://www.wwwpj71122.com http://www.wwwtc7222.com http://www.eurosinotrans.com http://www.wwwrypt33.com