亚洲综合伊人,成人欧美一区二区三区视频不卡,欧美日韩在线高清,日韩国产午夜一区二区三区,大胆美女艺术,一级毛片毛片**毛片毛片,你瞅啥图片

您當前的位置是:  首頁 > 資訊 > 國際 >
 首頁 > 資訊 > 國際 >

Google發(fā)布用於企業(yè)資料倉儲搬遷的資料驗證工具DVT

2021-07-27 16:34:26   作者:   來源:CTI論壇   評論:0  點擊:


  DVT能夠以標準方法連接包括BigQuery、MySQL和Teradata等各種資料來源,并在資料搬遷的過程,驗證其正確性
  Google宣布推出了資料驗證工具(DVT),這是一個開源的Python命令列工具,可以跨不同環(huán)境進行自動化資料驗證。
  Google提到,資料驗證是資料倉儲、資料庫和資料湖搬遷的關鍵步驟,工作包括比較來源和目標表格的結構化和半結構化資料,并在每個搬遷步驟,像是SQL腳本轉換、資料和架構搬遷以及ETL搬遷等,驗證這些步驟是否正確完成。
  跨平臺驗證資料雖然重要但是卻非常耗時,用戶可能必須要建構和維護自定義解決方案,才能完成這項工作,而DVT提供了一個標準化的解決方案,可供用戶根據(jù)本地端系統(tǒng)中的資料,驗證Google云端中心搬遷的資料,DVT能夠與現(xiàn)有企業(yè)基礎設施和ETL工作管線整合,進行無縫且自動化的驗證。
  DVT使用Ibis框架來連接到大量資料來源,Ibis則是一個Python框架,能夠用標準方式存取資料,并且對不同來源的資料進行分析運算,簡單來說,Ibis供用戶方便地使用Python編寫SQL,但在存取資料外,其重點在於分析,除了可用於SQL資料庫,還支援後端各種資料儲存系統(tǒng)。
  有了Ibis的支援,DVT能夠連接到大量的資料源上,包括BigQuery、AWS S3、MySQL、Oracle、Spanner、SQL Server以及Teradata等。DVT能執(zhí)行多層資料驗證,從各種表格層級的驗證到列驗證。
【免責聲明】本文僅代表作者本人觀點,與CTI論壇無關。CTI論壇對文中陳述、觀點判斷保持中立,不對所包含內(nèi)容的準確性、可靠性或完整性提供任何明示或暗示的保證。請讀者僅作參考,并請自行承擔全部責任。

專題

CTI論壇會員企業(yè)

苗栗市| 健康| 贵定县| 定州市| 蕉岭县| 镇坪县| 彰化市| 平山县| 阳原县| 那坡县| 吉林省| 卢氏县| 来安县| 府谷县| 浦北县| 巨鹿县| 乡城县| 浑源县| 拜泉县| 岱山县| 准格尔旗| 壶关县| 涪陵区| 云南省| 河北区| 深泽县| 德兴市| 通辽市| 平江县| 延安市| 文昌市| 泰来县| 开封县| 闽清县| 木兰县| 斗六市| 新乡县| 湟源县| 昌平区| 临潭县| 勐海县|