銀行客戶信息整合詳解

2003/04/14

　　圖1 DataStage邏輯架構(gòu)

　　常用設(shè)計簡介

　　DataStage 提供給開發(fā)者非常直觀的圖形界面，開發(fā)者可以遵循一種工作流思考方式來選擇數(shù)據(jù)源、目標數(shù)據(jù)與過程轉(zhuǎn)換用的組件（Stages），并將之置于一個最初看起來像一個空格一樣的“草稿表”模板上。Stage是包含了一定功能的組件，類型很多：作為數(shù)據(jù)源和目標的可以是各種數(shù)據(jù)庫的連接，可以是文本文件或hash文件等；作為轉(zhuǎn)換功能的可以是排序、聚類統(tǒng)計、數(shù)學運算等具有特殊功能的組件。設(shè)計者用一種叫做“鏈接”的箭頭來連接這些具有代表性的圖標，而這些箭頭則闡明了運行開始后數(shù)據(jù)與元數(shù)據(jù)的流向。在創(chuàng)建DataStage任務(wù)時，用戶可以在設(shè)計草圖上添加注釋、說明、標簽或是其他可以添加給作業(yè)的描述性文字。DataStage使用圖形方式建立表的查詢、連接關(guān)系、排序和匯總運算。圖2、圖3是幾種常用的設(shè)計模式：

　　圖2 源數(shù)據(jù)和目標數(shù)據(jù)都直接操作數(shù)據(jù)庫

　　數(shù)據(jù)抽取的實現(xiàn)

　　客戶信息數(shù)據(jù)庫中的各表以客戶編碼為關(guān)鍵字進行關(guān)聯(lián)，客戶編碼是由客戶的證件號碼經(jīng)過專門的算法計算產(chǎn)生的唯一客戶標識。根據(jù)各個系統(tǒng)中客戶數(shù)據(jù)與新系統(tǒng)客戶信息的對照關(guān)系我們設(shè)計數(shù)據(jù)抽取轉(zhuǎn)換的程序，如圖4所示是一個DataStage的Job。

　　由于源數(shù)據(jù)量很大，從數(shù)據(jù)庫中直接提取數(shù)據(jù)效率不高，我們采用先將數(shù)據(jù)卸載到文本文件中，再從文本中抽取數(shù)據(jù)進行處理。通過DataStage的Sequential File Stage可以連接一個指定路徑的文本文件，在db1_tab1設(shè)定文件的存放位置、文件中分隔符、文件中每個字段的類型、長度和名稱，即可以取得客戶的證件號碼、姓名、電話、職務(wù)職稱等信息。這些信息需要進行一系列處理：計算客戶編碼，根據(jù)新編碼規(guī)則進行代碼轉(zhuǎn)換，去掉非法字符等，在一個Transformer Stage Transform1中對各數(shù)據(jù)進行處理。

圖3 源數(shù)據(jù)和目標數(shù)據(jù)直接操作文本文件

　　其中CreateKhbm函數(shù)是利用DataStage提供的函數(shù)開發(fā)環(huán)境編寫的，目的是產(chǎn)生客戶唯一標識客戶編碼。由于tab1中的身份證號字段存儲的證件號碼數(shù)據(jù)不規(guī)范，所以在CleanSfzh函數(shù)中，我們對不規(guī)范的證件號碼進行清洗整理，產(chǎn)生規(guī)范的證件號碼。證件類型（zjlx）由于在不同系統(tǒng)中編碼定義不同，因此需要進行轉(zhuǎn)換。通訊地址和郵編兩個字段只對空值進行特殊處理。在這樣一個Transformer Stage中只需用很少的代碼即可以完成需要的數(shù)據(jù)處理。

　　由于不同的源數(shù)據(jù)中可能包含同一個客戶的信息，因此采用Hashed File Stage HF_khjbxx存放輸出結(jié)果，相同客戶的信息根據(jù)客戶編碼覆蓋前面產(chǎn)生的信息，避免了重復(fù)的客戶信息。從不同源數(shù)據(jù)庫取得客戶信息，根據(jù)數(shù)據(jù)的真實性依次進行處理后，生成的客戶信息全部保存在一個Hash文件中，最后從Hash文件中取出結(jié)果數(shù)據(jù)裝載到目標數(shù)據(jù)庫中。

圖4 一個DataStage的Job

　　由于客戶數(shù)據(jù)量很大，為了在不同的數(shù)據(jù)庫中將大量的數(shù)據(jù)進行整合，數(shù)據(jù)處理效率十分重要。在實現(xiàn)中不直接操作數(shù)據(jù)庫而使用文本文件的優(yōu)勢在于DataStage直接抽取文本文件數(shù)據(jù)的效率高于從數(shù)據(jù)庫中抽取，DataStage訪問數(shù)據(jù)庫時需要通過ODBC連接相應(yīng)的數(shù)據(jù)庫Driver，連接上數(shù)據(jù)庫后，從數(shù)據(jù)庫中抽取部分數(shù)據(jù)存放于DataStage Server內(nèi)存中，轉(zhuǎn)換裝載完后，再從數(shù)據(jù)庫中抽取一部分數(shù)據(jù)，所以不適用于大數(shù)據(jù)量的抽取轉(zhuǎn)換，而且不易于實現(xiàn)多進程同時執(zhí)行。

　　對于大數(shù)據(jù)量的抽取轉(zhuǎn)換（如1000萬條記錄），我們可以手工卸載成幾個文本文件，放到DataStage Server上，DataStage在抽取轉(zhuǎn)換時直接將文本文件內(nèi)容裝載到內(nèi)存中，省去了連接數(shù)據(jù)庫資源的消耗，并且可以同時執(zhí)行幾個Job（Job的設(shè)計可以重用），從而提高抽取轉(zhuǎn)換效率。

　　在客戶基本信息整合完成后，從不同系統(tǒng)將客戶的賬戶數(shù)據(jù)抽取出來，客戶的每個賬戶、賬戶類型、幣種、狀態(tài)、余額、積數(shù)、開戶、銷戶情況全部整合在一起，建立起一套較為完整的客戶總賬。在此基礎(chǔ)上，對客戶的資產(chǎn)負債總量、分布情況可以匯總統(tǒng)計，每日對資產(chǎn)負債變化進行跟蹤分析，可以全面地了解客戶在銀行的資產(chǎn)分布和變化狀況。同時，從各交易系統(tǒng)中獲得賬戶的交易情況，可以轉(zhuǎn)換為客戶的交易情況，分別統(tǒng)計不同時間段、不同交易地點、不同交易種類的客戶交易，從而了解客戶的交易習慣和喜好。客戶信息整合后，不同角度、不同層面的客戶分析可以全面展開。

　　結(jié)束語

　　目前，各個銀行都已具有強大的面向賬戶的交易系統(tǒng)。真正要做到面向客戶服務(wù)首先要建立完善的客戶信息系統(tǒng)。放棄目前各系統(tǒng)中分散零亂的客戶信息而從頭積累客戶信息是巨大的浪費，從分散的賬務(wù)系統(tǒng)中抽取整合客戶信息通過實踐是完全可行的。只要設(shè)計一個科學的方法，采用有效的工具，完全可以在很短的時間內(nèi)將有效的數(shù)據(jù)提煉出來，建立起擁有幾百萬客戶的信息庫�？蛻粜畔�庫不僅為客戶服務(wù)提供了基礎(chǔ)，更為客戶分析創(chuàng)造了必要條件。

賽迪網(wǎng) 中國信息化(industry.ccidnet.com)