2009年8月27日 星期四

ETL基本作業流程

說穿了,應該就是從一堆檔案裡面,整理處理一下,在互相ooxx一下,存在資料表裡,在用公司當家軟體生成報表

1.程式初始化 (建立暫存用資料表n)
  1.1 設定日期變數 -取得本機系統時間,算出昨天跟今天,轉一下,弄成Js Value
        但是現在為了測試方面,利用環境變數預設好      SystemTodayString=20090810 ,  SystemYesterdayStrting=20090809
  1.2 讀取BusinessDay table 查詢今日是否在交易日與前一個交易日
         讀取DataDefined table 查詢檔案與資料表列表 內含接收周期
         接著Join兩個Table
         接接著利用欄位Frequency 來判斷是否要在List上,不要的濾掉,最後產生來源資料檢核表
          SourceDataDailyCheckList table  要的ID 日期 還有不知名的isComplete
  1.3 讀取FieldDefined 配上時間  問題 BelongTableID = DataID ?

 這邊先中斷一下 改寫check List

沒有留言: