??數(shù)據(jù)遷移是一種將離線存儲(chǔ)與在線存儲(chǔ)融合的技術(shù)。它將高速、高容量的非在線存儲(chǔ)設(shè)備作為磁盤設(shè)備的下一級(jí)設(shè)備，然后將磁盤中常用的 數(shù)據(jù)按指定的策略自動(dòng)遷移到磁帶庫（簡稱帶庫）等二級(jí)大容量存儲(chǔ)設(shè)備上。當(dāng)需要使用這些數(shù)據(jù)時(shí)，分級(jí)存儲(chǔ)系統(tǒng)會(huì)自動(dòng)將這些數(shù)據(jù)從下一級(jí)存儲(chǔ)設(shè)備調(diào)回到上一 級(jí)磁盤上。那么下面就由新網(wǎng)小編和大家講一講數(shù)據(jù)遷移平臺(tái)的特點(diǎn)有哪些。

??一、直接映射

??原來是什么就是什么，原封不動(dòng)照搬過來，對這樣的規(guī)則，如果數(shù)據(jù)源字段和目標(biāo)字段長度或精度不符，需要特別注意看是否真的可以直接映射還是需要做一些簡單運(yùn)算。

??二、字段運(yùn)算

??數(shù)據(jù)源的一個(gè)或多個(gè)字段進(jìn)行數(shù)學(xué)運(yùn)算得到的目標(biāo)字段，這種規(guī)則一般對數(shù)值型字段而言。

??三、參照轉(zhuǎn)換

??在轉(zhuǎn)換中通常要用數(shù)據(jù)源的一個(gè)或多個(gè)字段作為Key，去一個(gè)關(guān)聯(lián)數(shù)組中去搜索特定值，而且應(yīng)該只能得到唯一值。這個(gè)關(guān)聯(lián)數(shù)組使用Hash算法實(shí)現(xiàn)是比較合適也是最常見的，在整個(gè)ETL開始之前，它就裝入內(nèi)存，對性能提高的幫助非常大。

??四、字符串處理

??從數(shù)據(jù)源某個(gè)字符串字段中經(jīng)常可以獲取特定信息，例如身份證號(hào)。而且，經(jīng)常會(huì)有數(shù)值型值以字符串形式體現(xiàn)。對字符串的操作通常有類型轉(zhuǎn)換、字符串截取等。但是由于字符類型字段的隨意性也造成了臟數(shù)據(jù)的隱患，所以在處理這種規(guī)則的時(shí)候，一定要加上異常處理。

??五、空值判斷

??對于空值的處理是數(shù)據(jù)倉庫中一個(gè)常見問題，是將它作為臟數(shù)據(jù)還是作為特定一種維成員？這恐怕還要看應(yīng)用的情況，也是需要進(jìn)一步探求的。但是無論怎樣，對于可能有NULL值的字段，不要采用“直接映射”的規(guī)則類型，必須對空值進(jìn)行判斷，我們的建議是將它轉(zhuǎn)換成特定的值。

??六、日期轉(zhuǎn)換

??在數(shù)據(jù)倉庫中日期值一般都會(huì)有特定的，不同于日期類型值的表示方法，例如使用8位整型20040801表示日期。而在數(shù)據(jù)源中，這種字段基本都是日期類型的，所以對于這樣的規(guī)則，需要一些共通函數(shù)來處理將日期轉(zhuǎn)換為8位日期值、6位月份值等。

??七、日期運(yùn)算

??基于日期，我們通常會(huì)計(jì)算日差、月差、時(shí)長等。一般數(shù)據(jù)庫提供的日期運(yùn)算函數(shù)都是基于日期型的，而在數(shù)據(jù)倉庫中采用特定類型來表示日期的話，必須有一套自己的日期運(yùn)算函數(shù)集。

??八、聚集運(yùn)算

??對于事實(shí)表中的度量字段，他們通常是通過數(shù)據(jù)源一個(gè)或多個(gè)字段運(yùn)用聚集函數(shù)得來的，這些聚集函數(shù)為SQL標(biāo)準(zhǔn)中，包括sum,count,avg,min,max。

??九、既定取值

??這種規(guī)則和以上各種類型規(guī)則的差別就在于它不依賴于數(shù)據(jù)源字段，對目標(biāo)字段取一個(gè)固定的或是依賴系統(tǒng)的值。

??通俗地講，數(shù)據(jù)遷移 是一種可以把大量不經(jīng)常訪問的數(shù)據(jù)存放在帶庫、盤庫等離線介質(zhì)上，只在盤陣上保存少量訪問頻率高的數(shù)據(jù)的技術(shù)。當(dāng)那些磁帶等介質(zhì)上數(shù)據(jù)被訪問時(shí)，系統(tǒng)自動(dòng) 的把這些數(shù)據(jù)回遷到盤陣中；同樣，盤陣中很久未訪問的數(shù)據(jù)被自動(dòng)遷移到磁帶介質(zhì)上，從而大大降低投入和管理成本。小伙伴們要想獲得更多數(shù)據(jù)遷移平臺(tái)的內(nèi)容，請關(guān)注新網(wǎng)。