說到大數據，肯定少不了分析軟體，這應該是大數據工作的根基，但市面上很多各種分析軟體，如果不是過來人，真的很難找到適合自己或符合企業要求的。小編通過各大企業對大數據相關行業的崗位要求，總結了以下幾點：
（1）SQL資料庫的基本操作，會基本的數據管理
（2）會用Excel/SQL做基本的數據分析和展示
（3）會用腳本語言進行數據分析，Python or R
（4）有獲取外部數據的能力，如爬蟲
（5）會基本的數據可視化技能，能撰寫數據報告
（6）熟悉常用的數據挖掘演算法：回歸分析、決策樹、隨機森林、支持向量機等
對於學習大數據，總體來說，先學基礎，再學理論，最後是工具。基本上，每一門語言的學習都是要按照這個順序來的。
1、學習數據分析基礎知識，包括概率論、數理統計。基礎這種東西還是要掌握好的啊，基礎都還沒扎實，知識大廈是很容易倒的哈。
2、你的目標行業的相關理論知識。比如金融類的，要學習證券、銀行、財務等各種知識，不然到了公司就一臉懵逼啦。
3、學習數據分析工具，軟體結合案列的實際應用，關於數據分析主流軟體有(從上手度從易到難)：Excel，SPSS，stata，R，Python，SAS等。
4、學會怎樣操作這些軟體，然後是利用軟體從數據的清洗開始一步步進行處理，分析，最後輸出結果，檢驗及解讀數據。
Ⅱ 銀行數據倉庫體系實踐（18）--數據應用之信用風險建模
信用風險
銀行的經營風險的機構，那在第15節也提到了巴塞爾新資本協議對於銀行風險的計量和監管要求，其中信用風險是銀行經營的主要風險之一，它的管理好壞直接影響到銀行的經營利潤和穩定經營。信用風險是指交易對手未能履行約定契約中的義務而給銀行造成經濟損失的風險。典型的表現形式包括借款人發生違約或信用等級下降。借款人因各種原因未能及時、足額償還債務/銀行貸款、未能履行合同義務而發生違約時，債權人或銀行必將因為未能得到預期的收益而承擔財務上的損失。
那如何來表示某個交易對手的信用情況呢，一般使用信用等級或信用評分來來表示，等級越低或評分越低，發生違約的概率會增加。這個信用評分主要應用在客戶的貸前和貸後管理中，貸前是指客戶貸款申請階段，銀行受理客戶貸款申請時會根據客戶提交的信息、人行徵信、其它數據源按一定的規則計算出一個違約概率和風險評分或信用等級。再根據這個評分或評級來確定客戶的授信額度和利率。計算出的評分或評級越高，違約概率越低，比如在進行個人貸前評分時主要關注以下5方面：
（1）People：貸款人狀況，包括歷史還款表現、當前負債情況、資金飢渴度等；
（2）Payment：還款來源，如基本收入、資產水平、月收支負債比、無擔保總負債等；
（3）Purpose：資金用途，如消費、買房，需要規避貸款資金用於投資或投機性質較高領域，如股票和數字貨幣；
（4）Protection：債權確保，主要是看是否有抵押物或擔保，需要看抵押物用途、質量、價格等關鍵要素；
（5）Perspective：借款戶展望，從地域、行業、人生階段等考察穩定性及潛力；
貸後是指客戶借款後銀行持續跟進客戶的信用情況，如果發現信用評分降低或者某些指標達到風險預警指標的閾值，說明風險升高，則會進行凍結額度甚至提前進行貸款收回。特別是對於逾期客戶。
風險建模步驟
在進行信用評估時如何選擇客戶屬性、如何確定評分或評級規則呢？這就需要進行風險建模，通過分析歷史數據來確定哪些特徵或指標對客戶的違約相關性大，可以了解客戶的還款能力以及還款意願。並通過一定方法來建立評分和評級的規則。那風險建模主要分為以下步驟：
（1）業務理解：主要評估當前現狀、確定業務目標，選擇建模方法，比如需要進行XX貸款產品的貸前評分模型並確定準入規則，建模方式比如為評分卡，評分應用為基於評分確定貸款准入規則以及額度和利率規則，同時需要確定分析數據的好客戶和壞客戶標准，如逾期90天以上為壞客戶；
（2）數據理解：首先需要准備建模的樣本數據，如抽取近2年的獲得類似產品的客戶相關信息以及根據好客戶和壞客戶標准確定的結果。並針對業務數據進行業務含義理解、對數據進行收集、探索，了解每個變數的數據質量、缺失情況，數據分布等。比如對於客戶在人行的徵信數據、客戶在銀行的存款、理財等信息、以及客戶申請填寫的家庭、房產信息、外部獲得的客戶教育、司法等相關信息進行業務理解和數據分布、質量的探索，對缺失值比例過大的變數或准確性不高的變數進行剔除，同時也要確定對於樣本數據中哪些數據進行建模，哪些數據進行驗證。
（3）數據准備：主要對數據進行預處理和指標加工，指標加工指基於基礎數據進行指標加工，如最近1個月的徵信查詢次數，最近1年的逾期次數等，數據預處理主要工作包括對每一個變數進行數據清洗、缺失值處理、異常值處理、數據標准化等，主要目的是將獲取的原始數據轉變成可用於建模的結構化數據。
比如對於連續變數，就是要尋找合適的切割點把變數分為幾個區間段以使其具有最強的預測能力，也稱為「分箱」。例如客戶年齡就是連續變數，在這一步就是要研究分成幾組、每組切割點在哪裡預測能力是最強的。分箱的方法有等寬、等頻、聚類（k-means）、卡方分箱法、單變數決策樹演算法（ID3、C4.5、CART）、IV最大化分箱法、best-ks分箱法等。如果是離散變數，每個變數值都有一定的預測能力，但是考慮到可能幾個變數值有相近的預測能力，因此也需要進行分組。
通過對變數的分割、分組和合並轉換，分析每個變數對於結果的相關性，剔除掉預測能力較弱的變數，篩選出符合實際業務需求、具有較強預測能力的變數。檢測變數預測能力的方法有：WOE(weight of Evidence) 、IV(informationvalue)等。
（4）分析建模：即對於篩選出來的變數以及完成好壞定義的樣本結果。放入模型進行擬合。如評分卡一般採用常見的邏輯回歸的模型，PYTHON、SAS、R都有相關的函數實現模型擬合。以下是生成的評分卡的例子。
（5）評估及報告：即通過驗證樣本對模型的預測進行校驗。評估模型的准確性和穩健性，並得出分析報告。常用的方法有ROC曲線、lift提升指數、KS(Kolmogorov-Smirnov)曲線、GINI系數等。
（6）應用：對模型進行實際部署和應用，如基於評分進行客戶准入和產生額度，並在貸款系統進行模型部署，自動對申請客戶進行評分。
（7）監測：建立多種報表對模型的有效性、穩定性進行監測，如穩定性監控報表來比較新申請客戶與開發樣本客戶的分值分布，不良貸款分析報表來評估不同分數段的不良貸款，並且與開發時的預測進行比較，監控客戶信貸質量。隨著時間的推移和環境變化，評分模型的預測力會減弱，所以需要持續監控並進行適當調整或重建。
在信用風險建模中，目前評分卡建模還是主要的方式，除了申請評分（A卡（Application score card））還有B卡（Behavior score card）行為評分卡、C卡（Collection score card）催收評分卡。B卡主要進行客戶貸後管理，如何進行風險預警，C卡進行催收管理，確定如何催收以及催收方式和時間點。信用風險模型中還有一個是反欺詐模型，它主要是識別假冒身份、虛假信息、批量薅羊毛等欺詐行為。隨著機器學習和大數據的發展，其它的一些建模方式如決策樹、深度神經網路也越來越多的應用到了風險建模中。
信用風險模型是數據倉庫支持的重要數據應用之一，在風險建模分析階段，數據倉庫是建模樣本數據以及衍生指標加工的主要提供者，業務人員一般在自助分析平台進行數據分析和建模，模型建立完成並部署後，會基於數據倉庫數據進行模型效果的監控。在貸後管理中，風險集市也會進行貸後指標的加工。另外風險模型以及預警中會經常使用到外部數據，這部分數據也是通過數據倉庫進行對接、加工和存儲。