csv的大數據如何分析

⑴ matlab 處理大數據量csv文件

數據matlab可以直接讀取的，用data = importdata('你的文件名.CSV'); 然後data是一個結構，data.textdata里有你矩陣的文字版信息（沒有文字信息就權是空），data.data就是你的數字信息。1024*1024剛剛好是10^20，matlab可以讀完。但是要是有更多的數據的話，建議先用SPSS處理數據，再把需要的導入matlab中操作。
如果你的情況是要讀1024個csv的文件，同樣也可以用importdata。但在這之前先用filename=dir(『這些文件所在的文件夾位置』)讀取1024個文件的文件名，然後用
for i = 1:1024
data{i} = importd www.hnne.com ata(filename(i+2));
end
這里之所以是filename(i+2)，是因為用dir讀文件夾目錄的時候前兩個是「.」和「..」所以從第3個開始。

⑵ 一般用哪些工具做大數據可視化分析

酷屏是億信華辰的數據可視化產品，內置上百種可視化元素和六十餘內種風格各異的表格、導航容、統計圖等組件及SVG特效可供用戶選擇，通過設計與搭配，可衍生出成千上萬種可視化效果。在提供傳統的柱狀圖、餅圖、儀表盤等基礎圖表組件的基礎上，還提供了光暈圖、泡泡圖、流向地圖等十餘種新穎奪目的個性化圖表，更有獨特的3D全景視角，自由快捷製作各類互動式常規屏和大屏報表。

⑶ 如何提高收集數據和分析數據的能力

談一些個人的工作經驗，希望對後來人有幫助。首先總結下平時數據分析的一般步驟。

---------------------------濃縮精華版--------------------------------

第一步：數據准備：（70%時間）

獲取數據（爬蟲，數據倉庫）

驗證數據

數據清理（缺失值、孤立點、垃圾信息、規范化、重復記錄、特殊值、合並數據集）

使用python進行文件讀取csv或者txt便於操作數據文件（I/O和文件串的處理，逗號分隔）

抽樣（大數據時。關鍵是隨機）

存儲和歸檔

第二步：數據觀察（發現規律和隱藏的關聯）

單一變數：點圖、抖動圖；直方圖、核密度估計；累計分布函數

兩個變數：散點圖、LOESS平滑、殘差分析、對數圖、傾斜

多個變數：假色圖、馬賽克圖、平行左邊圖

第三步：數據建模
推算和估算（均衡可行性和成本消耗）

縮放參數模型（縮放維度優化問題）

建立概率模型（二項、高斯、冪律、幾何、泊松分布與已知模型對比）

第四步：數據挖掘

選擇合適的機器學習演算法（蒙特卡洛模擬，相似度計算，主成分分析）

大數據考慮用Map/Rece

得出結論，繪制最後圖表

循環到第二步到第四步，進行數據分析，根據圖表得出結論完成文章。

------------------------------業務分析版--------------------------------
「無尺度網路模型」的作者艾伯特-拉斯洛·巴拉巴西認為——人類93%的行為是可以預測的。數據作為人類活動的痕跡，就像金礦等待發掘。但是首先你得明確自己的業務需求，數據才可能為你所用。

1. 數據為王，業務是核心
了解整個產業鏈的結構
制定好業務的發展規劃

衡量的核心指標有哪些

有了數據必須和業務結合才有效果。首先你需要摸清楚所在產業鏈的整個結構，對行業的上游和下游的經營情況有大致的了解。然後根據業務當前的需要，指定發展計劃，從而歸類出需要整理的數據。最後一步詳細的列出數據核心指標（KPI），並且對幾個核心指標進行更細致的拆解，當然具體結合你的業務屬性來處理，找出那些對指標影響幅度較大的影響因子。前期資料的收集以及業務現況的全面掌握非常關鍵。

2. 思考指標現狀，發現多維規律
熟悉產品框架，全面定義每個指標的運營現狀

對比同行業指標，挖掘隱藏的提升空間

拆解關鍵指標，合理設置運營方法來觀察效果

爭對核心用戶，單獨進行產品用研與需求挖掘

發現規律不一定需要很高深的編程方法，或者復雜的統計公式，更重要的是培養一種感覺和意識。不能用你的感覺去揣測用戶的感覺，因為每個人的教育背景、生活環境都不一樣。很多數據元素之間的關系沒有明顯的顯示，需要使用直覺與觀察（數據可視化技術來呈現）。

3. 規律驗證，經驗總結
發現了規律之後不能立刻上線，需要在測試機上對模型進行驗證。

P.S.數學建模能力對培養數感有一定的幫助
推薦兩個論壇：
數學建模與數學應用論壇(Mathematical Modeling and Mathematical Applications Forum)

數學中國 (數學建模)-最專業的數學理論研究、建模實踐平台

⑷ 大數據分析一般用什麼工具分析

在大數據處理分析過程中常用的六大工具：

1、

Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。

2、HPCC

HPCC，High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年，由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目：高性能計算與 通信」的報告，也就是被稱為HPCC計劃的報告，即美國總統科學戰略項目，其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃，該計劃的實施將耗資百億美元，其主要目標要達到：開發可擴展的計算系統及相關軟體，以支持太位級網路傳輸性能，開發千兆 比特網路技術，擴展研究和教育機構及網路連接能力。

3、Storm

Storm是自由的開源軟體，一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流，用於處理Hadoop的批量數據。Storm很簡單，支持許多種編程語言，使用起來非常有趣。

4、Apache Drill

為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法，Apache軟體基金會近日發起了一項名為「Drill」的開源項目。Apache Drill 實現了 Google's Dremel.

據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹，「Drill」已經作為Apache孵化器項目來運作，將面向全球軟體工程師持續推廣。

5、RapidMiner

RapidMiner是世界領先的數據挖掘解決方案，在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛，包括各種數據藝術，能簡化數據挖掘過程的設計和評價。

6、Pentaho BI

Pentaho BI 平台不同於傳統的BI 產品，它是一個以流程為中心的，面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來，方便商務智能應用的開發。它的出現，使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等，能夠集成在一起，構成一項項復雜的、完整的商務智能解決方案。

⑸ 數據分析員用python做數據分析是怎麼回事，需要用到python中的那些內容，具體是怎麼操作的

最近，Analysis with Programming加入了Planet Python。我這里來分享一下如何通過Python來開始數據分析。具體內容如下：

數據導入

導入本地的或者web端的CSV文件；

數據變換；

數據統計描述；

假設檢驗

單樣本t檢驗；

可視化；

創建自定義函數。

數據導入

• 1

  這是很關鍵的一步，為了後續的分析我們首先需要導入數據。通常來說，數據是CSV格式，就算不是，至少也可以轉換成CSV格式。在Python中，我們的操作如下：

  import pandas as pd

  # Reading data locally

  df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

  # Reading data from web

  data_url = "https://raw.githubusercontent.com/alstat/Analysis-with-Programming/master/2014/Python/Numerical-Descriptions-of-the-Data/data.csv"

  df = pd.read_csv(data_url)

  為了讀取本地CSV文件，我們需要pandas這個數據分析庫中的相應模塊。其中的read_csv函數能夠讀取本地和web數據。

數據變換

• 1

  既然在工作空間有了數據，接下來就是數據變換。統計學家和科學家們通常會在這一步移除分析中的非必要數據。我們先看看數據（下圖）

  對R語言程序員來說，上述操作等價於通過print(head(df))來列印數據的前6行，以及通過print(tail(df))來列印數據的後6行。當然Python中，默認列印是5行，而R則是6行。因此R的代碼head(df, n = 10)，在Python中就是df.head(n = 10)，列印數據尾部也是同樣道理

  

• 9

  plt.show(sns.lmplot("Benguet", "Ifugao", df))

創建自定義函數

• 在Python中，我們使用def函數來實現一個自定義函數。例如，如果我們要定義一個兩數相加的函數，如下即可：

  def add_2int(x, y):

  return x + y

  print add_2int(2, 2)

  # OUTPUT

  4

• 順便說一下，Python中的縮進是很重要的。通過縮進來定義函數作用域，就像在R語言中使用大括弧{…}一樣。這有一個我們之前博文的例子：

  產生10個正態分布樣本，其中和

  基於95%的置信度，計算和;

  重復100次; 然後

  計算出置信區間包含真實均值的百分比

  Python中，程序如下：

  import numpy as np

  import scipy.stats as ss

  def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

  m = np.zeros((rep, 4))

  for i in range(rep):

  norm = np.random.normal(loc = mu, scale = sigma, size = n)

  xbar = np.mean(norm)

  low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

  up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

  if (mu > low) & (mu < up):

  rem = 1

  else:

  rem = 0

  m[i, :] = [xbar, low, up, rem]

  inside = np.sum(m[:, 3])

  per = inside / rep

  desc = "There are " + str(inside) + " confidence intervals that contain "

  "the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

  return {"Matrix": m, "Decision": desc}

• 上述代碼讀起來很簡單，但是循環的時候就很慢了。下面針對上述代碼進行了改進，這多虧了Python專家

  import numpy as np

  import scipy.stats as ss

  def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

  scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

  norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))

  xbar = norm.mean(1)

  low = xbar - scaled_crit

  up = xbar + scaled_crit

  rem = (mu > low) & (mu < up)

  m = np.c_[xbar, low, up, rem]

  inside = np.sum(m[:, 3])

  per = inside / rep

  desc = "There are " + str(inside) + " confidence intervals that contain "

  "the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

  return {"Matrix": m, "Decision": desc}

⑹ python大數據挖掘系列之基礎知識入門 知識整理（入門教程含源碼）

Python在大數據行業非常火爆近兩年，as a pythonic，所以也得涉足下大數據分析，下面就聊聊它們。

Python數據分析與挖掘技術概述

所謂數據分析，即對已知的數據進行分析，然後提取出一些有價值的信息，比如統計平均數，標准差等信息，數據分析的數據量可能不會太大，而數據挖掘，是指對大量的數據進行分析與挖倔，得到一些未知的，有價值的信息等，比如從網站的用戶和用戶行為中挖掘出用戶的潛在需求信息，從而對網站進行改善等。
數據分析與數據挖掘密不可分，數據挖掘是對數據分析的提升。數據挖掘技術可以幫助我們更好的發現事物之間的規律。所以我們可以利用數據挖掘技術可以幫助我們更好的發現事物之間的規律。比如發掘用戶潛在需求，實現信息的個性化推送，發現疾病與病狀甚至病與葯物之間的規律等。

預先善其事必先利其器

我們首先聊聊數據分析的模塊有哪些：

下面就說說這些模塊的基礎使用。

numpy模塊安裝與使用

安裝：
下載地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/
我這里下載的包是1.11.3版本，地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/f9r7rmd8/numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl
下載好後，使用pip install "numpy-1.11.3+mkl-cp35-cp35m-win_amd64.whl"
安裝的numpy版本一定要是帶mkl版本的，這樣能夠更好支持numpy

numpy簡單使用

生成隨機數

主要使用numpy下的random方法。

pandas

使用 pip install pandas 即可

直接上代碼：
下面看看pandas輸出的結果， 這一行的數字第幾列，第一列的數字是行數，定位一個通過第一行，第幾列來定位：

常用方法如下：

下面看看pandas對數據的統計，下面就說說每一行的信息

轉置功能：把行數轉換為列數，把列數轉換為行數，如下所示：

通過pandas導入數據

pandas支持多種輸入格式，我這里就簡單羅列日常生活最常用的幾種，對於更多的輸入方式可以查看源碼後者官網。

CSV文件

csv文件導入後顯示輸出的話，是按照csv文件默認的行輸出的，有多少列就輸出多少列，比如我有五列數據，那麼它就在prinit輸出結果的時候，就顯示五列

excel表格

依賴於xlrd模塊，請安裝它。
老樣子，原滋原味的輸出顯示excel本來的結果，只不過在每一行的開頭加上了一個行數

讀取SQL

依賴於PyMySQL，所以需要安裝它。pandas把sql作為輸入的時候，需要制定兩個參數，第一個是sql語句，第二個是sql連接實例。

讀取HTML

依賴於lxml模塊，請安裝它。
對於HTTPS的網頁，依賴於BeautifulSoup4，html5lib模塊。
讀取HTML只會讀取HTML里的表格，也就是只讀取

顯示的是時候是通過python的列表展示，同時添加了行與列的標識

讀取txt文件

輸出顯示的時候同時添加了行與列的標識

scipy

安裝方法是先下載whl格式文件，然後通過pip install 「包名」 安裝。whl包下載地址是：http://www.lfd.uci.e/~gohlke/pythonlibs/f9r7rmd8/scipy-0.18.1-cp35-cp35m-win_amd64.whl

matplotlib 數據可視化分析

我們安裝這個模塊直接使用pip install即可。不需要提前下載whl後通過 pip install安裝。

下面請看代碼：

下面說說修改圖的樣式

關於圖形類型，有下面幾種：

關於顏色，有下面幾種：

關於形狀，有下面幾種：

我們還可以對圖稍作修改，添加一些樣式，下面修改圓點圖為紅色的點，代碼如下：

我們還可以畫虛線圖，代碼如下所示：

還可以給圖添加上標題，x，y軸的標簽,代碼如下所示

直方圖

利用直方圖能夠很好的顯示每一段的數據。下面使用隨機數做一個直方圖。

Y軸為出現的次數，X軸為這個數的值（或者是范圍）

還可以指定直方圖類型通過histtype參數：

圖形區別語言無法描述很詳細，大家可以自信嘗試。

舉個例子：

子圖功能

什麼是子圖功能呢？子圖就是在一個大的畫板裡面能夠顯示多張小圖，每個一小圖為大畫板的子圖。
我們知道生成一個圖是使用plot功能，子圖就是subplog。代碼操作如下：

我們現在可以通過一堆數據來繪圖，根據圖能夠很容易的發現異常。下面我們就通過一個csv文件來實踐下，這個csv文件是某個網站的文章閱讀數與評論數。

先說說這個csv的文件結構，第一列是序號，第二列是每篇文章的URL，第三列每篇文章的閱讀數，第四列是每篇評論數。

我們的需求就是把評論數作為Y軸，閱讀數作為X軸，所以我們需要獲取第三列和第四列的數據。我們知道獲取數據的方法是通過pandas的values方法來獲取某一行的值，在對這一行的值做切片處理，獲取下標為3（閱讀數）和4（評論數）的值，但是，這里只是一行的值，我們需要是這個csv文件下的所有評論數和閱讀數，那怎麼辦？聰明的你會說，我自定義2個列表，我遍歷下這個csv文件，把閱讀數和評論數分別添加到對應的列表裡，這不就行了嘛。呵呵，其實有一個更快捷的方法，那麼就是使用T轉置方法，這樣再通過values方法，就能直接獲取這一評論數和閱讀數了，此時在交給你matplotlib里的pylab方法來作圖，那麼就OK了。了解思路後，那麼就寫吧。

下面看看代碼：

⑺ 內部審計中的大數據分析程序包括哪些階段

內部審計中的大數據分析程序包括數據的線上化、數據的可採集以及數據可用的階段。

1、數據線上化：大數據審計最重要的基礎就是數據的線上化，可以說如果數據沒有線上化就無法通過計算機做大量、全量的數據分析，就更不要提大數據審計。

2、數據可採集：只有數據線上化是不夠的，不同系統後台數據的形式是各不相同的，而且不能在系統後台中直接做數據分析，而是需要將系統後台的數據採集到本機，轉化成我們需要的格式(通常為XLS或CSV格式)進行分析。

3、數據可用：有些系統由於未做輸入限制或輸入校驗，導致在數據的採集過程中會得到一些無效數據(如借方金額的欄位中包合字母、符號、空值等對分析造成影響的數據)。

大數據規則分析

通過規則模型的應用，可實時將系統中符合模型設定條件的數據提取出來，及時傳遞給審計人員，以審查核實異常。在審計項目中，針對有的數據，使用數據分析的方法找出異常數據，進而確認問題的一種方法。

與傳統的抽樣審計方法相比，大數據審計通常使用的是全量分析的方式，更加關注數據之間的整體性與關聯性，而不局限於某個個體的單獨特性。

⑻ 如何做好數據分析

數據分析有：分類分析，矩陣分析，漏斗分析，相關分析，邏輯樹分析，趨勢分析，行為軌跡分析，等等。 我用HR的工作來舉例，說明上面這些分析要怎麼做，才能得出洞見。

01） 分類分析
比如分成不同部門、不同崗位層級、不同年齡段，來分析人才流失率。比如發現某個部門流失率特別高，那麼就可以去分析。

02） 矩陣分析
比如公司有價值觀和能力的考核，那麼可以把考核結果做出矩陣圖，能力強價值匹配的員工、能力強價值不匹配的員工、能力弱價值匹配的員工、能力弱價值不匹配的員工各佔多少比例，從而發現公司的人才健康度。

03） 漏斗分析
比如記錄招聘數據，投遞簡歷、通過初篩、通過一面、通過二面、通過終面、接下Offer、成功入職、通過試用期，這就是一個完整的招聘漏斗，從數據中，可以看到哪個環節還可以優化。

04） 相關分析
比如公司各個分店的人才流失率差異較大，那麼可以把各個分店的員工流失率，跟分店的一些特性（地理位置、薪酬水平、福利水平、員工年齡、管理人員年齡等）要素進行相關性分析，找到最能夠挽留員工的關鍵因素。

05） 邏輯樹分析
比如近期發現員工的滿意度有所降低，那麼就進行拆解，滿意度跟薪酬、福利、職業發展、工作氛圍有關，然後薪酬分為基本薪資和獎金，這樣層層拆解，找出滿意度各個影響因素裡面的變化因素，從而得出洞見。

06） 趨勢分析
比如人才流失率過去12個月的變化趨勢。

07）行為軌跡分析
比如跟蹤一個銷售人員的行為軌跡，從入職、到開始產生業績、到業績快速增長、到疲憊期、到逐漸穩定。