『壹』 數據分析中數據從哪找
1、簡單、公開的數據集
先分享一些科研機構、企業、政府會開放的一些數據集和一些專業的數據下載網站。這些數據集一般都比較完善、質量相對較高,拿到手數據清洗的工作比較少,適合新手做一些簡單基礎的分析。
中國統計信息網:全國各級政府各年度的國民經濟和社會發展統計信息,部分數據免費
國家統計局:各種民生相關的統計數據,而且所有數據都是免費,而且這個網站的友情鏈接里還有很多其他地方的數據以及國外數據。
2、數據可視化項目數據集
最常見的數據可視化項目就是製作某某地區人均收入區別的信息圖,找數據可視化項目相關的數據集的時候,我們希望數據集盡量“干凈”,減少數據清洗的工作,數據要足夠有趣,能夠支撐起豐富的圖表。
3、數據建模、機器學習的數據集
UCI:UCI是加州大學歐文分校開放的經典數據集,是機器學習領域最有名的數據存儲庫。包含各種數據集,比如經典的泰坦尼克號倖存預測到最新的數據(如空氣質量和GPS軌跡)。
阿里天池:作為國內互聯網龍頭阿里巴巴旗下的大數據競賽網站,提供了很多比賽數據集可以練手,說不定還能順手拿個獎,賺點獎金。
『貳』 power bi 如何獲取數據做可視化
獲取數據
Power BI Desktop 可連接到種類廣泛的多種數據源,包括本地資料庫、Excel 工作表和雲服務等。 它可幫助清理數據和設置數據格式,以使數據更為有用,包括拆分和重命名列、更改數據類型和處理日期。還可創建列之間的關系,以便可以更輕松地將數據建模和分析數據。
lPower BI Desktop入門
在本主題中,我們將深入探討一下 Power BI 的前兩個部分如何結合在一起:
在Power BI Desktop中創建一個報表。
在Power BI 服務中發布該報表。
選擇獲取數據。 此時將顯示數據源集合,允許你選擇數據源。無論選擇的數據源是什麼,Power BI 都會連接到該數據源,並顯示來自源的可用數據。
在 Power BI Desktop報表視圖中,你可以開始生成報表。
報表視圖具有五個主要區域:
功能區,用於顯示與報表和可視化效果相關聯的常見任務
報表視圖或畫布,可在其中創建和排列可視化效果
底部的頁面選項卡,用於選擇或添加報表頁
可視化效果窗格,你可以在其中更改可視化效果、自定義顏色或軸、應用篩選器、拖動欄位等
欄位窗格,可在其中將查詢元素和篩選器拖到報表視圖,或拖到可視化效果的篩選器窗格
通過選擇邊緣的小箭頭,可以折疊可視化效果和欄位窗格,以便在報表視圖中提供更多空間以生成炫酷的可視化效果。修改可視化效果時,你會看到這些箭頭朝上或朝下,這意味著你可以相應展開或折疊該部分。
若要創建可視化效果,只需將欄位從欄位列表拖到報表視圖即可。 此示例中,我們來拖動RetirementStats中的「狀態」欄位,看看會發生什麼。
看一下Power BI Desktop 自動創建了基於地圖的可視化效果,因為它識別到「狀態」欄位包含地理位置數據。
創建具有幾個可視化效果的報表之後,我們就可以將該報表發布到Power BI 服務了。 在 Power BI Desktop 的開始功能區,選擇發布。
系統將提示你登錄到 Power BI。當你登錄並完成此發布過程後,你將看到以下對話框。選擇成功!下面的鏈接以進入 Power BI 服務,你可以在此處看到你剛剛發布的報表。
當登錄到 Power BI 時,你將看到剛才你在該服務上發布的 Power BI Desktop 文件。 在下圖中,在 Power BIDesktop 中創建的報表顯示在報表部分。
在該報表中,我可以選擇大頭針圖標將該視覺對象固定到儀錶板(下圖)。
選擇該圖標時,將顯示以下對話框,讓我將視覺對象固定到現有儀錶板,或創建新儀錶板。
當我們從報告中固定幾個視覺對象時,我們可以在儀錶板中看到這些視覺對象。
當然,使用 Power BI 還可以執行更多操作,例如,共享你創建的儀錶板。
接下來,我們了解一下可以自動創建儀錶板的功能,只需連接到雲服務(如 Facebook、Salesforce)等服務即可。
l連接到 Power BIDesktop中的數據源
Power BI Desktop可以連接一系列數據源,包括本地資料庫、Excel 工作簿和雲服務。 目前,超過 59 種不同的雲服務(例如 GitHub 和 Marketo)具有特定的連接器,並且你可以通過 XML、CSV、文本和 ODBC 連接到通用源。 Power BI 甚至將直接從網站 URL 擦除表格數據! 但讓我們從頭開始,打開 Power BI Desktop,然後連接數據。
啟動Power BI Desktop並移至「開始屏幕」時,你可以在功能區「開始」選項卡上選擇「獲取數據」。
在 Power BI Desktop 中,存在各種不同的可用數據源。根據你的選擇,將要求你在計算機或網路上查找相應源,或者系統會提示你登錄某個服務,以對你的請求進行驗證。
連接後,你將看到的第一個窗口是導航器。 導航器顯示你的數據源的表或實體,單擊其中一個將提供其內容的預覽。然後,可以立即導入所選的表或實體,或在導入數據前,選擇編輯以轉換並清理數據。
選定想要導入到 Power BI Desktop 中的表後,通過選擇右下角的載入按鈕,可以將其載入到 Power BI Desktop 中。
但是,在將這些表載入到 Power BI Desktop 中之前,有時你可能想要先對它們進行更改。你可能只想要客戶的子集,或可能會篩選僅發生在特定國家/地區的銷售數據。 在這些情況下,可以先選擇「編輯」按鈕,篩選或轉換這些數據,再將其所有導入到 Power BI Desktop 中。
下一部分中,我們將在該位置提取並編輯數據。
l使用查詢編輯器清除並轉換數據
當你在「導航器」中選擇「編輯」時,此時將啟動「查詢編輯器」並使用你從數據源中選擇的表或其他實體進行填充。
你還可以使用開始功能區中的編輯查詢按鈕直接從Power BI Desktop啟動查詢編輯器。
一旦查詢編輯器與可供你定型的數據進行載入後,你將看到以下幾個分區:
在功能區中,許多按鈕當前處於活動狀態,以與查詢中的數據進行交互
在左窗格中,列出了所有查詢(每個查詢各對應一個表或一個實體)並可供選擇、查看和定型
在中央窗格中,將顯示已選擇查詢中的數據,可供你調整
顯示的查詢設置窗口列出了查詢的屬性和應用步驟
在中央窗格中,右鍵單擊某一列將顯示多種不同的可用轉換,如從表中刪除該列、以新名稱復制該列並替換值。根據此菜單,你還可以通過常用分隔符將文本列拆分成多列。
查詢編輯器功能區包含其他工具,如更改列的數據類型、添加科學記數法或根據日期(如一周中的某天)提取元素。
應用轉換時,每個步驟都將出現在查詢編輯器右側的查詢設置窗格中的應用步驟列表中。可以使用此列表撤消或查看特定更改,甚至更改步驟的名稱。 若要保存你的轉換,請選擇開始選項卡上的關閉並應用。
選擇關閉並應用後,查詢編輯器將應用所做的查詢更改,並將其應用到 Power BI Desktop。
當在查詢編輯器中轉換數據時,你可以進行所有類型的操作,其中包括高級轉換。 在下一節,我們將看看其中幾個高級轉換。
l更高級的數據源和轉換
在本文中,我們將討論一些適用於PowerBI Desktop的高級數據導入和清理方法 。 在查詢編輯器中塑造好你的數據並將其引入Power BI Desktop中後,你可以以多種不同的方式進行查看。 Power BI Desktop 中有三種視圖:報表視圖、數據視圖和關系視圖。通過選擇畫布左上方的圖標可以查看每個視圖。
若要更改視圖,只需選擇兩個圖標中的任意一個。 圖標旁的黃色條指示處於活動狀態的視圖。
Power BI Desktop 可在建模過程中隨時將來自多個源的數據合並為單一報表。若要將其他源添加到現有報表,請在開始功能區中選擇編輯查詢,然後在查詢編輯器中選擇新源。
Power BI Desktop中可以使用許多不同的可能性數據源,其中包括文件夾。通過連接到文件夾,你可以同時導入來自多個文件的數據,例如一系列 Excel 文件的 CSV 文件。 所選文件夾中包含的文件會以二進制內容顯示在查詢編輯器中,單擊內容頂部的雙箭頭圖標將會載入它們的值。
Power BI 最有用的工具之一就是篩選器。 例如,選擇與列相鄰的下拉箭頭將打開文本篩選器清單,你可以使用它來刪除模型中的值。
你還可以合並和追加查詢,並將多個表(或來自文件夾中多個文件的數據)轉變成僅包含你所需數據的單一表格。你可以使用追加查詢工具將數據從新表添加到現有查詢。 Power BI Desktop 將嘗試匹配查詢中的列,你可以根據需要在查詢編輯器中進行調整。
最後,添加自定義列工具為高級用戶提供了使用功能強大的 M 語言從草稿編寫查詢表達式的選項。 你可以添加基於 M 查詢語言語句的自定義列,並按所需的方式獲取你的數據。
l清理格式不規則的數據
有時數據不採用簡單列格式,這種情況常出現在 Excel 電子表格中,適合肉眼查看的表格布局不一定是自動查詢的最優選擇。例如,以下電子表格具有跨多個列的標題。幸運的是,Power BI 中的工具能將多列表格快速轉化為數據集供你使用。
Ø轉置數據
例如,使用查詢編輯器中的轉置,你可以對數據進行翻轉(即將列變為行,將行變為列),從而將數據分解為可操作的格式。
Ø設置數據格式
你可能還需要設置數據格式,以便 Power BI 在導入數據後對其進行適當分類和標識。
通過幾種轉換(包括將行提升為標題以分解標題、使用填充將null值變為給定列中上方或下方行內找到的值,以及逆透視列),即可將數據清理為可在 Power BI 中使用的數據集。
通過 Power BI,你可以在你的數據上對這些轉換進行試驗,確定可將數據轉換為 Power BI 可處理的列格式的轉換類型。 請記住,你採取的所有操作都記錄在「查詢編輯器」中的「應用的步驟」部分中,因此如果轉換未達到預期,只需單擊該步驟前面的小圖標的x撤消操作即可。
Ø創建視覺對象
數據 Power BI 可用格式後,即可通過轉換和清理數據開始創建視覺對象。