如何處理大數據excel

① EXCEL帶有大量公式的數據如何快速處理

Excel帶有大量公式會導致運算速度變慢，想要運算速度變快的方法大致就兩種方法：第一種方法是提升電腦配置；第二種方法利用編程來處理，如VBA、Python等。

② EXCEL大數據量導出的解決方案

EXCEL大數據量導出的解決方案
將web頁面上顯示的報表導出到excel文件里是一種很常見的需求。潤乾報表的類excel模型，支持excel文件數據無失真的導入導出，使用起來非常的方便。然而，當數據量較大的情況下，excel本身的支持最多65535行數據的問題便凸顯出來。下面就給出大數據量導出到excel的解決方案。
首先，對於數據超過了65535行的問題，很自然的就會想到將整個數據分塊，利用excel的多sheet頁的功能，將超出65535行後的數據寫入到下一個sheet頁中，即通過多sheet頁的方式，突破了最高65535行數據的限定。
具體做法就是：
單獨做一個鏈接，使用JSP導出，在JSP上通過程序判斷報錶行數，超過65535行後分SHEET寫入。這樣這個問題就得以解決了。
更進一步地說，在這種大數據量的報表生成和導出中，要佔用大量的內存，尤其是在使用TOMCAT的情況下，JVM最高只能支持到2G內存，則會發生內存溢出的情況。此時的內存開銷主要是兩部分，一部分是該報表生成時的開銷，另一部分是該報表生成後寫入一個EXCEL時的開銷。由於JVM的GC機制是不能強制回收的，因此，對於此種情形，我們給出一個變通的解決方案。
首先，將該報表設置起始行和結束行參數，在API生成報表的過程中，分步計算報表，比如一張20萬行數據的報表，在生成過程中，可通過起始行和結束行分4-5次進行。這樣，就降低了報表生成時的內存佔用，在後面報表生成的過程中，如果發現內存不夠，即可自動啟動JVM的GC機制，回收前面報表的緩存。
導出EXCEL的過程，放在每段生成報表之後立即進行，改多個SHEET頁為多個EXCEL，即在分步生成報表的同時分步生成EXCEL，則通過POI包生成EXCEL的內存消耗也得以降低。通過多次生成，同樣可以在後面EXCEL生成所需要的內存不足時，有效回收前面生成EXCEL時佔用的內存。
再使用文件操作，對每個客戶端的導出請求在伺服器端根據SESSIONID和登陸時間生成唯一的臨時目錄，用來放置所生成的多個EXCEL，然後調用系統控制台，打包多個EXCEL為RAR或者JAR方式，最終反饋給用戶一個RAR包或者JAR包，響應客戶請求後，再次調用控制台刪除該臨時目錄。
使用這種方法，首先是通過分段運算和生成，有效降低了報表從生成結果到生成EXCEL的內存開銷。其次是通過使用壓縮包，響應給用戶的生成文件體積大大縮小，降低了多用戶並發訪問時伺服器下載文件的負擔，有效減少多個用戶導出下載時伺服器端的流量，從而達到進一步減輕伺服器負載的效果。

③ excel大數據處理技巧

方法/步驟

1、數據整理。工欲善其事，必先利其器。數據質量是數據分析的生命，此步驟不可忽視、不可走過場。

①數字型的數字才可以參與畫圖和做分析模型，所以數據不能帶單位(如：元、萬元)，也不能用區間數據(如：23-25，不要將電腦當作神腦)。

②數據的單位要一致，統一按列排序或者按行排序，此案例用列排序。

③注意：對於用文本格式存儲的數字，單元格左上角有個綠色三角表示，要注意修改為數字格式。

2、對於本例，需要用到隨機函數rand()。一個色子有6個面，取數為1-6。模擬色子數據=int(rand()*6)+1。

其他用到的函數有：求和sum();最大值max();最小值min()。

3、繪制圖形。

①目前我們只做2維的數據分析，只有1個自變數和1個因變數。選擇2列數據，合計列和最大值列。技巧：當需要選擇不相鄰兩列，可以先選1列，按ctrl鍵，再選另1列，放開ctrl鍵。

②菜單插入→圖形→散點圖，確認。當然，折線圖等也可以數據分析，但為了圖面干凈，推薦還是用散點圖。

4、相關性分析。

首先，在散點圖上某個散點上右鍵→添加趨勢線。

5、然後，緊接著自動彈出設置趨勢線模式(若沒彈出這個對話框，也可在圖上某個散點上右鍵，選擇設置趨勢線模式)→顯示公式、顯示R平方值。至於回歸分析類型，採用線性類型比較通用些。

6、關閉後，觀察圖上的r2值(實際是指R平方值，下同)，r2值0.8到1，說明正相關，自變數和因變數有(線性)關系。r2值0.6到0.8，弱相關。-0.6到0.6，不相關，自變數對因變數沒有影響。-0.8到-0.6，弱負相關。-1到-0.8，負相關，自變數和因變數有(線性)關系，但方向相反。

7、最後，點擊圖上任意散點，表格會出現紅色框和藍色框，紅色是因變數，不能移動，藍色框可以移動。通過滑鼠拖動藍色框，可以看到最大值、最小值、中間值與合計數的線性相關性r2值。

8、本案例數據統計：合計數與最大值、最小值的相關性大多在0-0.7以內，合計數與中間值的相關性大多在0.7以上。自變數x為中間值，因變數y為合計數，他們的關系模型為：y = 0.4196x - 0.8817。(當然，公式中的參數只是針對這25次試驗)

本案例結論：三數合計與中間值呈弱線性相關。

推論：評分比賽中，將最高分和最低分同時去掉，不影響最終得分。

以上就是Excel數據處理並繪製成分析圖形方法介紹，操作很簡單的，你學會了嗎?希望這篇文章能對大家有所幫助!

④ 誰能解決EXCEL大數據處理時的卡頓問題

如果表格有用到公式，宏代碼等，考慮優化公式和代碼，如果沒用到還是卡頓，可以考慮改用更專業的資料庫系統比如SQL,畢竟EXCEL的主陣地還是一般辦公場所，處理幾十萬條數據的情況還是不多。

⑤ c處理100m以上的excel文件用powerquery

新一代Excel里的PowerPivot可以處理上億行數據，運算效率也超級高。
用power query 再結合數據透視表，就能處理大數據。哪怕是是五百萬條數據，在選擇載入時，選擇載入鏈接，就能提高運算效率。power query 在2016版本以上是直接內嵌Excel，在數據選項欄中。

⑥ 19.如何用 Excel 作大數據分析

    - 明確本次數據分析的目的、意義

    - 根據目的，挑選待分析相互關聯的欄位

    - 根據所選欄位，製成透視表、透視圖

    - 根據所做圖表，歸納總結，指導未來行動

    - Power Query

    - 繪制各圖分布草圖

    - 根據圖表需求數量，復制n份

    - 根據需求，選擇行、列欄位

    - 需對各透視表、工作頁命名

    - 根據需求，用各透視表生成不同透視圖

    - 在匯總頁，按設定的圖表布局匯總各圖

    - 插入切片器、日程表，並鏈接各透視表

    - 先明確目的、意義

    - 僅對 Content 欄位

    - =Excel.Workbook([Content],True)

    - 也可引用，在公式欄輸入公式

    - 區分 GetPivotData 與直接引用的區別

    - 根據需求，鏈接部分或全部透視表

    - 自帶模板、個性設置

    - 按 Alt 鍵拖動圖片，以使其吸附單元格邊緣

⑦ 如何大數據分析

大數據分析可以在excel表格上方找到【Power Pivot】並點擊打開，點擊【管理】。再找到操作提示，導入大量的數據源。

工具／原料：

華碩Redolbook14

Windows 10

excel2019

1、打開excel表格，在上方找到【Power Pivot】並點擊打開，點擊【管理】。再找到操作提示，導入大量的數據源。

⑧ excel大數據處理技巧

方法/步驟

1、數據整理。工欲善其事，必先利其器。數據質量是數據分析的生命，此步驟不可忽視、不可走過場。

①數字型的數字才可以參與畫圖和做分析模型，所以數據不能帶單位(如：元、萬元)，也不能用區間數據(如：23-25，不要將電腦當作神腦)。

②數據的單位要一致，統一按列排序或者按行排序，此案例用列排序。

③注意：對於用文本格式存儲的數字，單元格左上角有個綠色三角表示，要注意修改為數字格式。

2、對於本例，需要用到隨機函數rand()。一個色子有6個面，取數為1-6。模擬色子數據=int(rand()*6)+1。

其他用到的函數有：求和sum();最大值max();最小值min()。

3、繪制圖形。

①目前我們只做2維的數據分析，只有1個自變數和1個因變數。選擇2列數據，合計列和最大值列。技巧：當需要選擇不相鄰兩列，可以先選1列，按ctrl鍵，再選另1列，放開ctrl鍵。

②菜單插入→圖形→散點圖，確認。當然，折線圖等也可以數據分析，但為了圖面干凈，推薦還是用散點圖。

4、相關性分析。

首先，在散點圖上某個散點上右鍵→添加趨勢線。

5、然後，緊接著自動彈出設置趨勢線模式(若沒彈出這個對話框，也可在圖上某個散點上右鍵，選擇設置趨勢線模式)→顯示公式、顯示R平方值。至於回歸分析類型，採用線性類型比較通用些。

6、關閉後，觀察圖上的r2值(實際是指R平方值，下同)，r2值0.8到1，說明正相關，自變數和因變數有(線性)關系。r2值0.6到0.8，弱相關。-0.6到0.6，不相關，自變數對因變數沒有影響。-0.8到-0.6，弱負相關。-1到-0.8，負相關，自變數和因變數有(線性)關系，但方向相反。

7、最後，點擊圖上任意散點，表格會出現紅色框和藍色框，紅色是因變數，不能移動，藍色框可以移動。通過滑鼠拖動藍色框，可以看到最大值、最小值、中間值與合計數的線性相關性r2值。

8、本案例數據統計：合計數與最大值、最小值的相關性大多在0-0.7以內，合計數與中間值的相關性大多在0.7以上。自變數x為中間值，因變數y為合計數，他們的關系模型為：y = 0.4196x - 0.8817。(當然，公式中的參數只是針對這25次試驗)

本案例結論：三數合計與中間值呈弱線性相關。

推論：評分比賽中，將最高分和最低分同時去掉，不影響最終得分。

以上就是Excel數據處理並繪製成分析圖形方法介紹，操作很簡單的，你學會了嗎?希望這篇文章能對大家有所幫助!

⑨ office excel在處理大數據表格時，篩選後清除篩選就卡死

最近處理一個花名冊，里邊有我寫的一些公式，之前正常，後來用過power query,出現內篩選後取消卡死情況，主要容是對兩列篩選後清除必卡死。用wps正常。試了好多方法，有效的方法，一個是把自動計算改為手動，但不完美。最後的方法是，打開excel,選項，高級，有一個忽略什麼dde，勾上，關excel，雙擊會卡死那個文件，會打開excel，但打不開文件，然後把文件拉到excel里，打開了，試一下篩選，沒卡死，保存文件，關閉。同樣步驟，再把dde那個取消，OK了。希望對你有幫助。