❶ 大數據導出分析,導出什麼格式最好excel才6萬多,還是太少
您是否可以這樣反復饋給客戶制:
一、Excel目前做不到超大記錄數據,即使Excel2007也不過100萬行數據。暫時無法滿足客戶要求。除非客戶有自己的可行方案。
二、導出為資料庫Access(或FoxPro或Sql格式的),總可以吧?畢竟,資料庫通用Sql查詢語句,從數據分析的角度來說,能力非常強大,只比Excel強,不比excel弱。
(以下可能用戶並不關心,畢竟用戶比較低端,可以不說這些理由)
三、從速度上來說,資料庫畢竟是經過優化處理的,它的速度比Excel要快很多倍。
四、從安全形度來說,資料庫的機制完整,出錯機率極少,而專家分析過,Excel的出錯機會,是資料庫的成千上萬倍。
❷ asp導出Excel大數據量報錯的問題!
你看一下導出的 export.asp 文件是否ASP運行超時了
❸ php怎麼導出大量數據的Excel
php導出大量數據Excel的具體操作步驟如下:
1、使用phpstudy搭建一個測試平台,直接訪問資料庫。
❹ asp 導出excel 大數據錯誤
Set rs1 = Server.CreateObject("ADODB.Recordset")
Sql1="select * from [sheet1$]"
rs1.Open Sql1,conn1,1,3
rs1.addnew()
for i=0 to 149
rs1(i)=rs2(i)
rs1.update
rs1.close
next
set rs1=nothing
❺ .Net 大數據量導出Excel方案
當要導出的 DataTable 數據量很大時(喚兆含比如行數幾十萬的情況下), NPOI 內存佔用非常高,這里和笑研究一下性能更好的 excel 導出方式
內猜隱存佔用不超過【260 MB】,耗時【30秒】,生成文件大小【48.1MB】
顯然,在只考慮生成文件的情況下,應該選擇使用 OpenXmlWriter 的方式
GitHub Page-LargeDataExportExcel
❻ EXCEL大數據量導出的解決方案
EXCEL大數據量導出的解決方案
將web頁面上顯示的報表導出到excel文件里是一種很常見的需求。潤乾報表的類excel模型,支持excel文件數據無失真的導入導出,使用起來非常的方便。然而,當數據量較大的情況下,excel本身的支持最多65535行數據的問題便凸顯出來。下面就給出大數據量導出到excel的解決方案。
首先,對於數據超過了65535行的問題,很自然的就會想到將整個數據分塊,利用excel的多sheet頁的功能,將超出65535行後的數據寫入到下一個sheet頁中,即通過多sheet頁的方式,突破了最高65535行數據的限定。
具體做法就是:
單獨做一個鏈接,使用JSP導出,在JSP上通過程序判斷報錶行數,超過65535行後分SHEET寫入。這樣這個問題就得以解決了。
更進一步地說,在這種大數據量的報表生成和導出中,要佔用大量的內存,尤其是在使用TOMCAT的情況下,JVM最高只能支持到2G內存,則會發生內存溢出的情況。此時的內存開銷主要是兩部分,一部分是該報表生成時的開銷,另一部分是該報表生成後寫入一個EXCEL時的開銷。由於JVM的GC機制是不能強制回收的,因此,對於此種情形,我們給出一個變通的解決方案。
首先,將該報表設置起始行和結束行參數,在API生成報表的過程中,分步計算報表,比如一張20萬行數據的報表,在生成過程中,可通過起始行和結束行分4-5次進行。這樣,就降低了報表生成時的內存佔用,在後面報表生成的過程中,如果發現內存不夠,即可自動啟動JVM的GC機制,回收前面報表的緩存。
導出EXCEL的過程,放在每段生成報表之後立即進行,改多個SHEET頁為多個EXCEL,即在分步生成報表的同時分步生成EXCEL,則通過POI包生成EXCEL的內存消耗也得以降低。通過多次生成,同樣可以在後面EXCEL生成所需要的內存不足時,有效回收前面生成EXCEL時佔用的內存。
再使用文件操作,對每個客戶端的導出請求在伺服器端根據SESSIONID和登陸時間生成唯一的臨時目錄,用來放置所生成的多個EXCEL,然後調用系統控制台,打包多個EXCEL為RAR或者JAR方式,最終反饋給用戶一個RAR包或者JAR包,響應客戶請求後,再次調用控制台刪除該臨時目錄。
使用這種方法,首先是通過分段運算和生成,有效降低了報表從生成結果到生成EXCEL的內存開銷。其次是通過使用壓縮包,響應給用戶的生成文件體積大大縮小,降低了多用戶並發訪問時伺服器下載文件的負擔,有效減少多個用戶導出下載時伺服器端的流量,從而達到進一步減輕伺服器負載的效果。
❼ 關於Poi 大數據量Excel 導出時 文件過大的問題 怎麼解決
建議不要導出excel,當前excel中已經有支持cvs文件。
解釋:cvs文件的顯示方式和版xls的顯示方式一樣,並權且此顯示方式的執行效率要高於xls文件的額,因為cvs文件存儲的是數據直接直接用英文逗號分隔,xls是存儲的cell。所以在大量數據的情況下,都是導出為cvs文件。
備註:如果數據過多的話,建議可以分多次查詢導出,不要一次性導出,否則效率會很低。
-
❽ 如何導出較大數據
對於數據規模來太大的,做成源任務。
用戶點擊導出,檢查他的數據規模,超過50W的,提示其數據規模過大,可能需要 N 小時完成,請稍候再來查詢和下載導出結果。如果用戶點擊確定,你就提示:「任務已進入隊列,點擊此連接查詢導出進度。」
然後你要做兩件事情:
1、給這個用戶記錄個標識,就是他已經啟動某導出任務,不能再啟動新的了(或者限制一個人最多同時啟動幾個導出任務);
2、後台有個調度程序,開始執行導出工作,並將生成的Excel放在某磁碟目錄或存在資料庫中;這個調度任務可以控制下最大同時並發的導出任務數,以避免任務太多拖垮系統。
另外需要開發界面查詢導出進度以及下載導出結果。導出結果可以考慮一個最大保存周期,比如7天。
❾ .net 導出到Excel 超出Excel最大數據量怎麼辦
先判斷GridView的記錄總數,如超過,則分多次導出,未超出,一次導出。實現過程中,要採取生成副表的方法。
❿ excel如何在大數據表格裡面導出我想要的一部分數據
你如果可以舉個例子我就可以幫你舉個栗子啦,哈哈,