㈠ java怎么在数据超过百万后分页导出
用过POI的人都知道，在POI以前的版本中并不支持大数据量的处理，如果数据量过多还会常报OOM错误，
这时候调整JVM的配置参数
也不是一个好对策（注：
jdk在32位系统中支持的内存不能超过2个G，而在64位中没有限制，但是在64位的系统中，性能并不是太好
）,好在POI3.8版本新出来了一个SXSSFWorkbook对象，它就是用来解决大数据量以及超大数据量的导入导出操作的，但是SXSSFWorkbook只支持.xlsx格式，不支持.xls格式的Excel文件。
这里普及一下，在POI中使用HSSF对象时，excel 2003最多只允许存6553数据，一般用来处理较少的数据量，这时对于百万级别数据，Excel肯定
容纳不了，而且在计算机性能稍低的机器上测试，就很容易导致堆溢出。当我升级到XSSF对象时，它可以直接支持excel2007以上版本，因为它采用
ooxml格式。这时excel可以支持1048576条数据，单个sheet表就支持近104
万条数据了,虽然这时导出100万数据能满足要求，但使用XSSF测试后发现偶尔还是会发生堆溢出，所以也不适合百万数据的导出。现在我们知道excel2007及以上版本可以轻松实现存储百万级别的数据，但是系统中的大量数据是如何能够快速准确的导入到excel中这好像是个难题，对于一般的web系统，我们为了解决成本，基本都是使用的入门级web服务器tomcat，既然我们不推荐调整JVM的大小，那我们就要针对我们的代码来解决我们要解决的问题。在POI3.8之后新增加了一个类，
SXSSFWorkbook
，采用当数据加工时不是类似前面版本的对象，它可以控制excel数据占用的内存，他通过控制在内存中的行数来实现资源管理，即当创建对象超过了设定的行数，它会自动刷新内存，将数据写入文件，
这样导致打印时，占用的CPU，和内存很少。但有人会说了，我用过这个类啊，他好像并不能完全解决，当数据量超过一定量后还是会内存溢出的，而且时间还很长。对你只是用了这个类，但是你并没有针对你的需求进行相应的设计，仅仅是用了，所以接下来我要说的问题就是，如何通过SXSSFWorkbook以及相应的写入设计来实现百万级别的数据快速写入。
我先举个例子，以前我们[数据库
中存在大量的数据，我们要查询，怎么办？我们在没有经过设计的时候是这样来处理的，先写一个集合，然后执行jdbc，将返回的结果赋值给list，然后再返回到页面上，但是当数据量大的时候，就会出现数据无法返回，内存溢出的情况，于是我们在有限的时间和空间下，通过分页将数据一页一页的显示出来，这样可以避免了[大数据
量数据对内存的占用，也提高了用户的体验，在我们要导出的百万数据也是一个道理，内存突发性占用，我们可以限制导出数据所占用的内存，
这里我先建立一个list容器，list中开辟10000行的存储空间，每次存储10000行，用完了将内容清空，然后重复利用
，这样就可以有效控制内存，所以我们的设计思路就基本形成了，所以分页数据导出共有以下3个步骤：
1、求数据库中待导出数据的行数
2、根据行数求数据提取次数
3、按次数将数据写入文件
㈡ java poi Excel大数据量导入怎么提高速度
记得有个属性，
POI3.8的SXSSF包是XSSF的一个扩展版本，支持流处理，在生成大数据量的电子表内格且堆空间有容限时使用。SXSSF通过限制内存中可访问的记录行数来实现其低内存利用，当达到限定值时，新一行数据的加入会引起老一行的数据刷新到硬盘。
比如内存中限制行数为100，当行号到达101时，行号为0的记录刷新到硬盘并从内存中删除，当行号到达102时，行号为1的记录刷新到硬盘，并从内存中删除，以此类推。
rowAccessWindowSize代表指定的内存中缓存记录数，默认为100，此值可以通过
new SXSSFWorkbook(int rowAccessWindowSize)或SXSSFSheet.setRandomAccessWindowSize(int windowSize)来设置。
㈢ EXCEL大数据量导出的解决方案
EXCEL大数据量导出的解决方案
将web页面上显示的报表导出到excel文件里是一种很常见的需求。润乾报表的类excel模型，支持excel文件数据无失真的导入导出，使用起来非常的方便。然而，当数据量较大的情况下，excel本身的支持最多65535行数据的问题便凸显出来。下面就给出大数据量导出到excel的解决方案。
首先，对于数据超过了65535行的问题，很自然的就会想到将整个数据分块，利用excel的多sheet页的功能，将超出65535行后的数据写入到下一个sheet页中，即通过多sheet页的方式，突破了最高65535行数据的限定。
具体做法就是：
单独做一个链接，使用JSP导出，在JSP上通过程序判断报表行数，超过65535行后分SHEET写入。这样这个问题就得以解决了。
更进一步地说，在这种大数据量的报表生成和导出中，要占用大量的内存，尤其是在使用TOMCAT的情况下，JVM最高只能支持到2G内存，则会发生内存溢出的情况。此时的内存开销主要是两部分，一部分是该报表生成时的开销，另一部分是该报表生成后写入一个EXCEL时的开销。由于JVM的GC机制是不能强制回收的，因此，对于此种情形，我们给出一个变通的解决方案。
首先，将该报表设置起始行和结束行参数，在API生成报表的过程中，分步计算报表，比如一张20万行数据的报表，在生成过程中，可通过起始行和结束行分4-5次进行。这样，就降低了报表生成时的内存占用，在后面报表生成的过程中，如果发现内存不够，即可自动启动JVM的GC机制，回收前面报表的缓存。
导出EXCEL的过程，放在每段生成报表之后立即进行，改多个SHEET页为多个EXCEL，即在分步生成报表的同时分步生成EXCEL，则通过POI包生成EXCEL的内存消耗也得以降低。通过多次生成，同样可以在后面EXCEL生成所需要的内存不足时，有效回收前面生成EXCEL时占用的内存。
再使用文件操作，对每个客户端的导出请求在服务器端根据SESSIONID和登陆时间生成唯一的临时目录，用来放置所生成的多个EXCEL，然后调用系统控制台，打包多个EXCEL为RAR或者JAR方式，最终反馈给用户一个RAR包或者JAR包，响应客户请求后，再次调用控制台删除该临时目录。
使用这种方法，首先是通过分段运算和生成，有效降低了报表从生成结果到生成EXCEL的内存开销。其次是通过使用压缩包，响应给用户的生成文件体积大大缩小，降低了多用户并发访问时服务器下载文件的负担，有效减少多个用户导出下载时服务器端的流量，从而达到进一步减轻服务器负载的效果。
㈣ xssfworkbook 怎么解决科学计算法
POI之前的版本不支持大数据量处理，如果数据过多则经常报OOM错误，有时候调整JVM大小效果也不是太好。3.8版本的POI新出来了SXSSFWorkbook,可以支持大数据量的操作，只是SXSSFWorkbook只支持.xlsx格式，不支持.xls格式。
3.8版本的POI对excel的导出操作，一般只使用HSSFWorkbook以及SXSSFWorkbook，HSSFWorkbook用来处理较少的数据量，SXSSFWorkbook用来处理大数据量以及超大数据量的导出。
HSSFWorkbook的使用方法和之前的版本的使用方法一致，这里就不在陈述使用方法了
SXSSFWorkbook的使用例子如下：
import junit.framework.Assert;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.ss.util.CellReference;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
public static void main(String[] args) throws Throwable {
Workbook wb = new SXSSFWorkbook(100); // keep 100 rows in memory, exceeding rows will be flushed to disk
Sheet sh = wb.createSheet();
for(int rownum = 0; rownum < 100000; rownum++){
Row row = sh.createRow(rownum);
for(int cellnum = 0; cellnum < 10; cellnum++){
Cell cell = row.createCell(cellnum);
String address = new CellReference(cell).formatAsString();
cell.setCellValue(address); }
}
FileOutputStream out = new FileOutputStream("/temp/sxssf.xlsx");
wb.write(out);
out.close();
}
㈤ poi读取excel2007(大数据)，然后保存到数据库中
导致内存溢出是因为太多了内存不够用，你可以先读一部分然后做个标记，先把读到的这部分数据写入到数据库里。然后再从标记处开始读一部分再写入，再读再写直到完。不要一次性全部读完。
㈥ java利用poi读大数据量xlsx除了用xml方式读取外，还有其他方法吗
poi是把excel当做【文来档】来处理源的，自然只有XSSFWorkbook类来操作它，也就是你说的xml方式。在poi的眼里，excel文档里的并不是【数据】而是【表格】。
你如果想要把excel当做【数据源】来处理，应该用odbc的方式，将你需要的excel文件变成一个odbc数据源，然后用ResultSet set = smt.executeQuery("select * from [sheet1$]");来读取数据，效率跟access表现相当（毕竟excel有数据量上限，实际表现大多数时候都比access还要快）
㈦ poi操作excel表，怎么将单元格的格式设置为
通过poi导出excel的过程大致是这样的：
规定单元格的格式
↓
创建单元格
↓
设置单元格的格式
↓
设置数据的格式
↓
把数据存放到单元格中
↓
通过IO流输出
背景POI导出Excel时设置单元格类型为数值类型
要想存放数值的单元格以数值类型导出，其中最关键的步骤就是上面加粗的两步，设置单元格的格式和向单元格中存放数据。
核心代码如下：
/**
* 导出Excel-胡玉洋-2015年11月11日
*
*@param outPutParam Excel数据实体，包括要导出的excel标头、列标题、数据等
* */
private void createContentRows(ExcelParam outPutParam) {
HSSFWorkbook workbook=new HSSFWorkbook(); //创建一个Excel文件
// 遍历集合数据，产生数据行
for (int i = 0; i < outPutParam.getContent().size(); i++) {
int rowIndex = i + 2;
HSSFRow contentRow = sheet.createRow(rowIndex);
Map<String, Object> rowDate = outPutParam.getContent().get(i);
//遍历列
for (int j = 0; j < outPutParam.getTitleList().size(); j++) {
Title headTitle = outPutParam.getTitleList().get(j);//获取第i行第j列列标题
String headerName = headTitle.getName();//获取第j列列标识
Object data = rowDate.get(headerName);//获取第i行第j列所放数据
HSSFCellStyle contextstyle =workbook.createCellStyle();
HSSFCell contentCell = contentRow.createCell(j);
Boolean isNum = false;//data是否为数值型
Boolean isInteger=false;//data是否为整数
Boolean isPercent=false;//data是否为百分数
if (data != null || "".equals(data)) {
//判断data是否为数值型
isNum = data.toString().matches("^(-?\\d+)(\\.\\d+)?$");
//判断data是否为整数（小数部分是否为0）
isInteger=data.toString().matches("^[-\\+]?[\\d]*$");
//判断data是否为百分数（是否包含“%”）
isPercent=data.toString().contains("%");
}
//如果单元格内容是数值类型，涉及到金钱（金额、本、利），则设置cell的类型为数值型，设置data的类型为数值类型
if (isNum && !isPercent) {
HSSFDataFormat df = workbook.createDataFormat(); // 此处设置数据格式
if (isInteger) {
contextstyle.setDataFormat(df.getBuiltinFormat("#,#0"));//数据格式只显示整数
}else{
contextstyle.setDataFormat(df.getBuiltinFormat("#,##0.00"));//保留两位小数点
}
// 设置单元格格式
contentCell.setCellStyle(contextstyle);
// 设置单元格内容为double类型
contentCell.setCellValue(Double.parseDouble(data.toString()));
} else {
contentCell.setCellStyle(contextstyle);
// 设置单元格内容为字符型
contentCell.setCellValue(data.toString());
}
}
}
}04142434445464748495051
如上，有两个比较重要的点：
1、先用正则表达式判断数据是否为数值型，如果为数值型，则设置单元格格式为整数或者小数；
2、然后往单元格中存放数据的时候要设置数据的格式为double类型，如果查看poi的源码HSSFCell.java会发现设置数据的方法如下，所以用setCellValue(double)方法即可。
优化
到了这里，您可能以为万事大吉啊了，其实上面的代码有个陷阱，如果不经过大数据量的测试是发觉不出来的哦~~
如果数据量大的话，系统可能会报错“The maximum number of cell styles was exceeded. You can define up to 4000 styles in a .xls workbook”，原因是style创建的次数太多了，解决这个问题的方法很简单，在循环体外面创建单元格格式contextstyle（即把它当成一个“全局”变量），不要在循环内部创建。
正确的代码如下：
/**
* 导出Excel-胡玉洋-2015年11月11日
*
*@param outPutParam Excel数据实体，包括要导出的excel标头、列标题、数据等
* */
private void createContentRows(ExcelParam outPutParam) {
HSSFWorkbook workbook=new HSSFWorkbook(); //创建一个Excel文件
HSSFCellStyle contextstyle =workbook.createCellStyle();
// 遍历集合数据，产生数据行
for (int i = 0; i < outPutParam.getContent().size(); i++) {
int rowIndex = i + 2;
HSSFRow contentRow = sheet.createRow(rowIndex);
Map<String, Object> rowDate = outPutParam.getContent().get(i);
//遍历列
for (int j = 0; j < outPutParam.getTitleList().size(); j++) {
Title headTitle = outPutParam.getTitleList().get(j);//获取第i行第j列列标题
String headerName = headTitle.getName();//获取第j列列标识
Object data = rowDate.get(headerName);//获取第i行第j列所放数据
HSSFCell contentCell = contentRow.createCell(j);
Boolean isNum = false;//data是否为数值型
Boolean isInteger=false;//data是否为整数
Boolean isPercent=false;//data是否为百分数
if (data != null || "".equals(data)) {
//判断data是否为数值型
isNum = data.toString().matches("^(-?\\d+)(\\.\\d+)?$");
//判断data是否为整数（小数部分是否为0）
isInteger=data.toString().matches("^[-\\+]?[\\d]*$");
//判断data是否为百分数（是否包含“%”）
isPercent=data.toString().contains("%");
}
//如果单元格内容是数值类型，涉及到金钱（金额、本、利），则设置cell的类型为数值型，设置data的类型为数值类型
if (isNum && !isPercent) {
HSSFDataFormat df = workbook.createDataFormat(); // 此处设置数据格式
if (isInteger) {
contextstyle.setDataFormat(df.getBuiltinFormat("#,#0"));//数据格式只显示整数
}else{
contextstyle.setDataFormat(df.getBuiltinFormat("#,##0.00"));//保留两位小数点
}
// 设置单元格格式
contentCell.setCellStyle(contextstyle);
// 设置单元格内容为double类型
contentCell.setCellValue(Double.parseDouble(data.toString()));
} else {
contentCell.setCellStyle(contextstyle);
// 设置单元格内容为字符型
contentCell.setCellValue(data.toString());
}
}
}
}04142434445464748495051
㈧ 求Java poi 大数据量导出(五万行数据) 例子
我给你个办法，是要导出excel吗？别使用poi，使用xml来描述excel即可，就像流文件一样，多少都不会流出，给你个思路，你自己扩展，希望你能看明白。
/**
* @author J.W
* 2011-06-08
*/
import java.io.BufferedOutputStream;
import java.io.DataOutputStream;
import java.io.File;
import java.io.FileNotFoundException;
import java.io.FileOutputStream;
import java.io.IOException;
public class Test {
public static void main(String[] args) {
StringBuffer sb = new StringBuffer();
try {
DataOutputStream rafs = new DataOutputStream(
new BufferedOutputStream(new FileOutputStream(new File(
"d://test.xml"))));
sb.append("<?xml version=\"1.0\"?>");
sb.append("\n");
sb.append("<?mso-application progid=\"Excel.Sheet\"?>");
sb.append("\n");
sb.append("<Workbook xmlns=\"urn:schemas-microsoft-com:office:spreadsheet\"");
sb.append("\n");
sb.append(" xmlns:o=\"urn:schemas-microsoft-com:office:office\"");
sb.append("\n");
sb.append(" xmlns:x=\"urn:schemas-microsoft-com:office:excel\"");
sb.append("\n");
sb.append(" xmlns:ss=\"urn:schemas-microsoft-com:office:spreadsheet\"");
sb.append("\n");
sb.append(" xmlns:html=\"http://www.w3.org/TR/REC-html40\">");
sb.append("\n");
sb.append(" <Styles>\n");
sb.append(" <Style ss:ID=\"Default\" ss:Name=\"Normal\">\n");
sb.append(" <Alignment ss:Vertical=\"Center\"/>\n");
sb.append(" <Borders/>\n");
sb.append(" <Font ss:FontName=\"宋体\" x:CharSet=\"134\" ss:Size=\"12\"/>\n");
sb.append(" <Interior/>\n");
sb.append(" <NumberFormat/>\n");
sb.append(" <Protection/>\n");
sb.append(" </Style>\n");
sb.append(" </Styles>\n");
int sheetcount = 0;
int recordcount = 20;
int currentRecord = 0;
int total = 100;
int col = 20;
sb.append("<Worksheet ss:Name=\"Sheet0\">");
sb.append("\n");
sb.append("<Table ss:ExpandedColumnCount=\"" + col
+ "\" ss:ExpandedRowCount=\"" + total
+ "\" x:FullColumns=\"1\" x:FullRows=\"1\">");
sb.append("\n");
for (int i = 0; i < total; i++) {
if ((currentRecord == recordcount
|| currentRecord > recordcount || currentRecord == 0)
&& i != 0) {// 一个sheet写满
currentRecord = 0;
rafs.write(sb.toString().getBytes());
sb.setLength(0);
sb.append("</Table>");
sb.append("<WorksheetOptions xmlns=\"urn:schemas-microsoft-com:office:excel\">");
sb.append("\n");
sb.append("<ProtectObjects>False</ProtectObjects>");
sb.append("\n");
sb.append("<ProtectScenarios>False</ProtectScenarios>");
sb.append("\n");
sb.append("</WorksheetOptions>");
sb.append("\n");
sb.append("</Worksheet>");
sb.append("<Worksheet ss:Name=\"Sheet" + i / recordcount
+ "\">");
sb.append("\n");
sb.append("<Table ss:ExpandedColumnCount=\"" + col
+ "\" ss:ExpandedRowCount=\"" + recordcount
+ "\" x:FullColumns=\"1\" x:FullRows=\"1\">");
sb.append("\n");
}
sb.append("<Row>");
for (int j = 0; j < col; j++) {
System.out.println(i);
sb.append("<Cell><Data ss:Type=\"String\">10000000000000000123</Data></Cell>");
sb.append("\n");
}
sb.append("</Row>");
if (i % 5000 == 0) {
rafs.write(sb.toString().getBytes());
rafs.flush();
sb.setLength(0);
}
sb.append("\n");
currentRecord++;
}
rafs.write(sb.toString().getBytes());
sb.setLength(0);
sb.append("</Table>");
sb.append("<WorksheetOptions xmlns=\"urn:schemas-microsoft-com:office:excel\">");
sb.append("\n");
sb.append("<ProtectObjects>False</ProtectObjects>");
sb.append("\n");
sb.append("<ProtectScenarios>False</ProtectScenarios>");
sb.append("\n");
sb.append("</WorksheetOptions>");
sb.append("\n");
sb.append("</Worksheet>");
sb.append("</Workbook>");
sb.append("\n");
rafs.write(sb.toString().getBytes());
rafs.flush();
rafs.close();
} catch (FileNotFoundException e) {
// TODO Auto-generated catch block
e.printStackTrace();
} catch (IOException e) {
// TODO Auto-generated catch block
e.printStackTrace();
}
}
}
可以直接执行，只是给你个思路。
㈨ java excel poi 大数据量50W 内存溢出
Workbook workbook = new SXSSFWorkbook(1000);
poi有个机制 每次往内存中写1000条数据，这个1000你可以改的 尽量别大于10000条数据，写完1000条数据后再内重新写，这样就不会内存溢容出了。
㈩ 关于Poi 大数据量Excel 导出时 文件过大的问题 怎么解决
建议不要导出excel，当前excel中已经有支持cvs文件。
解释：cvs文件的显示方式和版xls的显示方式一样，并权且此显示方式的执行效率要高于xls文件的额，因为cvs文件存储的是数据直接直接用英文逗号分隔，xls是存储的cell。所以在大量数据的情况下，都是导出为cvs文件。
备注：如果数据过多的话，建议可以分多次查询导出，不要一次性导出，否则效率会很低。
-