java处理list大数据

『壹』 java问题 有一个list有1W条数据， 现在我想用多线程不重复的读取list中的数据，要怎么写

把读取的方法写成同步方法。然后起很多线程调用这个读的方法去读该list。

『贰』 Java中怎么优化for循环遍历list两万条数据

不要优化，只要显示就好，一次弄10条之后，可以来一个action之后，记住前面的结果，再显示出下10条。也就是说多接触数据库，但是每次却只需要将10条插入list里面。

『叁』 java语言，当list中数据量过大而产生java.lang.OutOfMemoryError: Java heap space。你们会怎么做

1.设置虚拟机内存-xmax 500m
2.数据文件化保存。封装一个新的类，然后把数据放入到本地文件中，需要时，按需读取内容。（PS:效率可能不高）
3.使用其它缓存工具。比如memcached

『肆』 java怎么像sql的where条件那样处理list里面的数据

public static void main(String[] args){
vo vo1 = new vo("张三",12,"武汉");
vo vo2 = new vo("李四",12,"武汉");
vo vo3 = new vo("王五",12,"北京");
List<vo> list = Arrays.asList(vo1,vo2,vo3);

//条件
vo vo4 = new vo("",null,"武汉");

if(vo4.getName() != null && !"".equals(vo4.getName())){
list = list.stream().filter(vo -> vo.getName().equals(vo4.getName()))
.collect(Collectors.toList());
}
if(vo4.getAge() != null){
list = list.stream().filter(vo -> vo.getAge().equals(vo4.getAge()))
.collect(Collectors.toList());
}
if(vo4.getCity() != null && !"".equals(vo4.getCity())){
list = list.stream().filter(vo -> vo.getCity().equals(vo4.getCity()))
.collect(Collectors.toList());
}

list.stream().forEach(vo -> {
System.out.println(vo);
});
}

『伍』 java 中 list集合中有几十万条数据,每100条为一组取出来如何实现,求代码！！！

/**
* list中有150条数据，每次只拿20条数据，直到拿完所有数据
*/
List<String> urlList = new ArrayList<String>();
for (int i = 0; i < 150; i++) {
urlList.add(i+"");
}

for(int i = 0;i < urlList.size();i+=20){
List<String> param = new ArrayList<String>();//用户存放每次获取到的二十条数据
if( i + 20 < urlList.size()){
for (int j = i; j < i + 20; j++) {
param.add(urlList.get(j));
}
}else {
for (int j = i; j < urlList.size() ; j++) {
param.add(urlList.get(j));
}
}

System.out.println("每次获取到的20条数据：" + param);
}

『陆』 java开发中能不能再一个方法里获取list数据和总条数

java开发中可以在一个方法里获取list数据和总条数，想要学习java开发推荐千锋教育，多年来深耕java开发教育，深得歼散学子信赖。

想要掌握Java开发技术需要注意以下几点：
一、首先，对于初学者来说一定不能盲目，要有自己的规划，不然就是浪费时间白忙活。
二、既然是学习Java开发专业技术，建议是，一定要有一个能指导你的人，不能都靠自己闭门造车，这样的行为并不聪明，结识一位这方面的人才，时不时去人家问题，不然你可能会发现一个小问题能困扰你一天，最后还不知道是什么原因。
三、学习Java开发技术，不能跟学数学语文一样对待，比较刚接触代码是不容易记住的，所以要掌握上述的技术，你还要知道学习Java开发技术有哪些“坑”。对旁掘于学习方法这块氏启氏是尤为重要的，怎么学才能让你学完了能记住之前学的那些，不至于学完了就忘，这个问题值得学习之前去思考的。
四、平时一定要养成好的学习习惯！把自己曾经遇到的问题整理在电脑的日记本上，然后搜集一下博客相关的Java技术文章，一些网站，以后都能用的上，如果想走的更远，一定要养成习惯。

想要了解更多java开发的相关信息，推荐咨询千锋教育。千锋励精图治，不改教育初心。十一年来，千锋以政策为引导，不断完善国内特色现代职业教育体系建设，充分发挥教研师资队伍使命，构建品质教育，加大创新型人才培养力度，为经济发展提供智力人才和智力支撑，成为新时期职业教育发展的新方向，在同行业中有很高的美誉度。

『柒』 java如何快速处理大数据

文件读取：首先是一个文件上传，数据入库，10-200万条不等，这里主要考虑到一次性读取，JVM分配出来的栈内存不一定会够（个人对内存这一块还是处于一知半解的状态，所以比较谨慎，若诸位大神有好的认知，希望评论留下地址分享一下），是依行读取数据，设定一个批量值，当读取的数据达到一定量之后，执行批量入库操作，清空集合，再接着读取。
//读取文件内容
while((s = br.readLine())!=null){
//判断是否达到单次处理量
if(num%leadingNum==0&&num!=0){
int a = stencDao.insertBatch(listBean);
if(a!=leadingNum){
flag = false;
}
//清空集合
listBean.clear();
}
String value = s.trim();
//将读取到的内容放入集合中
if(!value.equals("")){
StencilCustomer bean = new StencilCustomer();
bean.setCustomerPhone(value);
bean.setLinkStencilId(id);
listBean.add(bean);
num ++;
}
}
数据处理：这里的思路也是将数据小化然后处理，这里使用了多线程，设定单个线程处理量，然后开启多个线程处理，这里需要考虑你的服务器的承载能力，如果线程开得太多了，处理不过来，会出现蹦死的情况。例如200万数据，我开了20个线程，单个线程处理600条。
//建立一个线程池 ThreadPoolExecutor threadPool = new ThreadPoolExecutor(
minTaskNumber, maxTaskNumber, 3L, TimeUnit.SECONDS,
new ArrayBlockingQueue<Runnable>(minTaskNumber),
new ThreadPoolExecutor.DiscardOldestPolicy());
//当正在执行的线程数达到最大执行线程数的时候等待
boolean flag = true;
while(flag){
Thread.sleep(1000);//休眠2ms查询一次
int c = threadPool.getActiveCount();//线程池中活动中的线程数量
if(c<maxTaskNumber){
flag = false;
}
}
上面的代码是我对线程池的一个控制，控制服务器一直最大线程执行，Thread.sleep(1000);用while的时候，这个休眠最好不要去掉，去掉之后很影响执行效率

『捌』 问一个JAVA编程问题，要处理大数据，要速度快的话能不能不把它全部放到内存里啊

用一个队列边取边处理， 每次取一部分数据。
list的大小无限制，只要不超过虚拟机内存就可以。

一般大型系统中，类似这种情况都是在数据库中写存储过程解决的。