多线程处理大数据

㈠ 处理大数据量时后台如何写多线程一个线程直接返回前端，一个线程继续处理业务逻辑求代码谢谢

class out implements Runnable
{
private int ticket = 100;
public synchronized void run()
{
while (true)
{
if (ticket>o)
{
System.out.println(Thread.currentThread().getName()+"="+"sale..."+ticket--);//若改成抄this.getName();不行因为接口里没有getName（）;
}
}
}
}
class RunnableDemo
{
public static void main(String[] args)
{
Ticket P = new Ticket();//先创造接口对象
Thread P1 = new Thread(P);//再把接口对象给Thread
Thread P2 = new Thread(P);
P1.start();
P2.start();
}

㈡ 如何掌握java多线程，高并发，大数据方面的技能

线程：同一类线程共享代码和数据空间，每个线程有独立的运行栈和程序版计数器(PC)，线程切换开销权小。（线程是cpu调度的最小单位）
线程和进程一样分为五个阶段：创建、就绪、运行、阻塞、终止。
多进程是指操作系统能同时运行多个任务（程序）。
多线程是指在同一程序中有多个顺序流在执行。
在java中要想实现多线程，有两种手段，一种是继续Thread类，另外一种是实现Runable接口.(其实准确来讲，应该有三种，还有一种是实现Callable接口，并与Future、线程池结合使用。

㈢ 如何用多线程读取大文件并且做数据处理，100

先说几个要点：

a、文件在操作系统级，有描述符标记，关联到打开的文件表项，文件表项纪录了一个很重要的信息，当前文件的指针；
b、cpu要干的工作比读文件快不，读一次文件的速度要慢于cpu处理一次的速度，没必要多多线程，多线程提升不了多少性能，还增加编程的难度，单线程处理即可。
c、待处理文件，必须知道一定的边界值，如分页边界或单条纪录边界。
有了上面的前提，每个线程维护单独的缓冲区，缓存区大小就是c点提到的边界纪录大小。线程启动，把缓冲区读满，处理数据。此处有个要点，必须做文件锁，把要读的边界锁住。否则读出来的数据会产生混乱。（如果强行打开多个不同的文件不划算，内存占用可能会过多）。产生混乱的原因简单，读文件实际上是进行系统调用，系统调用有自己的缓冲区，这缓冲区未必跟你设置的缓冲区一样大。多次读多次移动指针，不加文件锁处理的数据必定会乱。
文件锁两种方式加锁，对整个文件加锁，对字节区间加锁。都不是什么难事。
实现方式1:对整个文件加锁，因为我们要保证的是读到的数据别混乱。
实现方式2:如果内存足够大，维护n个独立的文件描述符，这些文件描述符必须有独立的文件指针，操作系统上有对应实现。每个线程操作未读纪录，这么做还需要维护共享的已读纪录指针。防止重复处理。这么做处理完成如果需要按顺序合并文件是难点。处理过的数据有新的纪录边界。要视实际情况而定能不能这么做。写程序要优先保证的是正确性，之后才是提升效率。
我说的理论，依据是操作系统提供的api处理。别的语言要依赖操作系统运行。原理差不多，目标语言有没有操作系统提供的api强悍。依据使用的目标语言而定。绝大多数能叫编程语言的语言都会提供操作系统api对应的方法。（脚本语言例外，如shell，perl，javascript，vbscript，就可能没这么强的控制能力。），java，objective-c，swift，php，python一般是不会有问题的。

㈣ 大数据技术常用的数据处理方式有哪些

大数据技术常用的数据处理方式，有传统的ETL工具利用多线程处理文件的方式；有写MapRece，有利用Hive结合其自定义函数，也可以利用Spark进行数据清洗等，每种方式都有各自的使用场景。

在实际的工作中，需要根据不同的特定场景来选择数据处理方式。

1、传统的ETL方式

传统的ETL工具比如Kettle、Talend、Informatica等，可视化操作，上手比较快，但是随着数据量上升容易导致性能出问题，可优化的空间不大。

2、Maprece

写Maprece进行数据处理，需要利用java、python等语言进行开发调试，没有可视化操作界面那么方便，在性能优化方面，常见的有在做小表跟大表关联的时候，可以先把小表放到缓存中(通过调用Maprece的api)，另外可以通过重写Combine跟Partition的接口实现，压缩从Map到rece中间数据处理量达到提高数据处理性能。

3、Hive

在没有出现Spark之前，Hive可谓独占鳌头，涉及离线数据的处理基本都是基于Hive来做的，Hive采用sql的方式底层基于Hadoop的Maprece计算框架进行数据处理，在性能优化上也不错。

4、Spark

Spark基于内存计算的准Maprece，在离线数据处理中，一般使用Spark sql进行数据清洗，目标文件一般是放在hdf或者nfs上，在书写sql的时候，尽量少用distinct，group by recebykey 等之类的算子，要防止数据倾斜。

㈤ 大数据量快速处理的架构设计

大数据量快速处理的架构设计
在业务数据的处理过程中，经常会遇到夜间批次处理大量的数据，而且会有时效的要求。特别是当应用系统跑了2年以上时，就会有大表或者特大表的操作了，数据量达到百万甚至上亿。 这时回顾前期的设计，就会发现好多问题。 可能是数据模型设计的时候没有考虑表的分区和及时归档、sql的设计没有考虑索引或全表扫描、数据的处理没有考虑及时的分批切分、并发处理的多线程可配置化等等， 为了以后的设计不要走相同的错路。这里暂时简要总结一下。
1 最初要考虑归档和分区。所有可能的大表设计，都要在最初的时候考虑归档和分区。
数据冲上高水位（HighWaterMark）后，即使有归档也不会降低高水位，性能可能也存在消耗，所以要及时归档转移数据。 最好是设置分区表，这样分区表可以进行及时的truncate或者drop再重新add分区。 可以灵活的控制存储。
2 sql条件精准定位。大的关联sql查询，一定要尽量的精准抽取数据范围，不要模糊抽取过多数据，含好多无用的后面再过滤，这很可能影响数据库的执行计划判断导致性能下降。
3 快速定位数据，分批支持流水并发。大批量数据处理，首先要用最简单的方式找到目标最小集群的数据，从大范围中抽出来，并进行切分。切分的目的是可以使用多线程并发处理数据，并且隔离各分区的数据不会重复，也不能有遗漏，这样并发时不会造成数据干扰。
4 流水线并发处理提升时效。
采用3的切分多批＋多线程并发的方式，就可以针对有多个步骤的业务逻辑处理时，不用瀑布模式等待执行，而是可以流水线样的多条执行，实现了多并发，无时间和空间的浪费。 对于有高时效的任务处理，具有可观的价值。

㈥ 学习Java大数据需要掌握哪些Java技能

学习Java大数据需要掌握哪些Java技能？现在大数据发展很速度很多小伙伴想要学习Java大数据技术开发，但是学习大数据为什么需要掌握Java技能呢？

一、学大数据为什么要掌握Java？

首先，我们学习大数据，为什么要先掌握Java技术？

Java是目前使用非常广泛的编程语言，它具有的众多特性，特别适合作为大数据应用的开发语言。

Java不仅吸收了C++语言的各种优点，还摒弃了C++里难以理解的多继承、指针等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程。

Java的跨平台应用能力，比C、C++更易侍顷尺用，更容易上手。同时还具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。

更重要的是，Hadoop以及其他大数据处理技术很多都是用Java，例如Apache的基于Java的HBase和Accumulo以及ElasticSearchas，因此学习Hadoop的一个首要条件老高，就是掌握Java语言编程。

二、学哪些Java知识？

想要掌握大数据技术，需要学习哪些java基础知识？

java学习路线图如下：