多線程處理大數據

㈠ 處理大數據量時後台如何寫多線程一個線程直接返回前端，一個線程繼續處理業務邏輯求代碼謝謝

class out implements Runnable
{
private int ticket = 100;
public synchronized void run()
{
while (true)
{
if (ticket>o)
{
System.out.println(Thread.currentThread().getName()+"="+"sale..."+ticket--);//若改成抄this.getName();不行因為介面里沒有getName（）;
}
}
}
}
class RunnableDemo
{
public static void main(String[] args)
{
Ticket P = new Ticket();//先創造介面對象
Thread P1 = new Thread(P);//再把介面對象給Thread
Thread P2 = new Thread(P);
P1.start();
P2.start();
}

㈡ 如何掌握java多線程，高並發，大數據方面的技能

線程：同一類線程共享代碼和數據空間，每個線程有獨立的運行棧和程序版計數器(PC)，線程切換開銷權小。（線程是cpu調度的最小單位）
線程和進程一樣分為五個階段：創建、就緒、運行、阻塞、終止。
多進程是指操作系統能同時運行多個任務（程序）。
多線程是指在同一程序中有多個順序流在執行。
在java中要想實現多線程，有兩種手段，一種是繼續Thread類，另外一種是實現Runable介面.(其實准確來講，應該有三種，還有一種是實現Callable介面，並與Future、線程池結合使用。

㈢ 如何用多線程讀取大文件並且做數據處理，100

先說幾個要點：

a、文件在操作系統級，有描述符標記，關聯到打開的文件表項，文件表項紀錄了一個很重要的信息，當前文件的指針；
b、cpu要乾的工作比讀文件快不，讀一次文件的速度要慢於cpu處理一次的速度，沒必要多多線程，多線程提升不了多少性能，還增加編程的難度，單線程處理即可。
c、待處理文件，必須知道一定的邊界值，如分頁邊界或單條紀錄邊界。
有了上面的前提，每個線程維護單獨的緩沖區，緩存區大小就是c點提到的邊界紀錄大小。線程啟動，把緩沖區讀滿，處理數據。此處有個要點，必須做文件鎖，把要讀的邊界鎖住。否則讀出來的數據會產生混亂。（如果強行打開多個不同的文件不劃算，內存佔用可能會過多）。產生混亂的原因簡單，讀文件實際上是進行系統調用，系統調用有自己的緩沖區，這緩沖區未必跟你設置的緩沖區一樣大。多次讀多次移動指針，不加文件鎖處理的數據必定會亂。
文件鎖兩種方式加鎖，對整個文件加鎖，對位元組區間加鎖。都不是什麼難事。
實現方式1:對整個文件加鎖，因為我們要保證的是讀到的數據別混亂。
實現方式2:如果內存足夠大，維護n個獨立的文件描述符，這些文件描述符必須有獨立的文件指針，操作系統上有對應實現。每個線程操作未讀紀錄，這么做還需要維護共享的已讀紀錄指針。防止重復處理。這么做處理完成如果需要按順序合並文件是難點。處理過的數據有新的紀錄邊界。要視實際情況而定能不能這么做。寫程序要優先保證的是正確性，之後才是提升效率。
我說的理論，依據是操作系統提供的api處理。別的語言要依賴操作系統運行。原理差不多，目標語言有沒有操作系統提供的api強悍。依據使用的目標語言而定。絕大多數能叫編程語言的語言都會提供操作系統api對應的方法。（腳本語言例外，如shell，perl，javascript，vbscript，就可能沒這么強的控制能力。），java，objective-c，swift，php，python一般是不會有問題的。

㈣ 大數據技術常用的數據處理方式有哪些

大數據技術常用的數據處理方式，有傳統的ETL工具利用多線程處理文件的方式；有寫MapRece，有利用Hive結合其自定義函數，也可以利用Spark進行數據清洗等，每種方式都有各自的使用場景。

在實際的工作中，需要根據不同的特定場景來選擇數據處理方式。

1、傳統的ETL方式

傳統的ETL工具比如Kettle、Talend、Informatica等，可視化操作，上手比較快，但是隨著數據量上升容易導致性能出問題，可優化的空間不大。

2、Maprece

寫Maprece進行數據處理，需要利用java、python等語言進行開發調試，沒有可視化操作界面那麼方便，在性能優化方面，常見的有在做小表跟大表關聯的時候，可以先把小表放到緩存中(通過調用Maprece的api)，另外可以通過重寫Combine跟Partition的介面實現，壓縮從Map到rece中間數據處理量達到提高數據處理性能。

3、Hive

在沒有出現Spark之前，Hive可謂獨占鰲頭，涉及離線數據的處理基本都是基於Hive來做的，Hive採用sql的方式底層基於Hadoop的Maprece計算框架進行數據處理，在性能優化上也不錯。

4、Spark

Spark基於內存計算的准Maprece，在離線數據處理中，一般使用Spark sql進行數據清洗，目標文件一般是放在hdf或者nfs上，在書寫sql的時候，盡量少用distinct，group by recebykey 等之類的運算元，要防止數據傾斜。

㈤ 大數據量快速處理的架構設計

大數據量快速處理的架構設計
在業務數據的處理過程中，經常會遇到夜間批次處理大量的數據，而且會有時效的要求。特別是當應用系統跑了2年以上時，就會有大表或者特大表的操作了，數據量達到百萬甚至上億。 這時回顧前期的設計，就會發現好多問題。 可能是數據模型設計的時候沒有考慮表的分區和及時歸檔、sql的設計沒有考慮索引或全表掃描、數據的處理沒有考慮及時的分批切分、並發處理的多線程可配置化等等， 為了以後的設計不要走相同的錯路。這里暫時簡要總結一下。
1 最初要考慮歸檔和分區。所有可能的大表設計，都要在最初的時候考慮歸檔和分區。
數據沖上高水位（HighWaterMark）後，即使有歸檔也不會降低高水位，性能可能也存在消耗，所以要及時歸檔轉移數據。 最好是設置分區表，這樣分區表可以進行及時的truncate或者drop再重新add分區。 可以靈活的控制存儲。
2 sql條件精準定位。大的關聯sql查詢，一定要盡量的精準抽取數據范圍，不要模糊抽取過多數據，含好多無用的後面再過濾，這很可能影響資料庫的執行計劃判斷導致性能下降。
3 快速定位數據，分批支持流水並發。大批量數據處理，首先要用最簡單的方式找到目標最小集群的數據，從大范圍中抽出來，並進行切分。切分的目的是可以使用多線程並發處理數據，並且隔離各分區的數據不會重復，也不能有遺漏，這樣並發時不會造成數據干擾。
4 流水線並發處理提升時效。
採用3的切分多批＋多線程並發的方式，就可以針對有多個步驟的業務邏輯處理時，不用瀑布模式等待執行，而是可以流水線樣的多條執行，實現了多並發，無時間和空間的浪費。 對於有高時效的任務處理，具有可觀的價值。

㈥ 學習Java大數據需要掌握哪些Java技能

學習Java大數據需要掌握哪些Java技能？現在大數據發展很速度很多小夥伴想要學習Java大數據技術開發，但是學習大數據為什麼需要掌握Java技能呢？

一、學大數據為什麼要掌握Java？

首先，我們學習大數據，為什麼要先掌握Java技術？

Java是目前使用非常廣泛的編程語言，它具有的眾多特性，特別適合作為大數據應用的開發語言。

Java不僅吸收了C++語言的各種優點，還摒棄了C++里難以理解的多繼承、指針等概念，因此Java語言具有功能強大和簡單易用兩個特徵。Java語言作為靜態面向對象編程語言的代表，極好地實現了面向對象理論，允許程序員以優雅的思維方式進行復雜的編程。

Java的跨平台應用能力，比C、C++更易侍頃尺用，更容易上手。同時還具有簡單性、面向對象、分布式、健壯性、安全性、平台獨立與可移植性、多線程、動態性等特點。

更重要的是，Hadoop以及其他大數據處理技術很多都是用Java，例如Apache的基於Java的HBase和Accumulo以及ElasticSearchas，因此學習Hadoop的一個首要條件老高，就是掌握Java語言編程。

二、學哪些Java知識？

想要掌握大數據技術，需要學習哪些java基礎知識？

java學習路線圖如下：