大數據數組

A. 大數據需要掌握哪些技能

大數據學什麼

大數據需要掌握的內容包括8個方面，你可以根據這個路線圖的順序學習，選擇培訓機構的時候重點關注機構的口碑，希望你早日學有所成。

B. C語言用數組存儲大型數據的演算法

樓主一定懂c++吧？c++標准庫裡面有一個模板類叫
bitset<>
專門用來做位操作的。
你的問題用這個可以高效的解決，建立一個足夠大的空間，比如8000個位
bitset<8000>
然後就簡單了，乘法函數把乘數轉化成bitset<32>類型的對象（用乘數直接初始化代表乘數的bitset<32>對象）然後用位運算符把被乘數（那個bitset<8000>類型的對象）按位右移，（一個10進制數右移一次相當於乘10，一個2進制數右移一次相當於乘2；乘數中，二進制位如果知道它是從右數第n位，那麼就把被乘數向右移動n-1位就完成了乘法，然後再做下一個二進制位的乘法，直到被乘數中所有的2進制位都被使用過為止）。做完了每32位2進制位轉化成一個unsigned long，存儲在一個鏈表或者數組（懷疑空間不夠，內存里很有可能沒有這么大的連續空間）中，如果按順序逐個輸出就是問題的結果。
我覺得這個方法比2樓的高效。
如果你不想使用c++標准庫……那也可以考慮用c中的位域，也支持位操作。不過遠沒有前面的方便，很多操作都要自己做，比如最基本的你必須有一個適合乘法操作的動態增長的位域組成的鏈表。而且即使這樣還不一定高效。

……寫完了才看的3樓，3樓就做得很好了。

C. 大數據都需要學什麼

首先我們要了解java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。

大數據

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。

Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

D. C語言大數據問題

給你提個思路吧，這種大數據都必須用數組來做的。把數字直接定內義成數組，然後將容轉換規則寫成代碼，而不是直接用取余或取整來做。我給你上傳一個大數加法的代碼，給你些啟發吧。想要代碼可以先採納我，然後我給你寫一個進制轉換的代碼。你這分太少，多些我會直接給你寫個代碼的。

E. 大數據分析應該掌握哪些基礎知識

Java基礎語法

· 分支結構if/switch

· 循環結構for/while/do while

· 方法聲明和調用

· 方法重載

· 數組的使用

· 命令行參數、可變參數

IDEA

· IDEA常用設置、常用快捷鍵

· 自定義模板

· 關聯Tomcat

· Web項目案例實操

面向對象編程

· 封裝、繼承、多態、構造器、包

· 異常處理機制

· 抽象類、介面、內部類

· 常有基礎API、集合List/Set/Map

· 泛型、線程的創建和啟動

· 深入集合源碼分析、常見數據結構解析

· 線程的安全、同步和通信、IO流體系

· 反射、類的載入機制、網路編程

Java8/9/10/11新特性

· Lambda表達式、方法引用

· 構造器引用、StreamAPI

· jShell(JShell)命令

· 介面的私有方法、Optional加強

· 局部變數的類型推斷

· 更簡化的編譯運行程序等

MySQL

· DML語言、DDL語言、DCL語言

· 分組查詢、Join查詢、子查詢、Union查詢、函數

· 流程式控制制語句、事務的特點、事務的隔離級別等

JDBC

· 使用JDBC完成資料庫增刪改查操作

· 批處理的操作

· 資料庫連接池的原理及應用

· 常見資料庫連接池C3P0、DBCP、Druid等

Maven

· Maven環境搭建

· 本地倉庫&中央倉庫

· 創建Web工程

· 自動部署

· 持續繼承

· 持續部署

Linux

· VI/VIM編輯器

· 系統管理操作&遠程登錄

· 常用命令

· 軟體包管理&企業真題

Shell編程

· 自定義變數與特殊變數

· 運算符

· 條件判斷

· 流程式控制制

· 系統函數&自定義函數

· 常用工具命令

· 面試真題

Hadoop

· Hadoop生態介紹

· Hadoop運行模式

· 源碼編譯

· HDFS文件系統底層詳解

· DN&NN工作機制

· HDFS的API操作

· MapRece框架原理

· 數據壓縮

· Yarn工作機制

· MapRece案例詳解

· Hadoop參數調優

· HDFS存儲多目錄

· 多磁碟數據均衡

· LZO壓縮

· Hadoop基準測試

Zookeeper

· Zookeeper數據結果

· 內部原理

· 選舉機制

· Stat結構體

· 監聽器

· 分布式安裝部署

· API操作

· 實戰案例

· 面試真題

· 啟動停止腳本

HA+新特性

· HDFS-HA集群配置

Hive

· Hive架構原理

· 安裝部署

· 遠程連接

· 常見命令及基本數據類型

· DML數據操作

· 查詢語句

· Join&排序

· 分桶&函數

· 壓縮&存儲

· 企業級調優

· 實戰案例

· 面試真題

Flume

· Flume架構

· Agent內部原理

· 事務

· 安裝部署

· 實戰案例

· 自定義Source

· 自定義Sink

· Ganglia監控

Kafka

· 消息隊列

· Kafka架構

· 集群部署

· 命令行操作

· 工作流程分析

· 分區分配策略

· 數據寫入流程

· 存儲策略

· 高階API

· 低級API

· 攔截器

· 監控

· 高可靠性存儲

· 數據可靠性和持久性保證

· ISR機制

· Kafka壓測

· 機器數量計算

· 分區數計算

· 啟動停止腳本

DataX

· 安裝

· 原理

· 數據一致性

· 空值處理

· LZO壓縮處理

Scala

· Scala基礎入門

· 函數式編程

· 數據結構

· 面向對象編程

· 模式匹配

· 高階函數

· 特質

· 註解&類型參數

· 隱式轉換

· 高級類型

· 案例實操

Spark Core

· 安裝部署

· RDD概述

· 編程模型

· 持久化&檢查點機制

· DAG

· 運算元詳解

· RDD編程進階

· 累加器&廣播變數

Spark SQL

· SparkSQL

· DataFrame

· DataSet

· 自定義UDF&UDAF函數

Spark Streaming

· SparkStreaming

· 背壓機制原理

· Receiver和Direct模式原理

· Window原理及案例實操

· 7x24 不間斷運行&性能考量

Spark內核&優化

· 內核源碼詳解

· 優化詳解

Hbase

· Hbase原理及架構

· 數據讀寫流程

· API使用

· 與Hive和Sqoop集成

· 企業級調優

Presto

· Presto的安裝部署

· 使用Presto執行數倉項目的即席查詢模塊

Ranger2.0

· 許可權管理工具Ranger的安裝和使用

Azkaban3.0

· 任務調度工具Azkaban3.0的安裝部署

· 使用Azkaban進行項目任務調度，實現電話郵件報警

Kylin3.0

· Kylin的安裝部署

· Kylin核心思想

· 使用Kylin對接數據源構建模型

Atlas2.0

· 元數據管理工具Atlas的安裝部署

Zabbix

· 集群監控工具Zabbix的安裝部署

DolphinScheler

· 任務調度工具DolphinScheler的安裝部署

· 實現數倉項目任務的自動化調度、配置郵件報警

Superset

· 使用SuperSet對數倉項目的計算結果進行可視化展示

Echarts

· 使用Echarts對數倉項目的計算結果進行可視化展示

Redis

· Redis安裝部署

· 五大數據類型

· 總體配置

· 持久化

· 事務

· 發布訂閱

· 主從復制

Canal

· 使用Canal實時監控MySQL數據變化採集至實時項目

Flink

· 運行時架構

· 數據源Source

· Window API

· Water Mark

· 狀態編程

· CEP復雜事件處理

Flink SQL

· Flink SQL和Table API詳細解讀

Flink 內核

· Flink內核源碼講解

· 經典面試題講解

Git&GitHub

· 安裝配置

· 本地庫搭建

· 基本操作

· 工作流

· 集中式

ClickHouse

· ClickHouse的安裝部署

· 讀寫機制

· 數據類型

· 執行引擎

DataV

· 使用DataV對實時項目需求計算結果進行可視化展示

sugar

· 結合Springboot對接網路sugar實現數據可視化大屏展示

Maxwell

· 使用Maxwell實時監控MySQL數據變化採集至實時項目

ElasticSearch

· ElasticSearch索引基本操作、案例實操

Kibana

· 通過Kibana配置可視化分析

Springboot

· 利用Springboot開發可視化介面程序

F. RSA演算法中的大數據怎麼用unsigned char類型的數組表示

直接把大數賦值給unsigned char，會發生高位截斷，然後把大數右移8位，繼續操作。

intchange(unsignedintnum,unsignedcharchs[])
{
	intlen=0;
	while(num)
	{
		chs[len]=num;
		len++;
		num>>=8;
	}
	returnlen;
}

G. 針對前端大數據量處理（如10W+）

一般對兩個數組做做交集和並集處理用遍歷方法一般就是通過遍歷for等方法，但是如果遇到大數據量（10萬條數據）就會用到很長的時間和耗費內存，因為javascrip為單線程，會影響到用戶的體驗和頁面渲染、邏輯處理等問題！

使用定時器去讓大數據遍歷的時候能分成很多個非同步方法(每個非同步方法去遍歷大數據數組的一部分數據)去執行，互相也不影響，並監聽到所有非同步方法執行完成再進行下一步處理！豈不美滋滋！

之前方法

使用for循環一次性遍歷0W條數據來查找交集和並集，發現使用的時間能達到10S左右（相當影響體驗感受和邏輯處理）

方法優化 DataProcessing 類

// 測試數據

63毫秒！ 可以對DataProcessing進行更多的擴展！

多學習、多看報、多運動，不對的地方望指出來，謝謝

H. java，一個整型大數據量數組（數據可能有負數，0，正數，也可能有重復的數字），返回此數組的非負最小值

//如果負數很多，那麼按照前面網友提到的，先Arrays.sort來升序排列數組，這樣，前面會有很多負數，然後再從頭找第一個非負數，最壞情況下時間復雜度是n*log(n)+n，這里的實現類似冒泡原理，把最小值冒泡出來，不論負數有多少，時間復雜度是n-1.
publicstaticvoidfindArrayMin(){
//兩位比較，小的冒泡一層
int[]testArray=newint[]{1,1,-3,4,-2,6,9,8,4};//newint[]{-1,-1,-3,-4,-2,-6,-9,-8,-4}
intlen=testArray.length;
for(intindex=0;index<len-1;index++){
if(testArray[index]>=0&&testArray[index+1]>=0){
//兩個非負數，取最小值
testArray[index+1]=Math.min(testArray[index],testArray[index+1]);
}elseif(testArray[index]<0&&testArray[index+1]<0){
//兩個負數，取最大值
testArray[index+1]=Math.max(testArray[index],testArray[index+1]);
}elseif(testArray[index+1]<0){
//後一個是負數，取前一個非負數
testArray[index+1]=testArray[index];
}
}
System.out.println("testArrayMinendelementvalue:"+testArray[len-1]);
if(testArray[len-1]<0){
//如果冒泡後最後一位還是負數，那麼就說明數組里全是負數,輸出數組長度
System.out.println("testArrayMinnominvalue,arraysizeis"+len);
}else{
System.out.println("testArrayMinfindminvalue:"+testArray[len-1]);
}


}

I. 在matlab中，想對一個大數據量的數組進行采樣，存儲到另一個數組中，除了用for循環，還有別的什麼好方法嗎

A=[];%A為大量數據數組
le=length(A);
a=floor(rand*le)+1;
B=A(a)%隨機采樣