① ES大數據量下的查詢優化
filesystem類似於我們在mysql上建立一層redis緩存；
es的搜索引擎嚴重依賴於底層的filesystem cache，如果給filesystem cache更多的內存，盡量讓內存可以容納所有的indx segment file索引數據文件，那麼你搜索的時候就基本都是走內存的，性能會非常高。
兩者差距非常大，走磁碟和走systenfile cache的讀取的性能差距可以說是秒級和毫秒級的差距了；
要讓es性能要好，最佳的情況下，就是我們的機器的內存，至少可以容納你的數據量的一半
最佳的情況下，是僅僅在es中就存少量的數據，存儲要用來搜索的那些索引，內存留給filesystem cache的，如果就100G，那麼你就控制數據量在100gb以內，相當於是，你的數據幾乎全部走內存來搜索，性能非常之高，一般可以在1秒以內
的少數幾個欄位就可以了，比如說，就寫入es id name age三個欄位就可以了，然後你可以把其他的欄位數據存在mysql裡面，我們一般是建議用 es + hbase 的一個架構。
hbase的特點是適用於海量數據的在線存儲，就是對hbase可以寫入海量數據，不要做復雜的搜索，就是做很簡單的一些根據id或者范圍進行查詢的這么一個操作就可以了
如果確實內存不足，但是我們又存儲了比較多的數據，比如只有30g給systemfile cache，但是存儲了60g數據情況，這種情況可以做數據預熱；
我們可以將一些高頻訪問的熱點數據（比如微博知乎的熱榜榜單數據，電商的熱門商品（旗艦版手機，榜單商品信息）等等）提前預熱，定期訪問刷到我們es里；（比如定期訪問一下當季蘋果旗艦手機關鍵詞，比如現在的iphone12）
對於那些你覺得比較熱的，經常會有人訪問的數據，最好做一個專門的緩存預熱子系統，就是對熱數據，每隔一段時間，提前訪問一下，讓數據進入filesystem cache裡面去。這樣下次別人訪問的時候，一定性能會好一些。
我們可以將冷數據寫入一個索引中，然後熱數據寫入另外一個索引中，這樣可以確保熱數據在被預熱之後，盡量都讓他們留在filesystem os cache里，別讓冷數據給沖刷掉。
盡量做到設計document的時候就把需要數據結構都做好，這樣搜索的數據寫入的時候就完成。對於一些太復雜的操作，比如join，nested，parent-child搜索都要盡量避免，性能都很差的。
es的分頁是較坑的 ，為啥呢？舉個例子吧，假如你每頁是10條數據，你現在要查詢第100頁，實際上是會把 每個shard上存儲的前1000條數據都查到 一個協調節點上，如果你有個5個shard，那麼就有5000條數據，接著 協調節點對這5000條數據進行一些合並、處理，再獲取到最終第100頁的10條數據。
因為他是分布式的，你要查第100頁的10條數據，你是不可能說從5個shard，每個shard就查2條數據？最後到協調節點合並成10條數據？這樣肯定不行，因為我們從單個結點上拿的數據幾乎不可能正好是所需的數據。我們必須得從每個shard都查1000條數據過來，然後根據你的需求進行排序、篩選等等操作，最後再次分頁，拿到裡面第100頁的數據。
你翻頁的時候，翻的越深，每個shard返回的數據就越多，而且協調節點處理的時間越長。非常坑爹。所以用es做分頁的時候，你會發現越翻到後面，就越是慢。
我們之前也是遇到過這個問題，用es作分頁，前幾頁就幾十毫秒，翻到10頁之後，幾十頁的時候，基本上就要5~10秒才能查出來一頁數據了
你系統不允許他翻那麼深的頁，或者產品同意翻的越深，性能就越差
如果是類似於微博中，下拉刷微博，刷出來一頁一頁的，可以用scroll api
scroll api1 scroll api2
scroll會一次性給你生成所有數據的一個快照，然後每次翻頁就是通過游標移動 ，獲取下一頁下一頁這樣子，性能會比上面說的那種分頁性能也高很多很多
scroll的原理實際上是保留一個數據快照，然後在一定時間內，你如果不斷的滑動往後翻頁的時候，類似於你現在在瀏覽微博，不斷往下刷新翻頁。那麼就用scroll不斷通過游標獲取下一頁數據，這個性能是很高的，比es實際翻頁要好的多的多。
缺點：
② ES(六) ElasticSearch搜索原理
關於ES的搜索，小白暫且簡單的歸納如下:
新增文檔時涉及分詞、構建索引
查詢時涉及分詞、查詢索引、相關度評分
那麼接下來，小白就從分詞、索引、相關度評分三個方面開始瞎掰了...
分詞是指將文本轉換成一系列單詞（term or token）的過程，也可以叫做文本分析，在es裡面稱為Analysis。
分詞機制：
Character Filter：對原始文本進行處理，例如 去除html標簽、替換字元等
Tokenizer：將原始文本進行分詞，例如 小白最帥 => 小白，最，帥
Token Filters：分詞後的關鍵字進行加工，例如 轉小寫、刪除語氣詞、近義詞和同義詞等
在進行Tokenizer之前對對原始文本進行處理，例如 去除html標簽、替換字元等
不過進行處理後，會影響後續Tokenizer解析的position和offset
HTML Strip => 去除html標簽和轉換html實體
Mapping => 字元串替換操作
Pattern Replace => 正則匹配替換
將原始文本進行分詞，例如 小白最帥 => 小白，最，帥
Elasticsearch自帶的分詞器：
【分詞器（Analyzer）】 【特點】
standard（es默認） 支持多語言，按詞切分並做小寫處理
simple 按照非字母切分，小寫處理
whitespace 按照空格來切分
stop 去除語氣助詞，如the、an、的、這等
keyword 不分詞
pattern 正則分詞，默認\w+,即非字詞符號做分割符
language 常見語言的分詞器（30+）
常見中文分詞器：
【名稱】 【介紹】 【特點】
IK 實現中英文單詞切分 自定義詞庫
https://github.com/medcl/elasticsearch-analysis-ik
Jieba python流行分詞系統，支持分詞和詞性標注 支持繁體、自定義、並行分詞
http://github.com/sing1ee/elasticsearch-jieba-plugin
Hanlp 由一系列模型於演算法組成的java工具包 普及自然語言處理在生產中應用
https://github.com/hankcs/HanLP
THULAC 清華大學中文詞法分析工具包 具有中文分詞和詞性標注功能
https://github.com/microbun/elasticsearch-thulac-plugin
分詞後的關鍵字進行加工，例如 轉小寫、刪除語氣詞、近義詞和同義詞等
lowercase => 將所有term轉換為小寫
stop => 刪除stop words
ngram => 和Edge NGram連詞分割
synonym => 添加近義詞的term
提到ES中的索引，就算沒用過，估計也聽過，就是倒排索引，當然ES中不可能不涉及正排索引。
通俗地來講，正排索引是通過key找value，倒排索引則是通過value找key。舉個例子，如果要查找圖書館中名為【水滸傳】的書籍時，提前建立正排索引會提高查詢效率；如果要查找圖書館中所有包含詞語【英雄】的書籍時，提前建立倒排索引會提高查詢效率，而正排索引需要遍歷所有的書籍內容。
記錄文檔id到文檔內容or單詞的關聯關系，比如：
【DocId】 【content】
1 => 小白最帥（小白、最、帥）
2 => 小黑最帥（小黑、最、帥）
3 => 拳打小白（拳打、小白）
備註：IK分詞器中提供了兩個分詞演算法 ik_smart 和 ik_max_word
其中 ik_smart 為最少切分，ik_max_word為最細粒度劃分
本小節分詞採用的是 ik_smart
記錄單詞到文檔id的關聯關系，包含：
1、Term DicTionary（單詞詞典）：記錄所有文檔的單詞，一般比較大
2、Posting List（倒排鏈表）：記錄單詞倒排列表的關聯信息
以第1節中文檔【小白最帥】和【拳打小白】中的【小白】為例：
Term DicTionary：小白
Posting List：
【DocId】 【TF】 【Position】 【Offset】
1 1 0 <0-2>
3 1 1 <2-4>
DocId：文檔id，指向文檔的原始信息
TF：單詞頻率，記錄該詞在文檔中出現的次數，用於後續相關性評分
Position：位置，記錄文檔中欄位分詞後，單詞所在的位置，從0開始
Offset：偏移量，記錄單詞在文檔中開始和結束位置，用於高亮顯示等，從0開始
不是很恰當的說，索引的建立，標志著key的創建，再讓key和value之間建立聯系，就可以讓原本直接查找value，變成了先去查找key，再直接定位到對應的value，屬於典型的空間換時間或者說是先栽樹、再乘涼。
下面這個數據結構圖，不管是java開發還是大數據開發，估計都看爛了。。。
備註：每個文檔欄位都有自己的倒排索引
相關性描述的是「語句」與「某個文檔」匹配的程度。ES 會對每個匹配查詢的結果進⾏計算，得出_score，_score 的評分越高，相關度就越高，那這個計算就需要一個演算法。在ES5之前默認的演算法是TF/IDF，ES5之後默認採用的是BM25，BM25是對TF/IDF的改進，所以這里小白直接以BM25為主來叨叨。
在進行相關度計算之前，會先有一個過程叫Boolean Model，之後再使用TFNORM/IDF演算法。
簡單來說，Boolean Model就是根據查詢條件，對文檔進行一個快速的篩選，不涉及相關度計算。
即詞頻長度(Term Frequency Norm)，單個term在文檔中出現的頻率，並結合欄位長度，出現次數越高，欄位長度越低，分越高
計算公式：
tfNorm(t in d) = (freq * (k1 + 1)) / (freq + k1 * (1 - b + b * fieldLength / avgFieldLength))
freq：term出現頻率
k1 ：這個參數控制著詞頻結果在詞頻飽和度中的上升速度 。 默認值為1.2。值越小飽和度變化越快，值越大飽和度變化越慢
b ：這個參數控制著欄位長歸一值所起的作用 ， 0.0會禁用歸一化，1.0會啟用完全歸一化。默認值為0.75
fieldLength：欄位長度
avgFieldLength：平均欄位長度
即逆向文檔頻率(inversed document frequency)，單個term在所有文檔里出現的頻率，出現次數越高，分越低。
計算公式：
idf(t) = log(1 + (docCount - docFreq + 0.5) / (docFreq + 0.5))
docCount ：索引中文檔數量
docFreq ：包含該詞的文檔數
此公式將出現頻率較高的詞的得分降低。比如，「的」、「了」等詞語在各文檔中出現頻率較高，但是並沒有太大的參考意義，所以降低其得分。
然後，將上面兩個演算法的得分相乘，則是一個term的最終得分。
單個term：_score(單) = idf(t) * tfNorm(t in d)
多個term：_score(多) = 多個_score(單)的和
最後，我們在Kibana中通過explain查詢語句來看一哈【所用索引和數據為下一節中的內容】：
ES(五) ElasticSearch+Kibana+IK 安裝—ES集群 ES(七) Demo-商品搜索
③ es/logstash/kibana框架是用於什麼
ELK 由三部分組成elasticsearch、logstash、kibana，elasticsearch是一個近似實時的搜索平台,它讓你以前所未有的速度處理大數據成為可能。
Elasticsearch所涉及到的每一項技術都不是創新或者革命性的，全文搜索，分析系統以及分布式資料庫這些早就已經存在了。它的革命性在於將這些獨立且有用的技術整合成一個一體化的、實時的應用。Elasticsearch是面向文檔(document oriented)的，這意味著它可以存儲整個對象或文檔(document)。然而它不僅僅是存儲，還會索引(index)每個文檔的內容使之可以被搜索。在Elasticsearch中，你可以對文檔（而非成行成列的數據）進行索引、搜索、排序、過濾。這種理解數據的方式與以往完全不同，這也是Elasticsearch能夠執行復雜的全文搜索的原因之一。
應用程序的日誌大部分都是輸出在伺服器的日誌文件中，這些日誌大多數都是開發人員來看，然後開發卻沒有登陸伺服器的許可權，如果開發人員需要查看日誌就需要到伺服器來拿日誌，然後交給開發；試想下，一個公司有10個開發，一個開發每天找運維拿一次日誌，對運維人員來說就是一個不小的工作量，這樣大大影響了運維的工作效率，部署ELKstack之後，開發任意就可以直接登陸到Kibana中進行日誌的查看，就不需要通過運維查看日誌，這樣就減輕了運維的工作。
日誌種類多，且分散在不同的位置難以查找：如LAMP/LNMP網站出現訪問故障，這個時候可能就需要通過查詢日誌來進行分析故障原因，如果需要查看apache的錯誤日誌，就需要登陸到Apache伺服器查看，如果查看資料庫錯誤日誌就需要登陸到資料庫查詢，試想一下，如果是一個集群環境幾十台主機呢？這時如果部署了ELKstack就可以登陸到Kibana頁面進行查看日誌，查看不同類型的日誌只需要電動滑鼠切換一下索引即可。
Logstash：日誌收集工具，可以從本地磁碟，網路服務（自己監聽埠，接受用戶日誌），消息隊列中收集各種各樣的日誌，然後進行過濾分析，並將日誌輸出到Elasticsearch中。
Elasticsearch：日誌分布式存儲/搜索工具，原生支持集群功能，可以將指定時間的日誌生成一個索引，加快日誌查詢和訪問。
Kibana：可視化日誌Web展示工具，對Elasticsearch中存儲的日誌進行展示，還可以生成炫麗的儀表盤。
④ 朋友想學習大數據，有哪裡可以學習呢
大數據也是最近幾年才火起來的學科，之前發展一直是不瘟不火的，可能是和這些年高速發展是互聯網有一定的關系的。
目前想要學習大數據建議還是去一線城市進行學習的比較好，大數據是屬於高度技術行業，在二三線城市現在發展得還不是很好，大多數的大企業都是在一線城市，所以很多技術都是出現在一線城市的。
選擇去北京學習大數據確實非常不錯，因為現在大數據發展比較好的地方也就是北上廣這樣的地方。而且在這里也是大數據培訓機構比較集中的地方，這里的機構有很多，其中相對比較專業的機構也有很多，大家可以選擇到的幾率也比較高。
具體的大家可以通過機構的師資、課程、學習環境以及就業情況等多方面的內容去對比選擇，我相信總有一家是比較適合你的。
如果，確定了想要到北京學習大數據技術的話，大家可以到尚矽谷來進行了解一下。
學習大數據之前建議獻血好計算機基礎知識，否則如同聚沙成塔一般根基不穩。
具體到大數據本身，建議先掌握一些基本的工具，例如hive，Hadoop，hbase，es等，先做一些簡單的數據分析。
個人學習經驗，如果是我會先選擇找一本入門的大數據相關的書籍，通讀一遍，建立對大數據的一個概念。然後可以到b站或者慕課網等學習網站找視頻資源，這類視頻也有深有淺，看自己當時的情況有選擇的看。最後，你想要更近一步的探究大數據，就應該找更專業的書籍或論文去研讀，這一類論文可以到知網或者谷歌文獻去找。
一、如何將商業運營問題轉化為大數據挖掘問題
那麼，問題來了，我們該如何把上述的商業運營問題轉化為數據挖掘問題?可以對數據挖掘問題進行細分，分為四類問題：分類問題、聚類問題、關聯問題、預測問題。
1、分類問題
用戶流失率、促銷活動響應、評估用戶度都屬於數據挖掘的分類問題，我們需要掌握分類的特點，知道什麼是有監督學習，掌握常見的分類方法:決策樹、貝葉斯、KNN、支持向量機、神經網路和邏輯回歸等。
2、聚類問題
細分市場、細分客戶群體都屬於數據挖掘的聚類問題，我們要掌握聚類特點，知道無監督學習，了解常見的聚類演算法，例如劃分聚類、層次聚類、密度聚類、網格聚類、基於模型聚類等。
3、關聯問題
交叉銷售問題等屬於關聯問題，關聯分析也叫購物籃分析，我們要掌握常見的關聯分析演算法：Aprior演算法、Carma演算法，序列演算法等。
4、預測問題
我們要掌握簡單線性回歸分析、多重線性回歸分析、時間序列等。
二、用何種工具實操大數據挖掘
能實現數據挖掘的工具和途徑實在太多，SPSS、SAS、Python、R等等都可以，但是我們需要掌握哪個或者說要掌握哪幾個，才算學會了數據挖掘?這需要看你所處的層次和想要進階的路徑是怎樣的。
第一層級：達到理解入門層次
了解統計學和資料庫即可。
第二層級：達到初級職場應用層次
資料庫+統計學+SPSS(也可以是SPSS代替軟體)
第三層級：達到中級職場應用層次
SAS或R
第四層級：達到數據挖掘師層次
SAS或R+Python(或其他編程語言)
三、如何利用Python學習大數據挖掘
只要能解決實際問題，用什麼工具來學習數據挖掘都是無所謂，這里首推Python。那該如何利用Python來學習數據挖掘?需要掌握Python中的哪些知識?
1、Pandas庫的操作
Panda是數據分析特別重要的一個庫，我們要掌握以下三點：
pandas 分組計算;
pandas 索引與多重索引;
索引比較難，但是卻是非常重要的
pandas 多表操作與數據透視表
2、numpy數值計算
numpy數據計算主要應用是在數據挖掘，對於以後的機器學習，深度學習，這也是一個必須掌握的庫，我們要掌握以下內容：
Numpy array理解;
數組索引操作;
數組計算;
Broadcasting(線性代數裡面的知識)
3、數據可視化-matplotlib與seaborn
Matplotib語法
python最基本的可視化工具就是matplotlib。咋一看Matplotlib與matlib有點像，要搞清楚二者的關系是什麼，這樣學習起來才會比較輕松。
seaborn的使用
seaborn是一個非常漂亮的可視化工具。
pandas繪圖功能
前面說過pandas是做數據分析的，但它也提供了一些繪圖的API。
4、數據挖掘入門
這部分是最難也是最有意思的一部分，要掌握以下幾個部分：
機器學習的定義
在這里跟數據挖掘先不做區別
代價函數的定義
Train/Test/Validate
Overfitting的定義與避免方法
5、數據挖掘演算法
數據挖掘發展到現在，演算法已經非常多，下面只需掌握最簡單的，最核心的，最常用的演算法：
最小二乘演算法;
梯度下降;
向量化;
極大似然估計;
Logistic Regression;
Decision Tree;
RandomForesr;
XGBoost;
6、數據挖掘實戰
通過機器學習裡面最著名的庫scikit-learn來進行模型的理解。
以上，就是為大家理清的大數據挖掘學習思路邏輯。可是，這還僅僅是開始，在通往數據挖掘師與數據科學家路上，還要學習文本處理與自然語言知識、Linux與Spark的知識、深度學習知識等等，我們要保持持續的興趣來學習數據挖掘。
網易雲課堂
⑤ 大數據時代下的人群透視
人群透視又名人群分析，是按照用戶的屬性選取特定的人群，利用大數據的相關技術來探索數據背後的本質。常見的分析需求有觀察特定地區的購買轉化率、指定投放渠道新增用戶數和轉化率、發生業務行為的留存率等等。
我們先來看一個簡單的例子，我們為昨天的活躍用戶創建了一個指定的人群。產品人員想分析出用戶中男性比例是否高於女性，利用相關的分析技術得到分布圖。
未知是有些用戶沒有填寫性別資料（利用身份證信息也可以自動補全或者通過其他的規則和模型識別）
讀到這，想必大家對什麼是人群透視有了一定的了解。那為什麼要做人群透視？我先給大家描述一個場景，運營人員發送某個月的用戶留存突然大幅降低了，看到這個數據後，接下來應該馬上去找到是什麼原因導致的。首先，運營人員會確認各個渠道的留存率情況（按照引流渠道進行人群的劃分），發現某個渠道的新用戶注冊迅速增加，但留存率急劇下降；最後發現是由於渠道投放人員設置了針對特定人群的廣告投放，但是這些用戶卻因為產品本身無法帶來滿足和愉悅而放棄。
上述就是一個由淺及深的人群透視分析場景，如果有這樣一款數據分析工具，無需專業的數據分析師就能完成大部分的數據分析工作是不是很酷。
人群透視當前還有更多的場景。進行不同活動的效果分析對比、按照人群分析產品的走勢、增長環節找到最優的決策點。
熟悉大數據相關或者數倉模型相關的同學肯定對事實表和維度表不陌生，事實表是指特定主題域下的業務行為，維度表中記錄的是對某一個實體的描述信息。注冊的行為表就是一張事實表，而用戶畫像表或者商品表我們可以稱為維度表。人群透視就是按照用戶屬性維度表選取合適的取值來看在事實業務表上的表現情況。查看杭州地區女性的消費類型分布情況，其中「杭州地區女性」就是維度表的屬性特徵，消費類型則是消費記錄事實表的記錄。
首先明確我們要分析的業務指標。以渠道作為例子，我們想分析各個渠道的新用戶增長、注冊和登陸轉化率情況。首先建立一張事實表，明確存儲的粒度、業務欄位集合。
按照渠道我們需要分析出每一個渠道的每天廣告位點擊情況、新增激活設備數、新增用戶注冊數、新增登陸用戶數、設備激活轉化率、注冊激活轉化率、登陸活躍用戶轉化率、激活成本、注冊成本、活躍成本、總成本。
指標通常是數值類型，同時其計算規則應該滿足可累性，比如sum、max、min、cnt，函數應該符合這樣的關系:
f(A)=f(a,A-a) ，其中A是集合，a是A中的一個元素，即真對一個集合的計算可以進行迭代計算
比如mean、variance等就不是可累加的匯總函數
人群透視分析首先需要要按照屬性圈選出人群集合，這是一個倒排索引的查詢類別，市面上常用的倒排索引服務就是Eleastic Search。首先我們可以藉助其倒排查詢的能力快速勾選出用戶ID列表。
指標的查詢是一個正排索引查詢的過程，根據用戶ID查詢出相應記錄。常用的多維查詢工具有Kylin、Druid、Presto、ES等，下面分別比較下各個框架的優缺點。
由於大部分的業務的轉化需要一定時間的積累，大部分數據滿足T+1的查詢即可。同時T+1的數據可以利用數倉的數據直接進行匯總計算。如果一個業務分析指標的模型固定可以直接藉助Kylin完成數據的分析存儲。查詢的指標如果是互動式、靈活多變的，則可以採用ES、Presto這樣的存儲查詢方式。如上面的渠道分析模型，則直接可以採用Kylin進行存儲。
目標：滿足非大數據分析師日常的分析工作，幫助更快的發現問題、提出問題的方向和優先順序、執行解決問題。另外提供一套標準的框架來便於用戶導入合適的分析模型。
按照構建的生命周期我們可以分為五層，分別是人群指標定義、數據採集加工、數據存儲、數據查詢、數據圖表化展示。
按照功能模塊劃分，我們可以得到如下架構圖
場景的需求，明確要觀察分析的業務場景和數據來源。渠道的注冊轉化分析需要收集廣告的埋點點擊、App的打開埋點、用戶注冊事件、點擊成本統計等。最終藉助於數據倉庫加工成一張渠道轉化事實表。同樣的方式構建出渠道的維表信息。
人群 ：符合某一個屬性取值的用戶集合。如借貸用戶群、理財用戶群體等。
人群組 ：人群的組合，我們通常先真對不同的人群做對比，比如比較杭州和北京的借貸用戶群，人群組的管理可以選取哪些維度作為區分條件組，地理位置、性別等等。人群組用戶構建多維分析分析，劃分組的屬性列就是維度。對於一些連續數值列的屬性可以按照區間值進行分類處理。
指標類型通常是數值的聚合函數，聚合函數最好要能滿足可加性。
最常用的就是count，count函數無需構建在任何指標上，這種經常用於統計某一類人群的數量。
sum ：統計某一列的數值的集合
max/min ：統計數值最大/小的
distinct count ：去重的數目統計
可以先根據表選取明確的指標列（只能是數值列，count的話數值取值默認為1），再勾選對應的聚合函數。這里可以選取不同表的不同數值列。
某一類維度的選取占整個人群的佔比，比如杭州地區的高收入人群的購買量。
對上提供一層通用的庫、表結構管理，提供一套統一的SQL給應用層面，對外根據具體的物理表存儲介質翻譯為具體的物理查詢計劃。查詢介面的請求和響應分裝為統一的結果，不對外體現具體的存儲細節。
dashboard的管理，可以為指定的人群創建一個指定的分析模板，同時可以進行圖標的新增、修改、刪除等操作。
圖表類型 ：支持單維圖表和二維圖表。單維圖表通常就是數量等，常見的有餅圖、柱狀圖、儀表盤等
高級功能：選取一個圖表，可以自己勾選要展示的維度（維度可以來源為維度表也可以來源於事實表，如時間可以來源於事實表）和指標，構建一個二維甚至是多維圖形。
⑥ Es7.x使用RestHighLevelClient的3種分頁實現
分頁一般有三種方式：
Es封裝RestHighLevelClient和BulkProcessor的工具類
上面意味著es需要在各個分片上匹配排序並得到5010條數據，協調節點拿到這些數據再進行排序，然後結果集中取最後10條數據返回。
上述語句性能低的原因：我們只需要10條數據，而es每個分片都需要執行from+size條數據然後處理後返回。
es為了性能，會限制我們分頁的深度，es目前支持最大的max_result_window = 10000，也就是from+size的大小不能超過10000。
在es中我們分頁要請求大數據集或者一次請求要獲取大的數據集，scroll [skrəʊl] 都是一種非常好的解決方案。
scroll也是滾動搜索。會在第一次搜索的時候，保存一個當時的快照。之後只會基於該舊的視圖快照提供數據搜索。在這個期間發生變動，是不會讓用戶看到的。
官方的建議並不是用於實時的請求，因為每一個 scroll_id 不僅會佔用大量的資源（特別是排序的請求），而且是生成的歷史快照，對於數據的變更不會反映到快照上。這種方式往往用於非實時處理大量數據的情況，比如要進行數據遷移或者索引變更之類的。
可以在實時的情況下處理深度分頁，在Es5.x版本後提供的功能，search_after缺點是不能夠隨機跳轉分頁，只能是一頁一頁的向後翻，並且需要至少指定一個唯一不重復欄位來排序。
注意：search_after必須指定一個唯一不重復的欄位來排序，此處我們指定了兩個欄位進行排序，
該例子：id是唯一不重復欄位，publishTime可能會重復。
注意，結果返回的sort欄位，存儲的是最後一組的排序欄位的值，而search_after在下次搜索時，需要攜帶該數據。
最終完成了滾動分頁操作。
Elasticsearch 深入理解search After 處理深度分頁問題
elasticsearch深度分頁問題
Es封裝RestHighLevelClient和BulkProcessor的工具類
⑦ 企業如何進行大數據分析
1、數據存儲和管理
MySQL資料庫：部門和Internet公司通常使用MySQL存儲數據，優點是它是免費的，並且性能，穩定性和體系結構也都比較好。
SQLServer：SQLServer2005或更高版本集成了商業智能功能，可為中小型企業提供數據管理，存儲，數據報告和數據分析。
DB2和Oracle資料庫是大型資料庫，適用於擁有大量數據資源的企業。
2、數據清理類
EsDataClean是一種在線數據清理工具，不管是規則定義還是流程管理都無需編寫sql或代碼，通過圖形化界面進行簡單配置即可，使得非技術用戶也能對定義過程和定義結果一目瞭然。
3、數據分析挖掘
豌豆DM更適合初學者。它易於操作且功能強大。它提供了完整的可視化建模過程，從訓練數據集選擇，分析索引欄位設置，挖掘演算法，參數配置，模型訓練，模型評估，比較到模型發布都可以通過零編程和可視化配置操作，可以輕松簡便地完成。
4.數據可視化類
億信ABI是具有可視化功能的代表性工具。當然，它不僅是可視化工具，而且還是集數據分析、數據挖掘和報表可視化的一站式企業級大數據分析工具。
關於企業如何進行大數據分析，青藤小編就和您分享到這里了。如果你對大數據工程有濃厚的興趣，希望這篇文章能夠對你有所幫助。如果您還想了解更多數據分析師、大數據工程師的技巧及素材等內容，可以點擊本站的其他文章進行學習。
⑧ 大數據查詢解決方案——ES
2016-11-16
周祝群
第一次上培訓課聽得一臉懵逼！
ES，全稱 Elastic Search ，是一個基於 Lucene 的開源搜索引擎。
核心概念：
Cluster 集群
Node 節點（主節點、數據節點、其他）
Index
Type
Document
Shards&Replicas
Create
Delete
Update(創建新文檔，老文檔標記刪除)
Retrieve
ES查詢為什麼快？
參考資料：
全文搜索之 Elasticsearch
一分鍾教你知道樂觀鎖和悲觀鎖的區別
⑨ 大數據分析工具面臨哪些挑戰
大數據發展的挑戰：
目前大數據的發展依然存在諸多挑戰，包括七大方面的挑戰：業務部門沒有清晰的大數據需求導致數據資產逐漸流失;企業內部數據孤島嚴重，導致數據價值不能充分挖掘;數據可用性低，數據質量差，導致數據無法利用;數據相關管理技術和架構落後，導致不具備大數據處理能力;數據安全能力和防範意識差，導致數據泄露;大數據人才缺乏導致大數據工作難以開展;大數據越開放越有價值，但缺乏大數據相關的政策法規，導致數據開放和隱私之間難以平衡，也難以更好的開放。
挑戰一：業務部門沒有清晰的大數據需求
很多企業業務部門不了解大數據，也不了解大數據的應用場景和價值，因此難以提出大數據的准確需求。由於業務部門需求不清晰，大數據部門又是非盈利部門，企業決策層擔心投入比較多的成本，導致了很多企業在搭建大數據部門時猶豫不決，或者很多企業都處於觀望嘗試的態度，從根本上影響了企業在大數據方向的發展，也阻礙了企業積累和挖掘自身的數據資產，甚至由於數據沒有應用場景，刪除很多有價值歷史數據，導致企業數據資產流失。因此，這方面需要大數據從業者和專家一起，推動和分享大數據應用場景，讓更多的業務人員了解大數據的價值。
挑戰二：企業內部數據孤島嚴重
企業啟動大數據最重要的挑戰是數據的碎片化。在很多企業中尤其是大型的企業，數據常常散落在不同部門，而且這些數據存在不同的數據倉庫中，不同部門的數據技術也有可能不一樣，這導致企業內部自己的數據都沒法打通。如果不打通這些數據，大數據的價值則非常難挖掘。大數據需要不同數據的關聯和整合才能更好的發揮理解客戶和理解業務的優勢。如何將不同部門的數據打通，並且實現技術和工具共享，才能更好的發揮企業大數據的價值。
挑戰三：數據可用性低，數據質量差
很多中型以及大型企業，每時每刻也都在產生大量的數據，但很多企業在大數據的預處理階段很不重視，導致數據處理很不規范。大數據預處理階段需要抽取數據把數據轉化為方便處理的數據類型，對數據進行清洗和去噪，以提取有效的數據等操作。甚至很多企業在數據的上報就出現很多不規范不合理的情況。以上種種原因，導致企業的數據的可用性差，數據質量差，數據不準確。而大數據的意義不僅僅是要收集規模龐大的數據信息，還有對收集到的數據進行很好的預處理處理，才有可能讓數據分析和數據挖掘人員從可用性高的大數據中提取有價值的信息。Sybase的數據表明，高質量的數據的數據應用可以顯著提升企業的商業表現，數據可用性提高10%，企業的業績至少提升在10%以上。
挑戰四：數據相關管理技術和架構
技術架構的挑戰包含以下幾方面：(1)傳統的資料庫部署不能處理TB級別的數據，快速增長的數據量超越了傳統資料庫的管理能力。如何構建分布式的數據倉庫，並可以方便擴展大量的伺服器成為很多傳統企業的挑戰;(2)很多企業採用傳統的資料庫技術，在設計的開始就沒有考慮數據類別的多樣性，尤其是對結構化數據、半結構化和非結構化數據的兼容;(3)傳統企業的資料庫，對數據處理時間要求不高，這些數據的統計結果往往滯後一天或兩天才能統計出來。但大數據需要實時處理數據，進行分鍾級甚至是秒級計算。傳統的資料庫架構師缺乏實時數據處理的能力;(4)海量的數據需要很好的網路架構，需要強大的數據中心來支撐，數據中心的運維工作也將成為挑戰。如何在保證數據穩定、支持高並發的同時，減少伺服器的低負載情況，成為海量數據中心運維的一個重點工作。
挑戰五：數據安全
網路化生活使得犯罪分子更容易獲得關於人的信息，也有了更多不易被追蹤和防範的犯罪手段，可能會出現更高明的騙局。如何保證用戶的信息安全成為大數據時代非常重要的課題。在線數據越來越多，黑客犯罪的動機比以往都來的強烈，一些知名網站密碼泄露、系統漏洞導致用戶資料被盜等個人敏感信息泄露事件已經警醒我們，要加強大數據網路安全的建設。另外，大數據的不斷增加，對數據存儲的物理安全性要求會越來越高，從而對數據的多副本與容災機制也提出更高的要求。目前很多傳統企業的數據安全令人擔憂。
挑戰六：大數據人才缺乏
大數據建設的每個環節都需要依靠專業人員完成，因此，必須培養和造就一支掌握大數據技術、懂管理、有大數據應用經驗的大數據建設專業隊伍。目前大數據相關人才的欠缺將阻礙大數據市場發展。據Gartner預測，到2015年，全球將新增440萬個與大數據相關的工作崗位，且會有25%的組織設立首席數據官職位。大數據的相關職位需要的是復合型人才，能夠對數學、統計學、數據分析、機器學習和自然語言處理等多方面知識綜合掌控。未來，大數據將會出現約100萬的人才缺口，在各個行業大數據中高端人才都會成為最炙手可熱的人才，涵蓋了大數據的數據開發工程師、大數據分析師、數據架構師、大數據後台開發工程師、演算法工程師等多個方向。因此需要高校和企業共同努力去培養和挖掘。目前最大的問題是很多高校缺乏大數據，所以擁有大數據的企業應該與學校聯合培養人才。
挑戰七：數據開放與隱私的權衡
在大數據應用日益重要的今天，數據資源的開放共享已經成為在數據大戰中保持優勢的關鍵。商業數據和個人數據的共享應用，不僅能促進相關產業的發展，也能給我們的生活帶來巨大的便利。由於政府、企業和行業信息化系統建設往往缺少統一規劃，系統之間缺乏統一的標准，形成了眾多「信息孤島」，而且受行政壟斷和商業利益所限，數據開放程度較低，這給數據利用造成極大障礙。另外一個制約我國數據資源開放和共享的一個重要因素是政策法規不完善，大數據挖掘缺乏相應的立法。無法既保證共享又防止濫用。因此，建立一個良性發展的數據共享生態系統，是我國大數據發展需要邁過去的一道砍。同時，開放與隱私如何平衡，也是大數據開放過程中面臨的最大難題。如何在推動數據全面開放、應用和共享的同時有效地保護公民、企業隱私，逐步加強隱私立法，將是大數據時代的一個重大挑戰。