1.應盡量避免在 where 子句中對欄位進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如：
select id from t where num is null
可以在num上設置默認值0，確保表中num列沒有null值，然後這樣查詢：
select id from t where num=0
2.應盡量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。優化器將無法通過索引來確定將要命中的行數,因此需要搜索該表的所有行。
3.應盡量避免在 where 子句中使用 or 來連接條件，否則將導致引擎放棄使用索引而進行全表掃描，如：
select id from t where num=10 or num=20
可以這樣查詢：
select id from t where num=10
union all
select id from t where num=20
4.in 和 not in 也要慎用，因為IN會使系統無法使用索引,而只能直接搜索表中的數據。如：
select id from t where num in(1,2,3)
對於連續的數值，能用 between 就不要用 in 了：
select id from t where num between 1 and 3
5.盡量避免在索引過的字元數據中，使用非打頭字母搜索。這也使得引擎無法利用索引。
見如下例子：
SELECT * FROM T1 WHERE NAME LIKE 『%L%』
SELECT * FROM T1 WHERE SUBSTING(NAME,2,1)=』L』
SELECT * FROM T1 WHERE NAME LIKE 『L%』
即使NAME欄位建有索引，前兩個查詢依然無法利用索引完成加快操作，引擎不得不對全表所有數據逐條操作來完成任務。而第三個查詢能夠使用索引來加快操作。
6.必要時強制查詢優化器使用某個索引，如在 where 子句中使用參數，也會導致全表掃描。因為SQL只有在運行時才會解析局部變數，但優化程序不能將訪問計劃的選擇推遲到運行時；它必須在編譯時進行選擇。然而，如果在編譯時建立訪問計劃，變數的值還是未知的，因而無法作為索引選擇的輸入項。如下面語句將進行全表掃描：
select id from t where num=@num
可以改為強制查詢使用索引：
select id from t with(index(索引名)) where num=@num
7.應盡量避免在 where 子句中對欄位進行表達式操作，這將導致引擎放棄使用索引而進行全表掃描。如：
SELECT * FROM T1 WHERE F1/2=100
應改為:
SELECT * FROM T1 WHERE F1=100*2
SELECT * FROM RECORD WHERE SUBSTRING(CARD_NO,1,4)=』5378』
應改為:
SELECT * FROM RECORD WHERE CARD_NO LIKE 『5378%』
SELECT member_number, first_name, last_name FROM members
WHERE DATEDIFF(yy,datofbirth,GETDATE()) > 21
應改為:
SELECT member_number, first_name, last_name FROM members
WHERE dateofbirth < DATEADD(yy,-21,GETDATE())
即：任何對列的操作都將導致表掃描，它包括資料庫函數、計算表達式等等，查詢時要盡可能將操作移至等號右邊。
8.應盡量避免在where子句中對欄位進行函數操作，這將導致引擎放棄使用索引而進行全表掃描。如：
select id from t where substring(name,1,3)='abc'--name以abc開頭的id
select id from t where datediff(day,createdate,'2005-11-30')=0--『2005-11-30』生成的id
應改為:
select id from t where name like 'abc%'
select id from t where createdate>='2005-11-30' and createdate<'2005-12-1'
9.不要在 where 子句中的「=」左邊進行函數、算術運算或其他表達式運算，否則系統將可能無法正確使用索引。
10.在使用索引欄位作為條件時，如果該索引是復合索引，那麼必須使用到該索引中的第一個欄位作為條件時才能保證系統使用該索引，否則該索引將不會被使用，並且應盡可能的讓欄位順序與索引順序相一致。
11.很多時候用 exists是一個好的選擇：
elect num from a where num in(select num from b)
用下面的語句替換：
select num from a where exists(select 1 from b where num=a.num)
SELECT SUM(T1.C1)FROM T1 WHERE(
(SELECT COUNT(*)FROM T2 WHERE T2.C2=T1.C2>0)
SELECT SUM(T1.C1) FROM T1WHERE EXISTS(
SELECT * FROM T2 WHERE T2.C2=T1.C2)
兩者產生相同的結果，但是後者的效率顯然要高於前者。因為後者不會產生大量鎖定的表掃描或是索引掃描。
『貳』 如何利用機器學習和大數據分析來優化投資組合和風險管理策略
機器學戚扒習和大數據分析可以在投資組合和風險管理方面提供有價值的信息和洞見，以下是一些基本的步驟：
數據准備：獲取和整理數據，包括資產價格、財務指標、市場數據、宏觀經濟數據等。
特徵工程：從數據中提取有意義的特徵，如市場波動、行業變化、財務穩定性等，用於機器學習模型的訓練和預測。
模型選擇和訓練：根據投資組合和風險管理的需求，選擇合適的機器學習演算法，如回歸、分類、聚類等，利用歷史數據對模型進行訓練。
模型評估和優化：評估模型的表現，比較不同演算法和參數組合的效果，進行枯缺優化，以提高預測准確度和投資回報率。
風險管理：利用機器學習模型高敗昌預測風險和波動性，制定相應的風險管理策略，如對沖、分散投資等。
實時監控和調整：定期更新數據和模型，實時監控投資組合和風險管理策略的表現，及時調整和優化。
在以上步驟中，特徵工程和模型選擇和訓練是非常重要的，需要具備一定的數據科學和機器學習技能。此外，還需要一定的金融和投資知識，以確保模型的合理性和有效性。
『叄』 大數據數倉建設性能優化方案
大數據數倉的性能優化主要圍繞以下四個方面：
在數據倉庫建設的過程中，我們不可避免的要執行數據任務，那麼這些任務如何進行配置才會是最優的？如果任務調度配置存在問題，將會導致出現瓶頸任務，或者無法及時提供業務所需的數據，這時我們就需要首先從調度則中段方面來考慮，是不是有些任務的調度時間設置不合理？或者是不是有的任務的優先順序設置不合理？
對於數倉的建模而言，其實可以分為3NF建模和維度建模，推薦使用維度建模方式，可以按照星型模型或者雪花模型架構的方式去建模。3NF建模方式或者實體建模方式的應用性會差一點，在很多時候其性能也會差一點，但3NF會避免數據的冗餘，其擴展性會好一些。而維度建模會有一定的數據冗餘，並且冗餘程度會很高，但是對於上層使用者而言，其易用性要好很多，並且其查詢的性能也會好很多，雖然犧牲了一定的可擴展性，但是仍然在可接受的范圍之內。之所以在大數據的框架下推薦使用維度建模，是因為建模產生的數據冗餘對於大數據離線數倉來說，存儲的成本並不高，因為其都屬於SATA盤的存儲，這樣的存儲成本是很低的。
總之，在大數據框架下推薦大家使用維度建模，使用星型模型或者雪花模型建模的方式，這樣無論對於後續的運維還是後續的數據使用而言，都是比較便利的，並且性能會好一些。星型模型其實就是中間一個事實表，周邊圍繞著一堆維度表，其結構會簡單一些，使用比較方便，性能也比較好；對於雪花模型而言，維度表可能還會繼續關聯其他的維度表，這種方式就是雪花模型，它會略微比星型模型復雜一些。其實星型模型也可以理解為較為簡單的雪花模型。這里推薦大家使用星型模型，當然如果業務非常復雜，必須要使用雪花型也可以使用。這是因為星型模型雖然有數據冗餘，但是其結構比較簡單，容易理解，而且使用起來只需要A傳給B就可以了，不需要再關聯一個C。
除了上述兩個較大的關鍵點之外，還有一些需要注意的小點，比如中間表的使用。我們一般將數倉分為三層，第一層做緩沖，第二層做整合，第三層做應用。但是並不是嚴格的只能分為三層，中間可能會有一些中間表，用於存儲中間計算的結果，如果能夠利用好中間表則會增強數倉的易用性和整體的性能。中間表的使用主要在數倉的第二層裡面，因為需要整合數據，但整合後的數據仍是明細數據，對於這些表而言，數據量往往會比較大，而且會有見多的下游任務依賴這個表，因此可以做一些輕度的匯總，也就是做一些公共的匯總的中間表，這樣應用層可以節省很多的計算量和成本。此外，雖然建議使用中間表，但也要注意中間表的數量，因為中間表數量過多，就會有太多的依賴層級。
在某些業務場景下，我們還需要對寬表進行拆表，拆表的情況一般發生在該表的欄位較多，而其中幾個欄位的產出時間較晚，導致整個表的交付時間也會延遲，在這種情況下我們可以將這幾個欄位單獨拆出來處理，這樣就不會因為幾個欄位影響其餘業務的使用。
與拆表相對的情況是合表，隨著業務的增多，可能會有多個表中存放類似的數據指標，此時，我們可以將多個表整合到一個表中，減少數據任務的冗餘。
表分區的功能一定要合理利用，這對於性能會產生很大的影響，一級分區一般都是按照天劃分的，建議大家一天一個增量或者一天一個全量來做。二級分區的選擇反而會多一些，首先大家要烤爐是否建立二級分區，其次大家再選擇二級分區的建立方式。培數二級分區比較適合於在where語句中經常使用到的欄位，而且這個欄位應該是可枚舉的，比如部門名稱這樣的。這里還有一個前提，就是如果這個欄位的值的分布是非常不均勻的，那麼就不太建議做二級分區。
離線數倉的計算任務基本都是通過SQL實現，這里也只講在SQL部分如何進行優化。我們平時在進行數據處理，數據清洗，數據轉換，數據加工的過程中都會使用到SQL。對於大數據體系下孫譽的SQL的優化而言，主要集中在兩個大的方面進行：減少數據輸入和避免數據傾斜。減少數據輸入是最核心的一點，如果數據輸入量太大，就會佔用很多的計算資源。而數據傾斜是在離線數倉中經常會遇到的，數據傾斜分為幾種，需要針對性的進行優化。
對有分區的表，合理使用分區可以過濾數據，避免全表掃描，有效的降低計算的數據輸入。
SQL支持只讀取一次源數據，然後將其寫入到多個目標表，這樣就保證了只做一次查詢。語法如下
當我們在使用join，Rece或者UDF時，先對數據進行過濾也能有效的提高任務的效率
當發生數據再Map階段傾斜的情況，第一種處理方式反饋至業務層面，看能否通過業務層面的修改讓kv值均衡分布，如果業務層面無法處理，那麼可以調整Map的個數，也就是加大Map的計算節點，默認情況是每256M的數據為一個計算節點，我們可以將其調小，也就是加大Map處理的節點的個數，使得數據分割的更加均勻一些。
Join階段的傾斜也是比較常見的，其解決方案需要分鍾如下幾種情況處理：
Rece傾斜可能的情況有以下幾種：
總結一下，性能調優歸根結底還是資源不夠了或者資源使用的不合理，或者是因為任務分配的不好，使得某些資源分配和利用不合理。
『肆』 大數據開發工程師Hive(Hive如何進行優化)
1數據存儲及壓縮優化
針對hive中表的存儲格式通常有textfile和orc，壓縮格式一般使用snappy。相比於 textfile格式存儲，orc佔有更少的存儲。因為hive底層使用MR計算架構，數據流是hdfs到磁碟再到hdfs，而且會有很多次IO讀寫操作，所以使用orc數據格式和snappy壓縮策略可以降低IO讀寫，還能降低網路傳輸量，這樣在一定程度上可以節省存儲空間，還能提升hql的執行效率；
2 Hive Job優化
①調節Jvm參數，重用Jvm；
②合理設置Map個數；
③合理設置Rece個數；
3 Sql語法優化
① 建表優化 ：
1) Hive創建表的時候，可以建分區表，分桶表；
2) Hive創建表的時候，可以指定數據存儲格式：TextFile、SequenceFile、RCfile 、ORCfile；
② 查詢時優化 ：
1) 列裁剪，在查詢時只讀取需要的列，避免全列掃描，不要使用select * from table；
2) 分區裁剪：在查詢時只讀取需要分區的數據，避免全表掃描；
3) 開啟謂詞下推：set hive.optimize.ppd = true，默認是true：
a. 將Sql語句中的where謂詞邏輯都盡可能提前執行，減少下游處理的數據量；
4) 大哪陵表join小表：
a. 開啟MapJoin：set hive.auto.convert.join=true：
b. MapJoin是將Join雙方比較小的那個表直接分發到各個Map進程的內存畝弊中，在 Map進程中進行Join操作， 這樣就不用進行Rece步驟 ，從而提高了速度( 大表left join小表才有效 ，小表left join大表會失效)；
5) 大表join大表：
a. SMB Join ：Sort Merge Bucket Join(數據不僅分桶了，而且每個桶數據是排好序了)；
b. 開啟SMB Join之後，底層是根據兩個表join欄位進行分桶存儲，這樣迅緩族的話，兩張表就變為了基於桶之間join關聯查詢，而不是基於整張表的join，減少了笛卡爾積；
6) 少用in，用left semi join替代in：
a. 原始寫法：select a.id, a.name from a where a.id in (select b.id from b)；
b. 用join改寫：select a.id, a.name from a join b on a.id = b.id；
c. left semi join改寫：select a.id, a.name from a left semi join b on a.id = b.id；
7) 用union all代替union，因為union all不需要去重，也不需要排序，效率高於union；
(每天1小題，進步1點點)
『伍』 讓大數據分析更有效的5種技術措施有哪些
(1)優化數據收集數據收集是最終導致業務決策的事件鏈中的第一步，確保收集的數據和業務感興趣的指標的相關性非常重要。
定義對企業有影響的數據類型，以及分析如何增加價值。基本上，考慮客戶行為，以及這將對企業的業務有何適用性，然後使用此數據進行分析。
存儲和管理數據是數據分析中的重要一步。因此，必須保持數據質量和分析效率。
(2)清除垃圾數據
垃圾數據是大數據分析的禍患。這包括不準確，冗餘或不完整的客戶信息，可能會對演算法造成嚴重破壞，並導致分析結果不佳。根據垃圾數據做出的決策可能會帶來麻煩。
清潔數據至關重要，涉及丟棄不相關的數據，只保留高品質的數據，當前，為了獲得完整和相關的數據，人工干預不是理想的模式，不可持續並且受主觀影響，因此資料庫本身需要被清理。這種類型的數據以各種方式滲透到系統中，其中包括隨時間推移而變化，如更改客戶信息或數據倉庫中存儲可能會損壞數據集。垃圾數據可能會對營銷和潛在客戶生產等行業產生明顯的影響，但通過基於故障信息的業務決策，財務和客戶關系也會受到不利影響。其後果也是廣泛的，包括挪用資源，浪費時間和精力。
解決垃圾數據難題的方法是確保數據進入系統得到干凈的控制。具體來說，重復免費，完整和准確的信息。如今，那些具有專門從事反調試技術和清理數據的應用程序和企業，可以對任何對大數據分析感興趣的公司進行調查。數據清潔是市場營銷人員的首要任務，因為數據質量差的連鎖效應可能會大大提高企業成本。
為了獲得最大的數據量，企業必須花時間確保質量足以准確地查看業務決策和營銷策略。
(3)標准化數據集
在大多數商業情況下，數據來自各種來源和各種格式。這些不一致可能轉化為錯誤的分析結果，這將會大大扭曲統計推斷結果。為了避免這種可能性，必須決定數據的標准化框架或格式，並嚴格遵守。
(4)數據整合
大多數企業如今組成不同的自治部門，因此許多企業都有隔離的數據存儲庫或數據“孤島”。這是具有挑戰性的，因為來自一個部門的客戶信息的更改將不會轉移到另一個部門，因此他們將根據不準確的源數據進行決策。
為了解決這個問題，採用中央數據管理平台是必要的，整合所有部門，從而確保數據分析的准確性更高，所有部門的任何變化都可以立即訪問。
(5)數據隔離
即使數據干凈，將其組織和集成在一起，也可能是分析問題。在這種情況下，將數據分成幾組是有幫助的，同時牢記分析正在嘗試實現什麼。這樣，可以分析子群體內的趨勢，這些趨勢可能更有意義並具有更大的價值。當查看可能與整個數據集可能無關的高度具體的趨勢和行為時尤其如此。
數據質量對大數據分析至關重要。許多公司試圖採用分析軟體，但卻沒有考慮到進入系統做什麼。這將導致不準確的推斷和解釋，可能代價昂貴，並且對企業造成損害。一個定義明確，管理良好的資料庫管理平台是使用大數據分析的企業不可或缺的工具。
『陸』 大數據如何優化企業HR管理
大數據如何優化企業管理
第一：重視大數據的作用
大數據時代的到來意味著企業的經營環境也發生了很大變化，新特點是決策以數據為依據，數據進行網路共享，信息系統作為數據集成的平台。
人力資源要想發揮自己更大的價值並且拓寬自己的職能，專業化水平的提升是關鍵。而大數據在提升專業化的過程中發揮著極為重要的作用，其利用互聯網技術科學規范人力資源管理，使得每一個步驟都在向專業化的方向靠攏。
未來人力資源行業的發展勢必會以依託大數據雲計算為發展趨勢，人力資源管理模式的升級要全面充分地掌握數據，重視數據的准確性和權威性，隨時對數據進行動態監測。與此同時，企業還應當實現在數據與最終人才價值與利益之間的轉化，藉助外力來提高人力資源管理的質量。
第二：促成人力資源管理的創新
在大數據的幫助下，人力資源管理將由原來多依靠經驗進行管理向更加科學規范的管理方式轉變，其中的選、育、用、留等過程都逐漸可以量化查詢。如此一來管理過程以及結果更加令人信服，精準度更高，管理部門自然也樹立更高的威信。
新時代下，人力資源管理對於數據的依賴程度繼續加深，先進的平台與相關技術可以更加科學高效地管理人才信息，管理效率大大提升。管理部門通過先進的平台對數據信息進行獲取和分析，不但便捷，而且使整個過程更加規范化，更為人力資源部門的領導者做出決策提供了更為可靠的依據。
第三：大數據在企業HR中的應用
圖：大數據在企業HR中的應用
1、人力資源管理需要制定管理策略和規劃。在大數據時代下，市場環境瞬息萬變，企業也需要隨時調整自己的戰略策略來進行應對。這就需要人力資源部門具備十分敏銳的洞察能力，在人力資源戰略的規劃方面要與企業發展策略相一致，只有二者相協調，人力資源部才能為企業發展提供強大的推動力。
2、對員工的能力提出新要求。在傳統時代下，員工的工作經驗是企業關注的重點，而到了大數據時代已經逐步向偏向於員工的數據處理能力。在數據規模巨大並且復雜的今天，企業員工須得具備對數據理性分析的能力，單憑經驗判斷則容易出現失誤。因此，員工應當學會運用數據和系統，針對工作的特點掌握相應的數據處理能力，提高工作的准確度和效率。
3、企業招聘精準化。在企業的招聘過程中，最核心也是最基本的問題就是企業與人才之間的匹配問題，而大數據就為該匹配過程提供了精準高效的工具。在大數據時代，信息傳播的渠道增多，人們之間的溝通與交流也越來越頻繁。傳統的招聘形式主要依靠個人自己撰寫的應聘信息來了解情況，而在大數據時代下則可以通過各個社交平台來對個人信息進行深入挖掘，對應聘者的情況有更加全面以及深入的了解，從而更加精確地完成企業與人才之間的匹配。
4、調整員工培訓的方向。傳統模式下員工培訓多集中於企業相關業務水平的訓練，而在大數據時代下，對數據信息的整合、提煉、分析、價值挖掘等能力的訓練提上日程。企業員工在對數據熟練運用的前提下還要培養制定行動計劃與提高自身執行力的能力。
5、改進人才考核。大數據對於人才選拔、績效考核等問題的研究提供了更加具有說服力的科學依據，能夠幫助決策者挖掘出數據之間存在的一些潛在聯系，通過這些聯系來把員工的綜合情況串聯起來，有效進行各項考核評測。
6、人性化的激勵制度。在數據流的沖擊下，企業結構、組織等不斷進行調整甚至重建，在應對市場環境變化的同時也容易給員工帶來心理上的不安全感。因此，實施人性化基礎上員工激勵制度，能夠最大限度提高員工的心理歸屬感與企業集體榮譽感，激發員工積極性，使其價值的實現去企業價值的增長同步進行。
『柒』 大數據如何優化公共服務
大數據如何優化公共服務
公共服務領域採用大數據技術和大數據思維，既可以為政府進行公共服務決策和加強公共服務監管服務，可以為公共服務消費者在內的社會公眾提供個性化和精準化服務，也有助於公共服務提供者降低成本，從而更好地實現公共服務自身的經濟和社會特性並存的要求。但是，大數據不僅是一種海量的數據狀態及相應的數據處理技術，更是一種思維方式，是一場由技術變革推動的社會變革。在公共服務領域真正實現與大數據的融合，現實中還存在著多重挑戰。
公共服務提供主體運用大數據的意識差異大。從公共服務提供者的角度來看，雖然公共服務提供機構對於數據的重視程度較高，但是范圍更多地局限於對內部的數據認知。從總體來看，公共服務提供機構的管理人員並沒有意識到外部數據如互聯網數據與內部數據的結合所產生的價值，而是更多地把數據進行了存儲，沒有進行分析。這也加重了現有的數據孤島問題和數據閑置現象。以人口管理為例，掌握准確的基礎人口數據是人口管理的一大難點。涉及人口管理的有八九家部門，稅務部門有納稅人口數據，教育部門有在讀人口數據，公安局有戶籍人口數據，社保局有參保人口數據，等等。孤立的任何一個資料庫都不能全面展現一個地方的實有人口情況。
公共服務數據格式和採集標准不統一，導致數據可用性差。大數據預處理階段需要抽取數據並把數據轉化為方便處理的數據類型，對數據進行清洗和去噪，以提取有效的數據等操作。很多公共服務部門，每天都在產生大量的數據，但在數據的預處理階段不重視，不同部門的數據格式、採集標准也非常不同，很多數據是非結構化的，導致數據的可用性差，數據質量差，數據處理很不規范。如危險化學品的監管問題，在目前的監管格局下，危險化學品在生產、儲存、使用、經營、運輸的不同環節，除企業承擔主體責任外，由安監、交通、公安等部門分別承擔監管職責，這些主體對信息報備的寬嚴尺度不一。這樣的寬嚴不一，以及各監管部門、企業主體間存在的種種信息壁壘，大大影響了監管效能。
公共服務部門從業人員多元化，大數據專業人才缺乏。數據採集工作牽涉的絕不僅僅是數據問題，它與政府以及事業單位等的改革深刻關聯，勢必對基層人員的工作能力和責任感都提出更高的要求。數據的採集和分析是一個多專家合作的過程，這要求相關人員是復合型人才，既熟悉本單位業務和需求，具備相關專業知識和經驗，同時又要了解大數據技術，能夠綜合運用數學、數據分析、機器學習和自然語言處理等多方面知識。面對大數據，如果不會分析，數據就只是數據；如果錯誤分析，數據反而還會造成新的問題。
教育、醫療、社會保障、環境保護等公共服務領域，由於技術難度相對小，而且推廣意義大，可以起到「四兩撥千斤」的作用，應當率先突破大數據的應用障礙，政府部門應當而且也可以在這一方面發揮更大的作用。
科學規劃和合理配置網路資源，加強信息化的基礎設施建設。沒有信息化的基礎設施建設，就談不上信息化，更談不上大數據。2013年8月，澳大利亞政府信息管理辦公室（AGIMO）發布了公共服務大數據戰略。到2013年底，澳大利亞人可以享受到每秒1G的互聯網下載速度，而且安裝寬頻所需要的費用全部由政府免單，完全免費。對我國來講，這一項工作只有以政府部門為主，根據發展需求，科學規劃和合理配置網路地址、網路帶寬等網路資源，並且鼓勵大數據企業參與網路設施投資和電信服務運營。
與此同時，還應做好數據標准統一工作，為數據的採集、整合等提供支持。統一的標準是用好大數據的關鍵所在。應當加快研究建立健全大數據技術標准、分類標准和數據標准。針對行政記錄、商業記錄、互聯網信息的數據特點，研究分析不同數據口徑之間的銜接和數據源之間的整合，規范數據輸出格式，統一應用指標涵義、口徑等基本屬性，為大數據的公開、共享和充分利用奠定基礎。
政府搭建平台，推動公共服務部門與第三方數據平台合作，建設好社會基礎資料庫，助力提高公共服務效率和開展公共服務創新。公共服務部門可以考慮藉助如網路、阿里、騰訊等第三方數據平台解決數據採集難題，為包括政府各職能部門在內的各種社會主體提高公共服務效率和開展公共服務創新提供可能。另外，在政府信息公開不斷加強的基礎上，加大數據的開放和共享，建立起公共服務領域的數據聯盟。大數據越關聯就越有價值，越開放就越有價值。須盡快確立數據開放基本原則，政府帶頭開放公共領域的行政記錄等公共數據，鼓勵事業單位等非政府機構提供在公共服務過程中產生的數據，推動企業等開放其在生產經營、網路交易等過程中形成的數據。最終建立起公共服務領域的數據聯盟。
按照「抓兩頭，帶中間」的思路做好大數據人才的培訓和儲備工作。大數據的核心說到底是「人」。相應的人才培訓和儲備工作要抓好兩頭。一頭是基層。由於公共服務領域中相當多的數據是從基層採集的，因此需要加強基層基礎建設，要求公共服務部門要有完整的原始記錄和台賬，確保原始數據採集的准確性。而且也要求基層工作人員理解統一的數據平台、統一的軟體操作、統一的指標含義。隨著採集數據標準的逐步統一，採集數據的各個部門還需要相應地修改原來的流程、採集方式、人力配置等等。政府有關部門應當制定適當的激勵和約束機制，保障基層工作人員的素質和能力跟得上新形勢的要求。另一頭是高端。數據分析對國內高校人才培養也提出了新的要求。大數據人才的培養更多地集中在研究生階段，從政府有關管理部門的角度來看，應該按照國務院簡政放權、放管結合、優化服務的要求，放寬對高校專業設置的審批，真正落實高校管理自主權。鼓勵並積極創造條件推動高校以及企業在大數據人才的培養方面進行探索。
以上是小編為大家分享的關於大數據如何優化公共服務的相關內容，更多信息可以關注環球青藤分享更多干貨
『捌』 PHP-大數據量怎麼處理優化
大數據的話可以進行以下操作：
減少對資料庫的讀取，也就是減少調用資料庫，
進行數據緩存，
利用資料庫的自身優化技術，如索引等
精確查詢條件，有利於提高查找速度
『玖』 資料庫的多表大數據查詢應如何優化
1.應盡量避免在 where 子句中對欄位進行 null 值判斷，否則將導致引擎放棄使用索引而進行全表掃描，如：x0dx0aselect id from t where num is nullx0dx0a可以在num上設置默認值0，確保表中num列沒有null值，然後這樣查詢：x0dx0aselect id from t where num=0x0dx0a2.應盡量避免在 where 子句中使用!=或<>操作符，否則將引擎放棄使用索引而進行全表掃描。優化器將無法通過索引來確定將要命中的行數,因此需要搜索該表的所有行。x0dx0a3.應盡量避免在 where 子句中使用 or 來連接條件，否則將導致引擎放棄使用索引而進行全表掃描，如：x0dx0aselect id from t where num=10 or num=20x0dx0a可以這樣查詢：x0dx0aselect id from t where num=10x0dx0aunion allx0dx0aselect id from t where num=20x0dx0a4.in 和 not in 也要慎用，因為IN會使系統無法使用索引,而只能直接搜索表中的數據。如：x0dx0aselect id from t where num in(1,2,3)x0dx0a對於連續的數值，能用 between 就不要用 in 了：x0dx0aselect id from t where num between 1 and 3x0dx0a5.盡量避免在索引過的字元數據中，使用非打頭字母搜索。這也使得引擎無法利用索引。 x0dx0a見如下例子： x0dx0aSELECT * FROM T1 WHERE NAME LIKE 『%L%』 x0dx0aSELECT * FROM T1 WHERE SUBSTING(NAME,2,1)=』L』 x0dx0aSELECT * FROM T1 WHERE NAME LIKE 『L%』 x0dx0a即使NAME欄位建有索引，前兩個查詢依然無法利用索引完成加快操作，引擎不得不對全表所有數據逐條操作來完成任務。而第三個查詢能夠使用索引來加快操作。x0dx0a6.必要時強制查詢優化器使用某個索引，如在 where 子句中使用參數，也會導致全表掃描。因為SQL只有在運行時才會解析局部變數，但優化程序不能將訪問計劃的選擇推遲到運行時；它必須在編譯時進行選擇。然而，如果在編譯時建立訪問計劃，變數的值還是未知的，因而無法作為索引選擇的輸入項。如下面語句將進行全表掃描：x0dx0aselect id from t where num=@numx0dx0a可以改為強制查詢使用索引：x0dx0aselect id from t with(index(索引名)) where num=@numx0dx0a7.應盡量避免在 where 子句中對欄位進行表達式操作，這將導致引擎放棄使用索引而進行全表掃描。如：x0dx0aSELECT * FROM T1 WHERE F1/2=100 x0dx0a應改為: x0dx0aSELECT * FROM T1 WHERE F1=100*2x0dx0aSELECT * FROM RECORD WHERE SUBSTRING(CARD_NO,1,4)=』5378』 x0dx0a應改為: x0dx0aSELECT * FROM RECORD WHERE CARD_NO LIKE 『5378%』x0dx0aSELECT member_number, first_name, last_name FROM members x0dx0aWHERE DATEDIFF(yy,datofbirth,GETDATE()) > 21 x0dx0a應改為: x0dx0aSELECT member_number, first_name, last_name FROM members x0dx0aWHERE dateofbirth < DATEADD(yy,-21,GETDATE()) x0dx0a即：任何對列的操作都將導致表掃描，它包括資料庫函數、計算表達式等等，查詢時要盡可能將操作移至等號右邊。x0dx0a8.應盡量避免在where子句中對欄位進行函數操作，這將導致引擎放棄使用索引而進行全表掃描。如：x0dx0aselect id from t where substring(name,1,3)='abc'--name以abc開頭的idx0dx0aselect id from t where datediff(day,createdate,-11-30')=0--『2005-11-30』生成的idx0dx0a應改為:x0dx0aselect id from t where name like 'abc%'x0dx0aselect id from t where createdate>=-11-30' and createdate<-12-1'x0dx0a9.不要在 where 子句中的「=」左邊進行函數、算術運算或其他表達式運算，否則系統將可能無法正確使用索引。x0dx0a10.在使用索引欄位作為條件時，如果該索引是復合索引，那麼必須使用到該索引中的第一個欄位作為條件時才能保證系統使用該索引，否則該索引將不會被使用，並且應盡可能的讓欄位順序與索引順序相一致。x0dx0a11.很多時候用 exists是一個好的選擇：x0dx0aelect num from a where num in(select num from b)x0dx0a用下面的語句替換：x0dx0aselect num from a where exists(select 1 from b where num=a.num)x0dx0aSELECT SUM(T1.C1)FROM T1 WHERE( x0dx0a(SELECT COUNT(*)FROM T2 WHERE T2.C2=T1.C2>0) x0dx0aSELECT SUM(T1.C1) FROM T1WHERE EXISTS( x0dx0aSELECT * FROM T2 WHERE T2.C2=T1.C2) x0dx0a兩者產生相同的結果，但是後者的效率顯然要高於前者。因為後者不會產生大量鎖定的表掃描或是索引掃描。
『拾』 elasticsearch 大數據下 bulk 優化
es中 bulk api 可以在單個API調用中執行許多索引/刪除操作，這可以大大提高索引速度。在線上突然遇到這樣錯誤：
業務反饋，才1w多條就報這個！如果你對nginx足夠的了解會發現這個錯誤是它的，接下來要看nginx的配置文件，最終確人有個參數值 client_max_body_size 太小，那就改大些吧！那es能接受多大的呢？es的bulk的批量究竟該多大，之前講過，這里不再啰嗦。
那就5000條一個批次，但是es還是比較慢！這里分享幾個優化的小技巧
調整refresh時間間隔，優化點： 減少刷新頻率，降低潛在的寫磁碟性能損耗， 默認的刷新時間間隔是1s，對於寫入量很大的場景，這樣的配置會導致寫入吞吐量很低，適當提高刷跡悄基新間隔，可以提升寫入量，代價就是讓新寫入的數據在60s之後可以被搜索，新數據可見的及時性有所下降。
在bulk大量數據到ES集群的時候可以關閉刷新頻率，把其值設置為-1就是關閉了刷新頻率，在導入完之後設置成合理的值即可。
調整replica數目，在bulk大量數據到ES集群的運胡可以把副本數設置為0，在數據導入完成之後再設置為1或者你集群的適合的數目。
Index中默認會有_all這個欄位（es6.x已經禁用），默認會把所有欄位的內容都拷貝到這一個欄位裡面，這樣會給查詢帶來方便，但是會增加索引時間和索引尺寸。
translog默認為512MB，flush操作達到512MB fsync刷新到硬碟（這個問題不大），而translog是默認是每次index請求都寫磁碟，優化點： 減少寫磁碟的頻率，調整為index.translog.rability=async，index.translog.sync_interval=30s（默認值是5s）
更多
由於es自動檢測和添加新欄位稱為動態映射，我見過由於環境問題發生mapping漏設置，這時有300~400個欄位自動映射為text類型（太多），導致每批次（5000條）插入響應時間都大於3分鍾。總之，檢查mapping的合理姿謹性很重要。
修改配置文件調整ES的JVM內存大小，這個值不能超過32g，一般機器好點設置成十幾個g速度就非常快了。具體要看自己機器的內存。
優化項按順序進行，越靠前優化效果越明顯。