A. 如何搭建大數據分析平台
1、 搭建大數據分析平台的背景
在大數據之前，BI就已經存在很久了，簡單把大數據等同於BI，明顯是不恰當的。但兩者又是緊密關聯的，相輔相成的。BI是達成業務管理的應用工具，沒有BI，大數據就沒有了價值轉化的工具，就無法把數據的價值呈現給用戶，也就無法有效地支撐企業經營管理決策；大數據則是基礎，沒有大數據，BI就失去了存在的基礎，沒有辦法快速、實時、高效地處理數據，支撐應用。 所以，數據的價值發揮，大數據平台的建設，必然是囊括了大數據處理與BI應用分析建設的。
2、 大數據分析平台的特點
數據攝取、數據管理、ETL和數據倉庫：提供有效的數據入庫與管理數據用於管理作為一種寶貴的資源。
Hadoop系統功能：提供海量存儲的任何類型的數據，大量處理功率和處理能力幾乎是無限並行工作或任務
流計算在拉動特徵：用於流的數據、處理數據並將這些流作為單個流。
內容管理特徵：綜合生命周期管理和文檔內容。
數據治理綜合：安全、治理和合規解決方案來保護數據。
3、 怎樣去搭建大數據分析平台
大數據分析處理平台就是整合當前主流的各種具有不同側重點的大數據處理分析框架和工具，實現對數據的挖掘和分析，一個大數據分析平台涉及到的組件眾多，如何將其有機地結合起來，完成海量數據的挖掘是一項復雜的工作。我們可以利用億信一站式數據分析平台（ABI），可以快速構建大數據分析平台，該平台集合了從數據源接入到ETL和數據倉庫進行數據整合，再到數據分析，全部在一個平台上完成。
億信一站式數據分析平台（ABI）囊括了企業全部所需的大數據分析工具。ABI可以對各類業務進行前瞻性預測分析，並為企業各層次用戶提供統一的決策分析支持，提升數據共享與流轉能力。
B. 大數據存儲需要具備什麼
大數據之大大是相對而言的概念。例如，對於像SAPHANA那樣的內存資料庫來說，2TB可能就已經是回大容量了；而對於像谷歌這樣答的搜索引擎，EB的數據量才能稱得上是大數據。大也是一個迅速變化的概念。HDS在2004年發布的USP存儲虛擬化平台具備管理32PB大數據存儲需要具備什麼？
C. 大數據平台是什麼什麼時候需要大數據平台如何建立大數據平台
首先我們要了解java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。
Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。
D. 如何建立信息共享平台
問題一：企業信息共享平台如何建立？ 5分 網站解決還是比較方便的,可以通過某幾個欄目實現會員管理從而實現共享!
問題二：如何建立網上可共享的資料庫 推薦使用華創信息管理平台，它是一種信息共享的快速開發與運行平台，能讓用戶自由建表、自定義數據格式，因此能管理各種數據，能共享各種信息。
利用本平台，無論想管理什麼，自己建表即可，如：客戶表、合同表、售後服務記錄...等等；建表後再設置登錄帳號及許可權，大家就可錄入數據、共享數據了，至於操作界面、數據存儲等細節由平台自動完成。其它技術特點有：
●面向非專業人士，無需編程、簡單易用。
●B/S 架構，單機、區域網、互聯網上都可運行。不僅支持電腦訪問，還支持手機、iPad直接訪問，且無需安裝客戶端，使用瀏覽器即可。
●支持多用戶同時訪問，具有完善的許可權，各類人員的增刪改及查看權均可詳細控制。
●可以按組織結構的管理層次分配許可權，例如，可以設置成各單位人員只能查看本單位的信息，以及下屬單位的信息，無權查看上級陪和單位的信息等。
●具有自動提醒功能，可自由設置各種提醒模板。例如，一旦表格數據錄進來或修改了，就通知相關人員。
●支持附件上傳，可上傳共享word、excel、圖片等困亂首各種文件。
●支持excel數據的導入導出，現有的數據無需再次輸入，可直接導入到本系統中。
●後台使用的是資料庫，可以採用Access，也可以採用SQL Server。
附件是該平台的完整安裝包，版本V6.1，可以下載到自己的機器上安裝使用；也可以進他們的官網，申請賬號後直接在線使用。
希望對你有幫助。
問題三：建立信息共享和工作推動機制什麼意思 就是說通過軟體系統設立信息共享平台，並建立相應的制度，全員一起執行。
問題四：如何建立大數據存儲、分析和共享平台 15分 建議你去大講台 看看，希望可以幫助到你。
問題五：如何有效建立數據交換與共享機制解決方案 國 家信 息化領 導辦公 室，頒布的《電子政務總體框架》對於國 家整體電子政務工程的推進都具有重大意義，文件的出台，為電子政務工程進一步深化實施，指明了方向，文件特別突出強調政務信息資源的交換與共享的重要作用，明確信息資源交換與共享機制建設是電子政務整體工程的重要支撐體系。
從大量的信息交換與共享項目建設經驗來看，信息交換與共享工程目標的確定非常重要，工程建設各方，首先要在以下幾個方面的成功關鍵問題上，達成共識：
・共享與交換信息服務對象的問題；
・不同的服務對象應採用的服務方式問題；
・共享信息的存儲與統一管理問題；
・對信息的來源進行科學分析；
・相應的信息技術標准與管理標准問題；
・信息交換與共享平台的設計與建設遵循的原則；
這些問題是解決信息交換與共享的核心問題，是項目實施存在的現實問題，無論你解決信息交換與共享的技術方法如何不同，這些問題的真正解決，是項目建設的基礎和保障。
1．主題應用
電子政務工程建設的意義，就在於能為 *** 的各項職能工作起到輔助支持作用，用IT的技術手段，幫助 *** 提升工作效率，促進 *** 職能的轉化。因此，投資建設一項大型電子政務工程，首先，要確定他的服務目標，確定系統建設的主題應用。
十一五期間，黨和國家明確了建立和諧社會的總體經濟建設總體汪數目標， *** 各級 *** ，各級職能機構根據自身的工作職能特徵，確定了本機構的十一五規劃，在整體工作目標的前提下，確定了各項工作的目標體系。電子政務工程建設的主題應用，就是要確定電子政務工程的服務目標，將電子政務工程建設目標，與建立和諧社會的總體規劃目標緊密銜接起來，明確電子政務的整體發展目標，是 *** 整體發展目標的重要組成部分。信息交換與共享機制的建設，也必須面對一項主題應用，脫離服務主題目標的工程是沒有生命力的工程。
國家整體建設社會主義新農村，北京市流動人口管理等，都是不同級別 *** 機構，所直接面對的重點問題，電子政務工程的主題應用，就要僅僅圍繞 *** 最迫切需要解決的問題，圍繞 *** 戰略目標主題，開展數據交換與共享機制的建設。
2．建設原則
信息交換與共享機制的建設，是電子政務整體建設的長期任務，它的建設與國民經濟發展，與整體 *** 職能改革的進程，從整體上保持同步。而具體的信息交換與共享工程建設，必須符合實用優先、適應未來發展的原則。首先，需要確定具體工程的建設目標，工程建設目標的確定，必須建立在 *** 機構提高行政效率和公眾服務質量的業務目標基礎上，IT工程項目立項依據，需要重點考慮對當前 *** 職能轉換工程貢獻度；此外，必須充分尊重現實工作基礎和現行的 *** 行政職能，將信息交換與共享機制的工程建設驅動，由 *** 信息化主管部門轉換為具體的實際業務部門，明確信息化主管部門為 *** 實際業務部門服務的觀點，將 *** 的實際業務工作與信息資源共享建設緊密銜接起來；根據不同 *** 機構和地方 *** 的實際情況，明確工程建設的邊界范圍，確定工程建設原則，將長效信息共享機制建設與單項工程建設目標，很好的結合起來；技術創新優先於政務業務協同創新，數據交換與共享平台建設，需要考慮未來業務的拓展需要，集約化進行工程建設。
3．多維度認識需求
業務信息需求分析的指導思想是三維體系模型。這是因為只站在信息資源角度考慮，而不深入......>>
問題六：如何構建數據中心信息交換平台 1、數據集成方法的選擇
數據集成又可稱為信息集成。用於解決數據的互通問題。數據集成的核心任務是要將互相關聯的分布式異構數據源集成到一起。使用戶能夠以透明的方式訪問這些數據源。集成是指維護數據源整體上的數據一致性、提高信息共享利用的效率。透明的方式是指用戶無需關心如何實現對異構數據源數據的訪問。只關心以何種方式訪問何種數據。
數據集成的難點主要集中在三個方面：數據源的異構性、分布性和自治性。12I異構性：被集成的數據源通常是獨立開發的，在數據語義、相同語義數據的表達形式、數據源的使用環境上存在著差異。分布性：而且數據源是異地分布的。依賴網路傳輸數據。存在網路傳輸的性能和安全性等問題。自治性：各個數據源有很強的自治性。它們可以在不通知集成系統的前提下改變自身的結構和數據。
典型的數據集成方法有模式集成法與數據復製法。這兩種數據集成法各有優缺點與適用范圍。模式集成方法為用戶提供了全局數據視圖及統一的訪問介面。透明度高。但該方法並沒實現數據源間的數據交互。用戶使用時經常需要訪問多個數據源。因此網路依賴性強。執行效率也相對較低。數據復制方法在用戶使用某個數據源之前將用戶可能用到的其他數據源的數據預先復制過來。用戶使用時只需訪問某個數據源或少量的幾個數據源。這會大大提高系統處理用戶請求的效率。但很難保障數據源之間數據的實時一致性。模式集成方法適用於被集成的系統規模大、數據更新頻繁、數據實時一致性要求高的情況。數據復制則適用於數據源相對穩定、用戶查詢模式已知或有限的情況。
如果採用模式集成方式的聯邦資料庫系統。每個系統都要實現一個與虛擬共享庫的介面。要對原系統做相應的修改。同樣對於中間件的模式集成需要建立一個全局的模式。需要花費大量的時間。更為重要的是目前現階段建立數據中心主要目的不是為了數據的查詢。而是為了共享數據的收集和交換。所以。單純的模式集成法不能完全適應數字化校園建設需求的方案。因此。在經過詳細的需求調研、分析與綜合考慮各種因素後我們選擇數據復製法。建立數據中心數據倉庫。為今後的應用需求提供實現空間。而對於一些本身業務具有封閉性的系統則使用統一的數據封裝格式如XML。通過通訊前置機來實現數據信息的共享。
2、信息交換平台框架
信息交換平台需要提供一個集成平台包括的所有數據集成的功能：基於數據的、基於事件的和基於服務的。
設計要點：
(1)保持現有業務系統基本不變。在各業務系統與數據中心之間做介面。完成對接。實現抽取與推送數據的目的。節約成本。
(2)根據實際應用的需求，數據交換採用資料庫級交換與應用級數據交換相結合的方式來應對不同的數據交換要求。資料庫級數據交換比較適合於數據集實時要求高數據量不大的數據。交換。如學籍異動、成績修改等類型數據交換提供數據的業務系統通過CDC(ChangeDataCapture)動態數據捕獲機制。每次只捕獲、集成有變化部分的數據。從而減輕數據中心平台網路傳輸及系統處理的負擔。應用級數據交換比較適合於數據實時性要求不是很高但數據量比較大的數據交換。
(3)堅持信息共享這一基本原則，以師、生角色為主線。將分散在各部門業務系統的基礎數據集中到數據中心統一存放，提供跨部門立體式的人事、教學、科研、公共資產等綜合數據，從而為教工、學生提供全方位的信息服務。
(4)保證中心資料庫數據的權威性。及時更新與同步各業務系統數據。
(5)雖然目前現階段建立數據中心的主要目的不是為了數據查詢，而是為了共享數據的收集和交換。但也需要提供良好的數據環境。為將來更高層次的決策和......>>
問題七：如何加強組織間信息共享 一，轉變以往的保守自閉思想，增強與各組織見的聯系互動；二，建立信息平台，加強信息共享聯系聯絡，三，建立和完善信息共享機制建設；四；充分利用網路、微錠等新媒體，堅強信息共享的交流，敞開自己的大門，接納各方的信息。
問題八：怎樣讓公司各部門隨時更新的信息共享？ 5分 【為保護隱私，公司原名用XX代替。
內容涉及企業網路安全防護，入侵檢測，VPN加密、數據安全、用戶認證等企業信息安全案例，供參考】
XX企業信息安全綜合解決方案設計
一． 引言
隨著全球信息化及寬頻網路建設的飛速發展，具有跨區域遠程辦公及內部信息平台遠程共享的企業越來越多，並且這種企業運營模式也逐漸成為現代企業的主流需求。企業總部和各地的分公司、辦事處以及出差的員工需要實時地進行信息傳輸和資源共享等，企業之間的業務來往越來越多地依賴於網路。但是由於互聯網的開放性和通信協議原始設計的局限性影響，所有信息採用明文傳輸，導致互聯網的安全性問題日益嚴重，非法訪問、網路攻擊、信息竊取等頻頻發生，給公司的正常運行帶來安全隱患，甚至造成不可估量的損失。因此必須利用信息安全技術來確保網路的安全問題，這就使得網路安全成了企業信息化建設中一個永恆的話題。
目前企業信息化的安全威脅主要來自以下幾個方面：一是來自網路攻擊的威脅，會造成我們的伺服器或者工作站癱瘓。二是來自信息竊取的威脅，造成我們的商業機密泄漏，內部伺服器被非法訪問，破壞傳輸信息的完整性或者被直接假冒。三是來自公共網路中計算機病毒的威脅，造成伺服器或者工作站被計算機病毒感染，而使系統崩潰或陷入癱瘓，甚至造成網路癱瘓。如前段時間在互聯網上流行的「熊貓燒香」、「灰鴿子」等病毒就造成了這樣的後果。那麼如何構建一個全面的企業網路安全防護體系，以確保企業的信息網路和數據安全，避免由於安全事故給企業造成不必要的損失呢？
二． XX企業需求分析
該企業目前已建成覆蓋整個企業的網路平台，網路設備以Cisco為主。在數據通信方面，以企業所在地為中心與數個城市通過1M幀中繼專線實現點對點連接，其他城市和移動用戶使用ADSL、CDMA登錄互聯網後通過VPN連接到企業內網，或者通過PSTN撥號連接。在公司的網路平台上運行著辦公自動化系統、SAP的ERP系統、電子郵件系統、網路視頻會議系統、VoIP語音系統、企業Web網站，以及FHS自動加油系統介面、互聯網接入、網上銀行等數字化應用，對企業的日常辦公和經營管理起到重要的支撐作用。
1. 外部網路的安全威脅
企業網路與外網有互連。基於網路系統的范圍大、函蓋面廣，內部網路將面臨更加嚴重的安全威脅，入侵者每天都在試圖闖入網路節點。網路系統中辦公系統及員工主機上都有涉密信息。假如內部網路的一台電腦安全受損（被攻擊或者被病毒感染），就會同時影響在同一網路上的許多其他系統。透過網路傳播，還會影響到與本系統網路有連接的外單位網路。
如果系統內部區域網與系統外部網路間沒有採取一定的安全防護措施，內部網路容易遭到來自外網一些不懷好意的入侵者的攻擊。
2.內部區域網的安全威脅
據調查在已有的網路安全攻擊事件中約70%是來自內部網路的侵犯。來自機構內部區域網的威脅包括：誤用和濫用關鍵、敏感數據；內部人員故意泄漏內部網路的網路結構；內部不懷好意的員工通過各種方式盜取他人涉密信息傳播出去。
3.網路設備的安全隱患
網路設備中包含路由器、交換機、防火牆等，它們的設置比較復雜，可能由於疏忽或不正確理解而使這些設備可用但安全性不佳。
二、操作系統的安全風險分析
所謂系統安全通常是指操作系統的安全。操作系統的安裝以正常工作為目標，一般很少考慮其安全性，因此安裝通常都是以預設選項進行設置。從安全形度考慮，其表現為裝了很多用不著的服務模塊，開放了很多不必開放的埠，其中可能隱含了安全風險。
目前的操作系統無論是Windows還是UNIX操作系統......>>
問題九：如何推進社區公共服務綜合信息平台建設 三、推進社區公共服務綜合信息平台建設的重點任務
（一）建設社區公共服務信息系統。各地應結合實際，以街道（鄉鎮）為基本單元，應用功能集成、界面規范、部署集中的社區公共服務信息系統，確有需要的可依管理幅度和服務半徑向所轄社區延伸。社區公共服務信息系統應兼具政務事項辦理和基礎信息採集功能，實行「前台一口受理、後台分工協同」的運行模式。統一設立電子政務辦理界面，通過與人口、法人單位等國家基礎信息資源庫的信息共享，建立以公民身份號碼、組織機構代碼等基礎信息為索引的社區公共服務信息管理機制，實現居民身份證辦事「一證通」。按照不同業務的具體需要優化電子政務流程，建立 *** 主動 *** 息、政務辦理痕跡信息和公共管理狀態信息的實時共享機制，實現社區公共服務的跨部門業務協同。積極開發網上咨詢辦理、服務熱線呼叫、現場自助查詢等系統功能，為居民群眾提供網路、電話和窗口服務關聯組合的一體化社區公共服務，為 *** 決策提供科學依據。
（二）整合社區公共服務信息資源。各地應依託社區公共服務信息系統，加快統籌社區公共服務網路和信息資源，原則上凡涉及社區居民的公共服務事項，均要逐步納入社區公共服務綜合信息平台集中辦理。加快社區信息系統集約化建設，推動部署在不同層級、不同部門、分散孤立、用途單一的各類社區信息系統向社區公共服務綜合信息平台遷移或集成，最大限度精簡基層業務應用系統、服務終端和管理台帳。在保證數據交換共享安全性的前提下，促進社區公共服務綜合信息平台與現有部門業務應用系統實現互聯互通。推動 *** 職能部門向基層轉移職能，規范社區公共服務綜合信息平台的信息共享范圍、共享方式和共享標准，逐步豐富社區公共服務綜合信息平台的基本公共服務項目和服務信息，不斷擴大社區政務事項的跨區域通辦范圍。
（三）完善社區公共服務綜合信息平台規劃布局。各地要充分發揮市（地、州、盟）層級電子政務公共平台作用，集中建設社區公共服務綜合信息平台和綜合信息庫，為街道（鄉鎮）及社區開展服務提供便捷渠道和技術支持。支持依託街道（鄉鎮）社區綜合服務設施，建設社區公共服務「一站式」服務機構，統一提供社區基本公共服務的咨詢、辦理和反饋服務。「一站式」服務機構的設施建設或改造應合理布局、科學分區、完善功能，方便居民群眾辦事。根據需要可以依託社區級綜合服務設施，為社區居民提供委託代辦服務，增強社區公共服務的便捷性。
（四）加強社區公共服務綜合信息平台運行管理。各地要建立健全社區公共服務綜合信息平台運行管理機制，明確管理主體和責任，原則上實行平 *** 立運行、業務歸口指導的管理模式。制定完善信息採集制度，加強社區信息資源規劃，明確社區信息採集標准，將社區場所、人員、事件等信息納入採集范圍，按照一數一源、集中採集、共享校核、及時更新的原則，實現「數據一次採集，資源多方共享」。整合街道、社區層面管理服務力量，加強社區公共服務隊伍建設，實行統一考核、調配和管理，實現同工同酬。強化服務隊伍教育培訓，提高業務素質和服務能力，能夠較好地勝任「綜合服務」的要求，推動服務隊伍的專業化和職業化。建立健全首問負責、限時辦結、績效考核和群眾監督機制，積極引入服務對象滿意度評價和第三方評估，切實提高管理水平和服務質量。
有條件的地區，可以在社區公共服務綜合信息平台基礎上，進一步拓展服務領域和功能，優先發展針對老年人、未成年人、殘疾人、困難群體的系統應用，創新開發針對艾滋病人、精神病人、吸毒人員等特殊人群的特色服務。廣泛吸納社區社會組織、社區服務企業信息資源，促進社區公共服務、便民利民服務、志願互助服......>>
問題十：在win7下怎麼設置辦公室共享平台 文件夾右鍵屬性,選擇共享選項卡,點擊共享,不要忘記添加everyon貳用戶,這樣就可以了(guest用戶要開啟哦)
E. 如何搭建基於Hadoop的大數據平台
Hadoop: 一個開源的分布式存儲、分布式計算平台.（基於）
Hadoop的組成：
HDFS:分布式文件系統，存儲海量的數據。
MapRece:並行處理框架，實現任務分解和調度。
Hadoop的用處：
搭建大型數據倉庫，PB級數據的存儲、處理、分析、統計等業務。
比如搜索引擎、網頁的數據處理，各種商業智能、風險評估、預警，還有一些日誌的分析、數據挖掘的任務。
Hadoop優勢：高擴展、低成本、成熟的生態圈(Hadoop Ecosystem Map)
Hadoop開源工具：
Hive：將SQL語句轉換成一個hadoop任務去執行，降低了使用Hadoop的門檻。
HBase:存儲結構化數據的分布式資料庫，habase提供數據的隨機讀寫和實時訪問，實現 對表數據的讀寫功能。
zookeeper:就像動物管理員一樣，監控hadoop集群裡面每個節點的狀態，管理整個集群 的配置，維護節點針之間數據的一次性等等。
hadoop的版本盡量選穩定版本，即較老版本。
===============================================
Hadoop的安裝與配置：
1）在Linux中安裝JDK，並設置環境變數
安裝jdk: >> sudo apt-get install openjdk-7-jdk
設置環境變數：
>> vim /etc/profile
>> :wq
2)下載Hadoop,並設置Hadoop環境變數
下載hadoop解壓縮:
>> cd /opt/hadoop-1.2.1/
>> ls
>> vim /etc/profile
>>:wq
3）修改4個配置文件
（a）修改hadoop-env.sh,設置JAVA_HOME
（b）修改core-site.xml,設置hadoop.tmp.dir, dfs.name.dir, fs.default.name
（c）修改mapred-site.xml, 設置mapred.job.tracker
（d）修改hdfs-site.xml,設置dfs.data.dir
>> cd conf
>> ls
>> vim mapred-site.xml
>> :wq
>> vim core-site.xml
第一部分
第二部分
>> :wq
>> vim hdfs-site.xml
>> :wq
>> vim hadoop-env.sh
>> :wq
# hadoop格式化
>> hadoop namenode -format
# hadoop啟動
>> start-all.sh
# 通過jps命令查看當前運行進程
>> jps
看見以下進程即說明hadoop安裝成功
F. 如何建立一個完整可用的安全大數據平台
「
要建立一個大數據系統，我們需要從數據流的源頭跟蹤到最後有價值的輸出，並在現有的Hadoop和大數據生態圈內根據實際需求挑選並整合各部分合適的組件來構建一個能夠支撐多種查詢和分析功能的系統平台。這其中既包括了對數據存儲的選擇，也涵蓋了數據線上和線下處理分離等方面的思考和權衡。此外，沒有任何一個引入大數據解決方案的商業應用在生產環境上承擔的起安全隱患。
1
計算框架篇
大數據的價值
只有在能指導人們做出有價值的決定時，數據才能體現其自身的價值。因此，大數據技術要服務於實際的用途，才是有意義的。一般來說，大數據可以從以下三個方面指導人們做出有價值的決定：
報表生成（比如根據用戶歷史點擊行為的跟蹤和綜合分析、 應用程序活躍程度和用戶粘性計算等）；
診斷分析（例如分析為何用戶粘性下降、根據日誌分析系統為何性能下降、垃圾郵件以及病毒的特徵檢測等）；
決策（例如個性化新聞閱讀或歌曲推薦、預測增加哪些功能能增加用戶粘性、幫助廣告主進行廣告精準投放、設定垃圾郵件和病毒攔截策略等）。
圖 1
進一步來看，大數據技術從以下三個方面解決了傳統技術難以達成的目標（如圖1）：
在歷史數據上的低延遲（互動式）查詢，目標是加快決策過程和時間， 例如分析一個站點為何變緩慢並嘗試修復它；
在實時數據上的低延遲查詢，目的是幫助用戶和應用程序在實時數據上做出決策， 例如實時檢測並阻攔病毒蠕蟲（一個病毒蠕蟲可以在1.3秒內攻擊1百萬台主機）；
更加精細高級的數據處理演算法，這可以幫助用戶做出「更好」的決策， 例如圖數據處理、異常點檢測、趨勢分析及其他機器學習演算法。
蛋糕模式
從將數據轉換成價值的角度來說，在Hadoop生態圈十年蓬勃成長的過程中，YARN和Spark這二者可以算得上是里程碑事件。Yarn的出現使得集群資源管理和數據處理流水線分離，大大革新並推動了大數據應用層面各種框架的發展（SQL on Hadoop框架, 流數據，圖數據，機器學習）。
它使得用戶不再受到MapRece開發模式的約束，而是可以創建種類更為豐富的分布式應用程序，並讓各類應用程序運行在統一的架構上，消除了為其他框架維護獨有資源的開銷。就好比一個多層蛋糕，下面兩層是HDFS和Yarn, 而MapRece就只是蛋糕上層的一根蠟燭而已，在蛋糕上還能插各式各樣的蠟燭。
在這一架構體系中，總體數據處理分析作業分三塊（圖2），在HBase上做互動式查詢（Apache Phoenix, Cloudera Impala等）， 在歷史數據集上編寫MapRece程序抑或利用Hive等做批處理業務， 另外對於實時流數據分析Apache Storm則會是一種標准選擇方案。
雖然Yarn的出現極大地豐富了Hadoop生態圈的應用場景，但仍存有兩個顯而易見的挑戰：一是在一個平台上需要維護三個開發堆棧；二是在不同框架內很難共享數據，比如很難在一個框架內對流數據做互動式查詢。這也意味著我們需要一個更為統一和支持更好抽象的計算框架的出現。
圖 2
一統江湖
Spark的出現使得批處理任務，互動式查詢，實時流數據處理被整合到一個統一的框架內（圖3），同時Spark和現有的開源生態系統也能夠很好地兼容（Hadoop, HDFS, Yarn, Hive, Flume）。 通過啟用內存分布數據集，優化迭代工作負載， 用戶能夠更簡單地操作數據，並在此基礎上開發更為精細的演算法，如機器學習和圖演算法等。
有三個最主要的原因促使Spark目前成為了時下最火的大數據開源社區（擁有超過來自200多個公司的800多個contributors）：
Spark可以擴展部署到超過8000節點並處理PB級別的數據，同時也提供了很多不錯的工具供應用開發者進行管理和部署；
Spark提供了一個互動式shell供開發者可以用Scala或者Python即時性試驗不同的功能；
Spark提供了很多內置函數使得開發者能夠比較容易地寫出低耦合的並且能夠並發執行的代碼，這樣開發人員就更能集中精力地為用戶提供更多的業務功能而不是花費時間在優化並行化代碼之上。
當然Spark也和當年的MapRece一樣不是萬靈葯，比如對實時性要求很高的流數據處理上Apache Storm還是被作為主流選擇， 因為Spark Streaming實際上是microbatch（將一個流數據按時間片切成batch,每個batch提交一個job）而不是事件觸發實時系統，所以雖然支持者們認為microbatch在系統延時性上貢獻並不多，但在生產環境中和Apache Storm相比還不是特別能滿足對低延時要求很高的應用場景。
比如在實踐過程中， 如果統計每條消息的平均處理時間，很容易達到毫秒級別，但一旦統計類似service assurance（確保某條消息在毫秒基本能被處理完成）的指標， 系統的瓶頸有時還是不能避免。
但同時我們不能不注意到，在許多用例當中，與流數據的交互以及和靜態數據集的結合是很有必要的, 例如我們需要在靜態數據集上進行分類器的模型計算，並在已有分類器模型的基礎上，對實時進入系統的流數據進行交互計算來判定類別。
由於Spark的系統設計對各類工作（批處理、流處理以及互動式工作）進行了一個共有抽象，並且生態圈內延伸出了許多豐富的庫（MLlib機器學習庫、SQL語言API、GraphX）, 使得用戶可以在每一批流數據上進行靈活的Spark相關操作，在開發上提供了許多便利。
Spark的成熟使得Hadoop生態圈在短短一年之間發生了翻天覆地的變化， Cloudera和Hortonworks紛紛加入了Spark陣營，而Hadoop項目群中除了Yarn之外已經沒有項目是必須的了（雖然Mesos已在一些場合替代了Yarn）, 因為就連HDFS，Spark都可以不依賴。但很多時候我們仍然需要像Impala這樣的依賴分布式文件系統的MPP解決方案並利用Hive管理文件到表的映射，因此Hadoop傳統生態圈依然有很強的生命力。
另外在這里簡要對比一下互動式分析任務中各類SQL on Hadoop框架，因為這也是我們在實際項目實施中經常遇到的問題。我們主要將注意力集中在Spark SQL, Impala和Hive on Tez上, 其中Spark SQL是三者之中歷史最短的，論文發表在15年的SIGMOD會議上， 原文對比了數據倉庫上不同類型的查詢在Shark（Spark最早對SQL介面提供的支持）、Spark SQL和Impala上的性能比較。
也就是說， 雖然Spark SQL在Shark的基礎上利用Catalyst optimizer在代碼生成上做了很多優化，但總體性能還是比不上Impala, 尤其是當做join操作的時候， Impala可以利用「predicate pushdown」更早對表進行選擇操作從而提高性能。
不過Spark SQL的Catalyst optimizer一直在持續優化中，相信未來會有更多更好的進展。Cloudera的Benchmark評測中Impala一直比其他SQL on Hadoop框架性能更加優越，但同時Hortonworks評測則指出雖然單個數據倉庫查詢Impala可以在很短的時間內完成，但是一旦並發多個查詢Hive on Tez的優勢就展示出來。另外Hive on Tez在SQL表達能力也要比Impala更強（主要是因為Impala的嵌套存儲模型導致的）， 因此根據不同的場景選取不同的解決方案是很有必要的。
圖 3
各領風騷抑或代有才人出？
近一年比較吸引人眼球的Apache Flink（與Spark一樣已有5年歷史，前身已經是柏林理工大學一個研究性項目，被其擁躉推崇為繼MapRece, Yarn，Spark之後第四代大數據分析處理框架）。 與Spark相反，Flink是一個真正的實時流數據處理系統，它將批處理看作是流數據的特例，同Spark一樣它也在嘗試建立一個統一的平台運行批量，流數據，互動式作業以及機器學習，圖演算法等應用。
Flink有一些設計思路是明顯區別於Spark的，一個典型的例子是內存管理，Flink從一開始就堅持自己精確的控制內存使用並且直接操作二進制數據，而Spark一直到1.5版本都還是試用java的內存管理來做數據緩存，這也導致了Spark很容易遭受OOM以及JVM GC帶來的性能損失。
但是從另外一個角度來說, Spark中的RDD在運行時被存成java objects的設計模式也大大降低了用戶編程設計門檻， 同時隨著Tungsten項目的引入，Spark現在也逐漸轉向自身的內存管理， 具體表現為Spark生態圈內從傳統的圍繞RDD（分布式java對象集合）為核心的開發逐漸轉向以DataFrame(分布式行對象集合)為核心。
總的來說，這兩個生態圈目前都在互相學習，Flink的設計基因更為超前一些，但Spark社區活躍度大很多，發展到目前毫無疑問是更為成熟的選擇，比如對數據源的支持（HBase, Cassandra, Parquet, JSON, ORC）更為豐富以及更為統一簡潔的計算表示。另一方面，Apache Flink作為一個由歐洲大陸發起的項目，目前已經擁有來自北美、歐洲以及亞洲的許多貢獻者，這是否能夠一改歐洲在開源世界中一貫的被動角色，我們將在未來拭目以待。
2
NoSQL資料庫篇
NoSQL資料庫在主流選擇上依舊集中在MongoDB, HBase和Cassandra這三者之間。在所有的NoSQL選擇中，用C 編寫的MongoDB幾乎應該是開發者最快也最易部署的選擇。MongoDB是一個面向文檔的資料庫，每個文檔／記錄／數據（包括爬取的網頁數據及其他大型對象如視頻等）是以一種BSON（Binary JSON）的二進制數據格式存儲, 這使得MongoDB並不需要事先定義任何模式, 也就是模式自由（可以把完全不同結構的記錄放在同一個資料庫里）。
MongoDB對於完全索引的支持在應用上是很方便的，同時也具備一般NoSQL分布式資料庫中可擴展，支持復制和故障恢復等功能。 MongoDB一般應用於高度伸縮性的緩存及大尺寸的JSON數據存儲業務中，但不能執行「JOIN」操作，而且數據佔用空間也比較大，最被用戶詬病的就是由於MongoDB提供的是資料庫級鎖粒度導致在一些情況下建索引操作會引發整個資料庫阻塞。一般來說，MongoDB完全可以滿足一些快速迭代的中小型項目的需求。
下面來主要談談Cassandra和HBase之間的比較選擇。Cassandra和HBase有著截然不同的基因血統。HBase和其底層依賴的系統架構源自於著名的Google FileSystem（發表於2003年）和Google BigTable設計（發表於2006年）， 其克服了HDFS注重吞吐量卻犧牲I/O的缺點，提供了一個存儲中間層使得用戶或者應用程序可以隨機讀寫數據。
具體來說，HBase的更新和刪除操作實際上是先發生在內存MemStore中， 當MemStore滿了以後會Flush到StoreFile, 之後當StoreFile文件數量增長到一定閾值後會觸發Compact合並操作，因此HBase的更新操作其實是不斷追加的操作，而最終所有更新和刪除數據的持久化操作都是在之後Compact過程中進行的。
這使得應用程序在向內存MemStore寫入數據後，所做的修改馬上就能得到反映，用戶讀到的數據絕不會是陳舊的數據，保證了I/O高性能和數據完全一致性； 另一方面來說， HBase基於Hadoop生態系統的基因就已經決定了他自身的高度可擴展性、容錯性。
在數據模型上，Cassandra和HBase類似實現了一個key-value提供面向列式存儲服務，其系統設計參考了 Amazon Dynamo (發表於2007年) 分布式哈希（DHT）的P2P結構（實際上大部分Cassandra的初始工作都是由兩位從Amazon的Dynamo組跳槽到Facebook的工程師完成)，同樣具有很高的可擴展性和容錯性等特點。
除此之外， 相對HBase的主從結構，Cassandra去中心化的P2P結構能夠更簡單地部署和維護，比如增加一台機器只需告知Cassandra系統新節點在哪，剩下的交給系統完成就行了。同時，Cassandra對多數據中心的支持也更好，如果需要在多個數據中心進行數據遷移Cassandra會是一個更優的選擇。
Eric Brewer教授提出的經典CAP理論認為任何基於網路的數據共享系統，最多隻能滿足數據一致性、可用性、分區容忍性三要素中的兩個要素。實際分布式系統的設計過程往往都是在一致性與可用性上進行取捨，相比於HBase數據完全一致性的系統設計，Cassandra選擇了在優先考慮數據可用性的基礎上讓用戶自己根據應用程序需求決定系統一致性級別。
比如：用戶可以配置QUONUM參數來決定系統需要幾個節點返回數據才能向客戶端做出響應，ONE指只要有一個節點返回數據就可以對客戶端做出響應，ALL指等於數據復制份數的所有節點都返回結果才能向客戶端做出響應，對於數據一致性要求不是特別高的可以選擇ONE，它是最快的一種方式。
從基因和發展歷史上來說，HBase更適合用做數據倉庫和大規模數據處理與分析（比如對網頁數據建立索引）， 而Cassandra則更適合用作實時事務和互動式查詢服務。Cassandra在國外市場佔有比例和發展要遠比國內紅火， 在不少權威測評網站上排名都已經超過了HBase。目前Apache Cassandra的商業化版本主要由軟體公司DataStax進行開發和銷售推廣。另外還有一些NoSQL分布式資料庫如Riak, CouchDB也都在各自支持的廠商推動下取得了不錯的發展。
雖然我們也考慮到了HBase在實際應用中的不便之處比如對二級索引的支持程度不夠（只支持通過單個行鍵訪問，通過行鍵的范圍查詢，全表掃描），不過在明略的大數據基礎平台上，目前整合的是依然是HBase。
理由也很簡單，HBase出身就與Hadoop的生態系統緊密集成，其能夠很容易與其他SQL on Hadoop框架（Cloudera Impala, Apache Phoenix, or Hive on Tez）進行整合，而不需要重新部署一套分布式資料庫系統，而且可以很方便地將同樣的數據內容在同一個生態系統中根據不同框架需要來變換存儲格式（比如存儲成Hive表或者Parquet格式）。
我們在很多項目中都有需要用到多種SQL on Hadoop框架，來應對不同應用場景的情況，也體會到了在同一生態系統下部署多種框架的簡便性。 但同時我們也遇到了一些問題， 因為HBase項目本身與HDFS和Zookeeper系統分別是由不同開源團隊進行維護的，所以在系統整合時我們需要先對HBase所依賴的其他模塊進行設置再對HBase進行配置，在一定程度上降低了系統維護的友好性。
目前我們也已經在考慮將Cassandra應用到一些新的客戶項目中，因為很多企業級的應用都需要將線上線下資料庫進行分離，HBase更適合存儲離線處理的結果和數據倉庫，而更適合用作實時事務和並發交互性能更好的Cassandra作為線上服務資料庫會是一種很好的選擇。
3
大數據安全篇
隨著越來越多各式各樣的數據被存儲在大數據系統中，任何對企業級數據的破壞都是災難性的，從侵犯隱私到監管違規，甚至會造成公司品牌的破壞並最終影響到股東收益。給大數據系統提供全面且有效的安全解決方案的需求已經十分迫切：
大數據系統存儲著許多重要且敏感的數據，這些數據是企業長久以來的財富
與大數據系統互動的外部系統是動態變化的，這會給系統引入新的安全隱患
在一個企業的內部，不同Business Units會用不同的方式與大數據系統進行交互，比如線上的系統會實時給集群推送數據、數據科學家團隊則需要分析存儲在數據倉庫內的歷史數據、運維團隊則會需要對大數據系統擁有管理許可權。
因此為了保護公司業務、客戶、財務和名譽免於被侵害，大數據系統運維團隊必須將系統安全高度提高到和其他遺留系統一樣的級別。同時大數據系統並不意味著引入大的安全隱患，通過精細完整的設計，仍然能夠把一些傳統的系統安全解決方案對接到最新的大數據集群系統中。
一般來說，一個完整的企業級安全框架包括五個部分：
Administration: 大數據集群系統的集中式管理，設定全局一致的安全策略
Authentication: 對用戶和系統的認證
Authorization：授權個人用戶和組對數據的訪問許可權
Audit：維護數據訪問的日誌記錄
Data Protection：數據脫敏和加密以達到保護數據的目的
系統管理員要能夠提供覆蓋以上五個部分的企業級安全基礎設施，否則任何一環的缺失都可能給整個系統引入安全性風險。
在大數據系統安全集中式管理平台這塊，由Hortonworks推出的開源項目Apache Ranger就可以十分全面地為用戶提供Hadoop生態圈的集中安全策略的管理，並解決授權(Authorization)和審計(Audit)。例如，運維管理員可以輕松地為個人用戶和組對文件、數據等的訪問策略，然後審計對數據源的訪問。
與Ranger提供相似功能的還有Cloudera推出的Apache Sentry項目，相比較而言Ranger的功能會更全面一些。
而在認證（Authentication）方面, 一種普遍採用的解決方案是將基於Kerberos的認證方案對接到企業內部的LDAP環境中， Kerberos也是唯一為Hadoop全面實施的驗證技術。
另外值得一提的是Apache Knox Gateway項目，與Ranger提高集群內部組件以及用戶互相訪問的安全不同，Knox提供的是Hadoop集群與外界的唯一交互介面，也就是說所有與集群交互的REST API都通過Knox處理。這樣，Knox就給大數據系統提供了一個很好的基於邊緣的安全（perimeter-based security）。
基於以上提到的五個安全指標和Hadoop生態圈安全相關的開源項目， 已經足已證明基於Hadoop的大數據平台我們是能夠構建一個集中、一致、全面且有效的安全解決方案。
我市再ITjob管網上面找的
G. 如何創建一個大數據平台
所謂的大數據平台不是獨立存在的，比如網路是依賴搜索引擎獲得大數據並開展業務的，阿里是通過電子商務交易獲得大數據並開展業務的，騰訊是通過社交獲得大數據並開始業務的，所以說大數據平台不是獨立存在的，重點是如何搜集和沉澱數據，如何分析數據並挖掘數據的價值。
我可能還不夠資格回答這個問題，沒有經歷過一個公司大數據平台從無到有到復雜的過程。不過說說看法吧，也算是梳理一下想法找找噴。
這是個需求驅動的過程。
曾經聽過spotify的分享，印象很深的是，他們分享說，他們的hadoop集群第一次故障是因為，機器放在靠窗的地方，太陽曬了當機了（笑）。從簡單的沒有機房放在自家窗前的集群到一直到現在復雜的數據平台，這是一個不斷演進的過程。
對小公司來說，大概自己找一兩台機器架個集群算算，也算是大數據平台了。在初創階段，數據量會很小，不需要多大的規模。這時候組件選擇也很隨意，Hadoop一套，任務調度用腳本或者輕量的框架比如luigi之類的，數據分析可能hive還不如導入RMDB快。監控和部署也許都沒時間整理，用腳本或者輕量的監控，大約是沒有ganglia、nagios，puppet什麼的。這個階段也許算是技術積累，用傳統手段還是真大數據平台都是兩可的事情，但是為了今後的擴展性，這時候上Hadoop也許是不錯的選擇。
當進入高速發展期，也許擴容會跟不上計劃，不少公司可能會遷移平台到雲上，比如AWS阿里雲什麼的。小規模高速發展的平台，這種方式應該是經濟實惠的，省了運維和管理的成本，擴容比較省心。要解決的是選擇平台本身提供的服務，計算成本，打通數據出入的通道。整個數據平台本身如果走這條路，可能就已經基本成型了。走這條路的比較有名的應該是netflix。
也有一個階段，你發現雲服務的費用太高，雖然省了你很多事，但是花錢嗖嗖的。幾個老闆一合計，再玩下去下個月工資發布出來了。然後無奈之下公司開始往私有集群遷移。這時候你大概需要一群靠譜的運維，幫你監管機器，之前兩三台機器登錄上去看看狀態換個磁碟什麼的也許就不可能了，你面對的是成百上千台主機，有些關鍵服務必須保證穩定，有些是數據節點，磁碟三天兩頭損耗，網路可能被壓得不堪重負。你需要一個靠譜的人設計網路布局，設計運維規范，架設監控，值班團隊走起7*24小時隨時准備出台。然後上面再有平台組真的大數據平台走起。
然後是選型，如果有技術實力，可以直接用社區的一整套，自己管起來，監控部署什麼的自己走起。這個階段部署監控和用戶管理什麼的都不可能像兩三個節點那樣人肉搞了，配置管理，部署管理都需要專門的平台和組件；定期Review用戶的作業和使用情況，決定是否擴容，清理數據等等。否則等機器和業務進一步增加，團隊可能會死的很慘，疲於奔命，每天事故不斷，進入惡性循環。
當然有金錢實力的大戶可以找Cloudera，Hortonworks，國內可以找華為星環，會省不少事，適合非互聯網土豪。當然互聯網公司也有用這些東西的，比如Ebay。
接下去你可能需要一些重量的組件幫你做一些事情。
比如你的數據接入，之前可能找個定時腳本或者爬log發包找個伺服器接收寫入HDFS，現在可能不行了，這些大概沒有高性能，沒有異常保障，你需要更強壯的解決方案，比如Flume之類的。
你的業務不斷壯大，老闆需要看的報表越來越多，需要訓練的數據也需要清洗，你就需要任務調度，比如oozie或者azkaban之類的，這些系統幫你管理關鍵任務的調度和監控。
數據分析人員的數據大概可能漸漸從RDBMS搬遷到集群了，因為傳統資料庫已經完全hold不住了，但他們不會寫代碼，所以你上馬了Hive。然後很多用戶用了Hive覺得太慢，你就又上馬交互分析系統，比如Presto，Impala或者SparkSQL。
你的數據科學家需要寫ML代碼，他們跟你說你需要Mahout或者Spark MLLib，於是你也部署了這些。
至此可能數據平台已經是工程師的日常工作場所了，大多數業務都會遷移過來。這時候你可能面臨很多不同的問題。
比如各個業務線數據各種數據表多的一塌糊塗，不管是你還是寫數據的人大概都不知道數據從哪兒來，接下去到哪兒去。你就自己搞了一套元數據管理的系統。
你分析性能，發現你們的數據都是上百Column，各種復雜的Query，裸存的Text格式即便壓縮了也還是慢的要死，於是你主推用戶都使用列存，Parquet，ORC之類的。
又或者你發現你們的ETL很長，中間生成好多臨時數據，於是你下狠心把pipeline改寫成Spark了。
再接下來也許你會想到花時間去維護一個門戶，把這些零散的組件都整合到一起，提供統一的用戶體驗，比如一鍵就能把數據從資料庫chua一下拉到HDFS導入Hive，也能一鍵就chua一下再搞回去；點幾下就能設定一個定時任務，每天跑了給老闆自動推送報表；或者點一下就能起一個Storm的topology；或者界面上寫幾個Query就能查詢Hbase的數據。這時候你的數據平台算是成型了。
當然，磕磕碰碰免不了。每天你都有新的問題和挑戰，否則你就要失業了不是？
你發現社區不斷在解決你遇到過的問題，於是你們架構師每天分出很多時間去看社區的進展，有了什麼新工具，有什麼公司發布了什麼項目解決了什麼問題，興許你就能用上。
上了這些亂七八糟的東西，你以為就安生了？Hadoop平台的一個大特點就是坑多。尤其是新做的功能新起的項目。對於平台組的人，老闆如果知道這是天然坑多的平台，那他也許會很高興，因為跟進社區，幫忙修bug，一起互動其實是很提升公司影響力的實情。當然如果老闆不理解，你就自求多福吧，招幾個老司機，出了問題能馬上帶路才是正道。當然團隊的技術積累不能不跟上，因為數據平台還是亂世，三天不跟進你就不知道世界是什麼樣了。任何一個新技術，都是坑啊坑啊修啊修啊才完善的。如果是關鍵業務換技術，那需要小心再小心，技術主管也要有足夠的積累，能夠駕馭，知道收益和風險。
H. 公司級大數據處理平台的構建需要做哪些准備
按照大數據處理的流程，分為數據採集、數據存儲、數據提取、數據挖掘、數據分析，數據展現和應用。以下是鏈家網的案例，採用Hadoop集群建立BI和報表平台，以及採用業務員自助分析和數據挖掘、數據分析人員借用大數據平台的集群運算能力挖掘數據的雙模式業務。
除此之外，更傳統的企業對於大數據平台的應用也是基於以上的流程。
引用某大數據平台建設的案例，該機構是國家性研究機構，建立大數據平台主要收集市場數據，出台國家級的研究性報告，用於輔助市場決策。
從建設的及流程開始講起吧，算是提供一個方法論。
第一步是數據整合，對多源多類型的數據進行整合，實現數據共享。目前以帆軟報表FineReport為數據處理工具，以SQLServer為資料庫存儲平台，整合信息中心常用業務數據，常用的業務數據包括價格、進出口以及平衡表等。
第二步就是數據的抓取、處理激畢和分析並自動化生成系列產品報告，實現目標是解放生產力御盯。把業務人員從採集、整理、處理數據的體力勞動中解放出來，集中精力於市場深度分析研究、模型建立鎮鉛和。本質上還是數據整合，不同地方是數據自動採集，並依據構建的模型。技術選型：FineReport+FineBI+Python+Kettle(ETL工具)+SQLServer。
第三步是數據挖掘，目標是構建行業模型和行業計量模型實現科學決策。
依託一期、二期整合的數據和大數據，接下來將構建大數據能力，提供標准化的服務能力。但糧油的分析模型、行業積累模型，是一種因素模型、經驗模型，一定程度上依賴於分析師對市場的看法，這個模型分析結果需要分析師經驗和直覺來判斷，技術上要到位，所以這里通過帆軟報表FineReport和商業智能FineBI的結果,從數據報表、數據分析、數據挖掘三個層次，把數據轉化為信息把數據轉化為信息，使得業務人員能夠利用這些信息，輔助決策，這就是商業智能主要解決的問題。無論在哪個層次，核心目標就是「把數據轉化為信息」。
I. 怎麼開發大數據平台
開發數據大平台的操作方法具體如下。
1、操作體系的挑選。操作體系一般使用開源版的RedHat、Centos或許Debian作為底層的構建渠道，要根據大數據渠道所要建立的數據剖析東西能夠支撐的體系，正確的挑選操作體系的版本。
2、建立Hadoop集群。Hadoop作為一個開發和運行處理大規模數據的軟體渠道，實現了在大量的廉價計算機組成的集群中對海量數據進行分布式計算。Hadoop結構中最核心的規劃是HDFS和MapRece，HDFS是一個高度容錯性的體系，合適布置在廉價的機簡橡配器上，能夠供給高吞吐量的數據訪問，適用於那些有著超大數據集的應用程序；MapRece是一套能夠從海量的數據中提取數據最終回來成果集的編程模型。在生產實踐應用中，Hadoop非常合適應用於大數據存儲和大數據的剖析應用，合適服務於幾千台到幾萬台大的伺服器的集群運行，支撐PB級別的存儲容量。
3、挑選數據接入和預處理東西。面臨各種來源的數據，數據接入便是將這些零散的數據整合在一起，歸納起來進行剖析。數據接入首要包括文件日誌的接入、資料庫日誌的接入、關系型資料庫的接入和應用程序等的接入，數據接入常攔指用的東西有Flume，Logstash，NDC（網易數據運河體系），sqoop等。
4、數據存儲。除了Hadoop中已廣泛應用於數據存儲的HDFS，常用的還有分布式、面向列的開源資料庫Hbase，HBase是一種key、value體系，布置在HDFS上，與Hadoop一樣，HBase的目標首要是依靠橫向擴展，通過不斷的添加廉價的商用伺服器，添如耐加計算和存儲才能。同時hadoop的資源管理器Yarn，能夠為上層應用供給統一的資源管理和調度，為集群在利用率、資源統一等方面帶來巨大的優點。
5、挑選數據挖掘東西。Hive能夠將結構化的數據映射為一張資料庫表，並供給HQL的查詢功能，它是建立在Hadoop之上的數據倉庫根底架構，是為了削減MapRece編寫工作的批處理體系，它的出現能夠讓那些通曉SQL技術、可是不熟悉MapRece、編程才能較弱和不擅長Java的用戶能夠在HDFS大規模數據集上很好的利用SQL言語查詢、匯總、剖析數據。
6、數據的可視化以及輸出API。關於處理得到的數據能夠對接主流的BI體系，比如國外的Tableau、Qlikview、PowrerBI等，國內的SmallBI和新興的網易有數（可免費試用）等，將成果進行可視化，用於決策剖析；或許迴流到線上，支撐線上業務的開展。
J. 強產興城 | 安溪：空天大數據產業園 打造「數字福建」科創引擎
5月26日訊（記者尤燕姿洪泓塬文/圖）25日上午，泉州2022年重點項目巡迴集中采訪活動走進鐵觀音之鄉——安溪，了解安溪湖頭光電產業園二期啟動區、安溪全球商業遙感衛星地面接收站網福建站及空天大數據產業園等項目進展情況。
衛星地面站及空天大數據產業園
“森林發生火災，可通過遙感衛星精準定位並規劃出救援線路。”泉州中科星橋空天技術有限公司副總經理魏雷震介紹，基於國家空間基礎設施建設規劃，建設全球商業遙感衛星接收站網福建站、福建省首個國際領先空天大數據產業園並合作開展“星座計劃”。
遙感衛星站
該項目主要分為三個部分：
衛星地面站： 衛星地面站計劃佔地約30畝，計劃總投資3.1億元,主要建設1萬平方米場站科研辦公樓、4部衛星固定接收設備、1部衛星移動接收設備、衛星運控中心、數據處理中心、空天科技展廳、輔助設施設備、軟體系統等，並建立地區空天大資料庫，為 安溪縣 免費提供城市管理、應急救援等公益性服務。
該項目規劃建設4部遙感衛星接收天線，自2020年9月份啟動以來，已完成土建施工及兩部12米衛星固定接收設備預訂等前期工作。第一部接收天線於2022年4月完成安裝工作，正在進行現場調試及數據試接收工作；第二部接收天線設備已運抵現場，正在進行吊裝。
展廳一角
衛星解析度達到0.5米
空天產業園： 分期建設，一期啟動區由甲方協調信息產業園提供1.7萬平方米辦公場所。二期規劃佔地面積300畝，計劃總投資15億元，總建築面積40萬平方米，建有空天大數據中心、國際空天大數據交易中心、國際空天技術交流中心、院士工作站、省級國家級重點實驗室、國際聯合研發中心、空天科技人才培訓中心、空天數據企業總部基地、空天數據深加工基地、數據產業孵化基地、空天科技旅遊基地、青少年科普教育基地等，以此帶動空天地一體化產業上下游產業鏈的發展,為安溪縣數字經濟發展和“數字福建”建設打造核心競爭力和科創引擎。
魏雷震介紹，目前，已建成衛星運控中心、數據處理中心、空天科技展館等基礎設施，已有中科曙光、南方電網、西安中科等7家企業陸續注冊入駐，同時同中南大學、武漢大學、集美大學、華僑大學等正在協商共建學生實訓基地。
高分遙感衛星“星座計劃”： 總體規劃 60顆，計劃總投資 30億元，總體規劃至2030年全部發射入軌。一期 20顆計劃總投資 9 億元，為福建省及周邊地區的城市規劃、國土調查、工程勘察、經濟運行監測、智慧城市升級、農業防蟲、森林防火、應急救災等與國計民生息息相關的各個方面提供空天鏈路支撐和空天數據服務，該“星座計劃”將使安溪縣率先成為實現空天地一體化的城市。
首期計劃發射20顆衛星、總投資9億元；首星“安溪鐵觀音一號”2月27日在海南文昌發射，2月28日首軌數據成功被接收；“安溪鐵觀音二號”4月30日在我國東海海域的海上發射平台成功發射，該衛星是福建省首顆解析度達到0.5米的光學商業遙感衛星，也是我國目前民用和商用領域最高解析度的光學遙感衛星之一。
中國電影資料館安溪數字資源中心
中國電影資料館安溪數字資源中心，系中國電影資料館第二個異地資源庫，總投資5億元，主要建設安溪數字資源中心、國家影像修復基地、融媒體製作基地、藝術影院等。其中，數字資源中心裝修已完成，藝術影院主體封頂，預計今年8月竣工，12月對外運營。
中國電影資料館安溪數字資源中心
中國電影資料館北京電影資料庫副主任、安溪數字資源中心現場建設負責人左英介紹，目前的業務重點：1.壯大影視修復業務。依託全球前三的影視修復基地，搭建影像修復研發交易平台。2.開展影視記憶服務。依託憶庫公司，打造“喜馬拉雅AIGC研發中心”和“記憶整理保存服務平台”。3.豐富影視存儲資源。在已有中國電影資料館數字備份庫的基礎上，結合實際，新建兩大數據資源存儲平台，即國家廣電總局影視節目（安溪）數字資源庫和中華文化基因和華人形象基因庫。4.拓展影視產業鏈條。推動影視產業全鏈條開發，打造多元支撐的產業發展格局。開展影視文化活動，建設虛擬拍攝基地，助推特色文化保護，創新城市形象IP。
電影大數據
安溪數字資源中心主要業務為影視修復
半導體高新園區安溪分園
泉州芯谷安溪分園區
泉州芯谷安溪分園區辦事處副主任吳明燈介紹，泉州半導體高新技術產業園區安溪分園區（以下簡稱“泉州芯谷安溪分園區”），於2011年10月開工建設，是福建省最大最專業的LED高科技產業基地之一。
園區已建成首期2000畝，總投資超200億元，目前二期工程1030畝建設正不斷推進中。
幾年來，共實現產值上百億元，納稅超十億元，形成一個集生產基地、研發檢測、應用展示、商貿物流為一體的配套較齊全、產業鏈較完整的LED產業集群。2021年實現產值113.9億元、稅收1.27億元。
園區主要有以下特點：一是投資體量較大。入駐企業中，投資超10億有4家，即投資70億元的晶安光電、20億元的信達光電、20億元的天電光電、70億元的中科生物。二是技術含量較高。晶安光電是全球最大的藍寶石襯底製造商；信達光電是國內排名前列的LED封裝廠商；天電光電是全球最大的照明采購商；中科生物是三安集團與中科院植物所合作的項目，擁有全球單體最大的LED植物工廠，開創國內光生物產業先河。三是產業鏈較完整。園區基本形成產品涵蓋“襯底－晶元－封裝－應用”一條龍的完整光電產業鏈。四是基礎配套較完善。住房方面，現有人才公寓702套47000㎡，可供2000人入駐。
福建泉州 （安溪湖頭）光電產業園二期啟動區（一期）項目
吳明燈介紹，該項目為安溪縣2022年省級重點項目，佔地186.6畝，總投資4.29億元，採用“園中園”模式，分期分批建設標准化園區，以小間距LED、MicroLED，以及半導體外延製造和晶元製造為發展主線，規劃建設標准廠房、服務中心、生活配套等，將進一步做全做強半導體產業鏈，提高安溪光電產業集群整體影響力、競爭力。
福建泉州（安溪湖頭）光電產業園二期啟動區（一期）項目效果圖
吳明燈介紹，項目計劃2023年上半年部分建成投產，2024年下半年17萬平方米標准廠房建成投用。項目全部建成滿產後可創稅超1億元。
工作人員為記者講解
安溪最後一站，來到福建省中科生物股份有限公司。
福建省中科生物股份有限公司植物工廠廠長王金龍介紹，公司採用自有的系統解決方案，整合自主研發的栽培模組設備、植物光源系統、營養液配方、智能環境控制系統和機械化栽種設備，在十萬級凈化車間內，進行優質安全蔬菜生產。
植物工廠
植物工廠產業化基地，佔地面積300畝，投資8億多元，主要建設產業化車間生產高附加值的蔬菜、瓜果、花卉、中草葯，同時開展針對創新葯的原料生產加工，並利用在技術、資金、人才方面的優勢，率先在國內主要大型城市建設規模以上示範基地，為消費者提供綠色無污染、高品質的蔬菜、瓜果和保健食品。
生產出的綠色蔬菜
凈化車間內的蔬菜
此外，中科生物已在北美和中東建成示範基地，著力推廣具有我國自主知識產權的系統裝備和相關技術。