大數據建模在哪裡建

1. 如何在gis里建立三維城市模型

用cityengine，根據你已經有了的數據，分分鍾可以做完。
3.18
既然有人感興趣我就多說幾句專。
1、你已屬經有了DEM，那麼下載一張影像圖浮在DEM上可以基本上把三維地形做出來。
2、在GIS裡面做好建築基底要素資料庫，其中就包括了你的建築層高、高度等等屬性。
3、看網上教程學會在cityengine里寫幾個簡單的建築體塊規則。
4、通過拍照獲取建築立面材質、開窗、風格等，將規則賦予建築基底就能生成了。
之所以建議使用cityengine的原因是題主作為規劃出身，掌握並熟練ArcGIS挺重要的。cityengine與ArcGIS天然銜接，學習cityengine的同時也能將ArcGIS也學習了。同時cityengine的大批量建模對城市規劃的建模優勢很大，而3Dmax或SU與之相比的話顯得精細化了，無疑增加了工作量。

2. 如何搭建大數據分析平台

1、 搭建大數據分析平台的背景
在大數據之前，BI就已經存在很久了，簡單把大數據等同於BI，明顯是不恰當的。但兩者又是緊密關聯的，相輔相成的。BI是達成業務管理的應用工具，沒有BI，大數據就沒有了價值轉化的工具，就無法把數據的價值呈現給用戶，也就無法有效地支撐企業經營管理決策；大數據則是基礎，沒有大數據，BI就失去了存在的基礎，沒有辦法快速、實時、高效地處理數據，支撐應用。 所以，數據的價值發揮，大數據平台的建設，必然是囊括了大數據處理與BI應用分析建設的。
2、 大數據分析平台的特點
數據攝取、數據管理、ETL和數據倉庫：提供有效的數據入庫與管理數據用於管理作為一種寶貴的資源。
Hadoop系統功能：提供海量存儲的任何類型的數據，大量處理功率和處理能力幾乎是無限並行工作或任務
流計算在拉動特徵：用於流的數據、處理數據並將這些流作為單個流。
內容管理特徵：綜合生命周期管理和文檔內容。
數據治理綜合：安全、治理和合規解決方案來保護數據。
3、 怎樣去搭建大數據分析平台
大數據分析處理平台就是整合當前主流的各種具有不同側重點的大數據處理分析框架和工具，實現對數據的挖掘和分析，一個大數據分析平台涉及到的組件眾多，如何將其有機地結合起來，完成海量數據的挖掘是一項復雜的工作。我們可以利用億信一站式數據分析平台（ABI），可以快速構建大數據分析平台，該平台集合了從數據源接入到ETL和數據倉庫進行數據整合，再到數據分析，全部在一個平台上完成。
億信一站式數據分析平台（ABI）囊括了企業全部所需的大數據分析工具。ABI可以對各類業務進行前瞻性預測分析，並為企業各層次用戶提供統一的決策分析支持，提升數據共享與流轉能力。

3. 7.阿里大數據——大數據建模

數據模型就是數據組織和存儲方法，它強調從業務、數據存取和使用角度合理存儲數據。
適合業務和基礎數據存儲環境的模型，大數據能獲得以下好處：

大數據系統需要數據模型方法來幫助更好的組織和存儲數據，以便在性能、成本、效率和質量之間取得最佳平衡。

不管是Hadoop、Spark還是阿里巴巴集團的MaxCompute系統，仍然在大規模使用SQL進行數據的加工和處理，仍然在用Table存儲數據，仍然在使用關系理論描述數據之間的關系，只是在大數據領域，基於其數據存取的特點在關系數據模型的範式上有了不同的選擇而已。

從全企業的高度設計一個3NF模型，用實體關系（Entity Relationship，ER）模型描述企業業務，在範式理論上符合3NF。數據倉庫中的3NF與OLTP中不同過，有以下特點：

ER模型建設數據倉庫的出發點是整合數據，為數據分析決策服務。建模步驟分為三個階段：

維度建模從分析決策的需求出發構建模型，為分析需求服務，因此它重點關注用戶如何更快速地完成需求分析，同時具有較好的大規模復雜查詢的響應性能。其典型代表事星形模型，以及在一些特殊場景下使用的雪花模型。其設計步驟如下：

它是ER模型的衍生，其設計的出發點也是為了實現數據的整合，但不能直接用於數據分析決策。它強調建立一個可審計的基礎數據層，也就是強調數據的歷史性、可追溯性和原子性，而不要求對數據進行過度的一致性處理和整合。該模型由一下幾部分組成：

Anchor對Data Vault模型做了進一步規范化處理，設計的初衷是一個高度可擴展的模型，其核心思想是所有的擴展只是添加而不是修改，因此將模型規范到6NF，基本變成了k-v結構化模型。組成如下：

經歷了多個階段：

4. 如何創建一個大數據平台

所謂的大數據平台不是獨立存在的，比如網路是依賴搜索引擎獲得大數據並開展業務的，阿里是通過電子商務交易獲得大數據並開展業務的，騰訊是通過社交獲得大數據並開始業務的，所以說大數據平台不是獨立存在的，重點是如何搜集和沉澱數據，如何分析數據並挖掘數據的價值。

我可能還不夠資格回答這個問題，沒有經歷過一個公司大數據平台從無到有到復雜的過程。不過說說看法吧，也算是梳理一下想法找找噴。
這是個需求驅動的過程。
曾經聽過spotify的分享，印象很深的是，他們分享說，他們的hadoop集群第一次故障是因為，機器放在靠窗的地方，太陽曬了當機了（笑）。從簡單的沒有機房放在自家窗前的集群到一直到現在復雜的數據平台，這是一個不斷演進的過程。
對小公司來說，大概自己找一兩台機器架個集群算算，也算是大數據平台了。在初創階段，數據量會很小，不需要多大的規模。這時候組件選擇也很隨意，Hadoop一套，任務調度用腳本或者輕量的框架比如luigi之類的，數據分析可能hive還不如導入RMDB快。監控和部署也許都沒時間整理，用腳本或者輕量的監控，大約是沒有ganglia、nagios，puppet什麼的。這個階段也許算是技術積累，用傳統手段還是真大數據平台都是兩可的事情，但是為了今後的擴展性，這時候上Hadoop也許是不錯的選擇。
當進入高速發展期，也許擴容會跟不上計劃，不少公司可能會遷移平台到雲上，比如AWS阿里雲什麼的。小規模高速發展的平台，這種方式應該是經濟實惠的，省了運維和管理的成本，擴容比較省心。要解決的是選擇平台本身提供的服務，計算成本，打通數據出入的通道。整個數據平台本身如果走這條路，可能就已經基本成型了。走這條路的比較有名的應該是netflix。
也有一個階段，你發現雲服務的費用太高，雖然省了你很多事，但是花錢嗖嗖的。幾個老闆一合計，再玩下去下個月工資發布出來了。然後無奈之下公司開始往私有集群遷移。這時候你大概需要一群靠譜的運維，幫你監管機器，之前兩三台機器登錄上去看看狀態換個磁碟什麼的也許就不可能了，你面對的是成百上千台主機，有些關鍵服務必須保證穩定，有些是數據節點，磁碟三天兩頭損耗，網路可能被壓得不堪重負。你需要一個靠譜的人設計網路布局，設計運維規范，架設監控，值班團隊走起7*24小時隨時准備出台。然後上面再有平台組真的大數據平台走起。
然後是選型，如果有技術實力，可以直接用社區的一整套，自己管起來，監控部署什麼的自己走起。這個階段部署監控和用戶管理什麼的都不可能像兩三個節點那樣人肉搞了，配置管理，部署管理都需要專門的平台和組件；定期Review用戶的作業和使用情況，決定是否擴容，清理數據等等。否則等機器和業務進一步增加，團隊可能會死的很慘，疲於奔命，每天事故不斷，進入惡性循環。
當然有金錢實力的大戶可以找Cloudera，Hortonworks，國內可以找華為星環，會省不少事，適合非互聯網土豪。當然互聯網公司也有用這些東西的，比如Ebay。
接下去你可能需要一些重量的組件幫你做一些事情。
比如你的數據接入，之前可能找個定時腳本或者爬log發包找個伺服器接收寫入HDFS，現在可能不行了，這些大概沒有高性能，沒有異常保障，你需要更強壯的解決方案，比如Flume之類的。
你的業務不斷壯大，老闆需要看的報表越來越多，需要訓練的數據也需要清洗，你就需要任務調度，比如oozie或者azkaban之類的，這些系統幫你管理關鍵任務的調度和監控。
數據分析人員的數據大概可能漸漸從RDBMS搬遷到集群了，因為傳統資料庫已經完全hold不住了，但他們不會寫代碼，所以你上馬了Hive。然後很多用戶用了Hive覺得太慢，你就又上馬交互分析系統，比如Presto，Impala或者SparkSQL。
你的數據科學家需要寫ML代碼，他們跟你說你需要Mahout或者Spark MLLib，於是你也部署了這些。
至此可能數據平台已經是工程師的日常工作場所了，大多數業務都會遷移過來。這時候你可能面臨很多不同的問題。
比如各個業務線數據各種數據表多的一塌糊塗，不管是你還是寫數據的人大概都不知道數據從哪兒來，接下去到哪兒去。你就自己搞了一套元數據管理的系統。
你分析性能，發現你們的數據都是上百Column，各種復雜的Query，裸存的Text格式即便壓縮了也還是慢的要死，於是你主推用戶都使用列存，Parquet，ORC之類的。
又或者你發現你們的ETL很長，中間生成好多臨時數據，於是你下狠心把pipeline改寫成Spark了。
再接下來也許你會想到花時間去維護一個門戶，把這些零散的組件都整合到一起，提供統一的用戶體驗，比如一鍵就能把數據從資料庫chua一下拉到HDFS導入Hive，也能一鍵就chua一下再搞回去；點幾下就能設定一個定時任務，每天跑了給老闆自動推送報表；或者點一下就能起一個Storm的topology；或者界面上寫幾個Query就能查詢Hbase的數據。這時候你的數據平台算是成型了。
當然，磕磕碰碰免不了。每天你都有新的問題和挑戰，否則你就要失業了不是？
你發現社區不斷在解決你遇到過的問題，於是你們架構師每天分出很多時間去看社區的進展，有了什麼新工具，有什麼公司發布了什麼項目解決了什麼問題，興許你就能用上。
上了這些亂七八糟的東西，你以為就安生了？Hadoop平台的一個大特點就是坑多。尤其是新做的功能新起的項目。對於平台組的人，老闆如果知道這是天然坑多的平台，那他也許會很高興，因為跟進社區，幫忙修bug，一起互動其實是很提升公司影響力的實情。當然如果老闆不理解，你就自求多福吧，招幾個老司機，出了問題能馬上帶路才是正道。當然團隊的技術積累不能不跟上，因為數據平台還是亂世，三天不跟進你就不知道世界是什麼樣了。任何一個新技術，都是坑啊坑啊修啊修啊才完善的。如果是關鍵業務換技術，那需要小心再小心，技術主管也要有足夠的積累，能夠駕馭，知道收益和風險。

5. 怎麼搭建大數據分析平台

未至科技數據中心解決方案是以組織價值鏈分析模型為理論指導，結合組織戰略規版劃和面向對象權的方法論，對組織信息化戰略進行規劃重造立足數據，以數據為基礎建立組織信息化標准，提供面向數據採集、處理、挖掘、分析、服務為組織提供一整套的基礎解決方案。未至數據中心解決方案採用了當前先進的大數據技術，基於Hadoop架構，利用HDFS、Hive、Impala等大數據技術架構組件和公司自有ETL工具等中間件產品，建立了組織內部高性能、高效率的信息資源大數據服務平台，實現組織內數億條以上數據的秒級實時查詢、更新、調用、分析等信息資源服務。未至數據中心解決方案將，為公安、教育、旅遊、住建等各行業業務數據中心、城市公共基礎資料庫平台、行業部門信息資源基礎資料庫建設和數據資源規劃、管理等業務提供了一體化的解決方案。

6. 大數據模型建模方法

以下是常見的大數據模型建模方法：

7. 創建有效的大數據模型的6個技巧

創建有效的大數據模型的6個技巧
數據建模是一門復雜的科學，涉及組織企業的數據以適應業務流程的需求。它需要設計邏輯關系，以便數據可以相互關聯，並支持業務。然後將邏輯設計轉換成物理模型，該物理模型由存儲數據的存儲設備、資料庫和文件組成。
歷史上，企業已經使用像SQL這樣的關系資料庫技術來開發數據模型，因為它非常適合將數據集密鑰和數據類型靈活地鏈接在一起，以支持業務流程的信息需求。
不幸的是，大數據現在包含了很大比例的管理數據，並不能在關系資料庫上運行。它運行在像NoSQL這樣的非關系資料庫上。這導致人們認為可能不需要大數據模型。
問題是，企業確實需要對大數據進行數據建模。
以下是大數據建模的六個提示：
1.不要試圖將傳統的建模技術強加於大數據
傳統的固定記錄數據在其增長中穩定且可預測的，這使得建模相對容易。相比之下，大數據的指數增長是不可預測的，其無數形式和來源也是如此。當網站考慮建模大數據時，建模工作應該集中在構建開放和彈性數據介面上，因為人們永遠不知道何時會出現新的數據源或數據形式。這在傳統的固定記錄數據世界中並不是一個優先事項。
2.設計一個系統，而不是一個模式
在傳統的數據領域中，關系資料庫模式可以涵蓋業務對其信息支持所需的數據之間的大多數關系和鏈接。大數據並非如此，它可能沒有資料庫，或者可能使用像NoSQL這樣的資料庫，它不需要資料庫模式。
正因為如此，大數據模型應該建立在系統上，而不是資料庫上。大數據模型應包含的系統組件包括業務信息需求、企業治理和安全、用於數據的物理存儲、所有類型數據的集成、開放介面，以及處理各種不同數據類型的能力。
3.尋找大數據建模工具
有商業數據建模工具可以支持Hadoop以及像Tableau這樣的大數據報告軟體。在考慮大數據工具和方法時，IT決策者應該包括為大數據構建數據模型的能力，這是要求之一。
4.關注對企業的業務至關重要的數據
企業每天都會輸入大量的數據，而這些大數據大部分是無關緊要的。創建包含所有數據的模型是沒有意義的。更好的方法是確定對企業來說至關重要的大數據，並對這些數據進行建模。
5.提供高質量的數據
如果組織專注於開發數據的正確定義和完整的元數據來描述數據來自何處、其目的是什麼等等，那麼可以對大數據模型產生更好的數據模型和關系。可以更好地支持支持業務的數據模型。
6.尋找數據的關鍵切入點
當今最常用的大數據載體之一就是地理位置，這取決於企業的業務和行業，還
有其他用戶需要的大數據常用密鑰。企業越能夠識別數據中的這些常用入口點，就越能夠設計出支持企業關鍵信息訪問路徑的數據模型。

8. 國內做大數據的公司有哪些

1、上海市大數據股份有限公司（簡稱「上海大數據股份」），是經上海市人民政府批准成立的國有控股混合所有制企業。

致力於成為智慧城市建設的主力軍、國內大數據應用領域的領軍企業和全球領先的公共大數據管理和價值挖掘解決方案提供商，滿足政府對公共數據治理和提升城市管理及公共服務水平的要求，構建公共大數據與商業數據服務、以及政企數據融合的橋梁，促進社會經濟發展。

2、輝略(上海)大數據科技有限公司，目前在中國交通（城市智能信號燈優化模型與平台，交通預算決策系統模型等）、環境（PM2.5污染檢測和治理）、醫療（醫院WIFI定位模型，病歷匹配模型等）、汽車（用戶購買轉化率模型）等領域進行大數據項目運營與模型開發。

3、成都市大數據股份有限公司成立於2013年，作為成都市實施國家大數據發展戰略的載體，2018年完成股份制改革並掛牌新三板，成都產業集團全資持股，主要涉及數據運營、投資並購、信息技術三大業務方向。

(8)大數據建模在哪裡建擴展閱讀：

大數據發展的一些趨勢：

趨勢一：數據的資源化

何為資源化，是指大數據成為企業和社會關注的重要戰略資源，並已成為大家爭相搶奪的新焦點。因而，企業必須要提前制定大數據營銷戰略計劃，搶占市場先機。

趨勢二：與雲計算的深度結合

大數據離不開雲處理，雲處理為大數據提供了彈性可拓展的基礎設備，是產生大數據的平台之一。自2013年開始，大數據技術已開始和雲計算技術緊密結合，預計未來兩者關系將更為密切。除此之外，物聯網、移動互聯網等新興計算形態，也將一齊助力大數據革命，讓大數據營銷發揮出更大的影響力。

9. 大數據平台是什麼什麼時候需要大數據平台如何建立大數據平台

首先我們要了解java語言和Linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。

Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據基礎。

Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。

Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。

Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。

Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。

Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。

Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。

Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。

Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。

Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。

Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。