大数据建模在哪里建

1. 如何在gis里建立三维城市模型

用cityengine，根据你已经有了的数据，分分钟可以做完。
3.18
既然有人感兴趣我就多说几句专。
1、你已属经有了DEM，那么下载一张影像图浮在DEM上可以基本上把三维地形做出来。
2、在GIS里面做好建筑基底要素数据库，其中就包括了你的建筑层高、高度等等属性。
3、看网上教程学会在cityengine里写几个简单的建筑体块规则。
4、通过拍照获取建筑立面材质、开窗、风格等，将规则赋予建筑基底就能生成了。
之所以建议使用cityengine的原因是题主作为规划出身，掌握并熟练ArcGIS挺重要的。cityengine与ArcGIS天然衔接，学习cityengine的同时也能将ArcGIS也学习了。同时cityengine的大批量建模对城市规划的建模优势很大，而3Dmax或SU与之相比的话显得精细化了，无疑增加了工作量。

2. 如何搭建大数据分析平台

1、 搭建大数据分析平台的背景
在大数据之前，BI就已经存在很久了，简单把大数据等同于BI，明显是不恰当的。但两者又是紧密关联的，相辅相成的。BI是达成业务管理的应用工具，没有BI，大数据就没有了价值转化的工具，就无法把数据的价值呈现给用户，也就无法有效地支撑企业经营管理决策；大数据则是基础，没有大数据，BI就失去了存在的基础，没有办法快速、实时、高效地处理数据，支撑应用。 所以，数据的价值发挥，大数据平台的建设，必然是囊括了大数据处理与BI应用分析建设的。
2、 大数据分析平台的特点
数据摄取、数据管理、ETL和数据仓库：提供有效的数据入库与管理数据用于管理作为一种宝贵的资源。
Hadoop系统功能：提供海量存储的任何类型的数据，大量处理功率和处理能力几乎是无限并行工作或任务
流计算在拉动特征：用于流的数据、处理数据并将这些流作为单个流。
内容管理特征：综合生命周期管理和文档内容。
数据治理综合：安全、治理和合规解决方案来保护数据。
3、 怎样去搭建大数据分析平台
大数据分析处理平台就是整合当前主流的各种具有不同侧重点的大数据处理分析框架和工具，实现对数据的挖掘和分析，一个大数据分析平台涉及到的组件众多，如何将其有机地结合起来，完成海量数据的挖掘是一项复杂的工作。我们可以利用亿信一站式数据分析平台（ABI），可以快速构建大数据分析平台，该平台集合了从数据源接入到ETL和数据仓库进行数据整合，再到数据分析，全部在一个平台上完成。
亿信一站式数据分析平台（ABI）囊括了企业全部所需的大数据分析工具。ABI可以对各类业务进行前瞻性预测分析，并为企业各层次用户提供统一的决策分析支持，提升数据共享与流转能力。

3. 7.阿里大数据——大数据建模

数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角度合理存储数据。
适合业务和基础数据存储环境的模型，大数据能获得以下好处：

大数据系统需要数据模型方法来帮助更好的组织和存储数据，以便在性能、成本、效率和质量之间取得最佳平衡。

不管是Hadoop、Spark还是阿里巴巴集团的MaxCompute系统，仍然在大规模使用SQL进行数据的加工和处理，仍然在用Table存储数据，仍然在使用关系理论描述数据之间的关系，只是在大数据领域，基于其数据存取的特点在关系数据模型的范式上有了不同的选择而已。

从全企业的高度设计一个3NF模型，用实体关系（Entity Relationship，ER）模型描述企业业务，在范式理论上符合3NF。数据仓库中的3NF与OLTP中不同过，有以下特点：

ER模型建设数据仓库的出发点是整合数据，为数据分析决策服务。建模步骤分为三个阶段：

维度建模从分析决策的需求出发构建模型，为分析需求服务，因此它重点关注用户如何更快速地完成需求分析，同时具有较好的大规模复杂查询的响应性能。其典型代表事星形模型，以及在一些特殊场景下使用的雪花模型。其设计步骤如下：

它是ER模型的衍生，其设计的出发点也是为了实现数据的整合，但不能直接用于数据分析决策。它强调建立一个可审计的基础数据层，也就是强调数据的历史性、可追溯性和原子性，而不要求对数据进行过度的一致性处理和整合。该模型由一下几部分组成：

Anchor对Data Vault模型做了进一步规范化处理，设计的初衷是一个高度可扩展的模型，其核心思想是所有的扩展只是添加而不是修改，因此将模型规范到6NF，基本变成了k-v结构化模型。组成如下：

经历了多个阶段：

4. 如何创建一个大数据平台

所谓的大数据平台不是独立存在的，比如网络是依赖搜索引擎获得大数据并开展业务的，阿里是通过电子商务交易获得大数据并开展业务的，腾讯是通过社交获得大数据并开始业务的，所以说大数据平台不是独立存在的，重点是如何搜集和沉淀数据，如何分析数据并挖掘数据的价值。

我可能还不够资格回答这个问题，没有经历过一个公司大数据平台从无到有到复杂的过程。不过说说看法吧，也算是梳理一下想法找找喷。
这是个需求驱动的过程。
曾经听过spotify的分享，印象很深的是，他们分享说，他们的hadoop集群第一次故障是因为，机器放在靠窗的地方，太阳晒了当机了（笑）。从简单的没有机房放在自家窗前的集群到一直到现在复杂的数据平台，这是一个不断演进的过程。
对小公司来说，大概自己找一两台机器架个集群算算，也算是大数据平台了。在初创阶段，数据量会很小，不需要多大的规模。这时候组件选择也很随意，Hadoop一套，任务调度用脚本或者轻量的框架比如luigi之类的，数据分析可能hive还不如导入RMDB快。监控和部署也许都没时间整理，用脚本或者轻量的监控，大约是没有ganglia、nagios，puppet什么的。这个阶段也许算是技术积累，用传统手段还是真大数据平台都是两可的事情，但是为了今后的扩展性，这时候上Hadoop也许是不错的选择。
当进入高速发展期，也许扩容会跟不上计划，不少公司可能会迁移平台到云上，比如AWS阿里云什么的。小规模高速发展的平台，这种方式应该是经济实惠的，省了运维和管理的成本，扩容比较省心。要解决的是选择平台本身提供的服务，计算成本，打通数据出入的通道。整个数据平台本身如果走这条路，可能就已经基本成型了。走这条路的比较有名的应该是netflix。
也有一个阶段，你发现云服务的费用太高，虽然省了你很多事，但是花钱嗖嗖的。几个老板一合计，再玩下去下个月工资发布出来了。然后无奈之下公司开始往私有集群迁移。这时候你大概需要一群靠谱的运维，帮你监管机器，之前两三台机器登录上去看看状态换个磁盘什么的也许就不可能了，你面对的是成百上千台主机，有些关键服务必须保证稳定，有些是数据节点，磁盘三天两头损耗，网络可能被压得不堪重负。你需要一个靠谱的人设计网络布局，设计运维规范，架设监控，值班团队走起7*24小时随时准备出台。然后上面再有平台组真的大数据平台走起。
然后是选型，如果有技术实力，可以直接用社区的一整套，自己管起来，监控部署什么的自己走起。这个阶段部署监控和用户管理什么的都不可能像两三个节点那样人肉搞了，配置管理，部署管理都需要专门的平台和组件；定期Review用户的作业和使用情况，决定是否扩容，清理数据等等。否则等机器和业务进一步增加，团队可能会死的很惨，疲于奔命，每天事故不断，进入恶性循环。
当然有金钱实力的大户可以找Cloudera，Hortonworks，国内可以找华为星环，会省不少事，适合非互联网土豪。当然互联网公司也有用这些东西的，比如Ebay。
接下去你可能需要一些重量的组件帮你做一些事情。
比如你的数据接入，之前可能找个定时脚本或者爬log发包找个服务器接收写入HDFS，现在可能不行了，这些大概没有高性能，没有异常保障，你需要更强壮的解决方案，比如Flume之类的。
你的业务不断壮大，老板需要看的报表越来越多，需要训练的数据也需要清洗，你就需要任务调度，比如oozie或者azkaban之类的，这些系统帮你管理关键任务的调度和监控。
数据分析人员的数据大概可能渐渐从RDBMS搬迁到集群了，因为传统数据库已经完全hold不住了，但他们不会写代码，所以你上马了Hive。然后很多用户用了Hive觉得太慢，你就又上马交互分析系统，比如Presto，Impala或者SparkSQL。
你的数据科学家需要写ML代码，他们跟你说你需要Mahout或者Spark MLLib，于是你也部署了这些。
至此可能数据平台已经是工程师的日常工作场所了，大多数业务都会迁移过来。这时候你可能面临很多不同的问题。
比如各个业务线数据各种数据表多的一塌糊涂，不管是你还是写数据的人大概都不知道数据从哪儿来，接下去到哪儿去。你就自己搞了一套元数据管理的系统。
你分析性能，发现你们的数据都是上百Column，各种复杂的Query，裸存的Text格式即便压缩了也还是慢的要死，于是你主推用户都使用列存，Parquet，ORC之类的。
又或者你发现你们的ETL很长，中间生成好多临时数据，于是你下狠心把pipeline改写成Spark了。
再接下来也许你会想到花时间去维护一个门户，把这些零散的组件都整合到一起，提供统一的用户体验，比如一键就能把数据从数据库chua一下拉到HDFS导入Hive，也能一键就chua一下再搞回去；点几下就能设定一个定时任务，每天跑了给老板自动推送报表；或者点一下就能起一个Storm的topology；或者界面上写几个Query就能查询Hbase的数据。这时候你的数据平台算是成型了。
当然，磕磕碰碰免不了。每天你都有新的问题和挑战，否则你就要失业了不是？
你发现社区不断在解决你遇到过的问题，于是你们架构师每天分出很多时间去看社区的进展，有了什么新工具，有什么公司发布了什么项目解决了什么问题，兴许你就能用上。
上了这些乱七八糟的东西，你以为就安生了？Hadoop平台的一个大特点就是坑多。尤其是新做的功能新起的项目。对于平台组的人，老板如果知道这是天然坑多的平台，那他也许会很高兴，因为跟进社区，帮忙修bug，一起互动其实是很提升公司影响力的实情。当然如果老板不理解，你就自求多福吧，招几个老司机，出了问题能马上带路才是正道。当然团队的技术积累不能不跟上，因为数据平台还是乱世，三天不跟进你就不知道世界是什么样了。任何一个新技术，都是坑啊坑啊修啊修啊才完善的。如果是关键业务换技术，那需要小心再小心，技术主管也要有足够的积累，能够驾驭，知道收益和风险。

5. 怎么搭建大数据分析平台

未至科技数据中心解决方案是以组织价值链分析模型为理论指导，结合组织战略规版划和面向对象权的方法论，对组织信息化战略进行规划重造立足数据，以数据为基础建立组织信息化标准，提供面向数据采集、处理、挖掘、分析、服务为组织提供一整套的基础解决方案。未至数据中心解决方案采用了当前先进的大数据技术，基于Hadoop架构，利用HDFS、Hive、Impala等大数据技术架构组件和公司自有ETL工具等中间件产品，建立了组织内部高性能、高效率的信息资源大数据服务平台，实现组织内数亿条以上数据的秒级实时查询、更新、调用、分析等信息资源服务。未至数据中心解决方案将，为公安、教育、旅游、住建等各行业业务数据中心、城市公共基础数据库平台、行业部门信息资源基础数据库建设和数据资源规划、管理等业务提供了一体化的解决方案。

6. 大数据模型建模方法

以下是常见的大数据模型建模方法：

7. 创建有效的大数据模型的6个技巧

创建有效的大数据模型的6个技巧
数据建模是一门复杂的科学，涉及组织企业的数据以适应业务流程的需求。它需要设计逻辑关系，以便数据可以相互关联，并支持业务。然后将逻辑设计转换成物理模型，该物理模型由存储数据的存储设备、数据库和文件组成。
历史上，企业已经使用像SQL这样的关系数据库技术来开发数据模型，因为它非常适合将数据集密钥和数据类型灵活地链接在一起，以支持业务流程的信息需求。
不幸的是，大数据现在包含了很大比例的管理数据，并不能在关系数据库上运行。它运行在像NoSQL这样的非关系数据库上。这导致人们认为可能不需要大数据模型。
问题是，企业确实需要对大数据进行数据建模。
以下是大数据建模的六个提示：
1.不要试图将传统的建模技术强加于大数据
传统的固定记录数据在其增长中稳定且可预测的，这使得建模相对容易。相比之下，大数据的指数增长是不可预测的，其无数形式和来源也是如此。当网站考虑建模大数据时，建模工作应该集中在构建开放和弹性数据接口上，因为人们永远不知道何时会出现新的数据源或数据形式。这在传统的固定记录数据世界中并不是一个优先事项。
2.设计一个系统，而不是一个模式
在传统的数据领域中，关系数据库模式可以涵盖业务对其信息支持所需的数据之间的大多数关系和链接。大数据并非如此，它可能没有数据库，或者可能使用像NoSQL这样的数据库，它不需要数据库模式。
正因为如此，大数据模型应该建立在系统上，而不是数据库上。大数据模型应包含的系统组件包括业务信息需求、企业治理和安全、用于数据的物理存储、所有类型数据的集成、开放接口，以及处理各种不同数据类型的能力。
3.寻找大数据建模工具
有商业数据建模工具可以支持Hadoop以及像Tableau这样的大数据报告软件。在考虑大数据工具和方法时，IT决策者应该包括为大数据构建数据模型的能力，这是要求之一。
4.关注对企业的业务至关重要的数据
企业每天都会输入大量的数据，而这些大数据大部分是无关紧要的。创建包含所有数据的模型是没有意义的。更好的方法是确定对企业来说至关重要的大数据，并对这些数据进行建模。
5.提供高质量的数据
如果组织专注于开发数据的正确定义和完整的元数据来描述数据来自何处、其目的是什么等等，那么可以对大数据模型产生更好的数据模型和关系。可以更好地支持支持业务的数据模型。
6.寻找数据的关键切入点
当今最常用的大数据载体之一就是地理位置，这取决于企业的业务和行业，还
有其他用户需要的大数据常用密钥。企业越能够识别数据中的这些常用入口点，就越能够设计出支持企业关键信息访问路径的数据模型。

8. 国内做大数据的公司有哪些

1、上海市大数据股份有限公司（简称“上海大数据股份”），是经上海市人民政府批准成立的国有控股混合所有制企业。

致力于成为智慧城市建设的主力军、国内大数据应用领域的领军企业和全球领先的公共大数据管理和价值挖掘解决方案提供商，满足政府对公共数据治理和提升城市管理及公共服务水平的要求，构建公共大数据与商业数据服务、以及政企数据融合的桥梁，促进社会经济发展。

2、辉略(上海)大数据科技有限公司，目前在中国交通（城市智能信号灯优化模型与平台，交通预算决策系统模型等）、环境（PM2.5污染检测和治理）、医疗（医院WIFI定位模型，病历匹配模型等）、汽车（用户购买转化率模型）等领域进行大数据项目运营与模型开发。

3、成都市大数据股份有限公司成立于2013年，作为成都市实施国家大数据发展战略的载体，2018年完成股份制改革并挂牌新三板，成都产业集团全资持股，主要涉及数据运营、投资并购、信息技术三大业务方向。

(8)大数据建模在哪里建扩展阅读：

大数据发展的一些趋势：

趋势一：数据的资源化

何为资源化，是指大数据成为企业和社会关注的重要战略资源，并已成为大家争相抢夺的新焦点。因而，企业必须要提前制定大数据营销战略计划，抢占市场先机。

趋势二：与云计算的深度结合

大数据离不开云处理，云处理为大数据提供了弹性可拓展的基础设备，是产生大数据的平台之一。自2013年开始，大数据技术已开始和云计算技术紧密结合，预计未来两者关系将更为密切。除此之外，物联网、移动互联网等新兴计算形态，也将一齐助力大数据革命，让大数据营销发挥出更大的影响力。

9. 大数据平台是什么什么时候需要大数据平台如何建立大数据平台

首先我们要了解java语言和Linux操作系统，这两个是学习大数据的基础，学习的顺序不分前后。

Java ：只要了解一些基础即可，做大数据不需要很深的Java 技术，学java SE 就相当于有学习大数据基础。

Linux：因为大数据相关软件都是在Linux上运行的，所以Linux要学习的扎实一些，学好Linux对你快速掌握大数据相关技术会有很大的帮助，能让你更好的理解hadoop、hive、hbase、spark等大数据软件的运行环境和网络环境配置，能少踩很多坑，学会shell就能看懂脚本这样能更容易理解和配置大数据集群。还能让你对以后新出的大数据技术学习起来更快。

Hadoop：这是现在流行的大数据处理平台几乎已经成为大数据的代名词，所以这个是必学的。Hadoop里面包括几个组件HDFS、MapRece和YARN，HDFS是存储数据的地方就像我们电脑的硬盘一样文件都存储在这个上面，MapRece是对数据进行处理计算的，它有个特点就是不管多大的数据只要给它时间它就能把数据跑完，但是时间可能不是很快所以它叫数据的批处理。

Zookeeper：这是个万金油，安装Hadoop的HA的时候就会用到它，以后的Hbase也会用到它。它一般用来存放一些相互协作的信息，这些信息比较小一般不会超过1M，都是使用它的软件对它有依赖，对于我们个人来讲只需要把它安装正确，让它正常的run起来就可以了。

Mysql：我们学习完大数据的处理了，接下来学习学习小数据的处理工具mysql数据库，因为一会装hive的时候要用到，mysql需要掌握到什么层度那?你能在Linux上把它安装好，运行起来，会配置简单的权限，修改root的密码，创建数据库。这里主要的是学习SQL的语法，因为hive的语法和这个非常相似。

Sqoop：这个是用于把Mysql里的数据导入到Hadoop里的。当然你也可以不用这个，直接把Mysql数据表导出成文件再放到HDFS上也是一样的，当然生产环境中使用要注意Mysql的压力。

Hive：这个东西对于会SQL语法的来说就是神器，它能让你处理大数据变的很简单，不会再费劲的编写MapRece程序。有的人说Pig那?它和Pig差不多掌握一个就可以了。

Oozie：既然学会Hive了，我相信你一定需要这个东西，它可以帮你管理你的Hive或者MapRece、Spark脚本，还能检查你的程序是否执行正确，出错了给你发报警并能帮你重试程序，最重要的是还能帮你配置任务的依赖关系。我相信你一定会喜欢上它的，不然你看着那一大堆脚本，和密密麻麻的crond是不是有种想屎的感觉。

Hbase：这是Hadoop生态体系中的NOSQL数据库，他的数据是按照key和value的形式存储的并且key是唯一的，所以它能用来做数据的排重，它与MYSQL相比能存储的数据量大很多。所以他常被用于大数据处理完成之后的存储目的地。

Kafka：这是个比较好用的队列工具，队列是干吗的?排队买票你知道不?数据多了同样也需要排队处理，这样与你协作的其它同学不会叫起来，你干吗给我这么多的数据(比如好几百G的文件)我怎么处理得过来，你别怪他因为他不是搞大数据的，你可以跟他讲我把数据放在队列里你使用的时候一个个拿，这样他就不在抱怨了马上灰流流的去优化他的程序去了，因为处理不过来就是他的事情。而不是你给的问题。当然我们也可以利用这个工具来做线上实时数据的入库或入HDFS，这时你可以与一个叫Flume的工具配合使用，它是专门用来提供对数据进行简单处理，并写到各种数据接受方(比如Kafka)的。

Spark：它是用来弥补基于MapRece处理数据速度上的缺点，它的特点是把数据装载到内存中计算而不是去读慢的要死进化还特别慢的硬盘。特别适合做迭代运算，所以算法流们特别稀饭它。它是用scala编写的。Java语言或者Scala都可以操作它，因为它们都是用JVM的。