大数据解决方案模板

㈠ 大数据在开发中遇到的困难怎么解决方案

大数据时代下的信息技术日存在的问题：

第一：运营商带宽能力与对数据洪流的适应能力面临前所未有的挑战;

第二：大数据处理和分析的能力远远不及理想中水平，数据量的快速增长，对存储技术提出了挑战;同时，需要高速信息传输能力支持，与低密度有价值数据的快速分析、处理能力。

第三：部分早期的Hadoop项目将面临挑战;

第四：大数据环境下通过对用户数据的深度分析，很容易了解用户行为和喜好，乃至企业用户的商业机密，对个人隐私问题必须引起充分重视;

第五：大数据时代的基本特征，决定其在技术与商业模式上有巨大的创新空间，如何创新已成为大数据时代的一个首要问题;

第六：大数据时代对政府制订规则与监管部门发挥作用提出了新的挑战 大数据时代面临挑战的应对策略：

1、合理获取数据

在大数据时代，数据的产生速度飞快而且体量庞大，往往以TB或YB甚至是ZB来衡量。各种机构、个人都在不断地向外产生和发布结构化与非结构化的复杂数据，并进行数据交换，如人们当前最常用的数据来源渠道——互联网，每天的数据交换量已极为惊人。

2、存储随需而变

美国一家知名的 DVD 租赁企业每年都会邀请一些协同处理算法的专家对其用户数据进行分析，从而了解租赁客户的需求。

3、筛选与分析大数据

充分利用数据“洞察”自己身边的人或物，在诸多供给方当中精准地匹配自身需求，从而最大限度地满足自身吁求也是大数据价值的应有之义。

4、理性面对大数据的价值诱惑

毫无疑问，大数据时代将是商业智能“大显身手”的时代。企业利用发达的数据挖掘技术正日益精准地揣摩着消费者心态，并运用各种手段对其“循循善诱” 。

5、云计算和大数据相辅相成

为了满足大数据的需求，商务智能软件必须改变。

㈡ 大数据解决方案_大数据的应用解决方案

目前常用的大数据解决方案包括以下几类

一、Hadoop。Hadoop是颂斗盯一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。此外，Hadoop依赖于社区服务器，因此它的成本比较低，任何人都可以使用。

二、HPCC。HPCC，HighPerformanceComputingand(高性能计算与通信)的缩写。HPCC主要目标要达到：开发可扩展的计算系统及相关软件，以支持太位级网络传输性能，开发千兆比特网络技术，扩展研究和教育机构及野和网络连接能力。

三、Storm。Storm是自由的开源软件，一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流，用于处理Hadoop的批量数据。Storm支持许多种编程语言，使用起来非常有趣。Storm由Twitter开源而来

四、ApacheDrill。为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法，Apache软件基金会近日发起了一项名为“Drill”的开源项目。该项目帮助谷歌实现海量数据集的分析处理，包括分析抓取Web文档、跟踪安装在AndroidMarket上的应用程序数销败据、分析垃圾邮件、分析谷歌分布式构建系统上的测试结果等等。

㈢ EXCEL大数据量导出的解决方案

EXCEL大数据量导出的解决方案
将web页面上显示的报表导出到excel文件里是一种很常见的需求。润乾报表的类excel模型，支持excel文件数据无失真的导入导出，使用起来非常的方便。然而，当数据量较大的情况下，excel本身的支持最多65535行数据的问题便凸显出来。下面就给出大数据量导出到excel的解决方案。
首先，对于数据超过了65535行的问题，很自然的就会想到将整个数据分块，利用excel的多sheet页的功能，将超出65535行后的数据写入到下一个sheet页中，即通过多sheet页的方式，突破了最高65535行数据的限定。
具体做法就是：
单独做一个链接，使用JSP导出，在JSP上通过程序判断报表行数，超过65535行后分SHEET写入。这样这个问题就得以解决了。
更进一步地说，在这种大数据量的报表生成和导出中，要占用大量的内存，尤其是在使用TOMCAT的情况下，JVM最高只能支持到2G内存，则会发生内存溢出的情况。此时的内存开销主要是两部分，一部分是该报表生成时的开销，另一部分是该报表生成后写入一个EXCEL时的开销。由于JVM的GC机制是不能强制回收的，因此，对于此种情形，我们给出一个变通的解决方案。
首先，将该报表设置起始行和结束行参数，在API生成报表的过程中，分步计算报表，比如一张20万行数据的报表，在生成过程中，可通过起始行和结束行分4-5次进行。这样，就降低了报表生成时的内存占用，在后面报表生成的过程中，如果发现内存不够，即可自动启动JVM的GC机制，回收前面报表的缓存。
导出EXCEL的过程，放在每段生成报表之后立即进行，改多个SHEET页为多个EXCEL，即在分步生成报表的同时分步生成EXCEL，则通过POI包生成EXCEL的内存消耗也得以降低。通过多次生成，同样可以在后面EXCEL生成所需要的内存不足时，有效回收前面生成EXCEL时占用的内存。
再使用文件操作，对每个客户端的导出请求在服务器端根据SESSIONID和登陆时间生成唯一的临时目录，用来放置所生成的多个EXCEL，然后调用系统控制台，打包多个EXCEL为RAR或者JAR方式，最终反馈给用户一个RAR包或者JAR包，响应客户请求后，再次调用控制台删除该临时目录。
使用这种方法，首先是通过分段运算和生成，有效降低了报表从生成结果到生成EXCEL的内存开销。其次是通过使用压缩包，响应给用户的生成文件体积大大缩小，降低了多用户并发访问时服务器下载文件的负担，有效减少多个用户导出下载时服务器端的流量，从而达到进一步减轻服务器负载的效果。

㈣ 城市交通大数据可视化解决方案

作者 | 网络大数据

如今，城市交通拥堵状况日益严重。虽说智能交通布局在不断地完善，但交通管理仍旧收效甚微。数据独立存储难以融合应用、数据内在规律难寻、数据缺乏深度挖掘等诸多问题，其困难重重，该如何解决呢?不妨看看城市交通大数据可视化解决方案吧！

“大数据可视化”能够将城市运行核心系统的各项关键数据进行可视化呈现，通过贴合实战，从感官、操作、应用及数据四个维度解决交警个性化需求，构建业务场景深度应用，从而打通数据到决策的最短路径。交通管理者可以根据实战场景，利用各类图表、趋势图、视觉效果将庞杂枯燥的数据展现出来，进而深度挖掘内在数据规律，以此指导决策，助力城市交通健康的发展。

通过前端感知系统，实时获取城市交通动态信息。将各个子系统的数据录入数据可视化平台进行融合、分析后，呈现出不同场景下的交通信息个性化视图，从而为城市交通的管理和调控提供指导依据。

01强大的数据源整合能力

数据接入灵活多变，支持静态数据、API、数据库、本地数据四种数据对接模式，其中数据库类型支持主流的MySQL、Oracle、MPP，满足庞大、繁杂、多样数据的集中汇聚展示，从而实现不单单是海量数据表面的业务处理而是通过清洗杂乱数据，优化数据结构来进行深层次的信息挖掘，发现数据的真正含义。

02丰富的图表组件搭建工具

提供丰富多样化的图表组件工具，支持包括圆饼图、极区图、地图、柱状图等超过1100项效果配置，用户可以根据实际应用需求进行组合使用。通过结合大屏形成的组件搭配展示给人一种视觉冲击，不仅仅是简单的把数字用图表表示，而是帮助用户，发现数据背后的规律。

03多样化的场景模板

数据可视化平台提供多种应用场景模板，合理运用搭配色彩、布局以及组件，解决用户设计难题。简单的修饰即可使用，业务全景一目了然。

04图形化的编辑界面

用户也可以通过友好的图形化编辑模式完成样式编辑和数据配置，创建属于自己的个性化需求模板，并且可以进行分享，无需编程能力就能轻松搭建可视化应用。

从多个角度进行日常路网运行监测与协调管理、交通警情分析研判、重点人车管理，以满足常态下交通监测监管、应急状态下协同处置指挥调度的需要，满足交通行业各个场景的应用需求。

01交通态势可视化

通过对多项核心交通数据进行分析，实现交通态势评估，辅助交通管理部门依据交通评估结果动态跟踪、监测拥堵状态和预测变化趋势，为交通规划、交通优化的提供量化指标依据。

02设施运维管理

可视化运维基于系统中各种设备的运行状况，能及时直观的反映故障点位信息，包括设备在线情况、完好率以及设备故障类型，帮助运维人员解决问题、提高效率，让运维由繁化简，更加有效的保障智能交通系统的顺畅运行。

03重点车辆管控

通过构建重点车辆管控场景，可以帮助用户直观的了解到区域内所有重点车辆的类型和数量以及发放的通行证数量，实现对嫌疑车辆、布控车辆、涉案车辆、重点车辆等黑名单车辆实时监控告警强化交通管控力度。

04交通事件研判分析

针对历史交通流、交通违法、交通事故等数据进行分析汇总整合、专题化分析，达到科学细化管理目的，为交通管理部门在交通组织、警力部署、设备布设等方面的优化提供决策依据。

以上便是城市交通大数据可视化解决方案的有关介绍。

该方案不仅打通了各交警业务子系统间的数据壁垒，将交通大数据真正的价值发掘出来;更以丰富的视图展示满足了实战应用数据可视化场景需求，交通管理部门可通过清晰可视的交通动态图进行车流管控及警力调度，为城市交通的管理与健康发展带来极大的改善。

㈤ 政务大数据平台社会治理大数据平台建设设计解决方案

随着大数据的深入应用，政府数据资源日益受到重视。国家已发布多个文件，要求加强数据资源规划，强化数据资源管理，推进数据资源应用。

华宇智能数据（www.thunidata.com）

方案概述

政府部门众多且各自管理数据，形成数量巨大、结构复杂、类型众多，管理职责差异等现象，并导致各部门信息化差异大，汇聚统一及共享难度大，政府部门涉及国家安全、行业机密、个人隐私等安全风险大，各个部门垂直管理、数据分散、烟囱林立孤岛丛生。