大数据开发项目实例

『壹』 大数据开发能做什么能开发什么项目

零售业：主要集中在客户营销分析上，通过大数据技术可以对客户的消费信息进行专分析。获知

客户的消属费习惯、消费方向等，以便商场做好更合理商品、货架摆放，规划市场营销方案、产品推荐手段等。

金融业：在金融行业里头，数据即是生命，其信息系统中积累了大量客户的交易数据。通过大数据可以对客户的行为进行分析、防堵诈骗、金融风险分析等。

医疗业：通过大数据可以辅助分析疫情信息，对应做出相应的防控措施。对人体健康的趋势分析在电子病历、医学研发和临床试验中，可提高诊断准确性和药物有效性等。

制造业：该行业对大数据的需求主要体现在产品研发与设计、供应链管理、生产、售后服务等。通过数据分析，在产品研发过程中免除掉一些不必要的步骤，并且及时改善产品的制造与组装的流程。

『贰』 大数据分析Apache Spark的应用实例

在考虑Hadoop生态系统中的各种引擎时，重要的是要了解每个引擎在某些用例下效果最佳，并且企业可能需要使用多种工具组合才能满足每个所需的用例。话虽如此，这里是对Apache Spark的一些顶级用例的回顾。

一、流数据

Apache Spark的关键用例是其处理流数据的能力。由于每天要处理大量数据，因此对于公司而言，实时流传输和分析数据变得至关重要。Spark Streaming具有处理这种额外工作负载的能力。一些专家甚至认为，无论哪种类型，Spark都可以成为流计算应用程序的首选平台。提出此要求的原因是，Spark Streaming统一了不同的数据处理功能，从而使开发人员可以使用单个框架来满足其所有处理需求。

当今企业使用Spark Streaming的一般方式包括：

1、流式ETL –在数据仓库环境中用于批处理的传统ETL(提取，转换，加载)工具必须读取数据，将其转换为数据库兼容格式，然后再将其写入目标数据库。使用Streaming ETL，在将数据推送到数据存储之前，将对其进行连续的清理和聚合。

2、数据充实 –这种Spark Streaming功能通过将实时数据与静态数据相结合来充实实时数据，从而使组织能够进行更完整的实时数据分析。在线广告商使用数据充实功能将历史客户数据与实时客户行为数据结合起来，并根据客户的行为实时提供更多个性化和针对性的广告。

3、触发事件检测 – Spark Streaming使组织可以检测到可能对系统内部潜在严重问题的罕见或异常行为(“触发事件”)并做出快速响应。金融机构使用触发器来检测欺诈性交易并阻止其欺诈行为。医院还使用触发器来检测潜在的危险健康变化，同时监视患者的生命体征-向正确的护理人员发送自动警报，然后他们可以立即采取适当的措施。

4、复杂的会话分析 –使用Spark Streaming，与实时会话有关的事件(例如登录网站或应用程序后的用户活动)可以组合在一起并进行快速分析。会话信息还可以用于不断更新机器学习模型。诸如Netflix之类的公司使用此功能可立即了解用户在其网站上的参与方式，并提供更多实时电影推荐。

二、机器学习

许多Apache Spark用例中的另一个是它的机器学习功能。

Spark带有用于执行高级分析的集成框架，该框架可帮助用户对数据集进行重复查询，这从本质上讲就是处理机器学习算法。在此框架中找到的组件包括Spark的可扩展机器学习库(MLlib)。MLlib可以在诸如聚类，分类和降维等领域中工作。所有这些使Spark可以用于一些非常常见的大数据功能，例如预测智能，用于营销目的的客户细分以及情感分析。使用推荐引擎的公司将发现Spark可以快速完成工作。

网络安全是Spark 机器学习功能的一个很好的商业案例。通过使用Spark堆栈的各种组件，安全提供程序可以对数据包进行实时检查，以发现恶意活动的痕迹。在前端，Spark Streaming允许安全分析人员在将数据包传递到存储平台之前检查已知威胁。到达存储区后，数据包将通过其他堆栈组件(例如MLlib)进行进一步分析。因此，安全提供商可以在不断发展的过程中了解新的威胁-始终领先于黑客，同时实时保护其客户。

三、互动分析

Spark最显着的功能之一就是其交互式分析功能。MapRece是为处理批处理而构建的，而Hive或Pig等SQL-on-Hadoop引擎通常太慢，无法进行交互式分析。但是，Apache Spark足够快，可以执行探索性查询而无需采样。Spark还与包括SQL，R和Python在内的多种开发语言接口。通过将Spark与可视化工具结合使用，可以交互地处理和可视化复杂的数据集。

下一版本的Apache Spark(Spark 2.0)将于今年的4月或5月首次亮相，它将具有一项新功能- 结构化流 -使用户能够对实时数据执行交互式查询。通过将实时流与其他类型的数据分析相结合，预计结构化流将通过允许用户针对Web访问者当前会话运行交互式查询来促进Web分析。它也可以用于将机器学习算法应用于实时数据。在这种情况下，将对旧数据进行算法训练，然后将其重定向以合并新的数据，并在其进入内存时从中学习。

四、雾计算

尽管大数据分析可能会引起广泛关注，但真正激发技术界想象力的概念是物联网(IoT)。物联网通过微型传感器将对象和设备嵌入在一起，这些微型传感器彼此之间以及与用户进行通信，从而创建了一个完全互连的世界。这个世界收集了大量数据，对其进行处理，并提供革命性的新功能和应用程序供人们在日常生活中使用。但是，随着物联网的扩展，对大量，种类繁多的机器和传感器数据进行大规模并行处理的需求也随之增加。但是，利用云中的当前分析功能很难管理所有这些处理。

那就是雾计算和Apache Spark出现的地方。

雾计算将数据处理和存储分散化，而不是在网络边缘执行这些功能。但是，雾计算为处理分散数据带来了新的复杂性，因为它越来越需要低延迟，机器学习的大规模并行处理以及极其复杂的图形分析算法。幸运的是，有了Spark Streaming等关键堆栈组件，交互式实时查询工具(Shark)，机器学习库(MLib)和图形分析引擎(GraphX)，Spark不仅具有雾计算解决方案的资格。实际上，随着物联网行业逐渐不可避免地融合，许多行业专家预测，与其他开源平台相比，Spark有可能成为事实上的雾基础设施。

现实世界中的火花

如前所述，在线广告商和诸如Netflix之类的公司正在利用Spark获得见识和竞争优势。其他也从Spark受益的著名企业是：

Uber –这家跨国在线出租车调度公司每天都从其移动用户那里收集TB级的事件数据。通过使用Kafka，Spark Streaming和HDFS构建连续的ETL管道，Uber可以在收集原始非结构化事件数据时将其转换为结构化数据，然后将其用于进一步和更复杂的分析。

Pinterest –通过类似的ETL管道，Pinterest可以利用Spark Streaming即时了解世界各地的用户如何与Pins互动。因此，当人们浏览站点并查看相关的图钉时，Pinterest可以提出更相关的建议，以帮助他们选择食谱，确定要购买的产品或计划前往各个目的地的行程。

Conviva –这家流媒体视频公司每月平均约有400万个视频供稿，仅次于YouTube。Conviva使用Spark通过优化视频流和管理实时视频流量来减少客户流失，从而保持一致的流畅，高质量的观看体验。

何时不使用Spark

尽管它具有通用性，但这并不一定意味着Apache Spark的内存中功能最适合所有用例。更具体地说，大数据分析Apache Spark的应用实例Spark并非设计为多用户环境。Spark用户需要知道他们有权访问的内存对于数据集是否足够。添加更多的用户使此操作变得更加复杂，因为用户必须协调内存使用量才能同时运行项目。由于无法处理这种类型的并发，用户将需要为大型批处理项目考虑使用备用引擎，例如Apache Hive。

随着时间的流逝，Apache Spark将继续发展自己的生态系统，变得比以前更加通用。在大数据已成为规范的世界中，组织将需要找到最佳方式来利用它。从这些Apache Spark用例可以看出，未来几年将有很多机会来了解Spark的真正功能。

随着越来越多的组织认识到从批处理过渡到实时数据分析的好处，Apache Spark的定位是可以在众多行业中获得广泛而快速的采用。

『叁』 大数据应用案例有哪些

案例如下：

1、交通大数据畅通出行

交通作为人类行为的重要组成和重要条件之一，对于大数据的感知也是最急迫的。近年来，我国的智能交通已实现了快速发展，许多技术手段都达到了国际领先水平。交通的大数据应用主要在两个方面，一方面可以利用大数据传感器数据来了解车辆通行密度，合理进行道路规划包括单行线路规划。另一方面可以利用大活数据来实现即时信号灯调度，提高已有线路运行能力。

2、教育大数据因材施教

在课堂上，数据不仅可以帮助改善教育教学，在重大教育决策制定和教育改革方面，大数据更有用武之地。利用数据来诊断处在辍学危险期的学生、探索教育开支与学生学习成绩提升的关系、探索学生缺课与成绩的关系。

3、环保大数据对抗PM2.5

在美国NOAA（国家海洋暨大气总署）其实早就在使用大数据业务。每天通过卫星、船只、飞机、浮标、传感器等收集超过35亿份观察数据。收集完毕后，NOAA会汇总大气数据，海洋数据，以及地质数据，进行直接测定，绘制出复杂的高保真预测模型，将其提供给NWS（国家气象局）做出气象预报的参考数据。

大数据特点

1、大容量

例如，IDC最近的报告预测到2020年，世界数据量将扩大50倍.目前，大数据的规模仍然是不断变化的指标，单一数据集的规模范围从数十TB到数PB不同.简单来说，存储1PB数据需要2万台配备50GB硬盘的PC.此外，各种意想不到的来源可以产生数据。

2、多样性

数据多样性的增加主要是由于网络日志、社交媒体、网络检索、手机通话记录、传感器网络等数据类型。

3、高速

高速描述的是数据创建和移动的速度.在高速网络时代，通过实现软件性能优化的高速计算机处理器和服务器，创建实时数据流已成为流行趋势.企业不仅要知道如何快速创建数据，还要知道如何快速处理、分析和返回用户，以满足他们的实时需求。

『肆』 大数据和智慧交通有哪些应用的案例

智能交通成为改善城市交通的关键所在。为此，及时、准确获取交通数据并构建交通数据处理模型是建设智能交通的前提，而这一难题可以通过大数据技术得到解决。

智能交通整体框架主要包括物理感知层、软件应用平台及分析预测及优化管理的应用。其中物理感知层主要是对交通状况和交通数据的感知采集;软件应用平台是将各感知终端的信息进行整合、转换处理，以支撑分析预警与优化管理的应用系统建设;分析预测及优化管理应用主要包括交通规划、交通监控、智能诱导、智能停车等应用系统。

系统利用先进的视频监控、智能识别和信息技术手段，增加可管理空间、时间和范围，不断提升管理广度、深度和精细度。整个系统由信息综合应用平台、信号控制系统、视频监控系统、智能卡口系统、电子警察系统、信息采集系统、信息发布系统等组成。以达到四方面的目标：提高通行能力、减少交通事故、打击违章事件、出行信息服务。
在各城市建设智慧交通的过程中，将产生越来越多的视频监控、卡口电警、路况信息、管控信息、营运信息、GPS定位信息、RFID识别信息等数据，每天产生的数据量可以达到PB级别，并且呈现指数级增长。

『伍』 大数据的应用领域有哪些

1.了解和定位客户
这是大数据目前最广为人知的应用领域。很多企业热衷于社交媒体数据、浏览器日志、文本挖掘等各类数据集，通过大数据技术创建预测模型，从而更全面地了解客户以及他们的行为、喜好。
利用大数据，美国零售商Target公司甚至能推测出客户何时会有Baby;电信公司可以更好地预测客户流失;沃尔玛可以更准确的预测产品销售情况;汽车保险公司能更真实的了解客户实际驾驶情况。
滑雪场利用大数据来追踪和锁定客户。如果你是一名狂热的滑雪者，想象一下，你会收到最喜欢的度假胜地的邀请;或者收到定制化服务的短信提醒;或者告知你最合适的滑行线路。。。。。。同时提供互动平台(网站、手机APP)记录每天的数据——多少次滑坡，多少次翻越等等，在社交媒体上分享这些信息，与家人和朋友相互评比和竞争。
除此之外，政府竞选活动也引入了大数据分析技术。一些人认为，奥巴马在2012年总统大选中获胜，归功于他们团队的大数据分析能力更加出众。
2.了解和优化业务流程
大数据也越来越多地应用于优化业务流程，比如供应链或配送路径优化。通过定位和识别系统来跟踪货物或运输车辆，并根据实时交通路况数据优化运输路线。
人力资源业务流程也在使用大数据进行优化。Sociometric Solutions公司通过在员工工牌里植入传感器，检测其工作场所及社交活动——员工在哪些工作场所走动，与谁交谈，甚至交流时的语气如何。美国银行在使用中发现呼叫中心表现最好的员工——他们制定了小组轮流休息制度，平均业绩提高了23%。
如果在手机、钥匙、眼镜等随身物品上粘贴RFID标签，万一不小心丢失就能迅速定位它们。假想一下未来可能创造出贴在任何东西上的智能标签。它们能告诉你的不仅是物体在哪里，还可以反馈温度，湿度，运动状态等等。这将打开一个全新的大数据时代，“大数据”领域寻求共性的信息和模式，那么孕育其中的“小数据”着重关注单个产品。
3.提供个性化服务
大数据不仅适用于公司和政府，也适用于我们每个人，比如从智能手表或智能手环等可穿戴设备采集的数据中获益。Jawbone的智能手环可以分析人们的卡路里消耗、活动量和睡眠质量等。Jawbone公司已经能够收集长达60年的睡眠数据，从中分析出一些独到的见解反馈给每个用户。从中受益的还有网络平台“寻找真爱”，大多数婚恋网站都使用大数据分析工具和算法为用户匹配最合适的对象。
4.改善医疗保健和公共卫生
大数据分析的能力可以在几分钟内解码整个DNA序列，有助于我们找到新的治疗方法，更好地理解和预测疾病模式。试想一下，当来自所有智能手表等可穿戴设备的数据，都可以应用于数百万人及其各种疾病时，未来的临床试验将不再局限于小样本，而是包括所有人!
苹果公司的一款健康APP ResearchKit有效将手机变成医学研究设备。通过收集用户的相关数据，可以追踪你一天走了多少步，或者提示你化疗后感觉如何，帕金森病进展如何等问题。研究人员希望这一过程变得更容易、更自动化，吸引更多的参与者，并提高数据的准确度。
大数据技术也开始用于监测早产儿和患病婴儿的身体状况。通过记录和分析每个婴儿的每一次心跳和呼吸模式，提前24小时预测出身体感染的症状，从而及早干预，拯救那些脆弱的随时可能生命危险的婴儿。
更重要的是，大数据分析有助于我们监测和预测流行性或传染性疾病的暴发时期，可以将医疗记录的数据与有些社交媒体的数据结合起来分析。比如，谷歌基于搜索流量预测流感爆发，尽管该预测模型在2014年并未奏效——因为你搜索“流感症状”并不意味着真正生病了，但是这种大数据分析的影响力越来越为人所知。
5.提高体育运动技能
如今大多数顶尖的体育赛事都采用了大数据分析技术。用于网球比赛的IBM SlamTracker工具，通过视频分析跟踪足球落点或者棒球比赛中每个球员的表现。许多优秀的运动队也在训练之外跟踪运动员的营养和睡眠情况。NFL开发了专门的应用平台，帮助所有球队根据球场上的草地状况、天气状况、以及学习期间球员的个人表现做出最佳决策，以减少球员不必要的受伤。
还有一件非常酷的事情是智能瑜伽垫：嵌入在瑜伽垫中的传感器能对你的姿势进行反馈，为你的练习打分，甚至指导你在家如何练习。
6.提升科学研究
大数据带来的无限可能性正在改变科学研究。欧洲核子研究中心(CERN)在全球遍布了150个数据中心，有65,000个处理器，能同时分析30pb的数据量，这样的计算能力影响着很多领域的科学研究。比如政府需要的人口普查数据、自然灾害数据等，变的更容易获取和分析，从而为我们的健康和社会发展创造更多的价值。
7.提升机械设备性能
大数据使机械设备更加智能化、自动化。例如，丰田普锐斯配备了摄像头、全球定位系统以及强大的计算机和传感器，在无人干预的条件下实现自动驾驶。Xcel Energy在科罗拉多州启动了“智能电网”的首批测试，在用户家中安装智能电表，然后登录网站就可实时查看用电情况。“智能电网”还能够预测使用情况，以便电力公司为未来的基础设施需求进行规划，并防止出现电力耗尽的情况。在爱尔兰，杂货连锁店Tescos的仓库员工佩戴专用臂带，追踪货架上的商品分配，甚至预测一项任务的完成时间。
8.强化安全和执法能力
大数据在改善安全和执法方面得到了广泛应用。美国国家安全局(NSA)利用大数据技术，检测和防止网络攻击(挫败恐怖分子的阴谋)。警察运用大数据来抓捕罪犯，预测犯罪活动。信用卡公司使用大数据来检测欺诈交易等等。
2014年2月，芝加哥警察局对大数据生成的“名单”——有可能犯罪的人员，进行通告和探访，目的是提前预防犯罪。
9.改善城市和国家建设
大数据被用于改善我们城市和国家的方方面面。目前很多大城市致力于构建智慧交通。车辆、行人、道路基础设施、公共服务场所都被整合在智慧交通网络中，以提升资源运用的效率，优化城市管理和服务。
加州长滩市正在使用智能水表实时检测非法用水，帮助一些房主减少80%的用水量。洛杉矶利用磁性道路传感器和交通摄像头的数据来控制交通灯信号，从而优化城市的交通流量。据统计目前已经控制了全市4500个交通灯，将交通拥堵状况减少了约16%。
10.金融交易
大数据在金融交易领域应用也比较广泛。大多数股票交易都是通过一定的算法模型进行决策的，如今这些算法的输入会考虑来自社交媒体、新闻网络的数据，以便更全面的做出买卖决策。同时根据客户的需求和愿望，这些算法模型也会随着市场的变化而变化。

『陆』 简述什么是大数据，云计算，以及它们的应用实例

大数据：是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库专软件工具能力属范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

云计算：是基于互联网的相关服务的增加、使用和交付模式，通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云计算最初的目标是对资源的管理，管理的主要是计算，存储，网络资源。

海量数据上传到云平台后，大数据就会对数据进行深入分析和挖掘。说到大数据，就不得不讲云计算。这些数据是怎么计算，怎么处理的，就和云计算分不开家。云计算是提取大数据的前提，强大的云计算能力，对于降低数据提取过程中的成本不可或缺。云计算技术就是一个容器，大数据正是存放在这个容器中的水，大数据是要依靠云计算技术来进行存储和计算的。

『柒』 企业大数据实战案例

企业大数据实战案例

一、家电行业

以某家电公司为例，它除了做大家熟知的空调、冰箱、电饭煲外，还做智能家居，产品有成百上千种。在其集团架构中，IT部门与HR、财务等部门并列以事业部形式运作。

目前家电及消费电子行业正值“内忧外患”，产能过剩，价格战和同质化现象严重；互联网企业涉足，颠覆竞争模式，小米的“粉丝经济”，乐视的“平台+内容+终端+应用”，核心都是经营“用户”而不是生产。该公司希望打造极致产品和个性化的服务，将合适的产品通过合适的渠道推荐给合适的客户，但在CPC模型中当前只具备CP匹配（产品渠道），缺乏用户全景视图支持，无法打通“CP（客户产品）”以及“CC（客户渠道）”的匹配。

基于上述内外环境及业务驱动，该公司希望将大数据做成所有业务解决方案的枢纽。以大数据DMP作为企业数据核心，充分利用内部数据源、外部数据源，按照不同域组织企业数据，形成一个完整的企业数据资产。然后，利用此系统服务整个企业价值链中的各种应用。

那么问题来了，该公司的数据分散在不同的系统中，更多的互联网电商数据分散在各大电商平台，无法有效利用，怎么解决？该公司的应对策略是：1）先从外部互联网数据入手，引入大数据处理技术，一方面解决外部互联网电商数据利用短板，另一方面可以试水大数据技术，由于互联网数据不存在大量需要内部协调的问题，更容易快速出效果；2）建设DMP作为企业统一数据管理平台，整合内外部数据，进行用户画像构建用户全景视图。

一期建设内容：技术实现上通过定制Spark爬虫每天抓取互联网数据（主要是天猫、京东、国美、苏宁、淘宝上的用户评论等数据），利用Hadoop平台进行存储和语义分析处理，最后实现“行业分析”、“竞品分析”、“单品分析” 三大模块。

该家电公司大数据系统一期建设效果，迅速在市场洞察、品牌诊断、产品分析、用户反馈等方面得到体现。

二期建设目标：建设统一数据管理平台，整合公司内部系统数据、外部互联网数据（如电商数据）、第三方数据（如外部合作、塔布提供的第三方消费者数据等）。

该公司大数据项目对企业的最大价值是将沉淀的数据资产转化成生产力。IT部门，通过建设企业统一的数据管理平台，融合企业内外部数据，对于新应用快速支持，起到敏捷IT的作用；业务部门，通过产品、品牌、行业的洞察，辅助企业在产品设计、广告营销、服务优化等方面进行优化改进，帮助企业进行精细化运营，基于用户画像的精准营销和个性化推荐，帮助企业给用户打造极致服务体验，提升客户粘性和满意度；战略部门，通过市场和行业分析，帮助企业进行产品布局和战略部署。

二、快消行业

以宝洁为例，在与宝洁中国市场部的合作中发现，并不是一定要先整合内外部数据才能做用户画像和客户洞察。宝洁抓取了主流网站上所有与宝洁评价相关的数据，利用语义分析和建模，掌握不同消费群体的购物喜好和习惯，仅仅利用外部公开数据，快速实现了客户洞察。

此外，宝洁还在渠道管理上进行创新。利用互联网用户评论数据进行社群聆听，监控与宝洁合作的50个零售商店相关的用户评论，通过线上数据进行渠道/购物者研究并指导渠道管理优化。

实现过程：

1、锁定微博、大众点评等互联网数据源，采集百万级别消费者谈及的与宝洁购物相关内容；

2、利用自然语言处理技术，对用户评论进行多维建模，包括购物环境、服务、价值等10多个一级维度和50个二级维度，实现对用户评论的量化；

3、对沃尔玛、屈臣氏、京东等50个零售渠道进行持续监控，结果通过DashBoard和周期性分析报告呈现。

因此，宝洁能够关联企业内部数据，更有效掌握KA渠道整体情况，甚至进一步掌握KA渠道的关键细节、优势与劣势，指导渠道评级体系调整，帮助制定产品促销规划。

三、金融行业

对于消费金融来说，家电、快消的案例也是适用的，尤其是精准营销、产品推荐等方面。这里主要分享征信风控方面的应用。显然，互联网金融如果对小额贷款都像银行一样做实地考察，并投入大量人力进行分析评判的话，成本是很高的，所以就有了基于大数据的批量的信用评分模型。最终目的也是实现企业画像和企业中的关键人物画像，再利用数据挖掘、数据建模的方法建立授信模型。宜信的宜人贷、芝麻信用等本质上就是这个架构。

在与金融客户的接触中发现，不论银行还是金融公司，对外部数据的需求都越发迫切，尤其是外部强特征数据，比如失信记录、第三方授权后的记录、网络行为等。

以上是小编为大家分享的关于企业大数据实战案例的相关内容，更多信息可以关注环球青藤分享更多干货

『捌』 高校实验室大数据开发平台建设方案

大数据人才应用能力成长平台——Tempo Talents，从产业人才需求的视角，通过模式创新、技术创新，为高校大数据人才培养提供从平台、课程内容到教学管理的系统解决方案。平台核心围绕“人才应用能力培养”，以实践为基础，将大数据人才培养所需的知识、技能和方法论三个层面互相融合，核心是通过学生动手实践，培养数据思维及解决问题的能力。

5、激发学生学习热情，打造“自驱型”能力成长平台

闯关、竞赛、自主探索的数据游乐场，打破传统的学习模式，打造专业与趣味性融合的学习体验，充分激发学生自主学习热情，打造“自驱型”能力成长平台。