㈠ 如何建设一个落地的农业大数据体系
从最初的出发点,农业大数据是可以利用卫星遥感、气象和土地等数据集成天气、病虫害、成长监测等到种植管理计划中,并能够进行作物产量和生长趋势预测;
从标准化农场的规模化和自动化产业运营的角度,农业大数据是可以结合自动化农机、IoT的智慧农业等进行辅助决策分析;
通过大数据分析和预测,可以进行农产业的产品创新和垂直市场的深入开发;
通过大数据来支撑农产品的品质控制和种植生产等数据与农产品零售和食品零售的数据交换和追溯;
基于大数据来进行农业的一二三产的价值链整合,谁先掌握更多的大数据谁更容易建立产业链的首发优势;
通过丰富和全面的大数据来支撑农产品品牌的打造和IP化;
但是,如果只是为了农业的大数据而大数据是没有用的,一定要结合农业的实际应用场景来采集、利用和算法分析,也就是要让“量”大的大数据变成“厚实”应用场景的大数据。
现在的农业大数据大多是从数据源入手,比如天上的卫星遥感、地下的土地设备等,但缺少实际的农业应用场景,导致数据很难直接进行价值转化落地,农业的大数据不只是天上的、地下的能够解决,更关键是地面部队,地面推进。农机,也没有实现标准化和规模化的农场或者基地,而农场和农产品的交易平台也没有完全实现,这就意味着农业大数据的道路还很漫长。
㈡ 如何建立落地型数据分析or数据挖掘流程
如何建立落地型数据分析or数据挖掘流程?
数据工作者最长也是有效的一种工作方式是带项目,无论是数据分析还是专项挖掘,项目制能使数据尽量贴近业务并且有效理解业务和数据的各个维度。那么如何建立面向业务落地的数据分析(挖掘)流程?
在做本篇介绍之前,有以下几个方向需要做一个界定,这些界定是做本篇的前提:
该项目流程是面向业务层的,直接通过模型做代码优化或者以BI技术为方向的不同;
该项目的领导者是具有一定能力的数据分析师,需要具备业务常识、数据理解能力和专项分析挖掘能力,说白了,能接受问题并且能解决问题;
该项目是以业务落地为导向的,那些面向市场分析方向的战略项目等不在此列。
在以上的界定下,我们放心的来谈本篇的核心,我相信大多数一线的数据分析师都能适用这套流程。完整的数据分析(挖掘)流程包括:需求提报审核、商业理解、数据理解、专项分析(建模)、部署与实施优化、项目总结六大部分。
一、需求提报
任何数据分析的起点都是从业务需求开始的。在收到业务需求后,首先要做的还不是业务够通,是考量这个需求是否可以受理。导致需求不能受理的原因包括业务需求本身是个伪命题以及目前的数据无法支撑该需求的分析。
目的:第一步需求提报的审核目的是找到最佳需求命题,并确定该命题的可行性。
输出物料:无
周期:1天内响应
二、商业理解
商业理解包括业务语言转化成数据语言的整个过程,目的是确定业务通过数据需要实现的具体纬度,粒度,数据范围等,通过方案思路进行二次确认。确认思路后,会正式开始项目的数据部分工作。
目的:确认业务逻辑、数据分析需求、数据产出内容方向及分析思路。
输出物料:分析思维导图、测试数据
周期:2天
三、数据准备
数据准备是对即将进行的分析和挖掘工作进行预处理,包括从数据仓库中取数,验证数据质量,数据特征提取,异常值处理,数据转换,合并等,为最终的数据分析挖掘做准备。这个阶段是非常费时但是重要的工作,前期这个工作做不好会直接影响数据质量。
目的:数据前期清洗。
输出物料:数据
周期:4天
四、专项分析(建模)
经过需求确认,数据清洗之后,开始了专项数据分析和挖掘工作,包括常用的描述性数据统计、数据分类、聚类、管理、序列、规则提取等建模工作,并在专项分析或建模结束后完成模型测试工作,保持模型的稳定性和最佳拟合度。
目的:报告撰写、模型搭建。
输出物料:分析报告、建模流程和节点、模型评估报告等
周期:7天
五、部署与实施优化
本阶段包括数据结果输出,方式可能是邮件、会议类(通常是二者配合),在业务报告沟通中确认落地执行计划,并安排排期和计划方案,同时数据分析师进行数据收集,等业务执行完毕后进行效果再评估,并根据评估结果优化前期报告或模型结果。
目的:数据落地。
输出物料:业务执行计划、落地排期、数据落地收集计划等
周期:14天(根据所需数据量和业务时间需求而定)
六、项目总结
在整个项目结束后,进行整体总结,反思本项目整个过程,包括前期需求沟通与确认是否清晰,中期数据处理、分析和挖掘如何优化,后期数据落地效果和建议等,对整个项目有新的认知,最终为下一次项目积累经验。如果有必要,可以跟业务一起沟通讨论本次项目的优劣得失。另外,不是所有的有效项目都是以成功结束,失败的项目也可以为我们带来启发,最起码能说明业务的逻辑或出发点不可行。
目的:经验总结
输出物料:项目总结报告
周期:1天
只会做挖掘、只会写报告的数据分析师只能算一半,另一半就是如何把我们的思想、建议融入业务中,真正让他们理解并付诸实践。这才是数据分析师存在的真正价值。
㈢ 移动互联网如何让大数据“落地”,有哪些产品实例
问题补充:“大数据”这件事大家提了很久,可是真正能用好的产品少之又少。移动互联网使得更多、更广的数据不断产生,它是否能真正促使大数据“落地”,变成每个人真正能享受到的服务?下面是来自知乎小伙伴maggie的回答:云计算出现之前,传统的计算机无法处理大量的非结构化数据,云计算使得海量数据的存储和快速分析成为可能,而每个人都拥有的智能终端(手机、电脑、智能设备)以及带宽不断增加的移动通信网络,使得海量数据的收集成为可能。大数据的核心在于“预测”,而云计算使数据从“小样本”转变成有机会对所有可能的数据进行分析,预测将基于 “数据之间的关联性” 而非 “为什么是这样的因果性”,我们只需要按照预测出来的趋势去响应,使用这些结果。比如预测机票价格的走势,并给出可信度,帮助用户来决定什么时间购买机票最省钱。它不用关心为什么机票会有差异,是因为季节性还是因为其他什么原因,它仅仅是预测当前的机票未来一段时间会上涨还是下降。如果机票价格有上涨的趋势,系统就系统用户立即购买机票。而原始的数据可以从机票预订数据库或者行业网站上扒下来。这项预测技术可以用在类似的相关领域。比如宾馆预订,商品购买等。比如通过汽车引擎的散热和振动来预测引擎是否会出现故障。亚马逊的推荐系统是很好的例子:亚马逊从每一个客户身上捕获了大量的数据,历史购买了什么,哪些商品只是浏览却没有购买,浏览停留的时间,哪些商品是合并购买的,它要做的是找到产品之间的关联性,感兴趣的可以去搜索亚马逊推荐引擎的专利。在中国,淘宝、支付宝拥有大量的用户数据,还记得 “淘宝时光机吗“ ?通过数据分析,把毕业- 恋爱- 迁移城市-结婚- 买房- 生子- 买车的人生轨迹串起来,我不敢说有多准,但是的确感动了我们。从数据中挖掘出背后的故事,这是一个非常有意思的关联性数据挖掘尝试。想想也挺可怕的,淘宝是个拥有海量用户数据的平台,每天还有源源不断地从移动终端、电脑上不断增加的数据,如果把这些数据利用起来,不止可以做商品购物推荐,同时还可以对可能的关联性做预测。在零售行业,销售数据的统计分析,可以让供应商监控销售速率、数量、以及存货情况,可以知道什么货物和什么货物摆在一起,放在什么位置销量最好,特定的季节,什么产品销量最高。公共设施领域,不再是随机的巡检,而是针对设施上报的数据以及故障发生的历史数据、环境数据进行分析和预测,集中人力和物力优先检查最有可能出现问题的那些设施,减少整体平均的故障发生率。大数据革命首先要把这些可以获得的数据收集上来,包括未来可能被利用的信息。比如很多应用不管是不是需要位置信息,通常都会问你要位置信息,为未来能做出更多的智能反应做数据储备。保险公司通过车险投保人的历史数据(时间、地点、实际行驶路程)来为车险定价。广告公司可以根据人们的居住地点、要去的地方,提供定制广告,信息汇集起来可能会揭示某种发展趋势。交通服务公司可以通过手机的位置来预测交通情况,和某个地方目前聚集了多少人。最近的 ”棱镜计划“ ,从音视频、图片、邮件、文档以及连接信息中分析个人可能对国家安全造成威胁的行动。大数据可用的领域实在是很多,具体有什么好点子,哪些产品有机会,我觉着还得多去想和研究。总结起来,首先是数据收集,除了利用现有的数据渠道之外,还可能需要改造一些产品形态,使得数据更好地被量化和可被学习。然后是通过云计算来做数据相关性的分析,这里面有大量的算法工作要去做,所以未来算法人才是最具有技术挑战的工种。
㈣ 如何让大数据落地转化时空大数据专家们精彩分享
“如何让新新大数据势力落地,将成果转化成项目,实现就地转化?”
在日前举行的“时空大数据2021年度大会”分论坛——时空大数据产业生态协同创新论坛上,河南大学人文与建筑时空大数据融合研究中心执行主任王振凯提出了这一疑问,现场的专家们围绕这一主题进行了深入探讨与交流。
全球人文与时空大数据
让建筑工程可视化
王振凯介绍,通过时空大数据平台,衍生出时空大数据集合系统。该系统集合了建筑信息、地球信息、交网信息、电网信息、水网信息、市政信息、人文信息等集合系统,最终得出全球人文、建筑与地理环境时空数据基础。
简单来说,工程可以通过时空大数据来具象化,大到建筑物本身,小到建筑物内一根钢管,都能清晰可见,甚至可以见到建筑物内钢管内部。精确的时空大数据让工程成本管控、进度管控都有迹可循。
TOD与城市时空大数据融合
建轨道就是建设城市
轨道交通带给人民快捷速度的同时,新的拥堵问题又出现了。地铁“建的起,养不起”的问题如何破局?如何让交通拥堵得到缓解,同时又能赋予交通线更多的经济价值?TOD模式由此营运而生。
“TOD模式是以公共交通为导向的开发模式(transit-oriented development,TOD)。”中铁上海设计院集团有限公司TOD中心主任郭琳解释,就是在规划居民区或者商业区时,使公共交通的使用最大化的一种非 汽车 化的规划设计方式。该模式可以同步城镇化进程,带动城市经济提升。
郭琳认为,建轨道就是建设城市,经营轨道就是经营城市。轨道交通建设中会出现技术、主体、利益、主体边界不明确,这就要破解融合。TOD模式通过大数据为未来城市提供了无限可能。未来是TOD5.0时代,通过可视化鼓励机制,为城市碳达峰做贡献。
一苇数智·时空大数据平台
时空大数据构建交通底座
众合 科技 对构建轨道交通的时空大数据底座进行了实践,一苇数智·时空大数据平台应运而生。构建数字孪生、挖掘数据价值、实现万物互联、赋能业务创新,是一苇数智平台四个显著的特点。现场,浙江众合 科技 股份有限公司研发中心总经理王厦通过示例进行了深入浅出的讲解。
数字孪生,即通过一张图可以看到地上空间和地下空间,两者结构关系一目了然。同时,数字空间里还能看到空间构架的物件、供应商信息等信息,无论产品质量监控还是施工进度都可以实时跟踪。
一苇数智平台以数据驱动业务,在四维数据的海洋中为业务挖掘更深层次的价值。王厦介绍,平台可以接入到终端设备,数据接口对外开放给合作伙伴和应用程序开发人员。
“我们愿意共享平台及其内部功能与数据,与用户、合作伙伴建立起价值的连接,所谓的万物互联,一切可联通。”王厦说。
利用智能引擎,平台可向每项业务提供AI能力和模型算法,同时为行业应用提供便捷易用的开发模板和工具。数据快速迭代为有效创新提供了支持。“早高峰的地铁内,你可以提前知道哪节车厢比较空,从容候车避免拥挤。”王厦用这一实例介绍了一苇数智平台在赋能业务创新上所能起到的作用。
大数据助力园区管理
天集产城集团有限公司产城项目总经理李书江分享了时空大数据在园区管理上的应用。他介绍,时空数据库分共有与私有,私有数据库体现了建筑数据、资产管理、现场施工进度、物料管理、智能化运维。智慧运维端深入园区日常需求,进行智慧园区的运营管理,全面了解园区企业基本经营情况,为企业在银行和金融机构贷款做增信(从抵押增信到数据增信)。
此外,通过可视化界面,时空大数据还可以帮助企业进行员工打卡、门禁管理、智能管控和设备管理。平台内还能导入政务服务和其他功能性服务,助力企业完成工商注册、财税服务、知识产权、社保服务、法律服务等各类事项。
高效协同的时空大数据生态链
“每天要从家的A点到工作地B点,有多条路可以走,早晨出发可以选择路上有早餐店和咖啡馆的路线,晚上下班可以换一条路线,看看哪里有聚餐点、哪里有商场。这些,大数据生态链都可以为你作出指引。”维正集团企知道产学研科研成果转化有限公司总经理李志慧从城市信息、物质和 社会 空间,三者连接共生数据互补出发,生动解释了时空大数据生态链。
她表示,时空大数据是具有时空属性的数据,搭建大数据集合平台,从而产生更广泛的应用场景,引入联盟成员,便能为大众生态搭建出一套高效协同、开放包容的运行规律。
科技 金融助力推动时空大数据
力合金融控股股份有限公司创新基金管理总经理申康认为, 科技 和金融的结合决定了产业未来的发展,是未来时空大数据发展的关键。
中小企业 科技 创新具有投入高、周期长、风险高特征,短期难以依靠自我造血实现滚动发展。中小企业融资难的根本原因在于其天然的弱质性,但传统金融机构很难为中小型新新大数据企业赋能。力合金融利用金融支持打通发展到创新的过程,打造时空大数据产业投资基金,通过差异化服务,满足时空大数据产业不同阶段企业的投资需求,做到差异化赋能。
来源| 科技 金融时报(记者 孙侠)