大数据标签技术

⑴ rfid电子标签属于大数据方向吗

有关联，大数据以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，最早应用于IT行业，目前正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。而rfid电子标签是一种无线射频识别技术，可通过无线电讯号识别特定目标并读写相关数据。

⑵ 基于大数据的用户标签体系建设思路和应用

基于大数据的用户标签体系建设思路和应用
在大数据时代，数据在呈现出海量化、多样化和价值化变化的同时，也改变了传统IT行业的市场竞争环境、营销策略和服务模式。
如何在ZB级的海量数据中获取并筛选有价值的信息，是对IT企业的一大挑战。通过构建客户标签，支撑精准营销服务，是应对上述挑战的有效解决方案。
但是怎么设计一个完善的用户标签体系？怎么打标签？打哪些标签？谁来打？怎么使用用户标签创建商业价值？
这些都是产品设计层面需要解决的问题。
掌上医讯一直以来都致力于打造医生的今日头条和智能化的学习平台，通过大数据技术实现医生学习的智能化和个性化，而要构建这样一个学习平台，最基础的就是要建立用户的标签体系。
经过长时间的学习、思考、借鉴和实践，现在已经有了自己的标签构建思路，并且也已经提取出了符合自身业务的标签。我们十分重视用户行为日志的收集，现在已经有了亿万级别的日志数据，正在搭建数据处理和标签计算平台，以下是我们整理的建设思想。
标签系统的结构
标签系统可以分为三个部分：数据加工层、数据服务层和数据应用层。
每个层面向的用户对象不一样，处理事务有所不同。层级越往下，与业务的耦合度就越小。层级越往上，业务关联性就越强。
数据加工层
数据加工层收集、清洗和提取数据。掌上医讯有诸多的学习模块，同时又有网站、APP、小程序等多个产品形式，每个产品模块和产品端都会产生大量的业务数据和行为数据，这些数据极为相似又各不相同，为了搭建完善的用户标签体系，需要尽可能汇总最大范围的数据。收集了所有数据之后，需要经过清洗、去重、去无效、去异常等等。
数据业务层
数据加工层为业务层提供最基础的数据能力，提供数据原材料。业务层属于公共资源层，并不归属某个产品或业务线。它主要用来维护整个标签体系，集中在一个地方来进行管理。
在这一层，运营人员和产品能够参与进来，提出业务要求：将原材料进行切割。
主要完成以下核心任务：
定义业务方需要的标签。创建标签实例。执行业务标签实例，提供相应数据。数据应用层
应用层的任务是赋予产品和运营人员标签的工具能力，聚合业务数据，构建具体的数据应用场景。
（1）标签的类型
从数据提取维度来看，标签可分为：事实标签、模型标签和预测标签。
（2）事实标签
从生产系统获取数据，定性或定量描述用户的自然属性、产品属性、消费属性、资源属性等，以及根据工作人员经验积累的业务规则进行筛选、分析生产的标签，如是否活跃用户、是否是考生等。
（3）模型标签
对用户属性及行为等属性的抽象和聚类，通过剖析用户的基础数据为用户贴上相应的总结概括性标签及指数，标签代表用户的兴趣、偏好、需求等，指数代表用户的兴趣程度、需求程度、购买概率等。
（4）预测标签
基于用户的属性、行为、信令、位置和特征，挖掘用户潜在需求，针对这些潜在需求配合营销策略、规则进行打标，实现营销适时、适机、适景推送给用户。
从数据的时效性来看，标签可分为：静态属性标签和动态属性标签。
（5）静态属性标签
长期甚至永远都不会发生改变。比如性别，出生日期，这些数据都是既定的事实，几乎不会改变。
（6）动态属性标签
存在有效期，需要定期地更新，保证标签的有效性。比如：用户的购买力，用户的活跃情况。
标签的定义
给用户打标签，建立用户画像，最终都是为了去应用，所以我们要站在应用场景上去定义用户的标签体系，每个标签都有最终的用途。比如：我们做考试培训服务，我们需要建立“是否考生”的标签。
另外，不同的行业他们的用户特征也是有显著区别的，比如：医生用户相比普通用户来说，就多了像“科室”、“职称”、“所在医院等级”等特殊含义的标签。
而标签是有层级关系的，既是为了管理，更好的理解，又是为了控制粗细力度，方便最终的应用。标签深度一般控制在四级比较合适，到了第四级就是具体的标签实例。
我们根据公司的业务首先划分了人口属性、行为属性、用户分类和商业属性四个大的分类，下面又分了上网习惯、学习惯、人群属性、消费能力、消费习惯等分类，最末级精确到用户的活跃等级、阅读来源、考试偏好等具体的标签。
标签的维护
每个标签都不会凭空产生的，也不会一成不变，更不会凭空消失。标签的维护需要生成规则，需要定义权重，需要更新策略。
生成规则
如第一部分所说，标签分为事实标签，模型标签和预测标签三大类。对于这三类的标签，生成规则的难度和复杂性也是逐级递增的。事实标签只需要考虑从什么地方提取即可，它即包含明确的标签定义，又包含无法穷举的标签集，比如：关注的病种。
而模型标签需要进行数据的关联和逻辑关系的设计，通过一定的模型对数据进行计算得来。而预测标签相对就非常的复杂，无法从原始数据提取标签，标签的生成准确度就太依赖我们大数据分析和人工智能技术的应用。
定义权重
一个标签会在多个场景下出现，比如：一个疾病标签，它极可能在浏览过程中生成，也有可能在搜索场景下产生，但是对于这两个场景所对应的同一个标签，他们的权重是不同的。浏览相比搜索，权重要小得多，因为搜索的主动需求更大。
更新策略
上文我们从数据的时效性上对标签分为静态属性标签和动态属性标签，对于静态属性标签的处理相对比较简单，就不停的累加即可。但是对于动态属性标签，需要对过期标签进行降权甚至删除处理，比如：医生考试前和考试后，会影响“是否考生”这个标签的，这就需要制定更新策略。
标签建设的技术架构
标签体系的建设涉及很多环节，数据量也十分巨大，需要有一个健壮且高效的技术架构来支持数据的存储及计算，掌上医讯采用了sql数据库和no-sql数据库来满足结构化数据和非结构化数据的存储。
使用hadoop的分布式存储技术及hive和hbase组件作为数据仓库，使用MapRece和spark分布式计算来提高计算速度，使用kylin进行多维分析，通过BI工具和接口对外提供应用，使用sqoop和kettle进行数据的抽取及流程的调用。
更多的应用场景
用户标签建立已经基本应用在掌上医讯的内容智能推荐的学习场景中，但随着标签的完善以及智能化处理的提升，这套标签体系将有更广阔的应用场景。
（1）智能化学习场景的构建
通过用户学习需求的标签的分析进行用户分群，针对不同的用户群在APP的功能和内容上进行个性化展示，满足不同学习需求的用户个性化的学习服务。
（2）精准营销推广的建立
更细粒度的对用户进行筛选，同时能够精准预测可能存在的目标用户进行推广，从而扩大医生覆盖，提升推广的转化率。
（3）KOL用户画像的描绘
基于该标签模型，增加对外部数据的采集分析，更加完整的生成医生360度的用户画像，帮助企业寻找潜在的KOL用户，实现用户洞察，辅助市场决策。
标签的建设是一个看似高大上，其实很繁琐、纠结的过程，需要对业务抽丝剥茧，还要应对运营需求的各种变化，不过对公司发展的影响也是深远的。

⑶ 大数据 BI两者什么关系企业用BI吗

大数据与BI是两种不同的概念和工具，是社会发展到不同阶段的产物，大数据对于BI，既有传承，也有发展。

大数据是什么：

大数据(Big Data)是指在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。大数据更偏重于发现，以及猜测并印证的循环逼近过程。

BI是什么：

BI(BusinessIntelligence)即商业智能，它是一套完整的解决方案，用来将企业中现有的数据进行有效的整合，快速准确的提供报表并提出决策依据，帮助企业做出明智的业务经营决策。

大数据和BI从思想角度上来看，都是遵循“数据→信息→知识→智慧”这个发展过程的，两者的区别在于下面几点：

01数据来源

大数据与BI的数据来源侧重点是不同的，BI的数据来源一般为企业内部信息化系统中的数据，大数据的数据来源不仅包含企业内部的信息化系统的数据，还包括各种外部系统、机器设备、数据库的数据。

大数据的数据来源更广泛，而且数据多来自于云端，可无限扩展。

02发展方向

BI在企业中的应用是一种管理和思维方式的转变，对企业内部数据进行分析，支撑企业运营与决策，从传统商业模式走向商业智能。

大数据除了解决企业业务问题，还包括与行业、产业的深度融合，不同行业所呈现的内容与分析维度各不相同，是用全新的数据技术手段来拓展和优化企业业务。

03技术标签

BI的技术标签：ETL、数据仓库、OLAP、可视化报表。

大数据的技术标签：Hadoop、MPP、MapRece、HDFS、流处理等。

随着时代变革与技术迭代，相应的，BI在技术上也经历了多次优化和变革，新型BI被赋予了更多“大数据”潜能，既满足海量实时数据分析，也满足决策型的业务分析。

以分析云为例，就是最典型的大数据与BI相结合的产物，也解决了大数据和BI之间如何取舍的问题。

大数据≠BI，大数据也不是BI的简单升级，大数据涉及了思想、工具和技术的深层次变革。无论企业当前如何选择，未来终将迎来数字化转型，走到数据驱动时代。

⑷ 大数据的应用是否都建立在标签的基础上

数据获取手段、数来据处理技术的自改进导致"大数据"爆发。测试行业对于大数据的应用也是很多的，比如TestBird在做测试时是基于大量的数据基础的，对于测试的分析和bug探索效果都能有很大的提升。
当然，在测试技术上，也有很好的大数据运用例子。比如你可以通过大数据统计点来写测试用例。产品需要快速迭代，又要保证版本质量不下降，就必须做到精准测试的用例精简。
也就是统计用户行为预埋下的点，用户使用次数的数据稳健并且有迹可循，测试路径就非常的清晰明朗。

⑸ 常用的大数据技术有哪些

大数据技术包括数据收集、数据存取、基础架构、数据处理、统计分析、数据挖掘、模型预测、结果呈现。

1、数据收集：在大数据的生命周期中，数据采集处于第一个环节。根据MapRece产生数据的应用系统分类，大数据的采集主要有4种来源：管理信息系统、Web信息系统、物理信息系统、科学实验系统。

2、数据存取：大数据的存去采用不同的技术路线，大致可以分为3类。第1类主要面对的是大规模的结构化数据。第2类主要面对的是半结构化和非结构化数据。第3类面对的是结构化和非结构化混合的大数据，

3、基础架构：云存储、分布式文件存储等。

4、数据处理：对于采集到的不同的数据集，可能存在不同的结构和模式，如文件、XML 树、关系表等，表现为数据的异构性。对多个异构的数据集，需要做进一步集成处理或整合处理，将来自不同数据集的数据收集、整理、清洗、转换后，生成到一个新的数据集，为后续查询和分析处理提供统一的数据视图。

5、统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析(最优尺度分析)、bootstrap技术等等。

6、数据挖掘：目前，还需要改进已有数据挖掘和机器学习技术；开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术；突破基于对象的数据连接、相似性连接等大数据融合技术；突破用户兴趣分析、网络行为分析、情感语义分析等面向领域的大数据挖掘技术。

7、模型预测：预测模型、机器学习、建模仿真。

8、结果呈现：云计算、标签云、关系图等。