『壹』 大数据挖掘有哪些方法
神经网络方法
神经网络由于本身良好的鲁棒性、自组织自适应性、并行处理、分布存储和高度容错等特性非常适合解决数据挖掘的问题，因此近年来越来越受到人们的关注。
遗传算法
遗传算法是一种基于生物自然选择与遗传机理的随机搜索算法，是一种仿生全局优化方法。遗传算法具有的隐含并行性、易于和其它模型结合等性质使得它在数据挖掘中被加以应用。
决策树方法
决策树是一种常用于预测模型的算法，它通过将大量数据有目的分类，从中找到一些有价值的，潜在的信息。它的主要优点是描述简单，分类速度快，特别适合大规模的数据处理。
粗集方法
粗集理论是一种研究不精确、不确定知识的数学工具。粗集方法有几个优点：不需要给出额外信息;简化输入信息的表达空间;算法简单，易于操作。粗集处理的对象是类似二维关系表的信息表。
覆盖正例排斥反例方法
它是利用覆盖所有正例、排斥所有反例的思想来寻找规则。首先在正例集合中任选一个种子，到反例集合中逐个比较。与字段取值构成的选择子相容则舍去，相反则保留。按此思想循环所有正例种子，将得到正例的规则(选择子的合取式)
『贰』 如何利用大数据来深度挖掘互联网里的潜在用户
大数据即巨量数据的集合，互联网、物联网、穿戴设备等等，在这个互联网时代，人们留下的行为数据无时无刻不被记录，造就了巨量的数据，进而出现了大数据分析挖掘等岗位的出现。通过对大数据的分析挖掘，可以发现历史规律以及对未来的预测，这也是大数据分析的核心目标。
那么如果利用大数据来深度挖掘互联网里的潜在用户呢？下面从业务逻辑流程上来介绍。
1、潜在目标用户画像
首先你需要对你的潜在用户群进行特征分析，包含：用户群主要在哪些渠道活跃、共同特征（喜好、职业、收入、消费力等）有哪些等，通过对用户画像，能够清晰的了解你所要挖掘的潜在用户群的一些特征及活动规律，从而为挖掘模型提供数据来源及条件支撑。
例如需要挖掘装修的潜在用户，他们的活跃渠道主要在各大家装网站、家居网、装修设计网等与房子有关的网站或app，一般这类用户都会提前在这些网站/app浏览做准备。
2、数据采集
在明确了潜在用户活跃渠道后，可以针对性的采集数据，数据采集后需要对数据做清洗、转换、加载，将一些无用的数据提前筛选，保证数据的质量。
3、数据建模
这个阶段是非常重要的，通过数据的建模去分析出潜在目标用户，建模是一件非常复杂的工作，需要将用户的行为数据、画像数据进行拆分、合并、关联，从而建立一套或多套数据模型。
还以装修为例：
（1）消费能力模型，我们可以根据用户浏览家具的价格、以往消费历史纪录、收入等对用户进行消费能力分析；
（2）优质客户分析模型，可以根据用户浏览次数、停留时长、购买记录、信誉度等数据进行分析，从而得出用户装修的迫切程度，可以分为高、中、低三个等级。
同时还可以加入用户的所在区域、小区等维度进行分析（根据具体需要），将模型细分，最后可以通过各个模型关联碰撞，组合成多种模型，如消费能力强且马上要装修的潜在用户、消费能力强不太迫切要求装修的潜在用户等等，这样可以实现差异化、精准化的运营。（例子举的很简单，事实上真正做起来还是很复杂的，各方面因素都要考虑到）
4、开发验证
数据建模完成后，就需要研发完成并运用到实战当中，去检验数据模型的准确性到底如何，根凳迟山据结果去对模型做调整。
大数据分析本来就是一项对未来将要发生枣中什么事做的预测的工作，这种不确定性的预测随着社会发展、时间、地点、旦枯环境、政策等变化而不断变化，所以我们在做分析挖掘时，需要快速不断地试错去调整，从而达到一个比较准确的分析结果。
『叁』 如何用Python进行大数据挖掘和分析
如何用Python进行大数据挖掘和分析？快速入门路径图
大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。
什么是 大数据 ？
大数据就像它看起来那样——有大量的数据。单独而言，你能从单一的数据获取的洞见穷其有限。但是结合复杂数学模型以及强大计算能力的TB级数据，却能创造出人类无法制造的洞见。大数据分析提供给商业的价值是无形的，并且每天都在超越人类的能力。
大数据分析的第一步就是要收集数据本身，也就是众所周知的“数据挖掘”。大部分的企业处理着GB级的数据，这些数据有用户数据、产品数据和地理位置数据。今天，我将会带着大家一起探索如何用 Python 进行大数据挖掘和分析？
为什么选择Python?
Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，YouTube，迪士尼等。还有，Python是开源的，并且有很多用于数据科学的类库。
现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。
数据分析流程
一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照这个流程，每个部分需要掌握的细分知识点如下：
数据获取：公开数据、Python爬虫
外部数据的获取方式主要有以下两种。
第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。
另一种获取外部数据的方式就是爬虫。
比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。
在爬虫之前你需要先了解一些 Python 的基础知识：元素（列表、字典、元组等）、变量、循环、函数………
以及，如何用 Python 库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫。
掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、使用cookie信息、模拟用户登录、抓包分析、搭建代理池等等，来应对不同网站的反爬虫限制。
数据存取：SQL语言
在应对万以内的数据的时候，Excel对于一般的分析没有问题，一旦数据量大，就会力不从心，数据库就能够很好地解决这个问题。而且大多数的企业，都会以SQL的形式来存储数据。
SQL作为最经典的数据库工具，为海量数据的存储与管理提供可能，并且使数据的提取的效率大大提升。你需要掌握以下技能：
提取特定情况下的数据
数据库的增、删、查、改
数据的分组聚合、如何建立多个表之间的联系
数据预处理：Python（pandas）
很多时候我们拿到的数据是不干净的，数据的重复、缺失、异常值等等，这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。
对于数据预处理，学会 pandas （Python包）的用法，应对一般的数据清洗就完全没问题了。需要掌握的知识点如下：
选择：数据访问
缺失值处理：对缺失数据行进行删除或填充
重复值处理：重复值的判断与删除
异常值处理：清除不必要的空格和极端、异常数据
相关操作：描述性统计、Apply、直方图等
合并：符合各种逻辑关系的合并操作
分组：数据划分、分别执行函数、数据重组
Reshaping：快速生成数据透视表
概率论及统计学知识
需要掌握的知识点如下：
基本统计量：均值、中位数、众数、百分位数、极值等
其他描述性统计量：偏度、方差、标准差、显著性等
其他统计知识：总体和样本、参数和统计量、ErrorBar
概率分布与假设检验：各种分布、假设检验流程
其他概率论知识：条件概率、贝叶斯等
有了统计学的基本知识，你就可以用这些统计量做基本的分析了。你可以使用 Seaborn、matplotlib 等（python包）做一些可视化的分析，通过各种可视化统计图，并得出具有指导意义的结果。
Python 数据分析
掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。这部分需要掌握的知识点如下：
回归分析：线性回归、逻辑回归
基本的分类算法：决策树、随机森林……
基本的聚类算法：k-means……
特征工程基础：如何用特征选择优化模型
调参方法：如何调节参数优化模型
Python 数据分析包：scipy、numpy、scikit-learn等
在数据分析的这个阶段，重点了解回归分析的方法，大多数的问题可以得以解决，利用描述性的统计分析和回归分析，你完全可以得到一个不错的分析结论。
当然，随着你实践量的增多，可能会遇到一些复杂的问题，你就可能需要去了解一些更高级的算法：分类、聚类。
然后你会知道面对不同类型的问题的时候更适合用哪种算法模型，对于模型的优化，你需要去了解如何通过特征提取、参数调节来提升预测的精度。
你可以通过 Python 中的 scikit-learn 库来实现数据分析、数据挖掘建模和分析的全过程。
总结
其实做数据挖掘不是梦，5步就能让你成为一个Python爬虫高手!
『肆』 大数据挖掘究竟是什么 能否有效监管
大数据挖掘究竟是什么 能否有效监管
《大数据时代》一书畅销之后的几年，大数据虽不再那么当红，但并未隐退，它的持续发展已成为人工智能得以实现的基础之一。那么，大数据挖掘究竟是怎样的技术？从诞生发展至今，那些埋头苦干的技术人员又让它长了哪些本领？面对大数据难以管理的问题，有没有技术手段加以控制？
用户画像：机器给人类贴标签
“通过打标签的方式建立用户画像，是数据挖掘常用的一种技术。”北京大学计算机科学技术研究所多媒体信息处理研究室主任彭宇新教授解释，建立用户画像就是利用社交网络的信息，根据用户社会属性、生活习惯和消费行为等信息，抽象出一个标签化的用户模型，目标是使机器实现类似于人的“见信如面”的能力。社交网络数据是实现这一目标的基础，机器对人的“初相见”多是源自于对社交网络数据的挖掘。
标签，通常是通过对用户信息进行分析得到的高度精炼的特征标识，使得机器方便做信息提取、聚合分析等处理。标签本身无需再做过多文本分析等处理工作，这为利用机器提取标准化信息提供了便利。
“有了标签，计算机就能够自动处理与人相关的信息，能够通过算法、模型逐步‘理解’ 人。”彭宇新介绍，多个标签共同完成画像，整个过程可分三步走：一是采集数据，即基于文本的信息抓取，口语称为“爬数据”;二是用户行为建模，通过机器学习技术，形成算法模型，判断用户可能的一些行为;三是可视化展现，把机器运算出来的结果，通过能让人类理解的方式展现出来。这三步是多轮调整的，在实际应用中，根据结果的反馈，以及业务需求，可能进行二次建模等调整。
整个过程的影响参数是相对多元的，不同的行为类型，对于标签信息的权重影响也不同。以应用最广的商品营销为例，比如网售红酒，如果“购买”权重计为5，仅“浏览”计为1，加上浏览间隔、驻留时长、生活习惯等，通过复杂的算法最终呈现出一个标签的权重，再形成画像。
基于用户画像技术，大数据挖掘进行分类和关联规则计算等分析：例如喜欢红酒的用户有多少，喜欢红酒的人群中，男、女比例是多少，喜欢红酒的人通常喜欢什么运动品牌等等。
跨媒体智能识别：为计算机装上慧眼
“以前文本信息占主流，现在图像、视频等多媒体数据铺天盖地而来。”彭宇新说，后者目前占据大数据的80%以上。
数据类型发生的巨大变化，使得智能识别的任务更加艰巨。“管不住”和“用不好”的问题日益凸显。“机器只能读懂自己的语言。”彭宇新说，人类世界的所有语言都要转化为机器理解的语言才能被识别，以前只处理文本相对简单，而现在要加上复杂的图像、视频等数据。
“例如，世界上有数千种鸟类，很多种的差异非常细微，即使是有专业知识的人类也很难准确辨认，计算机自动识别的难度就更大了。”彭宇新说，图像、视频内容理解的难点在于如何进行语义自动识别，这也是他们团队多年攻关的课题之一，为此团队发明了基于注意力模型和深度增量学习的识别方法。
注意力模型，顾名思义是让计算机自动定位图像的显著性区域，以此提高检测精度;深度增量学习，是指计算机能够利用已经学到的知识加速对新知识的学习，同时通过动态扩容以支持新概念的检测。
新模型新算法的发力，帮助机器快速识别图像、视频的语义信息。彭宇新团队近年来六次参加国际权威评测TRECVID的视频样例搜索比赛均获第一名，并在与卡内基梅隆大学、牛津大学、IBMWatson研究中心等参赛队伍的较量中胜出。其中一个题目就是在464个小时的视频中快速准确地找出所有的伦敦地铁标志，彭宇新团队仅用了不到1秒就成功胜出，获得第一名。
单媒体信息的分析与识别之上，如何进一步让机器像人类一样能看、能理解呢?
为达到跨媒体信息融合与一体化分析识别的目的，项目团队首先把数据按照不同媒体类型自动分发到对应的分析与识别模块。例如，对视频镜头进行分割、对关键帧进行提取，然后分发到镜头检索、片断检索、视频字幕识别等模块中，对单媒体分析结果进行跨媒体语义关联分析，实现跨媒体信息的语义协同。“一种常用的方法是构建第三方空间进行跨媒体关联。”彭宇新说，“计算机根据我们教它的模型分别为图像、视频、文本、音频抽取表征，再共同投射到一个第三方空间中，这样不同媒体的信息就可以对话了。”
技术的“抽丝剥茧”，让图像、视频中的信息可以如文本一般透明。“我们是瞄着应用去的，准确率、处理速度都经过多年的优化，已经可以进行实际应用了。”彭宇新介绍，这项技术不仅帮助新闻媒体等行业进行数据管理和检索，还在助力互联网管理部门对大数据进行分析与监测
『伍』 什么是大数据，什么又是数据挖掘
大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。(在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中，大数据指不用随机分析法(抽样调查)这样的捷径，而采用所有数据的方法)大数据的4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、veracity(真实性)。大数据需要特殊的技术，包括大规模并行处理(MPP)数据库、数据挖掘电网、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统。
大数据的4个“V”，或者说特点有四个层面：第一，数据体量巨大。从TB级别，跃升到PB级别；第二，数据类型繁多。前文提到的网络日志、视频、图片、地理位置信息等等。第三，数据的来源，直接导致分析结果的准确性和真实性。若数据来源是完整的并且真实，最终的分析结果以及决定将更加准确。第四，处理速度快，1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。业界将其归纳为4个“V”
从某种程度上说，大数据是数据分析的前沿技术。简言之，从各种各样类型的数据中，快速获得有价值信息的能力，就是大数据技术。明白这一点至关重要，也正是这一点促使该技术具备走向众多企业的潜力。
搜索下各种网络，上面都有。说白了，就是数据量非常庞大。这确实是近几年的热点问题。