如何使用sql处理分析数据

❶ 如何配置使用微软SQL Server 数据分析工具

本系列文章分两部分，本文是第二部分(第一部分参见：你的数据有多干净?)。我们将以测试体验的方式了解微软SQL Server提供的数据分析工具。

其它一些外部分析工具具有更丰富的功能，但是SQL Server授权允许你免费就可以使用这款低调的分析工具。

接下来让我们通过分析“AdventureWorksLT ”数据库中的一些数据来了解这款工具。

在此之前，你需要先安装好SQL Server集成服务，以及与SQL Server捆绑的Visual Studio精简版。在SQL Server 2012中，叫做“SQL Server Data Tools”;而在SQL Server 2008中，名称叫做“Business Intelligence Development Studio”。

如果你缺少这些组件，你可以运行SQL Server安装程序并勾选相关组件，操作很简单。

配置分析工具

不管你启动哪个Visual Studio工作环境，都要创建一个集成服务项目。然后，从SSIS工具箱中拖拽一个数据分析任务到设计面板上，然后双击开始配置。

配置结果信息存储在XML文件中，所以需要指定保存文件的名称和路径。

点击目标旁边的空白框，会出现一个箭头。

点击箭头，然后点击“New File connection”。

在结果框中，指定路径和文件名(包括.xml后缀)。

点击“确定”按钮，然后点击“Quick Profile”按钮。

点击“ADO.NET Connection”旁边的“新建”按钮。

在出现的对话框中，指定SQL Server和托管待分析数据的数据库(我使用的是“AdventureWorksLT2012 ”数据库)，然后点击“确定”按钮。

点击表或视图下拉框，选择待分析数据(我选用的是“SalesLT.Proct”)。

保留默认勾选的复选框，然后点击“确定”按钮。确定后就会回到主设计界面。

最后，按“F5”就可以开始分析了。

分析成功，在SQL Server 2008中会有一个绿色小框来显示，在SQL Server 2012中是个绿色小勾。如果你看到红色小框或者红叉，那么可以在“Progress ”标签页找到哪里出错了。

查看结果

假设你看到的是绿色(在集成服务中每个人都喜欢这个颜色)，那么接下来启动“Data Profile Viewer”应用程序。在开始菜单中，它在“Microsoft SQL Server XXXX”文件夹的集成服务子文件夹下。

在查看器中，点击“打开”按钮，找到你之前配置的xml文件。你现在可以看到分析结果了。

“adventureWorks”库中的数据本来是干干净净的，所以我做了一些修改，你自己直接做的话看到的分析结果会不一样。

在查看器左侧面板中，你可以看到我们选择的表，它下面是数据分析的五个不同方面(也就是我们配置任务时默认选中的五项)。

点击“Candidate Key Profiles ”，就会在右侧面板中显示结果。

该信息展示了值的唯一性，你可以看看我的数据(修改过的)，“名称”列包含的数据不是百分之百唯一的。

我可以点击“名称”列来查看更多，界面中“ Key Violations ”部分下面会显示更多信息。

错误的产品是“HL Road Frame – Black, 58”，问题是有两行有相同的名称(产品名称通常应该是唯一的)。

在“ Key Violations ”中的问题产品上点击，就会显示出需要关注的行。

在左侧面板中(+微信关注网络世界)，点击“Column Length Distribution Profiles”。

功能正如其名，这个页面会分析每个列值的长度。

我这里显示的结果，“颜色”列包含列最小长度是2。

就像我们前面例子中所做的那样，我们可以向下钻取，我可以看到那些值的分布，进一步钻取我可以看到脏数据对应的实际行。

其它类型的分析操作都是类似的。

“Column NULL Ratio Profiles”显示了某一列中“NULL”值的百分比。

如果你有些列实际上不允许为“NULL”，例如“Proct Name”，那么这个功能就非常有用。

“Column Statistics Profiles ”显示了日期和数值的最小值、最大值、平均值以及标准偏差。对于识别“327岁的员工”与“价格为负数的产品”这类不合理数据非常有帮助。

“Column Value Distribution Profiles ”显示某一列中有多少不同的值。这对于处理像“性别”这种列是很有用的，你可能预期该列只有两个不同值，但是却找到了15个，很容易发现问题。

还有另外两个分析功能也是可用的，不过默认没有启用。

其中一个就是“Functional Dependency Profile ”，它可以找到那些依赖于其它列值得列。

这一条功能对于检查地址信息时很有用;例如，我们希望相同城市的地址共用相同的邮政编码。

总结

该分析工具的局限性在于，源数据必须存储在SQL Server数据库中。例如，如果你希望分析存储在平面文件中的数据，那么你必须先把数据导入到SQL Server数据库中。

此外，该分析工具不支持创建额外的定制分析功能实现扩展。你看到的所有功能就是它能提供的所有功能。

局限性且放一旁，SQL Server附带提供的这款工具为那些希望得到并能快速运行数据分析的人提供了很好的起点。

❷ 数据库作业分析过程中如何使用sql语句进行统计 用语言来表达

使用sql统计大多数都是利用函数，比如count求总数，avg求平均值，sum求和等，如果数据库自带函数不符合需求，就需要自定义函数，根据具体情况来计算统计。

❸ sql数据分析需要学什么

作为数据分析师，你首先需要从正在查询的数据库中读取数据。我们一般会采用这种方法：
了解SELECT语句的工作方式。这其中包括研究逻辑查询处理的工作方式。逻辑查询处理描述了数据库引擎执行SELECT语句的子句的顺序。了解它会引导你编写更好，更准确的查询。
研究联接的工作方式
内部联接是最有效的。左，右和完全外部联接的效率较低，但有时必须使用它们。内部联接可以导致行被过滤掉，外部联接不能导致过滤。研究加入，因此你知道何时使用每种类型。只有最简单的数据库查询才不涉及联接。

了解如何使用GROUP BY子句进行聚合
了解窗口函数/有序分析函数。这些是在SQL中进行分析的缩影。最初很难将你的头缠绕在它们周围，但是这是值得的。一旦了解了它们，便会一直使用它们。
了解数据库规范化。如果你了解规范化，你将了解为什么架构师以这种方式构造数据库的理论。这有助于编写查询并确定要联接的表。
了解实体关系图（ERD）的工作方式。大多数ERD是使用鱼尾纹符号构建的。确保知道基数和可选性约束是如何工作的，这将帮助你解密连接表时要使用的连接类型。

一旦掌握了这些知识，就应该扩展到学习SQL的DML和DDL子类别。DML代表数据操作语言，SELECT语句是该语言的一部分。DDL代表数据定义语言，这是数据库架构师用来创建表的语言。
本文禁止转载或摘编
本文为我原创
大数据
数据分析
数据分析师
1
收藏
分享
推荐文章
35岁转行数据分析师可以吗？
学习 · 56阅读
Excel之PowerQuery 提取单元格指定文字
学习 · 175阅读
[简述]答题验证系统部署说明
学习 · 865阅读

❹ 用SQL做简单数据分析（入门级）

例：统计注册次数大于10，而且ID中包含ming
select id ,count(id) from _tianyaid where patindex('%ming%',id)>0 group by id having count(id)>10

❺ 如何在EXCEL中使用SQL进行数据处理与分析

方法一：利用Microsoft Query使用SQL语句

❻ sql数据分析是啥意思

sql数据分析是结构化查询语言。

结构化查询语言（Structured Query Language）简称SQL，是一种特殊目的的编程语言，是一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。

结构化查询语言是高级的非过程化编程语言，允许用户在高层数据结构上工作。它不要求用户指定对数据的存放方法，也不需要用户了解具体的数据存放方式。

所以具有完全不同底层结构的不同数据库系统, 可以使用相同的结构化查询语言作为数据输入与管理的接口。结构化查询语言语句可以嵌套，这使它具有极大的灵活性和强大的功能。

SQL具有数据定义、数据操纵、数据查询和数据控制的功能。

1、SQL数据定义功能：能够定义数据库的三级模式结构，即外模式、全局模式和内模式结构。在SQL中，外模式又叫做视图（View），全局模式简称模式（Schema），内模式由系统根据数据库模式自动实现，一般无需用户过问。

2、SQL数据操纵功能：包括对基本表和视图的数据插入、删除和修改，特别是具有很强的数据查询功能。

3、SQL的数据控制功能：主要是对用户的访问权限加以控制，以保证系统的安全性。

❼ 如何用SQL分析电商用户行为数据（案例）

        

本文以“淘宝用户行为数据集”的分析全过程为例，展示数据分析的全过程

——使用工具：MySQL，Excel，Navicat，PowerBI

——分析类型：描述分析，诊断分析

——分析方法：漏斗分析，用户路径分析，RFM用户价值分析，活跃/存留分析，帕累托分析，假设验证分析。

（考虑到阅读体验文章中只放了SQL截图，如需PDF版本，再公众号后台回复“用户行为分析”领取）

（目录如下）

       

1.分析流程和方法

当没有清晰的数据看板时我们需要先清洗杂乱的数据，基于分析模型做可视化，搭建描述性的数据看板。

然后基于描述性的数据挖掘问题，提出假设做优化，或者基于用户特征数据进行预测分析找规律，基于规律设计策略。简单来说：

——描述性分析就是：“画地图”

——诊断性分析就是：“找问题”

——预测性分析就是 ：“找规律”

在数据分析中有两个典型的场景：

一种是有数据，没有问题：需要先整体分析数据，然后再根据初步的描述分析，挖掘问题做诊断性分析，提出假设，设计策略解决问题。

 

另一种是已经发现了问题，或者已经有了假设，这种做数据分析更偏向于验证假设。

 

2.淘宝用户行为分析

本次是对“淘宝用户行为数据集”进行分析，在分析之前我们并不知道有什么问题，所以需要先进行描述性分析，分析数据挖掘问题。

我们首先来看下这个数据集的元数据：

       

根据以上数据字段我们可以拿用户行为为主轴从纵深方向提出一些问题，然后再从数据中找答案

       

纵向：

——这个数据集中用户的日活跃和周活跃时间有什么规律吗？

——在当日活跃的用户次日，三日，四日……还有多少活跃？

深向：

——用户从浏览到购买的整体转化率怎么样？

——用户从浏览到购买的路径是怎么样子的？ 

——平台主要会给用户推送什么商品？

——用户喜欢什么类目？喜欢什么商品？ 

——怎么判断哪些是高价值用户 ？ 

 

 

下面是叮当整理的常用分析方法：      

我们可以给前面的问题匹配一下分析方法，便于后面的分析：

为了便于后面的数据分析，在分析之前我们需要先对做一下清洗

看元数据（字段解释，数据来源，数据类型，数据量……）初步发现问题为之后的处理做准备。

       

确定缺失值范围，去除不需要字段，填充缺失内容    

根据元数据格式和后续分析需要的格式对数据进行处理

  

去除重复值，异常值

——去除重复值：并把用户ID,商品ID，时间戳设置为主键

——异常值处理：查询并删除2017年11月25日至2017年12月3日之外的数据

     

查询并删除小于2017-11-25的

——验证数据：      

——分析思路：

——SQL提数：

       

       

——Excel可视化：

       

活跃曲线整体为上升状态，同为周六日，12月2号，3号相比11月25日，26日活跃度更高。

用户在周六周日相比其他时间更活跃（周六周日为休息日，用户有更多时间）

      

一天内用户活跃的最高峰期为21点（用户在这个时间段空闲较多）

 

——分析思路：

——SQL提数：

列出每用户每天及当天后面又活跃的日期，并创建“活跃时间间隔表”用于后面求次日存留，三日存留……

       

对“活跃时间间隔表视图”引用进行分组统计，计算每日存留人数并创建视图

对存留人数表进行计算，统计活跃用户留存率

——Excel可视化：

       

——分析思路：

——SQL提数：

-把各种用户行为分离出来并创建视图方便后续查询用户行为数据

查询整体数据漏斗

——Excel可视化：

       

用户从浏览到购买整体转化率2.3%，具体主要在哪个环节流失还需要再细分用户路径分析

 

——分析思路：

       

——SQL提数：

——PowerBI可视化：

       

用户从浏览到购买的路径主要有4条，路径越长转化率越底

路径1：浏览→购买：转化率1.45%

路径2：浏览→加购物车→购买：转化率0.33

路径3：浏览→收藏→购买：转化率0.11%

路径4：浏览→收藏→加购物车→购买：转化率0.03%

——分析思路：

——SQL提数：

——Excel可视化：

       

——描述性分析：

浏览量top100的商品浏览量呈阶梯分布，越靠前的阶梯之间的落差相对越大在这个阶梯中的商品越少，越靠后商品浏览量阶梯之间的落差相对越小，同阶梯内的商品越多。

浏览量TOP100的商品所属类目中，4756105，3607361，4357323三个类目浏览量远超其他类目。

——分析思路：

——SQL提数：

查询计算商品转化率，升序排列，取前100个

       

——Excel可视化：

       

——描述性分析：

从商品看：有17款商品转化率超过了1。

从类目看：这些商品所属类目分布均匀，除965809，4801426，2735466，2640118，5063620，4789432，2945933这7个类目之外，其他类目都只有一个商品在转化率TOP100的商品中。

——分析思路：

用户价值分析常用的分析方式是RFM模型

       

本次分析中的R,F,M具体定义（仅用于演示分析方法，无实际业务参考价值）：

 

——SQL取数与分析：

1）建立打分标准：先计算R,F的值，并排序，根据R,F值最大值和最小值得区间设计本次得打分标准

-查询并计算R，F值创建视图

       

-引用RF数值表，分别查询R,F的最大值和最小值

       

       

-结合人工浏览的建立打分标准      

2）给R，F按价值打分

3）计算价值的平均值

       

4）用平均值和用户分类规则表比较得出用户分类   

     

——Excel可视化      

 

通过描述性分析得到可视化的数据后我们一般会先看一下是否符合业务常识

如果符合常识接下来我们会通过与行业平均数据和本产品的同比环比对比看是否正常，如果不正常就要找原因，设计解决方案，如果正常那就看是否有可以优化的地方。

       

我们首先来看一下这些描述性分析是否符合业务常识和指标是否正常：

       

1.活跃曲线整体为上升状态，同为周六日，12月2号，3号相比11月25日，26日活跃度更高。

2.用户在周六周日相比其他时间更活跃

3.一天内用户活跃的最高峰期为21点

4.从2017年11月15日致2017年12月3日，活跃用户新增38%

5.从2017年11月15日致2017年12月3日，活跃用户次日留存增长18.67%，当日的活跃用户留存也在快速增长，第七日留存比次日留存高18.56%。

6.用户从浏览到购买整体转化率2.3%

7.用户从浏览到购买的路径主要有4条，路径越长转化率越低。

8.浏览量top100的商品浏览量呈阶梯分布，越靠前的阶梯之间的落差相对越大在这个阶梯中的商品越少，越靠后商品浏览量阶梯之间的落差相对越小，同阶梯内的商品越多。

9.浏览量TOP100的商品所属类目中，4756105，3607361，4357323三个类目浏览量远超其他类目。

10.从商品看：有17款商品转化率超过了1。

11.从类目看：这些商品所属类目分布均匀，除965809，4801426，2735466，2640118，5063620，4789432，2945933这7个类目之外，其他类目都只有一个商品在转化率TOP100的商品中。

根据以上诊断分析我们梳理出了以下假设，做假设验证。

       

 

假设1：这些商品中有高转化率的爆款商品

       

 

对比浏览量TOP5的商品，发现这些商品转化率在同一类目下并不高，假设不成立

 

假设2：4756105，3607361，4357323三个类目属于高频刚需类目

-创建类目购买频次表

       

-计算类目购买频次平均值

       

-查询4756105，3607361，4357323三个类目的购买频次       

4756105，3607361，4357323三个类目的用户购买频次明显高于平均值，假设成立

 

假设3：有部分用户是未点击商详直接从收藏和购物车购买的。

       

用户不是直接从收藏和购物车购买的，只是后续复购未点击商详，假设不成立

 

假设4：淘宝推荐的商品主要是“同一类目下的高转化商品”

       

用Excel对浏览量TOP100的商品ID和转化率TOP100的商品ID进行去重，结果无重复值，假设不成立

3.结论：

1）用户活跃：用户活跃曲线整体呈上升趋势，在一周中周六，周日活跃度比平时更高，在一天中用户活跃曲线从凌晨4点开始往上升，在中午12点和下午5~6点有两个小低谷（吃饭），到晚上9点时活跃度达到顶峰。

 

2）用户留存：从2017年11月15日致2017年12月3日的用户留存数据来看，淘宝的用户留存数据较好，活跃用户次日留存增长18.67%，当日的活跃用户留存也在快速增长，第七日留存比次日留存高18.56%。

 

3）用户转化：整体转化2.3%，用户从浏览到购买的路径主要有4条，路径越长转化率越低。

4）平台推荐与用户偏好：从数据集中的数据来看，排除用户兴趣偏好标签，淘宝给用户用户推送的商品主要是高频刚需的类目，促使用户复购，流量回流平台。

 

以上结论受数据量和数据类型的影响，并不一定准确，仅用来练习数据分析方法。

（考虑到阅读体验文章中只放了SQL截图，如需PDF版本，再公众号后台回复“用户行为分析”领取）

❽ 数据分析过程如果用SQL语句进行统计如何实现

方法和详细的操作步骤如下：

1、第一步，创建一个测试表，详细代码见下图，转到下面的步骤。