python数据分析工具怎么写

⑴ 如何学习python数据分析

第一阶段：Python编程语言核心基础

快速掌握一门数据科学的有力工具。

第二阶段：Python数据分析基本工具

通过介基猛或绍NumPy、Pandas、MatPlotLib、Seaborn等工知巧具，快速具备数据分析的专业范儿。

第三阶段：Python语言描述的数学基础

概率统计、线性代数、时间序列分析、随机过程是构建数据科学的基石，这里独树一帜，通过python语言描述这些数学，快速让数学知识为我所用，融会贯通。

第四阶段：机器学习典型算法专题

这一部分利用前面介绍的基础知识，对搏伍机器学习的常用核心算法进行抽丝剥茧、条分缕析、各个击破。

第五阶段：实战环节深度应用

在这一部分利用已有的知识进行实战化的数据分析，例如：对基金投资策略、城市房屋租赁等热门数据展开围猎。

⑵ 如何利用python进行数据分析

作者Wes McKinney是pandas库的抄主要作者，所以本书也可以作为利用Python实现数据密集型应用的科学计算实践指南。本书适合刚刚接触Python的分析人员以及刚刚接触科学计算的Python程序员。
•将IPython这个交互式Shell作为你的首要开发环境。
•学习NumPy（Numerical Python）的基础和高级知识。
•从pandas库的数据分析工具开始。
•利用高性能工具对数据进行加载、清理、转换、合并以及重塑。
•利用matplotlib创建散点图以及静态或交互式的可视化结果。
•利用pandas的groupby功能对数据集进行切片、切块和汇总操作。
•处理各种各样的时间序列数据。
•通过详细的案例学习如何解决Web分析、社会科学、金融学以及经•济学等领域的问题。

⑶ python数据分析该怎么入门呢

1.为什么选择Python进行数据分析？

Python是一门动态的、面向对象的脚本语言，同时也是一门简约，通俗易懂的编程语言。Python入门简单，代码可读性强，一段好的Python代码，阅读起来像是在读一篇外语文章。Python这种特性称为“伪代码”，它可以使你只关心完成什么样的工作任务，而不是纠结于Python的语法。

另外，Python是开源的，它拥有非常多优秀的库，可以用于数据分析及其他领域。更重要的是，Python与最受欢迎的开源大数据平台Hadoop具有很好的兼容性。因此，学习Python对于有志于向大数据分析岗位发展的数据分析师来说，是一件非常节省学习成本的事。

Python的众多优点让它成为最受欢迎的程序设计语言之一，国内外许多公司也已经在使用Python，例YouTube，Google，阿里云等等。

3.数据分析流程

Python是数据分析利器，掌握了Python的编程基础后，就可以逐渐进入数据分析的奇妙世界。CDA数据分析师认为一个完整的数据分析项目大致可分为以下五个流程：

在这一阶段，Python也具有很好的工具库支持我们的建模工作：

scikit-learn-适用Python实现的机器学习算法库。scikit-learn可以实现数据预处理、分类、回归、降维、模型选择等常用的机器学习算法。

Tensorflow-适用于深度学习且数据处理需求不高的项目。这类项目往往数据量较大，且最终需要的精度更高。

5)可视化分析

数据分析最后一步是撰写数据分析报告，这也是数据可视化的一个过程。在数据可视化方面，Python目前主流的可视化工具有：

Matplotlib-主要用于二维绘图，它能让使用者很轻松地将数据图形化，并且提供多样化的输出格式。

Seaborn-是基于matplotlib产生的一个模块，专攻于统计可视化，可以和Pandas进行无缝链接。

从上图我们也可以得知，在整个数据分析流程，无论是数据提取、数据预处理、数据建模和分析，还是数据可视化，Python目前已经可以很好地支持我们的数据分析工作。

⑷ 如何用python写 数据分析工具

• 数据导入

• 导入本地的或者web端的CSV文件；

• 数据变换；

• 数据统计描述；

• 假设检验

• 单样本t检验；

• 可视化；

• 创建自定义函数。

数据导入

这是很关键的一步，为了后续的分析我们首先需要导入数据。通常来说，数据是CSV格式，就算不是，至少也可以转换成CSV格式。在Python中，我们的操作如下：

Python

1

2

3

4

5

6

7

8

import pandas as pd

# Reading data locally

df = pd.read_csv('/Users/al-ahmadgaidasaad/Documents/d.csv')

# Reading data from web

data_url = "t/Analysis-with-Programming/master/2014/Python/Numerical-Descriptions-of-the-Data/data.csv"

df = pd.read_csv(data_url)

为了读取本地CSV文件，我们需要pandas这个数据分含旅析库中的相应模块。其中的read_csv函数能够读取本地和web数据。

数据变换仔洞

既然在工作空间有了数据，接下来就是数据变换。统计学家和科学家们通常会在这一步移除分析中的非必要数据。我们先看看数据：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

# Head of the data

print df.head()

# OUTPUT

0 12432934148330010553

1 41589235 4287806335257

2 17871922 19551074 4544

317152 14501 3536 1960731687

4 12662385 25303315 8520

# Tail of the data

print df.tail()

# OUTPUT

74 2505 20878 3519 1973716513

7560303 40065 7062 1942261808

76 63116756 3561 15910谈戚凳23349

7713345 38902 2583 1109668663

78 2623 18264 3745 1678716900

对R语言程序员来说，上述操作等价于通过print(head(df))来打印数据的前6行，以及通过print(tail(df))来打印数据的后6行。当然Python中，默认打印是5行，而R则是6行。因此R的代码head(df, n = 10)，在Python中就是df.head(n = 10)，打印数据尾部也是同样道理。

在R语言中，数据列和行的名字通过colnames和rownames来分别进行提取。在Python中，我们则使用columns和index属性来提取，如下：

Python

1

2

3

4

5

6

7

8

9

10

11

# Extracting column names

print df.columns

# OUTPUT

Index([u'Abra', u'Apayao', u'Benguet', u'Ifugao', u'Kalinga'], dtype='object')

# Extracting row names or the index

print df.index

# OUTPUT

Int64Index([0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51, 52, 53, 54, 55, 56, 57, 58, 59, 60, 61, 62, 63, 64, 65, 66, 67, 68, 69, 70, 71, 72, 73, 74, 75, 76, 77, 78], dtype='int64')

数据转置使用T方法，

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

# Transpose data

print df.T

# OUTPUT

01 23 45 67 89

Abra1243 41581787171521266 5576 927215401039 5424

Apayao2934 92351922145012385 7452109917038138210588

Benguet148 42871955 353625307712796 24632592 1064

Ifugao3300

... 69 70 71 72 73 74 75 76 77

Abra ...12763 247059094 620913316 250560303 631113345

Apayao ...376251953235126 6335386132087840065 675638902

Benguet... 2354 4045 5987 3530 2585 3519 7062 3561 2583

Ifugao ... 9838171251894015560 774619737194221591011096

Kalinga...

78

Abra2623

Apayao 18264

Benguet 3745

Ifugao 16787

Kalinga16900

Other transformations such as sort can be done using<code>sort</code>attribute. Now let's extract a specific column. In Python, we do it using either<code>iloc</code>or<code>ix</code>attributes, but<code>ix</code>is more robust and thus I prefer it. Assuming we want the head of the first column of the data, we have

其他变换，例如排序就是用sort属性。现在我们提取特定的某列数据。Python中，可以使用iloc或者ix属性。但是我更喜欢用ix，因为它更稳定一些。假设我们需数据第一列的前5行，我们有：

Python

1

2

3

4

5

6

7

8

9

print df.ix[:, 0].head()

# OUTPUT

0 1243

1 4158

2 1787

317152

4 1266

Name: Abra, dtype: int64

顺便提一下，Python的索引是从0开始而非1。为了取出从11到20行的前3列数据，我们有：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

print df.ix[10:20, 0:3]

# OUTPUT

AbraApayaoBenguet

109811311 2560

1127366 15093 3039

12 11001701 2382

13 7212 11001 1088

14 10481427 2847

1525679 15661 2942

16 10552191 2119

17 54376461734

18 10291183 2302

1923710 12222 2598

20 10912343 2654

上述命令相当于df.ix[10:20, ['Abra', 'Apayao', 'Benguet']]。

为了舍弃数据中的列，这里是列1(Apayao)和列2(Benguet)，我们使用drop属性，如下：

Python

1

2

3

4

5

6

7

8

9

print df.drop(df.columns[[1, 2]], axis = 1).head()

# OUTPUT

AbraIfugaoKalinga

0 1243330010553

1 4158806335257

2 17871074 4544

317152 1960731687

4 12663315 8520

axis参数告诉函数到底舍弃列还是行。如果axis等于0，那么就舍弃行。

统计描述

下一步就是通过describe属性，对数据的统计特性进行描述：

Python

1

2

3

4

5

6

7

8

9

10

11

12

print df.describe()

# OUTPUT

AbraApayaoBenguetIfugao Kalinga

count 79.000000 79.00000079.000000 79.000000 79.000000

mean 12874.37974716860.6455703237.39240512414.62025330446.417722

std16746.46694515448.1537941588.536429 5034.28201922245.707692

min927.000000401.000000 148.000000 1074.000000 2346.000000

25% 1524.000000 3435.5000002328.000000 8205.000000 8601.500000

50% 5790.00000010588.0000003202.00000013044.00000024494.000000

75%13330.50000033289.0000003918.50000016099.50000052510.500000

max60303.00000054625.0000008813.00000021031.00000068663.000000

假设检验

Python有一个很好的统计推断包。那就是scipy里面的stats。ttest_1samp实现了单样本t检验。因此，如果我们想检验数据Abra列的稻谷产量均值，通过零假设，这里我们假定总体稻谷产量均值为15000，我们有：

Python

1

2

3

4

5

6

7

from scipy import stats as ss

# Perform one sample t-test using 1500 as the true mean

print ss.ttest_1samp(a = df.ix[:, 'Abra'], popmean = 15000)

# OUTPUT

(-1.1281738488299586, 0.26270472069109496)

返回下述值组成的元祖：

• t : 浮点或数组类型
  t统计量

• prob : 浮点或数组类型
  two-tailed p-value 双侧概率值

通过上面的输出，看到p值是0.267远大于α等于0.05，因此没有充分的证据说平均稻谷产量不是150000。将这个检验应用到所有的变量，同样假设均值为15000，我们有：

Python

1

2

3

4

5

6

print ss.ttest_1samp(a = df, popmean = 15000)

# OUTPUT

(array([ -1.12817385, 1.07053437, -65.81425599,-4.564575, 6.17156198]),

array([2.62704721e-01, 2.87680340e-01, 4.15643528e-70,

1.83764399e-05, 2.82461897e-08]))

第一个数组是t统计量，第二个数组则是相应的p值。

可视化

Python中有许多可视化模块，最流行的当属matpalotlib库。稍加提及，我们也可选择bokeh和seaborn模块。之前的博文中，我已经说明了matplotlib库中的盒须图模块功能。

;

• 重复100次; 然后

• 计算出置信区间包含真实均值的百分比

Python中，程序如下：

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

import numpy as np

import scipy.stats as ss

def case(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

m = np.zeros((rep, 4))

for i in range(rep):

norm = np.random.normal(loc = mu, scale = sigma, size = n)

xbar = np.mean(norm)

low = xbar - ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

up = xbar + ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

if (mu > low) & (mu < up):

rem = 1

else:

rem = 0

m[i, :] = [xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

上述代码读起来很简单，但是循环的时候就很慢了。下面针对上述代码进行了改进，这多亏了Python专家，看我上篇博文的15条意见吧。

Python

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

import numpy as np

import scipy.stats as ss

def case2(n = 10, mu = 3, sigma = np.sqrt(5), p = 0.025, rep = 100):

scaled_crit = ss.norm.ppf(q = 1 - p) * (sigma / np.sqrt(n))

norm = np.random.normal(loc = mu, scale = sigma, size = (rep, n))

xbar = norm.mean(1)

low = xbar - scaled_crit

up = xbar + scaled_crit

rem = (mu > low) & (mu < up)

m = np.c_[xbar, low, up, rem]

inside = np.sum(m[:, 3])

per = inside / rep

desc = "There are " + str(inside) + " confidence intervals that contain "

"the true mean (" + str(mu) + "), that is " + str(per) + " percent of the total CIs"

return {"Matrix": m, "Decision": desc}

更新

那些对于本文ipython notebook版本感兴趣的，请点击这里。这篇文章由Nuttens Claude负责转换成ipython notebook 。

⑸ 怎样用 Python 进行数据分析

做数据分析，首先你要知道有哪些数据分析的方法，然后才是用Python去调用这些方法
那Python有哪些库类是能做数据分析的，很多，pandas，sklearn等等
所以你首先要装一个anaconda套件，它包含了几乎所有的Python数据分析工具，
之后再学怎么分析。

⑹ 如何利用python进行数据分析

近年来分析学在数据、网络、金融等领域获得了突出的地位。应用各种软件组合起来进行数据收集，数据管理，以及数据分析，得出的结论用作商业决策，业务需求分析等等。分析学用于研究一个产品的市场效应，银行的贷款决定，这些都只是分析学的冰山一角。它在大数据，安全，数字和软件分析等领域有很深远的影响，下面是Python在分析学中的主要作用的一个延续：
在这个信息过载的世界，只有那些可以利用解析数据的优势来得出见解的人会获益。Python对于大数据的解释和分析具有很重要的作用。分析公司开发的很多工具都是基于Python来约束大数据块。分析师们会发现Python并不难学，它是一个强有力的数据管理和业务支持的媒介。
使用单一的语言来处理数据有它的好处。如果你以前曾经使用过C++或者Java，那么对你来说，Python应该很简单。数据分析可以使用Python实现，有足够的Python库来支持数据分析。 Pandas是一个很好的数据分析工具，因为它的工具和结构很容易被用户掌握。对于大数据来说它无疑是一个最合适的选择。即使是在数据科学领域，Python也因为它的“开发人员友好性”而使其他语言相形见绌。一个数据科学家熟悉Python的可能性要比熟悉其他语言的可能性高得多。
除了Python在数据分析中那些很明显的优点(易学，大量的在线社区等等)之外，在数据科学中的广泛使用，以及我们今天看到的大多数基于网络的分析，是Python在数据分析领域得以广泛传播的主要原因。
不论是金融衍生品还时大数据分析，Python都发挥了重要的作用。就前者而言，Python能够很好地和其它系统，软件工具以及数据流结合在一起，当然也包括R。用Python来对大数据做图表效果更好，它在速度和帮助方面也一样可靠。有些公司使用Python进行预测分析和统计分析。