python如何处理大数据

Ⅰ python 处理大数据程序运行的越来越慢的问题

最近编写并运行了一个处理1500万个数据的程序，本来最初每秒可以处理150个左右的数据，预计大概15个小时的时间就可以处理完，晚上的时候就开始运行，本以为等到第二天中午就可以得到结果呢，，，

可是，等我第二天的时候一看，什么？？？还没处理完，当前的数据处理速度变成了一秒5个左右，然后还需要等待300个小时。

然后就查了一下这个问题，原来同样也有很多人在处理培察蔽大数据的时候遇到了这个问题，大多数的文章分析的原因都是说由于GC（垃圾回收）造成的性能下降。
Python的垃圾回收机制的工作原理为每个对象维护一个引用计数，每次内存对象的创建与销毁都必须修改引用计数，从而在大量的对象创建时，需要大量的执行修改引用计数操作，对于程序执行过程中，额外的性能开销是令人可怕的。回收的触发时机有两种可能，一是用户主动调用gc.collect(),二是对象数量超过阈值。

所以正是GC拖慢了程序的性能，所以我们可以考虑在处理的时候禁止垃圾回收。

通过这样的改进之后速度确度会有很大的提升。但是又有也会另外的一个问题，内存溢出，由于运行的过程中生成大量的对象，一次使用后就没有了引用，由于关闭了垃圾回收机制，一直存在内存中得不到清理，然后程序的内存使用量越来越大。解决的方法就是定期打开gc.enable()再关配州闭或者主动调用gc.collect(),这样就可以了。

通过上述的改进后程序确实了很多，可是我的程序还是运行的越来越慢，我都怀疑人生了，然后分别测试了各个步骤所花费的时间才知道了原因，我使用了pandas创建一个DataFrame,然后每次迭代得到的结果都添加新的数据到DataFrame中，随着里边的数据越来越多，添加的速度也就越来越慢了，严重的拖累的运行速度。这里的解决方法有两个：

1 分段保存结果，间隔一段时间就保存一次结果，最后再将多次的结果合并。

2 换一个数据存储方法，我是直接使用了python的没和字典进行保存结果，它随着数据的增多添加的速度也会变慢，但是差别不是很大，在可接受的范围内，可以使用；或者再加上方法1，分段进行保存再合并也是可以的。

Ⅱ 如何用python进行大数据挖掘和分析

毫不夸张地说，大数据已经成为任何商业交流中不可或缺的一部分。桌面和移动搜索向全世界的营销人员和公司以空前的规模提供着数据，并且随着物联网的到来，大量用以消费的数据还会呈指数级增长。这种消费数据对于想要更好地定位目标客户、弄懂人们怎样使用他们的产品或服务，并且通过收集信息来提高利润的公司来说无疑是个金矿。
筛查数据并找到企业真正可以使用的结果的角色落到了软件开发者、数据科学家和统计学家身上。现在有很多工具辅助大数据分析，但最受欢迎的就是Python。
为什么选择Python?
Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，YouTube，迪士尼，和索尼梦工厂。还有，Python是开源的，并且有很多用于数据科学的类库。所以，大数据市场急需Python开发者，不是Python开发者的专家也可以以相当块速度学习这门语言，从而最大化用在分析数据上的时间，最小化学习这门语言的时间。
用Python进行数据分析之前，你需要从Continuum.io下载Anaconda。这个包有着在Python中研究数据科学时你可能需要的一切东西。它的缺点是下载和更新都是以一个单元进行的，所以更新单个库很耗时。但这很值得，毕竟它给了你所需的所有工具，所以你不需要纠结。
现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要成为一个Python开发者。这并不意味着你需要成为这门语言的大师，但你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。
各种类库
当你掌握了Python的基本知识点后，你需要了解它的有关数据科学的类库是怎样工作的以及哪些是你需要的。其中的要点包括NumPy，一个提供高级数学运算功能的基础类库，SciPy，一个专注于工具和算法的可靠类库，Sci-kit-learn，面向机器学习，还有Pandas，一套提供操作DataFrame功能的工具。
除了类库之外，你也有必要知道Python是没有公认的最好的集成开发环境(IDE)的，R语言也一样。所以说，你需要亲手试试不同的IDE再看看哪个更能满足你的要求。开始时建议使用IPython Notebook，Rodeo和Spyder。和各种各样的IDE一样，Python也提供各种各样的数据可视化库，比如说Pygal，Bokeh和Seaborn。这些数据可视化工具中最必不可少的就是Matplotlib，一个简单且有效的数值绘图类库。
所有的这些库都包括在了Anaconda里面，所以下载了之后，你就可以研究一下看看哪些工具组合更能满足你的需要。用Python进行数据分析时你会犯很多错误，所以得小心一点。一旦你熟悉了安装设置和每种工具后，你会发现Python是目前市面上用于大数据分析的最棒的平台之一。
希望能帮到你！

Ⅲ 利用Python分析处理数据。学校大数据课程，十几年第一次开，有没有精通计算机的哥哥姐姐帮助一下。

想要系统学习数据分析，建议一定要看的数据分析圣经《利用python进行数据分析》，这本书有理论有实践，深入浅出，层层递进，适合刚入门的数据分析小白，或者还有另外一本《python机器学习基础教程》，也是比较入门级的，不过更偏向于机器学习的方向，但是也是涉及比较基础的内容，可以作为进阶来学习。手打不容易，以上回答如有帮助请采纳，谢谢！

Ⅳ Python在大数据领域是怎么来应用的

有些办法。比如使用array, numpy.array。 主要的思路是节约内存的使用，同时提高数据查询的效率。

如果能够注意内这些内容，处容理几个GB的数据还是轻松的。 接下来就是分布式计算。 按maprece的思路。数据尽量在本地处理。所以算法上要优化。主要是分段。

不管怎么说。这几个方面所有的语言都是相同的。即使你用的是C语言也一样要考虑到这些。大数据因为量大，算法也需要改进。

对于不能改进的算法（好象还没有遇到）也只好用python接C的扩展模块了。 好在python与C有很好的接口。轻松就接上。

最近比较流行的方法是使用cython，一方面可以略略提高速度，另一方面与C有无缝的接口。

java在处理大数据方面速度与易用性略略占优势。C++也经常会使用在核心算法上。语言本身都不是问题。大部分时候大数据还是在处理算法本身而不是语言。

在原型阶段python很方便，快速，灵活。所以大数据处理中python是几种语言中最适合的。特别是早期探索阶段。业务与算法经常变更。到了后期基本上都是C++了。java比较适合工程化阶段。

Ⅳ Python大数据， 一些简单的操作

#coding:utf-8
#file: FileSplit.py

import os,os.path,time

def FileSplit(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
number = 100000 #每个小文件中保存100000条数据
dataLine = sFile.readline()
tempData = [] #缓存列表
fileNum = 1
if not os.path.isdir(targetFolder): #如果目标目录不存在，则创建
os.mkdir(targetFolder)
while dataLine: #有数据
for row in range(number):
tempData.append(dataLine) #将一行数据添加到列表中
dataLine = sFile.readline()
if not dataLine :
break
tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + str(fileNum) + ".txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tempData) #将列表保存到文件中
tFile.close()
tempData = [] #清空缓存列表
print(tFilename + " 创建于: " + str(time.ctime()))
fileNum += 1 #文件编号

sFile.close()

if __name__ == "__main__" :
FileSplit("access.log","access")
#coding:utf-8
#file: Map.py

import os,os.path,re

def Map(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
dataLine = sFile.readline()
tempData = {} #缓存列表
if not os.path.isdir(targetFolder): #如果目标目录不存在，则创建
os.mkdir(targetFolder)
while dataLine: #有数据
p_re = re.compile(r'(GET|POST)\s(.*?)\sHTTP/1.[01]',re.IGNORECASE) #用正则表达式解析数据
match = p_re.findall(dataLine)
if match:
visitUrl = match[0][1]
if visitUrl in tempData:
tempData[visitUrl] += 1
else:
tempData[visitUrl] = 1
dataLine = sFile.readline() #读入下一行数据

sFile.close()

tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')

tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + "_map.txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tList) #将列表保存到文件中
tFile.close()

if __name__ == "__main__" :
Map("access\\access.log1.txt","access")
Map("access\\access.log2.txt","access")
Map("access\\access.log3.txt","access")
#coding:utf-8
#file: Rece.py

import os,os.path,re

def Rece(sourceFolder, targetFile):
tempData = {} #缓存列表
p_re = re.compile(r'(.*?)(\d{1,}$)',re.IGNORECASE) #用正则表达式解析数据
for root,dirs,files in os.walk(sourceFolder):
for fil in files:
if fil.endswith('_map.txt'): #是rece文件
sFile = open(os.path.abspath(os.path.join(root,fil)), 'r')
dataLine = sFile.readline()

while dataLine: #有数据
subdata = p_re.findall(dataLine) #用空格分割数据
#print(subdata[0][0]," ",subdata[0][1])
if subdata[0][0] in tempData:
tempData[subdata[0][0]] += int(subdata[0][1])
else:
tempData[subdata[0][0]] = int(subdata[0][1])
dataLine = sFile.readline() #读入下一行数据

sFile.close()

tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')

tFilename = os.path.join(sourceFolder,targetFile + "_rece.txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tList) #将列表保存到文件中
tFile.close()

if __name__ == "__main__" :
Rece("access","access")

Ⅵ Python在大数据领域是怎么来应用的

有些办法。比如使用array, numpy.array。 主要的思路是节约内存的使用，同时提高数据查询的效率。

如果能够注意这些内容，处理几个GB的数据还是轻松的。 接下来就是分布式计算。 按maprece的思路。数据尽量在本地处理。所以算法上要优化。主要是分段。

不管怎么说。这几个方面所有的语言都是相同的。即使你用的是C语言也一样要考虑到这些。大数据因为量大，算法也需要改进。

对于不能改进的算法（好象还没有遇到）也只好用python接C的扩展模块了。 好在python与C有很好的接口。轻松就接上。

最近比较流行的方法是使用cython，一方面可以略略提高速度，另一方面与C有无缝的接口。

java在处理大数据方面速度与易用性略略占优势。C++也经常会使用在核心算法上。语言本身都不是问题。大部分时候大数据还是在处理算法本身而不是语言。

在原型阶段python很方便，快速，灵活。所以大数据处理中python是几种语言中最适合的。特别是早期探索阶段。业务与算法经常变更。到了后期基本上都是C++了。java比较适合工程化阶段。

Ⅶ Python 适合大数据量的处理吗

python可以处理大数据，python处理大数据不一定是最优的选择。适合大数据处理。而不是大数据量处理。 如果大数据量处理，需要采用并用结构，比如在hadoop上使用python，或者是自己做的分布式处理框架。

python的优势不在于运行效率，而在于开发效率和高可维护性。针对特定的问题挑选合适的工具，本身也是一项技术能力。

Python处理数据的优势（不是处理大数据）：

1. 异常快捷的开发速度，代码量巨少

2. 丰富的数据处理包，不管正则也好，html解析啦，xml解析啦，用起来非常方便

3. 内部类型使用成本巨低，不需要额外怎么操作（java，c++用个map都很费劲）

4. 公司中，很大量的数据处理工作工作是不需要面对非常大的数据的

5. 巨大的数据不是语言所能解决的，需要处理数据的框架（hadoop， mpi）虽然小众，但是python还是有处理大数据的框架的，或者一些框架也支持python。

(7)python如何处理大数据扩展阅读：

Python处理数据缺点：

Python处理大数据的劣势：

1、python线程有gil，通俗说就是多线程的时候只能在一个核上跑，浪费了多核服务器。在一种常见的场景下是要命的：并发单元之间有巨大的数据共享或者共用（例如大dict）。

多进程会导致内存吃紧，多线程则解决不了数据共享的问题，单独的写一个进程之间负责维护读写这个数据不仅效率不高而且麻烦

2、python执行效率不高，在处理大数据的时候，效率不高，这是真的，pypy（一个jit的python解释器，可以理解成脚本语言加速执行的东西）能够提高很大的速度，但是pypy不支持很多python经典的包，例如numpy。

3. 绝大部分的大公司，用java处理大数据不管是环境也好，积累也好，都会好很多。

参考资料来源：网络-Python