㈠ python數據分析需要哪些庫
1Numpy
對於科學計算，它是Python創建的所有更高層工具的基礎。以下是它提供的一些功能：
1. N維數組，一種快速、高效使用內存的多維數組，它提供矢量化數學運算 。
2. 你可以不需要使用循環，就對整個數組內的數據行標准數學運算。
3. 非常便於傳送數據到用低級語言（如C或C++）編寫的外部庫，也便於外部庫以Numpy數組形式返回數據。
2Scipy
Scipy庫依賴於NumPy，它提供便捷和快速的N維向量數組操作。SciPy庫的建立就是和NumPy數組一起工作，並提供許多對用戶友好的和有效的數值常式，如：數值積分和優化。SciPy提供模塊用於優化、線性代數、積分以及其它數據科學中的通用任務。
3Pandas
Pandas包含高級數據結構，以及和讓數據分析變得快速、簡單的工具。它建立在NumPy之上，使以NumPy為中心的應用變得簡單。
1. 帶有坐標軸的數據結構，支持自動或明確的數據對齊。這能防止由於數據沒有對齊，以及處理不同來源的、採用不同索引的數據而產生的常見錯誤。
2. 使用Pandas更容易處理缺失數據。
3. 合並流行資料庫（如：基於SQL的資料庫）中能找到 的關系操作。
Pandas是進行數據清洗/整理（data munging）的最好工具。
4Matplotlib
Matlplotlib是Python的一個可視化模塊。它讓你方便地製作線條圖、餅圖、柱狀圖以及其它專業圖形。使用Matplotlib，你可以定製所做圖表的任一方面。在IPython中使用時，Matplotlib有一些互動功能，如：縮放和平移。它支持所有的操作系統下不同的GUI後端（back ends），並且可以將圖形輸出為常見地矢量圖和圖形格式，如：PDF、SVG、JPG、PNG、BMP和GIF等。
5Scikit-learn
Scikit-learn是一個用於機器學習的Python模塊。它建立在Scipy之上，提供了一套常用機器學習演算法，讓使用者通過一個統一的介面來使用。Scikit-learn有助於你迅速地在你的數據集上實現流行的演算法。
㈡ 如何用python創建資料庫
通過以下的內容你就可以輕松的運用Python資料庫連接池的相關步驟，希望下面的文章會對你有所收獲。 請求連接： 1. db＝pool．connection（）2. 你可以使用這些連接有如原始的DB－API 2一樣。而實際使用的是``SteadyDB``版本的強硬連接。請注意連接可以與其他線程共享，只要你設置 maxshared 參數為非零，並且DB－API 2模塊也允許。如果你想要使用專用連接則使用： 1. db＝pool．connection（0）2. 如果你不再需要這個連接了，則可以返回給連接池使用 db．close（）。你也可以使用相同的方法獲取另一個連接。警告：在一個多線程環境，不要使用下面的方法： 1. pool．connection（）．cursor（）．execute（．．．）2. 3. db＝pool．connection（）4. 5. cur＝db．cursor（）6. 7. cur．execute（．．．）8. 9. res＝cur．fetchone（）10. 11. cur．close（） # or del cur12. 13. db．close（） # or del db14. 示例 [方便你將來直接使用] 使用PersistentDB 模塊 1. import threading，time，datetime2. 3. import MySQLdb4. 5. import DBUtils．PersistentDB6. 7. persist＝DBUtils．PersistentDB．PersistentDB（MySQLdb，100，host＝'localhost'，user＝'root'，passwd＝'321'，db＝'test'，charset＝'utf8'）8. 9. conn＝persist．connection（）10. 11. cursor＝conn．cursor（）12. 13. cursor．execute（"insert into me values（1，'22222'）"）14. 15. conn．commit（）16. 17. conn．close（）18. 通過以上的內容你就可以得到資料庫連接了！ 作者：不詳 來源：網路
㈢ python有哪些庫
Python中6個最重要的庫：
第一、NumPy
NumPy是Numerical
Python的簡寫，是Python數值計算的基石。它提供多種數據結構、演算法以及大部分涉及Python數值計算所需的介面。NumPy還包括其他內容：
①快速、高效的多維數組對象ndarray
②基於元素的數組計算或數組間數學操作函數
③用於讀寫硬碟中基於數組的數據集的工具
④線性代數操作、傅里葉變換以及隨機數生成
除了NumPy賦予Python的快速數組處理能力之外，NumPy的另一個主要用途是在演算法和庫之間作為數據傳遞的數據容器。對於數值數據，NumPy數組能夠比Python內建數據結構更為高效地存儲和操作數據。
第二、pandas
pandas提供了高級數據結構和函數，這些數據結構和函數的設計使得利用結構化、表格化數據的工作快速、簡單、有表現力。它出現於2010年，幫助Python成為強大、高效的數據分析環境。常用的pandas對象是DataFrame，它是用於實現表格化、面向列、使用行列標簽的數據結構;以及Series，一種一維標簽數組對象。
pandas將表格和關系型資料庫的靈活數據操作能力與Numpy的高性能數組計算的理念相結合。它提供復雜的索引函數，使得數據的重組、切塊、切片、聚合、子集選擇更為簡單。由於數據操作、預處理、清洗在數據分析中是重要的技能，pandas將是重要主題。
第三、matplotlib
matplotlib是最流行的用於制圖及其他二維數據可視化的Python庫，它由John D.
Hunter創建，目前由一個大型開發者團隊維護。matplotlib被設計為適合出版的制圖工具。
對於Python編程者來說也有其他可視化庫，但matplotlib依然使用最為廣泛，並且與生態系統的其他庫良好整合。
第四、IPython
IPython項目開始於2001年，由Fernando
Pérez發起，旨在開發一個更具交互性的Python解釋器。在過去的16年中，它成為Python數據技術棧中最重要的工具之一。
盡管它本身並不提供任何計算或數據分析工具，它的設計側重於在交互計算和軟體開發兩方面將生產力最大化。它使用了一種執行-探索工作流來替代其他語言中典型的編輯-編譯-運行工作流。它還提供了針對操作系統命令行和文件系統的易用介面。由於數據分析編碼工作包含大量的探索、試驗、試錯和遍歷，IPython可以使你更快速地完成工作。
第五、SciPy
SciPy是科學計算領域針對不同標准問題域的包集合。以下是SciPy中包含的一些包：
①scipy.integrate數值積分常式和微分方程求解器
②scipy.linalg線性代數常式和基於numpy.linalg的矩陣分解
③scipy.optimize函數優化器和求根演算法
④scipy.signal信號處理工具
⑤scipy.sparse稀疏矩陣與稀疏線性系統求解器
SciPy與Numpy一起為很多傳統科學計算應用提供了一個合理、完整、成熟的計算基礎。
第六、scikit-learn
scikit-learn項目誕生於2010年，目前已成為Python編程者首選的機器學習工具包。僅僅七年，scikit-learn就擁有了全世界1500位代碼貢獻者。其中包含以下子模塊：
①分類：SVM、最近鄰、隨機森林、邏輯回歸等
②回歸：Lasso、嶺回歸等
③聚類：K-means、譜聚類等
④降維：PCA、特徵選擇、矩陣分解等
⑤模型選擇：網格搜索、交叉驗證、指標矩陣
⑥預處理：特徵提取、正態化
scikit-learn與pandas、statsmodels、IPython一起使Python成為高效的數據科學編程語言。
㈣ 如何使用python連接資料庫，插入並查詢數據
你可以訪問Python資料庫介面及API查看詳細的支持資料庫列表。不同的資料庫你需要下載不同的DB API模塊，例如你需要訪問Oracle資料庫和Mysql數據，你需要下載Oracle和MySQL資料庫模塊。
DB-API 是一個規范. 它定義了一系列必須的對象和資料庫存取方式, 以便為各種各樣的底層資料庫系統和多種多樣的資料庫介面程序提供一致的訪問介面 。
Python的DB-API，為大多數的資料庫實現了介面，使用它連接各資料庫後，就可以用相同的方式操作各資料庫。
Python DB-API使用流程：
引入 API 模塊。
獲取與資料庫的連接。
執行SQL語句和存儲過程。
關閉資料庫連接。
什麼是MySQLdb?
MySQLdb 是用於Python鏈接Mysql資料庫的介面，它實現了 Python 資料庫 API 規范 V2.0，基於 MySQL C API 上建立的。
如何安裝MySQLdb?
為了用DB-API編寫MySQL腳本，必須確保已經安裝了MySQL。復制以下代碼，並執行：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import MySQLdb
如果執行後的輸出結果如下所示，意味著你沒有安裝 MySQLdb 模塊：
Traceback (most recent call last):
File "test.py", line 3, in <mole>
import MySQLdb
ImportError: No mole named MySQLdb
安裝MySQLdb，請訪問 ，(Linux平台可以訪問：)從這里可選擇適合您的平台的安裝包，分為預編譯的二進制文件和源代碼安裝包。
如果您選擇二進制文件發行版本的話，安裝過程基本安裝提示即可完成。如果從源代碼進行安裝的話，則需要切換到MySQLdb發行版本的頂級目錄，並鍵入下列命令:
$ gunzip MySQL-python-1.2.2.tar.gz
$ tar -xvf MySQL-python-1.2.2.tar
$ cd MySQL-python-1.2.2
$ python setup.py build
$ python setup.py install
注意：請確保您有root許可權來安裝上述模塊。
資料庫連接
連接資料庫前，請先確認以下事項：
您已經創建了資料庫 TESTDB.
在TESTDB資料庫中您已經創建了表 EMPLOYEE
EMPLOYEE表欄位為 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。
連接資料庫TESTDB使用的用戶名為 "testuser" ，密碼為 "test123",你可以可以自己設定或者直接使用root用戶名及其密碼，Mysql資料庫用戶授權請使用Grant命令。
在你的機子上已經安裝了 Python MySQLdb 模塊。
如果您對sql語句不熟悉，可以訪問我們的 SQL基礎教程
實例：
以下實例鏈接Mysql的TESTDB資料庫：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import MySQLdb
# 打開資料庫連接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標
cursor = db.cursor()
# 使用execute方法執行SQL語句
cursor.execute("SELECT VERSION()")
# 使用 fetchone() 方法獲取一條資料庫。
data = cursor.fetchone()
print "Database version : %s " % data
# 關閉資料庫連接
db.close()
執行以上腳本輸出結果如下：
Database version : 5.0.45
創建資料庫表
如果資料庫連接存在我們可以使用execute()方法來為資料庫創建表，如下所示創建表EMPLOYEE：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import MySQLdb
# 打開資料庫連接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標
cursor = db.cursor()
# 如果數據表已經存在使用 execute() 方法刪除表。
cursor.execute("DROP TABLE IF EXISTS EMPLOYEE")
# 創建數據表SQL語句
sql = """CREATE TABLE EMPLOYEE (
FIRST_NAME CHAR(20) NOT NULL,
LAST_NAME CHAR(20),
AGE INT,
SEX CHAR(1),
INCOME FLOAT )"""
cursor.execute(sql)
# 關閉資料庫連接
db.close()
資料庫插入操作
以下實例使用執行 SQL INSERT 語句向表 EMPLOYEE 插入記錄：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import MySQLdb
# 打開資料庫連接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標
cursor = db.cursor()
# SQL 插入語句
sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
LAST_NAME, AGE, SEX, INCOME)
VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""
try:
# 執行sql語句
cursor.execute(sql)
# 提交到資料庫執行
db.commit()
except:
# Rollback in case there is any error
db.rollback()
# 關閉資料庫連接
db.close()
以上例子也可以寫成如下形式：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import MySQLdb
# 打開資料庫連接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標
cursor = db.cursor()
# SQL 插入語句
sql = "INSERT INTO EMPLOYEE(FIRST_NAME, \
LAST_NAME, AGE, SEX, INCOME) \
VALUES ('%s', '%s', '%d', '%c', '%d' )" % \
('Mac', 'Mohan', 20, 'M', 2000)
try:
# 執行sql語句
cursor.execute(sql)
# 提交到資料庫執行
db.commit()
except:
# 發生錯誤時回滾
db.rollback()
# 關閉資料庫連接
db.close()
實例：
以下代碼使用變數向SQL語句中傳遞參數:
..................................
user_id = "test123"
password = "password"
con.execute('insert into Login values("%s", "%s")' % \
(user_id, password))
..................................
資料庫查詢操作
Python查詢Mysql使用 fetchone() 方法獲取單條數據, 使用fetchall() 方法獲取多條數據。
fetchone(): 該方法獲取下一個查詢結果集。結果集是一個對象
fetchall():接收全部的返回結果行.
rowcount: 這是一個只讀屬性，並返回執行execute()方法後影響的行數。
實例：
查詢EMPLOYEE表中salary（工資）欄位大於1000的所有數據：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import MySQLdb
# 打開資料庫連接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標
cursor = db.cursor()
# SQL 查詢語句
sql = "SELECT * FROM EMPLOYEE \
WHERE INCOME > '%d'" % (1000)
try:
# 執行SQL語句
cursor.execute(sql)
# 獲取所有記錄列表
results = cursor.fetchall()
for row in results:
fname = row[0]
lname = row[1]
age = row[2]
sex = row[3]
income = row[4]
# 列印結果
print "fname=%s,lname=%s,age=%d,sex=%s,income=%d" % \
(fname, lname, age, sex, income )
except:
print "Error: unable to fecth data"
# 關閉資料庫連接
db.close()
以上腳本執行結果如下：
fname=Mac, lname=Mohan, age=20, sex=M, income=2000
資料庫更新操作
更新操作用於更新數據表的的數據，以下實例將 TESTDB表中的 SEX 欄位全部修改為 'M'，AGE 欄位遞增1：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import MySQLdb
# 打開資料庫連接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標
cursor = db.cursor()
# SQL 更新語句
sql = "UPDATE EMPLOYEE SET AGE = AGE + 1
WHERE SEX = '%c'" % ('M')
try:
# 執行SQL語句
cursor.execute(sql)
# 提交到資料庫執行
db.commit()
except:
# 發生錯誤時回滾
db.rollback()
# 關閉資料庫連接
db.close()
刪除操作
刪除操作用於刪除數據表中的數據，以下實例演示了刪除數據表 EMPLOYEE 中 AGE 大於 20 的所有數據：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import MySQLdb
# 打開資料庫連接
db = MySQLdb.connect("localhost","testuser","test123","TESTDB" )
# 使用cursor()方法獲取操作游標
cursor = db.cursor()
# SQL 刪除語句
sql = "DELETE FROM EMPLOYEE WHERE AGE > '%d'" % (20)
try:
# 執行SQL語句
cursor.execute(sql)
# 提交修改
db.commit()
except:
# 發生錯誤時回滾
db.rollback()
# 關閉連接
db.close()
執行事務
事務機制可以確保數據一致性。
事務應該具有4個屬性：原子性、一致性、隔離性、持久性。這四個屬性通常稱為ACID特性。
原子性（atomicity）。一個事務是一個不可分割的工作單位，事務中包括的諸操作要麼都做，要麼都不做。
一致性（consistency）。事務必須是使資料庫從一個一致性狀態變到另一個一致性狀態。一致性與原子性是密切相關的。
隔離性（isolation）。一個事務的執行不能被其他事務干擾。即一個事務內部的操作及使用的數據對並發的其他事務是隔離的，並發執行的各個事務之間不能互相干擾。
持久性（rability）。持續性也稱永久性（permanence），指一個事務一旦提交，它對資料庫中數據的改變就應該是永久性的。接下來的其他操作或故障不應該對其有任何影響。
Python DB API 2.0 的事務提供了兩個方法 commit 或 rollback。
㈤ Python中主要使用哪些資料庫
Python中常用的資料庫有很多,需要根據不同的業務和應用場景來選擇合適的資料庫,才能使程序更高效.
一般常用的主要有 MySQL, Redis, MangoDB 等資料庫
學習這些資料庫，可以看黑馬程序員視頻庫的學習視頻，有代碼、有資料，有PPT，不了解還可以問老師！
㈥ python常用到哪些庫
Python作為一個設計優秀的程序語言，現在已廣泛應用於各種領域，依靠其強大的第三方類庫，Python在各個領域都能發揮巨大的作用。
下面我們就來看一下python中常用到的庫：
數值計算庫：
1. NumPy
支持多維數組與矩陣運算，也針對數組運算提供大量的數學函數庫。通常與SciPy和Matplotlib一起使用，支持比Python更多種類的數值類型，其中定義的最重要的對象是稱為ndarray的n維數組類型，用於描述相同類型的元素集合，可以使用基於0的索引訪問集合中元素。
2. SciPy
在NumPy庫的基礎上增加了眾多的數學、科學及工程計算中常用的庫函數，如線性代數、常微分方程數值求解、信號處理、圖像處理、稀疏矩陣等，可進行插值處理、信號濾波，以及使用C語言加速計算。
3. Pandas
基於NumPy的一種工具，為解決數據分析任務而生。納入大量庫和一些標準的數據模型，提供高效地操作大型數據集所需的工具及大量的能快速便捷處理數據的函數和方法，為時間序列分析提供很好的支持，提供多種數據結構，如Series、Time-Series、DataFrame和Panel。
數據可視化庫：
4. Matplotlib
第一個Python可視化庫，有許多別的程序庫都是建立在其基礎上或者直接調用該庫，可以很方便地得到數據的大致信息，功能非常強大，但也非常復雜。
5. Seaborn
利用了Matplotlib，用簡潔的代碼來製作好看的圖表。與Matplotlib最大的區別為默認繪圖風格和色彩搭配都具有現代美感。
6. ggplot
基於R的一個作圖庫ggplot2，同時利用了源於《圖像語法》（The Grammar of Graphics）中的概念，允許疊加不同的圖層來完成一幅圖，並不適用於製作非常個性化的圖像，為操作的簡潔度而犧牲了圖像的復雜度。
7. Bokeh
跟ggplot一樣，Bokeh也基於《圖形語法》的概念。與ggplot不同之處為它完全基於Python而不是從R處引用。長處在於能用於製作可交互、可直接用於網路的圖表。圖表可以輸出為JSON對象、HTML文檔或者可交互的網路應用。
8. Plotly
可以通過Python notebook使用，與Bokeh一樣致力於交互圖表的製作，但提供在別的庫中幾乎沒有的幾種圖表類型，如等值線圖、樹形圖和三維圖表。
9. pygal
與Bokeh和Plotly一樣，提供可直接嵌入網路瀏覽器的可交互圖像。與其他兩者的主要區別在於可將圖表輸出為SVG格式，所有的圖表都被封裝成方法，且默認的風格也很漂亮，用幾行代碼就可以很容易地製作出漂亮的圖表。
10. geoplotlib
用於製作地圖和地理相關數據的工具箱。可用來製作多種地圖，比如等值區域圖、熱度圖、點密度圖。必須安裝Pyglet（一個面向對象編程介面）方可使用。
11. missingno
用圖像的方式快速評估數據缺失的情況，可根據數據的完整度對數據進行排序或過濾，或者根據熱度圖或樹狀圖對數據進行修正。
web開發庫：
12. Django
一個高級的Python Web框架，支持快速開發，提供從模板引擎到ORM所需的一切東西，使用該庫構建App時，必須遵循Django的方式。
13. Socket
一個套接字通訊底層庫，用於在伺服器和客戶端間建立TCP或UDP連接，通過連接發送請求與響應。
14. Flask
一個基於Werkzeug、Jinja 2的Python輕量級框架（microframework），默認配備Jinja模板引擎，也包含其他模板引擎或ORM供選擇，適合用來編寫API服務（RESTful rervices）。
15. Twisted
一個使用Python實現的基於事件驅動的網路引擎框架，建立在deferred object之上，一個通過非同步架構實現的高性能的引擎，不適用於編寫常規的Web Apps，更適用於底層網路。
資料庫管理：
16. MySQL-python
又稱MySQLdb，是Python連接MySQL最流行的一個驅動，很多框架也基於此庫進行開發。只支持Python 2.x，且安裝時有許多前置條件。由於該庫基於C語言開發，在Windows平台上的安裝非常不友好，經常出現失敗的情況，現在基本不推薦使用，取代品為衍生版本。
17. mysqlclient
完全兼容MySQLdb，同時支持Python 3.x，是Django ORM的依賴工具，可使用原生SQL來操作資料庫，安裝方式與MySQLdb一致。
18. PyMySQL
純Python實現的驅動，速度比MySQLdb慢，最大的特點為安裝方式簡潔，同時也兼容MySQL-python。
19. SQLAlchemy
一種既支持原生SQL，又支持ORM的工具。ORM是Python對象與資料庫關系表的一種映射關系，可有效提高寫代碼的速度，同時兼容多種資料庫系統，如SQLite、MySQL、PostgreSQL，代價為性能上的一些損失。
自動化運維：
20. jumpsever跳板機
一種由Python編寫的開源跳板機（堡壘機）系統，實現了跳板機的基本功能，包含認證、授權和審計，集成了Ansible、批量命令等。
支持WebTerminal Bootstrap編寫，界面美觀，自動收集硬體信息，支持錄像回放、命令搜索、實時監控、批量上傳下載等功能，基於SSH協議進行管理，客戶端無須安裝agent。主要用於解決可視化安全管理，因完全開源，容易再次開發。
21. Mage分布式監控系統
一種用Python開發的自動化監控系統，可監控常用系統服務、應用、網路設備，可在一台主機上監控多個不同服務，不同服務的監控間隔可以不同，同一個服務在不同主機上的監控間隔、報警閾值可以不同，並提供數據可視化界面。
22. Mage的CMDB
一種用Python開發的硬體管理系統，包含採集硬體數據、API、頁面管理3部分功能，主要用於自動化管理筆記本、路由器等常見設備的日常使用。由伺服器的客戶端採集硬體數據，將硬體信息發送至API，API負責將獲取的數據保存至資料庫中，後台管理程序負責對伺服器信息進行配置和展示。
23. 任務調度系統
一種由Python開發的任務調度系統，主要用於自動化地將一個服務進程分布到其他多個機器的多個進程中，一個服務進程可作為調度者依靠網路通信完成這一工作。
24. Python運維流程系統
一種使用Python語言編寫的調度和監控工作流的平台，內部用於創建、監控和調整數據管道。允許工作流開發人員輕松創建、維護和周期性地調度運行工作流，包括了如數據存儲、增長分析、Email發送、A/B測試等諸多跨多部門的用例。
GUI編程：
25. Tkinter
一個Python的標准GUI庫，可以快速地創建GUI應用程序，可以在大多數的UNIX平台下使用，同樣可以應用在Windows和Macintosh系統中，Tkinter 8.0的後續版本可以實現本地窗口風格，並良好地運行在絕大多數平台中。
26. wxPython
一款開源軟體跨平台GUI庫wxWidgets的Python封裝和Python模塊，是Python語言的一套優秀的GUI圖形庫，允許程序員很方便地創建完整的、功能健全的GUI用戶界面。
27. PyQt
一個創建GUI應用程序的工具庫，是Python編程語言和Qt的成功融合，可以運行在所有主要操作系統上，包括UNIX、Windows和Mac。PyQt採用雙許可證，開發人員可以選擇GPL和商業許可，從PyQt的版本4開始，GPL許可證可用於所有支持的平台。
28. PySide
一個跨平台的應用程式框架Qt的Python綁定版本，提供與PyQt類似的功能，並相容API，但與PyQt不同處為其使用LGPL授權。
更多Python知識請關注Python自學網。