Ⅰ python 批量ogr2ogr數據入庫
導入所需的庫和模塊:
import os
import threading
import subprocess
列出當前目錄下的所有文件:
lst = os.listdir(os.getcwd())
定義處理資料庫連接和數據入庫函數:
def intdb():
# 這里可以設置資料庫連接參數
cmd = 'C:\QGIS 3.16\bin\ogr2ogr -f "PostgreSQL" PG:"host=ip port=5432 user=postgres password=postgres123! dbname=postgres active_schema=gis" %s -append -nlt PROMOTE_TO_MULTI -nln function_area -progress --config PG_USE_COPY YES'
print(cmd)
多線程執行ogr2ogr命令,將shp文件轉換為資料庫中的多層數據:
def run_ogr(c):
cmd = cmd % c
subprocess.call(cmd)
遍歷目錄中的文件,處理shp文件並將其轉換為資料庫中的多層數據:
def loop_folder(folder):
for item in os.listdir(folder):
item_path = os.path.join(folder, item)
if os.path.isfile(item_path) and item.endswith('.shp') and ('獨立' not in item):
print(f"處理文件:{item_path}")
task = threading.Thread(target=run_ogr, args=(item_path,))
task.start()
for item in lst:
if os.path.isfile(item) and item.endswith('.shp') and 'start' not in item:
print(item)
task = threading.Thread(target=run_py, args=(item,))
task.start()
Ⅱ Python讀取MySQL資料庫基本操作
Python通過pymysql庫進行MySQL資料庫的基本操作實例演示如下:
首先,確保已安裝必要的庫,如pymysql。使用以下語法創建資料庫連接:
接下來,我們進行數據表查詢和操作。例如,查詢"期權的基本信息"和"期權的風險指標"兩個表:
對數據進行排序,如對"option_risk"表按"收盤價"升序,"Delta"和"證券代碼"降序。
執行連接操作,包括內連接(交集)、並集、左連接和右連接,以獲取所需信息。
在"option_merge"數據框中,進行基礎操作,如修改"行權方式"和"交割方式",添加、刪除行和列,以及重新組織數據。
將修改後的option_merge數據框寫入資料庫。在使用資料庫軟體(如DBeaver或Navicat)時,確保表格式為utf8以支持中文字元。經過調整後,重新運行寫入代碼。
操作成功後,資料庫中應可見新增和修改的數據。為了避免命名規范問題,建議使用英文命名。
想要深入了解更多金融與Python的結合應用,可以考慮購買我的書籍《Python金融量化實戰固定收益類產品分析》,它不僅適合初學者,還包含豐富的源代碼、視頻教程和AI入門資源。
Ⅲ Python爬蟲幾個步驟教你寫入mysql資料庫
構建Python爬蟲以將數據寫入MySQL資料庫,實現數據持久化存儲,通常有多種方式,如Excel、TXT、JSON、CSV等。然而,將數據存入MySQL資料庫提供了豐富的操作和靈活性,尤其對Python後端開發人員有益。以下是一系列步驟,幫助您熟悉整個流程。
首先,安裝PHPStudy並按照指南配置MySQL資料庫。設置用戶名和密碼,然後啟動服務。在主界面,找到MySQL客戶端並連接到本地資料庫,使用設置的用戶名和密碼。
接著,創建MySQL資料庫中的相應表結構。使用SQL語句定義表的列和屬性,確保與爬取的數據結構相匹配。
編寫一個SQL語句字元串,用於插入數據。通過Python的連接對象執行SQL語句,實現數據寫入。這里提供了一個簡單的SQL語句生成和執行函數模板,方便使用。
對於網頁數據爬取,使用如XPath等技術提取信息。在瀏覽器開發者工具中,定位所需元素,復制其選擇器或路徑。這一步是數據提取的關鍵。
下面是一個實現數據爬取和寫入資料庫的Python類示例代碼,供參考。確保按照實際需求調整代碼,以適應具體網頁結構。
最終目標是展示爬取成功,數據已正確保存到MySQL資料庫中。通過查詢資料庫驗證數據是否完整且正確。
Ⅳ windows下python怎麼鏈接資料庫
一,安裝MySQL-python
python 連接mysql資料庫需要 Python interface to Mysql包,包名為
MySQL-python
,PyPI上現在到了1.2.5版本。MySQL-python在windows下是通過.exe文件的installer安裝的,
前提是已經安裝的python需要寫入注冊表,參考這篇文章:windows安裝python2.7後的注冊(registry)問題。
然後開始安裝MySQL-python,不過這里有個坑,從PyPI上下載的MySQL-python版本--
MySQL-python-1.2.5.win32-py2.7.exe (md5)--不一定能用,原因是python環境和MySQL-python在軟體位數上可能不一致,
比如,我本地安裝的python是64位,從PyPI上下載的MySQL-python就沒法使用,
會報這樣的錯誤:python ImportError: DLL load failed: %1
只要安裝正確位數的MySQL-python就可以了,這里分享下64位的:
MySQL-python-1.2.5.win-amd64-py2.7.exe
二,簡單使用
參考代碼如下:
Python2.7.6(default,Nov102013,19:24:24)[MSCv.150064bit(AMD64)]onwin32
importMySQLdb
conn=MySQLdb.connect(host='localhost',port=3306,user='root',passwd='123456',db='test')
cur=conn.cursor()
cur.execute('select`title`,`text`from`entries`limit10')
2L
cur.fetchall()
(('bokeyuan','bokeyuantext...'),('googletranslate','googletranslatetext...'))
cur.close()
conn.close()