Ⅰ python 批量ogr2ogr数据入库
导入所需的库和模块:
import os
import threading
import subprocess
列出当前目录下的所有文件:
lst = os.listdir(os.getcwd())
定义处理数据库连接和数据入库函数:
def intdb():
# 这里可以设置数据库连接参数
cmd = 'C:\QGIS 3.16\bin\ogr2ogr -f "PostgreSQL" PG:"host=ip port=5432 user=postgres password=postgres123! dbname=postgres active_schema=gis" %s -append -nlt PROMOTE_TO_MULTI -nln function_area -progress --config PG_USE_COPY YES'
print(cmd)
多线程执行ogr2ogr命令,将shp文件转换为数据库中的多层数据:
def run_ogr(c):
cmd = cmd % c
subprocess.call(cmd)
遍历目录中的文件,处理shp文件并将其转换为数据库中的多层数据:
def loop_folder(folder):
for item in os.listdir(folder):
item_path = os.path.join(folder, item)
if os.path.isfile(item_path) and item.endswith('.shp') and ('独立' not in item):
print(f"处理文件:{item_path}")
task = threading.Thread(target=run_ogr, args=(item_path,))
task.start()
for item in lst:
if os.path.isfile(item) and item.endswith('.shp') and 'start' not in item:
print(item)
task = threading.Thread(target=run_py, args=(item,))
task.start()
Ⅱ Python读取MySQL数据库基本操作
Python通过pymysql库进行MySQL数据库的基本操作实例演示如下:
首先,确保已安装必要的库,如pymysql。使用以下语法创建数据库连接:
接下来,我们进行数据表查询和操作。例如,查询"期权的基本信息"和"期权的风险指标"两个表:
对数据进行排序,如对"option_risk"表按"收盘价"升序,"Delta"和"证券代码"降序。
执行连接操作,包括内连接(交集)、并集、左连接和右连接,以获取所需信息。
在"option_merge"数据框中,进行基础操作,如修改"行权方式"和"交割方式",添加、删除行和列,以及重新组织数据。
将修改后的option_merge数据框写入数据库。在使用数据库软件(如DBeaver或Navicat)时,确保表格式为utf8以支持中文字符。经过调整后,重新运行写入代码。
操作成功后,数据库中应可见新增和修改的数据。为了避免命名规范问题,建议使用英文命名。
想要深入了解更多金融与Python的结合应用,可以考虑购买我的书籍《Python金融量化实战固定收益类产品分析》,它不仅适合初学者,还包含丰富的源代码、视频教程和AI入门资源。
Ⅲ Python爬虫几个步骤教你写入mysql数据库
构建Python爬虫以将数据写入MySQL数据库,实现数据持久化存储,通常有多种方式,如Excel、TXT、JSON、CSV等。然而,将数据存入MySQL数据库提供了丰富的操作和灵活性,尤其对Python后端开发人员有益。以下是一系列步骤,帮助您熟悉整个流程。
首先,安装PHPStudy并按照指南配置MySQL数据库。设置用户名和密码,然后启动服务。在主界面,找到MySQL客户端并连接到本地数据库,使用设置的用户名和密码。
接着,创建MySQL数据库中的相应表结构。使用SQL语句定义表的列和属性,确保与爬取的数据结构相匹配。
编写一个SQL语句字符串,用于插入数据。通过Python的连接对象执行SQL语句,实现数据写入。这里提供了一个简单的SQL语句生成和执行函数模板,方便使用。
对于网页数据爬取,使用如XPath等技术提取信息。在浏览器开发者工具中,定位所需元素,复制其选择器或路径。这一步是数据提取的关键。
下面是一个实现数据爬取和写入数据库的Python类示例代码,供参考。确保按照实际需求调整代码,以适应具体网页结构。
最终目标是展示爬取成功,数据已正确保存到MySQL数据库中。通过查询数据库验证数据是否完整且正确。
Ⅳ windows下python怎么链接数据库
一,安装MySQL-python
python 连接mysql数据库需要 Python interface to Mysql包,包名为
MySQL-python
,PyPI上现在到了1.2.5版本。MySQL-python在windows下是通过.exe文件的installer安装的,
前提是已经安装的python需要写入注册表,参考这篇文章:windows安装python2.7后的注册(registry)问题。
然后开始安装MySQL-python,不过这里有个坑,从PyPI上下载的MySQL-python版本--
MySQL-python-1.2.5.win32-py2.7.exe (md5)--不一定能用,原因是python环境和MySQL-python在软件位数上可能不一致,
比如,我本地安装的python是64位,从PyPI上下载的MySQL-python就没法使用,
会报这样的错误:python ImportError: DLL load failed: %1
只要安装正确位数的MySQL-python就可以了,这里分享下64位的:
MySQL-python-1.2.5.win-amd64-py2.7.exe
二,简单使用
参考代码如下:
Python2.7.6(default,Nov102013,19:24:24)[MSCv.150064bit(AMD64)]onwin32
importMySQLdb
conn=MySQLdb.connect(host='localhost',port=3306,user='root',passwd='123456',db='test')
cur=conn.cursor()
cur.execute('select`title`,`text`from`entries`limit10')
2L
cur.fetchall()
(('bokeyuan','bokeyuantext...'),('googletranslate','googletranslatetext...'))
cur.close()
conn.close()