当前位置:
首页 > temp > 简明python教程 >
-
python通用数据库操作工具 pydbclib
pydbclib是一个通用的python关系型数据库操作工具包,使用统一的接口操作各种关系型数据库(如 oracle、mysql、postgres、hive、impala等)进行增删改查,它是对各个python数据库连接驱动包(如sqlalchemy、pymysql、cx_Oracle、pyhive、pyodbc、impala等)的封装,依照python最简原则SQL占位符统一成 ':[name]' 这一种形式,这点和sqlalchemy是一样的
安装
pip3 install pydbclib
简单使用
看下简单的查询示例
from pydbclib import connect # 使用with上下文,可以自动提交,自动关闭连接 with connect("sqlite:///:memory:") as db: db.execute('create table foo(a integer, b varchar(20))') # 统一使用’:[name]'形式的SQL的占位符 db.execute("insert into foo(a,b) values(:a,:b)", [{"a": 1, "b": "one"}]*4) print(db.read("select * from foo").get_one()) print(db.read("select * from foo").get_all()) print(db.read("select * from foo").to_df()) db.get_table("foo").insert({"a": 2, "b": "two"}) print(db.get_table("foo").find_one({"a": 2})) print(db.get_table("foo").find().get_all()) print(db.get_table("foo").find().to_df())
查询结果记录是以字典形式展现,向库里写入记录也是字典形式,如果要使用原生元祖形式,查询函数read里添加as_dict=False参数
接口文档
数据库连接,更多常用数据库连接方式参考文章结尾
# connect函数有个driver参数决定你是通过哪个数据库驱动包去连接的 # driver参数默认值是sqlalchemy,即通过sqlalchemy驱动包连接数据库 >>> db = pydbclib.connect("sqlite:///:memory:") >>> db = pydbclib.connect(":memory:", driver='sqlite3') # 也可以传入驱动包连接对象 >>> import sqlite3 >>> db = pydbclib.connect(driver=sqlite3.connect(":memory:")) >>> from sqlalchemy import create_engine >>> db = pydbclib.connect(driver=create_engine("sqlite:///:memory:"))
原生SQL接口
1. 使用execute方法执行SQL,和各数据库连接包基本一致,不同点是它既可以单条执行,也可以批量执行(相当于executemany),另外该方法的SQL占位符是':[name]'形式
>>> record = {"a": 1, "b": "one"} >>> db.execute('create table foo(a integer, b varchar(20))') # 插入单条记录,结果返回影响行数 >>> db.execute("insert into foo(a,b) values(:a,:b)", record) 1 # 插入多条记录 >>> db.execute("insert into foo(a,b) values(:a,:b)", [record, record]) 2
2. 查询数据
# 查询结果只返回一条记录 >>> db.read_one("select * from foo") {'a': 1, 'b': 'one'} #read返回迭代器类型,用get方法获取前几条记录,使用map对每条记录进行数据清洗 >>> db.read("select * from foo").map(lambda x: {f"foo.{k}": v for k,v in x.items()}).get(2) # as_dict=False返回原生元祖记录 >>> db.read("select * from foo", as_dict=False).get(2) [(1, 'one'), (1, 'one')] # 也可以直接for遍历 >>> for r in db.read("select * from foo"): ... print(r) ... {'a': 1, 'b': 'one'} {'a': 1, 'b': 'one'} {'a': 1, 'b': 'one'} # 转换成pandas dataframe对象, 前提已经安装了pandas >>> db.read("select * from foo").to_df() a b 0 1 one 1 1 one 2 1 one
3. 提交、回滚、关闭连接
>>> db.rollback() >>> db.commit() >>> db.close()
表级别操作的SQL接口封装
1. 插入记录
# 插入单条和插入多条,输入参数字典的键值必须和表中字段同名 >>> db.get_table("foo").insert({"a": 1, "b": "one"}) 1 >>> db.get_table("foo").insert([{"a": 1, "b": "one"}]*10) 10
2. 查询记录
# 查询字段a=1第一条记录 >>> db.get_table("foo").find_one({"a": 1}) {'a': 1, 'b': 'one'} # 也可以直接写成sql条件表达式,其他接口的条件参数类似都可以是表达式 >>> db.get_table("foo").find_one("a=1") {'a': 1, 'b': 'one'} # 查询字段a=1所有记录,find返回迭代器对象同上面read方法 >>> db.get_table("foo").find({"a": 1}).get_all() [{'a': 1, 'b': 'one'},...{'a': 1, 'b': 'one'}]
3. 更新记录
# 将a=1那条记录的b字段值更新为"first" >>> db.get_table("foo").update({"a": 1}, {"b": "first"}) 11 >>> db.get_table("foo").find({"a": 1}).get_one() {'a': 1, 'b': 'first'}
4. 删除记录
# 将a=1那条记录删除 >>> db.get_table("foo").delete({"a": 1}) 11 >>> db.get_table("foo").find({"a": 1}).get_all() []
常用数据库连接
1. Common Driver
# 使用普通数据库驱动连接,driver参数指定驱动包名称 # 例如pymysql包driver='pymysql',connect函数其余的参数和driver参数指定的包的创建连接参数一致 # 连接mysql db = pydbclib.connect(user="user", password="password", database="test", driver="pymysql") # 连接oracle db = pydbclib.connect('user/password@local:1521/xe', driver="cx_Oracle") # 通过odbc方式连接 db = pydbclib.connect('DSN=mysqldb;UID=user;PWD=password', driver="pyodbc") # 通过已有驱动连接方式连接 import pymysql con = pymysql.connect(user="user", password="password", database="test") db = pydbclib.connect(driver=con)
2. Sqlalchemy Driver
# 使用Sqlalchemy包来连接数据库,drvier参数默认为'sqlalchemy' # 连接oracle db = pydbclib.connect("oracle://user:password@local:1521/xe") # 连接mysql db = pydbclib.connect("mysql+pyodbc://:@mysqldb") # 通过已有engine连接 from sqlalchemy import create_engine engine = create_engine("mysql+pymysql://user:password@localhost:3306/test") db = pydbclib.connect(driver=engine)
项目地址pydbclib
https://github.com/taogeYT/pydbclib
栏目列表
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
SQL Server -- 解决存储过程传入参数作为s
关于JS定时器的整理
JS中使用Promise.all控制所有的异步请求都完
js中字符串的方法
import-local执行流程与node模块路径解析流程
检测数据类型的四种方法
js中数组的方法,32种方法
前端操作方法
数据类型
window.localStorage.setItem 和 localStorage.setIte
如何完美解决前端数字计算精度丢失与数