1.SQLAlchemy安装
pip install SQLAlchemy
from sqlalchemy import create_engine from sqlalchemy.orm import sessionmaker DB_CONNECT_STRING = 'mysql+mysqldb://root:123@localhost/ooxx?charset=utf8' engine = create_engine(DB_CONNECT_STRING, echo=True) DB_Session = sessionmaker(bind=engine) session = DB_Session()
这里的 DB_CONNECT_STRING 就是连接数据库的路径。“mysql+mysqldb”指定了使用 MySQL-Python 来连接,“root”和“123”分别是用户名和密码,“localhost”是数据库的域名,“ooxx”是使用的数据库名(可省略),“charset”指定了连接时使用的字符集(可省略)。 create_engine() 会返回一个数据库引擎,echo 参数为 True 时,会显示每条执行的 SQL 语句,生产环境下可关闭。 sessionmaker() 会生成一个数据库会话类。这个类的实例可以当成一个数据库连接,它同时还记录了一些查询的数据,并决定什么时候执行 SQL 语句。由于 SQLAlchemy 自己维护了一个数据库连接池(默认 5 个连接),因此初始化一个会话的开销并不大。对 Tornado 而言,可以在 BaseHandler 的 initialize() 里初始化:
复制代码 代码如下:
class BaseHandler(tornado.web.RequestHandler): def initialize(self): self.session = models.DB_Session() def on_finish(self): self.session.close()
对其他 Web 服务器来说,可以使用 sqlalchemy.orm.scoped_session,它能保证每个线程获得的 session 对象都是唯一的。不过 Tornado 本身就是单线程的,如果使用了异步方式,就可能会出现问题,因此我并没使用它。 拿到 session 后,就可以执行 SQL 了: 复制代码 代码如下:
session.execute('create database abc') print session.execute('show databases').fetchall() session.execute('use abc') # 建 user 表的过程略 print session.execute('select * from user where id = 1').first() print session.execute('select * from user where id = :id', {'id': 1}).first()
不过这和直接使用 MySQL-Python 没啥区别,所以就不介绍了;我还是喜欢 ORM 的方式,这也是我采用 SQLAlchemy 的唯一原因。
于是来定义一个表: 复制代码 代码如下:
from sqlalchemy import Column from sqlalchemy.types import CHAR, Integer, String from sqlalchemy.ext.declarative import declarative_base BaseModel = declarative_base() def init_db(): BaseModel.metadata.create_all(engine) def drop_db(): BaseModel.metadata.drop_all(engine) class User(BaseModel): __tablename__ = 'user' id = Column(Integer, primary_key=True) name = Column(CHAR(30)) # or Column(String(30)) init_db()
declarative_base() 创建了一个 BaseModel 类,这个类的子类可以自动与一个表关联。 以 User 类为例,它的 tablename 属性就是数据库中该表的名称,它有 id 和 name 这两个字段,分别为整型和 30 个定长字符。Column 还有一些其他的参数,我就不解释了。 最后,BaseModel.metadata.create_all(engine) 会找到 BaseModel 的所有子类,并在数据库中建立这些表;drop_all() 则是删除这些表。 接着就开始使用这个表吧: 复制代码 代码如下:
from sqlalchemy import func, or_, not_ user = User(name='a') session.add(user) user = User(name='b') session.add(user) user = User(name='a') session.add(user) user = User() session.add(user) session.commit() query = session.query(User) print query # 显示SQL 语句 print query.statement # 同上 for user in query: # 遍历时查询 print user.name print query.all() # 返回的是一个类似列表的对象 print query.first().name # 记录不存在时,first() 会返回 None # print query.one().name # 不存在,或有多行记录时会抛出异常 print query.filter(User.id == 2).first().name print query.get(2).name # 以主键获取,等效于上句 print query.filter('id = 2').first().name # 支持字符串 query2 = session.query(User.name) print query2.all() # 每行是个元组 print query2.limit(1).all() # 最多返回 1 条记录 print query2.offset(1).all() # 从第 2 条记录开始返回 print query2.order_by(User.name).all() print query2.order_by('name').all() print query2.order_by(User.name.desc()).all() print query2.order_by('name desc').all() print session.query(User.id).order_by(User.name.desc(), User.id).all() print query2.filter(User.id == 1).scalar() # 如果有记录,返回第一条记录的第一个元素 print session.query('id').select_from(User).filter('id = 1').scalar() print query2.filter(User.id > 1, User.name != 'a').scalar() # and query3 = query2.filter(User.id > 1) # 多次拼接的 filter 也是 and query3 = query3.filter(User.name != 'a') print query3.scalar() print query2.filter(or_(User.id == 1, User.id == 2)).all() # or print query2.filter(User.id.in_((1, 2))).all() # in query4 = session.query(User.id) print query4.filter(User.name == None).scalar() print query4.filter('name is null').scalar() print query4.filter(not_(User.name == None)).all() # not print query4.filter(User.name != None).all() print query4.count() print session.query(func.count('*')).select_from(User).scalar() print session.query(func.count('1')).select_from(User).scalar() print session.query(func.count(User.id)).scalar() print session.query(func.count('*')).filter(User.id > 0).scalar() # filter() 中包含 User,因此不需要指定表 print session.query(func.count('*')).filter(User.name == 'a').limit(1).scalar() == 1 # 可以用 limit() 限制 count() 的返回数 print session.query(func.sum(User.id)).scalar() print session.query(func.now()).scalar() # func 后可以跟任意函数名,只要该数据库支持 print session.query(func.current_timestamp()).scalar() print session.query(func.md5(User.name)).filter(User.id == 1).scalar() query.filter(User.id == 1).update({User.name: 'c'}) user = query.get(1) print user.name user.name = 'd' session.flush() # 写数据库,但并不提交 print query.get(1).name session.delete(user) session.flush() print query.get(1) session.rollback() print query.get(1).name query.filter(User.id == 1).delete() session.commit() print query.get(1)
增删改查都涉及到了,自己看看输出的 SQL 语句就知道了,于是基础知识就介绍到此了。
- 下面开始介绍一些进阶的知识。
- 如何批量插入大批数据?
- 可以使用非 ORM 的方式:
复制代码 代码如下:
session.execute( User.__table__.insert(), [{'name': `randint(1, 100)`,'age': randint(1, 100)} for i in xrange(10000)] ) session.commit()
- 上面我批量插入了 10000 条记录,半秒内就执行完了;而 ORM 方式会花掉很长时间。
- 如何让执行的 SQL 语句增加前缀?
- 使用 query 对象的 prefix_with() 方法: 复制代码 代码如下:
session.query(User.name).prefix_with('HIGH_PRIORITY').all() session.execute(User.__table__.insert().prefix_with('IGNORE'), {'id': 1, 'name': '1'})
- 如何替换一个已有主键的记录? 使用 session.merge() 方法替代 session.add(),其实就是 SELECT + UPDATE: 复制代码 代码如下:
user = User(id=1, name='ooxx') session.merge(user) session.commit()
或者使用 MySQL 的 INSERT … ON DUPLICATE KEY UPDATE,需要用到 @compiles 装饰器,有点难懂,自己搜索看吧:《SQLAlchemy ON DUPLICATE KEY UPDATE》 和 sqlalchemy_mysql_ext。 如何使用无符号整数?
可以使用 MySQL 的方言:
复制代码 代码如下:
from sqlalchemy.dialects.mysql import INTEGER id = Column(INTEGER(unsigned=True), primary_key=True)
- 模型的属性名需要和表的字段名不一样怎么办?
- 开发时遇到过一个奇怪的需求,有个其他系统的表里包含了一个“from”字段,这在 Python 里是关键字,于是只能这样处理了:
复制代码 代码如下:
from_ = Column('from', CHAR(10))
- 如何获取字段的长度?
- Column 会生成一个很复杂的对象,想获取长度比较麻烦,这里以 User.name 为例:
复制代码 代码如下:
User.name.property.columns[0].type.length
- 如何指定使用 InnoDB,以及使用 UTF-8 编码?
- 最简单的方式就是修改数据库的默认配置。如果非要在代码里指定的话,可以这样: 复制代码 代码如下:
class User(BaseModel): __table_args__ = { 'mysql_engine': 'InnoDB', 'mysql_charset': 'utf8' }
MySQL 5.5 开始支持存储 4 字节的 UTF-8 编码的字符了,iOS 里自带的 emoji(如