跳至主要內容

面向对象编程四:高级特性

yczha大约 15 分钟python基础python语法python

Python基础系列内容为学习廖雪峰老师Python3教程的记录,廖雪峰老师官网地址:廖雪峰Python3教程open in new window

  • __slots__方法

    常规情况下,对一个类可以任意绑定属性,但当我们不希望这样的情况发生时,则可以限定能绑定的属性,使用的方式只需在创建类的时候把允许绑定的属性赋值给__slots__,比如我们希望仅能绑定namescore属性

    class Student(object):
        __slots__ = ('name', 'age') # 用tuple定义允许绑定的属性名称
    

    使用__slots__要注意,__slots__定义的属性仅对当前类实例起作用,对继承的子类是不起作用的:

    除非在子类中也定义__slots__,这样,子类实例允许定义的属性就是自身的__slots__加上父类的__slots__

  • 使用@property

    在绑定属性时,如果我们直接把属性暴露出去,虽然写起来很简单,但是,没办法检查参数,导致可以把成绩随便改:

    s = Student()
    s.score = 9999
    

    这显然不合逻辑。为了限制score的范围,可以通过一个set_score()方法来设置成绩,再通过一个get_score()来获取成绩,这样,在set_score()方法里,就可以检查参数:

    class Student(object):
        def get_score(self):
             return self._score
        def set_score(self, value):
            if not isinstance(value, int):
                raise ValueError('score must be an integer!')
            if value < 0 or value > 100:
                raise ValueError('score must between 0 ~ 100!')
            self._score = value
    

    现在,对任意的Student实例进行操作,就不能随心所欲地设置score了:

    >>> s = Student()
    >>> s.set_score(60)
    >>> s.get_score()
    60
    >>> s.set_score(9999)
    Traceback (most recent call last):
      ...
    ValueError: score must between 0 ~ 100!
    

    但是,上面的调用方法又略显复杂,没有直接用属性这么直接简单。

    有没有既能检查参数,又可以用类似属性这样简单的方式来访问类的变量呢?对于追求完美的Python程序员来说,这是必须要做到的!

    还记得装饰器(decorator)可以给函数动态加上功能吗?对于类的方法,装饰器一样起作用。Python内置的@property装饰器就是负责把一个方法变成属性调用的:

    class Student(object):
        @property
        def score(self):
            return self._score
        @score.setter
        def score(self, value):
            if not isinstance(value, int):
                raise ValueError('score must be an integer!')
            if value < 0 or value > 100:
                raise ValueError('score must between 0 ~ 100!')
            self._score = value
    

    @property的实现比较复杂,我们先考察如何使用。把一个getter方法变成属性,只需要加上@property就可以了,此时,@property本身又创建了另一个装饰器@score.setter,负责把一个setter方法变成属性赋值,于是,我们就拥有一个可控的属性操作:

    >>> s = Student()
    >>> s.score = 60 # OK,实际转化为s.set_score(60)
    >>> s.score # OK,实际转化为s.get_score()
    60
    >>> s.score = 9999
    Traceback (most recent call last):
      ...
    ValueError: score must between 0 ~ 100!
    

    注意到这个神奇的@property,我们在对实例属性操作的时候,就知道该属性很可能不是直接暴露的,而是通过getter和setter方法来实现的。

    还可以定义只读属性,只定义getter方法,不定义setter方法就是一个只读属性:

    class Student(object):
        @property
        def birth(self):
            return self._birth
        @birth.setter
        def birth(self, value):
            self._birth = value
        @property
        def age(self):
            return 2015 - self._birth
    

    上面的birth是可读写属性,而age就是一个只读属性,因为age可以根据birth和当前时间计算出来。

  • 多重继承

    继承是面向对象编程的一个重要的方式,因为通过继承,子类就可以拓展父类的功能。

    回顾之前的Animal类,假设我们要实现这几种动物:Dog Bat Parrot Ostrich

    如果按照哺乳动物和鸟类归类,我们可以设计出这样的类的层次:

    animal-mb
    animal-mb

    但是如果按照“能跑”和“能飞”来归类,我们就应该设计出这样的类的层次:

    animal-rf
    animal-rf

    如果要把上面的两种分类都包含进来,我们就得设计更多的层次:

    • 哺乳类:能跑的哺乳类,能飞的哺乳类;
    • 鸟类:能跑的鸟类,能飞的鸟类。

    这么一来,类的层次就复杂了:

    animal-mb-rf
    animal-mb-rf

    为了避免这种情况,就可以使用多重继承。首先,主要的类仍就是按照哺乳类和鸟类进行设计:

    class Animal:
    	pass
    
    #大分类	
    class Mammal(Animal):
    	pass
    	
    class Bird(Animal):
    	pass
    	
    ##底层类
    class Dog(Mammal):
    	pass
    	
    class Bat(Mammal):
    	pass
    	
    class Parrot(Bird):
    	pass
    	
    class Ostrich(Bird):
    	pass
    

    现在,我们再为动物添加RunnableFlyable功能,只需先定义好这两个类:

    #额外属性类
    class Runnable(object):
    	def run(self):
    		print('Running...')		
    class Flyable(object):
    	def fly(self):
    		print('Flying...')
    

    此时,我们给需要额外属性的子类添加相应的父类

    class Dog(Mammal,Runnable):
        pass
    
    class Bat(Mammal,Flyable):
        pass
    

    这样,通过多继承,子类就拥有了多个父类的功能。这种混合式继承的设计方式称之为MixIn。为了能明显看出是多继承关系,我们一般会把上面类似RunnableFlyable的额外添加的类命名为RunnableMixInFlyableMixIn。Python自带的很多类也是用了这样的设计。

  • 定制类

    形如__xxx__这样的变量或者方法在Python中有着特殊的用途。可以用来为我们自己写的类定制特定的功能,下面我们来介绍常用的几个

    1.__slots__:这个我们在之前已经介绍过,可以用来限定类的属性。

    2.__len()__:这个方法我们也介绍过,是为了能让自己写的类使用len()函数。

    3.__str__:

    我们先定义一个Student类,打印一个实例:

    >>> class Student(object):
    ...     def __init__(self, name):
    ...         self.name = name
    ...
    >>> print(Student('Michael'))
    <__main__.Student object at 0x109afb190>
    

    打印出一堆<__main__.Student object at 0x109afb190>,不好看。

    怎么才能打印得好看呢?只需要定义好__str__()方法,返回一个好看的字符串就可以了:

    >>> class Student(object):
    ...     def __init__(self, name):
    ...         self.name = name
    ...     def __str__(self):
    ...         return 'Student object (name: %s)' % self.name
    ...
    >>> print(Student('Michael'))
    Student object (name: Michael)
    

    这样打印出来的实例,不但好看,而且容易看出实例内部重要的数据。

    但是你会发现直接敲变量,打印出来的实例还是不好看:

    >>> s = Student('Michael')
    >>> s
    <__main__.Student object at 0x109afb310>
    

    这是因为直接显示变量调用的不是__str__(),而是__repr__(),两者的区别是__str__()返回用户看到的字符串,而__repr__()返回程序开发者看到的字符串,也就是说,__repr__()是为调试服务的。

    解决办法是再定义一个__repr__()。但是通常__str__()__repr__()代码都是一样的,所以,有个偷懒的写法:

    class Student(object):
        def __init__(self, name):
            self.name = name
        def __str__(self):
            return 'Student object (name=%s)' % self.name
        __repr__ = __str__
    
    

    4.__iter__

    如果一个类想被用于for ... in循环,类似list或tuple那样,就必须实现一个__iter__()方法,该方法返回一个迭代对象,然后,Python的for循环就会不断调用该迭代对象的__next__()方法拿到循环的下一个值,直到遇到StopIteration错误时退出循环。

    class Fib(object):
        def __init__(self):
            self.a,self.b=0,1
            
        def __iter__(self):
            return self #实例本身就是迭代对象
        
        def __next__(self):
            self.a,self.b=self.b,self.a+self.b
            if self.a>10000:
                raise StopIteration()
            return self.a
        
    

    现在来调用

    >>> L=[]
    >>> for n in Fib():
    ...     L.append(n)
    ...
    >>> L
    [1, 1, 2, 3, 5, 8, 13, 21, 34, 55, 89, 144, 233, 377, 610, 987, 1597, 2584, 4181, 6765]
    

    5.__getitem__

    如果要让上面的Fib类实现用下标来获得元素,那么需要为其实现__getitem___方法

    class Fib(object):
        def __getitem__(self,n):
            a,b=1,1
            for x in range(n):
                a,b=b,a+b
                return a
    

    现在就可以是用下标来进行调用操作

    >>> f=Fib()
    >>> f[1]
    1
    >>> f[5]
    8
    >>> f[12]
    233
    >>> f[111]
    114059301025943970552219
    

    类似的,还可以实现类于list的其他功能,可以使用诸如__setitem__(),__delitem__()等方法。

    6.__getattr__

    正常情况下,当我们调用类的方法或属性时,如果不存在,就会报错。比如定义Student类:

    class Student(object):
    
        def __init__(self):
            self.name = 'Michael'
    

    调用name属性,没问题,但是,调用不存在的score属性,就有问题了:

    >>> s = Student()
    >>> print(s.name)
    Michael
    >>> print(s.score)
    Traceback (most recent call last):
      ...
    AttributeError: 'Student' object has no attribute 'score'
    

    错误信息很清楚地告诉我们,没有找到score这个attribute。

    要避免这个错误,除了可以加上一个score属性外,Python还有另一个机制,那就是写一个__getattr__()方法,动态返回一个属性。修改如下:

    class Student(object):
    
        def __init__(self):
            self.name = 'Michael'
    
        def __getattr__(self, attr):
            if attr=='score':
                return 99
    

    当调用不存在的属性时,比如score,Python解释器会试图调用__getattr__(self, 'score')来尝试获得属性,这样,我们就有机会返回score的值:

    >>> s = Student()
    >>> s.name
    'Michael'
    >>> s.score
    99
    
  • 使用枚举类

    当我们需要定义常量时,比如月份,可以采用枚举类来完成,Python提供了Enum类来完成这个功能。

    示例:使用枚举类定义月份

    from enum import Enum
    	Month=Enum('Month',('Jan','Feb','Mar','Apr','May','Jun','Jul','Aug','Sep','Oct','Nov','Dec'));
    

    这样我们就获得了Month类型的枚举类,可以直接使用Month.xxx的形式来引用一个常量,或者枚举其所有成员

    >>> for name,member in Month.__members__.items():
    ...     print(name,'=>',member,',',member.value)
    ...
    Jan => Month.Jan , 1
    Feb => Month.Feb , 2
    Mar => Month.Mar , 3
    Apr => Month.Apr , 4
    May => Month.May , 5
    Jun => Month.Jun , 6
    Jul => Month.Jul , 7
    Aug => Month.Aug , 8
    Sep => Month.Sep , 9
    Oct => Month.Oct , 10
    Nov => Month.Nov , 11
    Dec => Month.Dec , 12
    >>>
    

    value属性是自动赋值给成员的int型变量,默认从1开始。

  • 使用元类

    动态语言和静态语言最大的不同,就是函数和类的定义,不是编译时定义的,而是运行时动态创建的。

    比方说我们要定义一个Hello的class,就写一个hello.py模块:

    class Hello(object):
        def hello(self, name='world'):
            print('Hello, %s.' % name)
    

    当Python解释器载入hello模块时,就会依次执行该模块的所有语句,执行结果就是动态创建出一个Hello的class对象,测试如下:

    >>> from hello import Hello
    >>> h = Hello()
    >>> h.hello()
    Hello, world.
    >>> print(type(Hello))
    <class 'type'>
    >>> print(type(h))
    <class 'hello.Hello'>
    

    type()函数可以查看一个类型或变量的类型,Hello是一个class,它的类型就是type,而h是一个实例,它的类型就是class Hello

    我们说class的定义是运行时动态创建的,而创建class的方法就是使用type()函数。

    type()函数既可以返回一个对象的类型,又可以创建出新的类型,比如,我们可以通过type()函数创建出Hello类,而无需通过class Hello(object)...的定义:

    >>> def fn(self, name='world'): # 先定义函数
    ...     print('Hello, %s.' % name)
    ...
    >>> Hello = type('Hello', (object,), dict(hello=fn)) # 创建Hello class
    >>> h = Hello()
    >>> h.hello()
    Hello, world.
    >>> print(type(Hello))
    <class 'type'>
    >>> print(type(h))
    <class '__main__.Hello'>
    

    要创建一个class对象,type()函数依次传入3个参数:

    1. class的名称;
    2. 继承的父类集合,注意Python支持多重继承,如果只有一个父类,别忘了tuple的单元素写法;
    3. class的方法名称与函数绑定,这里我们把函数fn绑定到方法名hello上。

    通过type()函数创建的类和直接写class是完全一样的,因为Python解释器遇到class定义时,仅仅是扫描一下class定义的语法,然后调用type()函数创建出class。

    正常情况下,我们都用class Xxx...来定义类,但是,type()函数也允许我们动态创建出类来,也就是说,动态语言本身支持运行期动态创建类,这和静态语言有非常大的不同,要在静态语言运行期创建类,必须构造源代码字符串再调用编译器,或者借助一些工具生成字节码实现,本质上都是动态编译,会非常复杂。

    metaclass

    除了使用type()动态创建类以外,要控制类的创建行为,还可以使用metaclass。

    metaclass,直译为元类,简单的解释就是:

    当我们定义了类以后,就可以根据这个类创建出实例,所以:先定义类,然后创建实例。

    但是如果我们想创建出类呢?那就必须根据metaclass创建出类,所以:先定义metaclass,然后创建类。

    连接起来就是:先定义metaclass,就可以创建类,最后创建实例。

    所以,metaclass允许你创建类或者修改类。换句话说,你可以把类看成是metaclass创建出来的“实例”。

    metaclass是Python面向对象里最难理解,也是最难使用的魔术代码。正常情况下,你不会碰到需要使用metaclass的情况,所以,以下内容看不懂也没关系,因为基本上你不会用到。

    我们先看一个简单的例子,这个metaclass可以给我们自定义的MyList增加一个add方法:

    定义ListMetaclass,按照默认习惯,metaclass的类名总是以Metaclass结尾,以便清楚地表示这是一个metaclass:

    # metaclass是类的模板,所以必须从`type`类型派生:
    class ListMetaclass(type):
        def __new__(cls, name, bases, attrs):
            attrs['add'] = lambda self, value: self.append(value)
            return type.__new__(cls, name, bases, attrs)
    

    有了ListMetaclass,我们在定义类的时候还要指示使用ListMetaclass来定制类,传入关键字参数metaclass

    class MyList(list, metaclass=ListMetaclass):
        pass
    

    当我们传入关键字参数metaclass时,魔术就生效了,它指示Python解释器在创建MyList时,要通过ListMetaclass.__new__()来创建,在此,我们可以修改类的定义,比如,加上新的方法,然后,返回修改后的定义。

    __new__()方法接收到的参数依次是:

    1. 当前准备创建的类的对象;
    2. 类的名字;
    3. 类继承的父类集合;
    4. 类的方法集合。

    测试一下MyList是否可以调用add()方法:

    >>> L = MyList()
    >>> L.add(1)
    >> L
    [1]
    

    而普通的list没有add()方法:

    >>> L2 = list()
    >>> L2.add(1)
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
    AttributeError: 'list' object has no attribute 'add'
    

    动态修改有什么意义?直接在MyList定义中写上add()方法不是更简单吗?正常情况下,确实应该直接写,通过metaclass修改纯属变态。

    但是,总会遇到需要通过metaclass修改类定义的。ORM就是一个典型的例子。

    ORM全称Object Relational Mapping,即对象-关系映射,就是把关系数据库的一行映射为一个对象,也就是一个类对应一个表,这样,写代码更简单,不用直接操作SQL语句。

    要编写一个ORM框架,所有的类都只能动态定义,因为只有使用者才能根据表的结构定义出对应的类来。

    让我们来尝试编写一个ORM框架。

    编写底层模块的第一步,就是先把调用接口写出来。比如,使用者如果使用这个ORM框架,想定义一个User类来操作对应的数据库表User,我们期待他写出这样的代码:

    class User(Model):
        # 定义类的属性到列的映射:
        id = IntegerField('id')
        name = StringField('username')
        email = StringField('email')
        password = StringField('password')
    
    # 创建一个实例:
    u = User(id=12345, name='Michael', email='test@orm.org', password='my-pwd')
    # 保存到数据库:
    u.save()
    

    其中,父类Model和属性类型StringFieldIntegerField是由ORM框架提供的,剩下的魔术方法比如save()全部由metaclass自动完成。虽然metaclass的编写会比较复杂,但ORM的使用者用起来却异常简单。

    现在,我们就按上面的接口来实现该ORM。

    首先来定义Field类,它负责保存数据库表的字段名和字段类型:

    class Field(object):
    
        def __init__(self, name, column_type):
            self.name = name
            self.column_type = column_type
    
        def __str__(self):
            return '<%s:%s>' % (self.__class__.__name__, self.name)
    

    Field的基础上,进一步定义各种类型的Field,比如StringFieldIntegerField等等:

    class StringField(Field):
    
        def __init__(self, name):
            super(StringField, self).__init__(name, 'varchar(100)')
    
    class IntegerField(Field):
    
        def __init__(self, name):
            super(IntegerField, self).__init__(name, 'bigint')
    

    下一步,就是编写最复杂的ModelMetaclass了:

    class ModelMetaclass(type):
    
        def __new__(cls, name, bases, attrs):
            if name=='Model':
                return type.__new__(cls, name, bases, attrs)
            print('Found model: %s' % name)
            mappings = dict()
            for k, v in attrs.items():
                if isinstance(v, Field):
                    print('Found mapping: %s ==> %s' % (k, v))
                    mappings[k] = v
            for k in mappings.keys():
                attrs.pop(k)
            attrs['__mappings__'] = mappings # 保存属性和列的映射关系
            attrs['__table__'] = name # 假设表名和类名一致
            return type.__new__(cls, name, bases, attrs)
    

    以及基类Model

    class Model(dict, metaclass=ModelMetaclass):
    
        def __init__(self, **kw):
            super(Model, self).__init__(**kw)
    
        def __getattr__(self, key):
            try:
                return self[key]
            except KeyError:
                raise AttributeError(r"'Model' object has no attribute '%s'" % key)
    
        def __setattr__(self, key, value):
            self[key] = value
    
        def save(self):
            fields = []
            params = []
            args = []
            for k, v in self.__mappings__.items():
                fields.append(v.name)
                params.append('?')
                args.append(getattr(self, k, None))
            sql = 'insert into %s (%s) values (%s)' % (self.__table__, ','.join(fields), ','.join(params))
            print('SQL: %s' % sql)
            print('ARGS: %s' % str(args))
    

    当用户定义一个class User(Model)时,Python解释器首先在当前类User的定义中查找metaclass,如果没有找到,就继续在父类Model中查找metaclass,找到了,就使用Model中定义的metaclassModelMetaclass来创建User类,也就是说,metaclass可以隐式地继承到子类,但子类自己却感觉不到。

    ModelMetaclass中,一共做了几件事情:

    1. 排除掉对Model类的修改;
    2. 在当前类(比如User)中查找定义的类的所有属性,如果找到一个Field属性,就把它保存到一个__mappings__的dict中,同时从类属性中删除该Field属性,否则,容易造成运行时错误(实例的属性会遮盖类的同名属性);
    3. 把表名保存到__table__中,这里简化为表名默认为类名。

    Model类中,就可以定义各种操作数据库的方法,比如save()delete()find()update等等。

    我们实现了save()方法,把一个实例保存到数据库中。因为有表名,属性到字段的映射和属性值的集合,就可以构造出INSERT语句。

    编写代码试试:

    u = User(id=12345, name='Michael', email='test@orm.org', password='my-pwd')
    u.save()
    

    输出如下:

    Found model: User
    Found mapping: email ==> <StringField:email>
    Found mapping: password ==> <StringField:password>
    Found mapping: id ==> <IntegerField:uid>
    Found mapping: name ==> <StringField:username>
    SQL: insert into User (password,email,username,id) values (?,?,?,?)
    ARGS: ['my-pwd', 'test@orm.org', 'Michael', 12345]
    

    可以看到,save()方法已经打印出了可执行的SQL语句,以及参数列表,只需要真正连接到数据库,执行该SQL语句,就可以完成真正的功能。