VB.net 2010 视频教程 VB.net 2010 视频教程 python基础视频教程
SQL Server 2008 视频教程 c#入门经典教程 Visual Basic从门到精通视频教程
当前位置:
首页 > temp > 简明python教程 >
  • python基础(32):进程(二)(5)

'])
  •  
  • def get():
  • dic=json.load(open('db'))
  • time.sleep(random.random()) #模拟读数据的网络延迟
  • if dic['count'] >0:
  • dic['count']-=1
  • time.sleep(random.random()) #模拟写数据的网络延迟
  • json.dump(dic,open('db','w'))
  • print('\033[32m购票成功\033[0m')
  • else:
  • print('\033[31m购票失败\033[0m')
  •  
  • def task(lock):
  • search()
  • lock.acquire()
  • get()
  • lock.release()
  •  
  • if __name__ == '__main__':
  • lock = Lock()
  • for i in range(100): #模拟并发100个客户端抢票
  • p=Process(target=task,args=(lock,))
  • p.start()
  • #加锁可以保证多个进程修改同一块数据时,同一时间只能有一个任务可以进行修改,即串行的修改,没错,速度是慢了,但牺牲了速度却保证了数据安全。 虽然可以用文件共享数据实现进程间通信,但问题是:

    1.效率低(共享数据基于文件,而文件是硬盘上的数据) 2.需要自己加锁处理

    因此我们最好找寻一种解决方案能够兼顾:

    1.效率高(多个进程共享一块内存的数据)

    2.帮我们处理好锁问题

    这就是mutiprocessing模块为我们提供的基于消息的IPC通信机制:队列和管道。 队列和管道都是将数据存放于内存中 队列又是基于(管道+锁)实现的,可以让我们从复杂的锁问题中解脱出来, 我们应该尽量避免使用共享数据,尽可能使用消息传递和队列,避免处理复杂的同步和锁问题,而且在进程数目增多时,往往可以获得更好的可获展性。

    1.3 队列(multiprocess.Queue)

    1.3.1 队列

    (1) 概念介绍

    创建共享的进程队列,Queue是多进程安全的队列,可以使用Queue实现多进程之间的数据传递。 

    Queue([maxsize])

    创建共享的进程队列。

    参数 :maxsize是队列中允许的最大项数。如果省略此参数,则无大小限制。

    底层队列使用管道和锁定实现。

    方法介绍:

    Queue([maxsize])

    创建共享的进程队列。maxsize是队列中允许的最大项数。如果省略此参数,则无大小限制。底层队列使用管道和锁定实现。另外,还需要运行支持线程以便队列中的数据传输到底层管道中。 Queue的实例q具有以下方法:

    q.get( [ block [ ,timeout ] ] )

    返回q中的一个项目。如果q为空,此方法将阻塞,直到队列中有项目可用为止。block用于控制阻塞行为,默认为True. 如果设置为False,将引发Queue.Empty异常(定义在Queue模块中)。timeout是可选超时时间,用在阻塞模式中。如果在制定的时间间隔内没有项目变为可用,将引发Queue.Empty异常。

    q.get_nowait( )

    同q.get(False)方法。

    q.put(item [, block [,timeout ] ] )

    将item放入队列。如果队列已满,此方法将阻塞至有空间可用为止。block控制阻塞行为,默认为True。如果设置为False,将引发Queue.Empty异常(定义在Queue库模块中)。timeout指定在阻塞模式中等待可用空间的时间长短。超时后将引发Queue.Full异常。

    q.qsize()

    返回队列中目前项目的正确数量。此函数的结果并不可靠,因为在返回结果和在稍后程序中使用结果之间,队列中可能添加或删除了项目。在某些系统上,此方法可能引发NotImplementedError异常。

    q.empty()

    如果调用此方法时 q为空,返回True。如果其他进程或线程正在往队列中添加项目,结果是不可靠的。也就是说,在返回和使用结果之间,队列中可能已经加入新的项目。

    q.full()

    如果q已满,返回为True. 由于线程的存在,结果也可能是不可靠的(参考q.empty()方法)。

    其他方法(了解):

    q.close()

    关闭队列,防止队列中加入更多数据。调用此方法时,后台线程将继续写入那些已入队列但尚未写入的数据,但将在此方法完成时马上关闭。如果q被垃圾收集,将自动调用此方法。关闭队列不会在队列使用者中生成任何类型的数据结束信号或异常。例如,如果某个使用者正被阻塞在get()操作上,关闭生产者中的队列不会导致get()方法返回错误。

    q.cancel_join_thread()

    不会再进程退出时自动连接后台线程。这可以防止join_thread()方法阻塞。

    q.join_thread()

    连接队列的后台线程。此方法用于在调用q.close()方法后,等待所有队列项被消耗。默认情况下,此方法由不是q的原始创建者的所有进程调用。调用q.cancel_join_thread()方法可以禁止这种行为。

    (2) 代码实例

    
    						
    1. '''
    2. multiprocessing模块支持进程间通信的两种主要形式:管道和队列
    3. 都是基于消息传递实现的,但是队列接口
    4. '''
    5.  
    6. from multiprocessing import Queue
    7. q=Queue(3)
    8.  
    9. #put ,get ,put_nowait,get_nowait,full,empty
    10. q.put(3)
    11. q.put(3)
    12. q.put(3)
    13. # q.put(3) # 如果队列已经满了,程序就会停在这里,等待数据被别人取走,再将数据放入队列。
    14. # 如果队列中的数据一直不被取走,程序就会永远停在这里。
    15. try:
    16. q.put_nowait(3) # 可以使用put_nowait,如果队列满了不会阻塞,但是会因为队列满了而报错。
    17. except: # 因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去,但是会丢掉这个消息。
    18. print('队列已经满了')
    19.  
    20. # 因此,我们再放入数据之前,可以先看一下队列的状态,如果已经满了,就不继续put了。
    21. print(q.full()) #满了
    22.  
    23. print(q.get())
    24. print(q.get())
    25. print(q.get())
    26. # print(q.get()) # 同put方法一样,如果队列已经空了,那么继续取就会出现阻塞。
    27. try:
    28. q.get_nowait(3) # 可以使用get_nowait,如果队列满了不会阻塞,但是会因为没取到值而报错。
    29. except: # 因此我们可以用一个try语句来处理这个错误。这样程序不会一直阻塞下去。
    30. print('队列已经空了')
    31.  
    32. print(q.empty()) #空了

    上面这个例子还没有加入进程通信,只是先来看看队列为我们提供的方法,以及这些方法的使用和现象。

    子进程发送数据给父进程:

    
    						
    1. import time
    2. from multiprocessing import Process, Queue
    3.  
    4. def f(q):
    5. q.put([time.asctime(), 'from Eva', 'hello']) #调用主函数中p进程传递过来的进程参数 put函数为向队列中添加一条数据。
    6.  
    7. if __name__ == '__main__':
    8. q = Queue() #创建一个Queue对象
    9. p = Process(target=f, args=(q,)) #创建一个进程
    10. p.start()
    11. print(q.get())
    12. p.join()

    上面是一个queue的简单应用,使用队列q对象调用get函数来取得队列中最先进入的数据。 接下来看一个稍微复杂一些的例子:

    批量生产数据放入队列再批量获取结果:

    
    						
    1. import os
    2. import time
    3. import multiprocessing
    4.  
    5. # 向queue中输入数据的函数
    
    相关教程