《Python》并发编程
2021-02-05 15:18
标签:相同 序列 捕捉异常 精简 splay play 阻塞非阻塞 界面 非阻塞 1946年第一台计算机诞生--20世纪50年代中期,计算机工作还在采用手工操作方式。此时还没有操作系统的概念。 程序员将对应于程序和数据的已穿孔的纸带(或卡片)装入输入机,然后启动输入机把程序和数据输入计算机内存,接着通过控制台开关启动程序针对数据运行;计算完毕,打印机输出计算结果;用户取走结果并卸下纸带(或卡片)后,才让下一个用户上机。 批处理系统:加载在计算机上的一个系统软件,在它的控制下,计算机能够自动地、成批地处理一个或多个用户的作业(这作业包括程序、数据和命令)。 在A程序计算时,I/O空闲, A程序I/O操作时,CPU空闲(B程序也是同样);必须A工作完成后,B才能进入内存中开始工作,两者是串行的,全部完成共需时间=T1+T2。 现代的计算机系统主要是由一个或者多个处理器,主存,硬盘,键盘,鼠标,显示器,打印机,网络接口及其他输入输出设备组成。 一般而言,现代计算机系统是一个复杂的系统。 其一:如果每位应用程序员都必须掌握该系统所有的细节,那就不可能再编写代码了(严重影响了程序员的开发效率:全部掌握这些细节可能需要一万年....) 其二:并且管理这些部件并加以优化使用,是一件极富挑战性的工作,于是,计算安装了一层软件(系统软件),称为操作系统。它的任务就是为用户程序提供一个更好、更简单、更清晰的计算机模型,并管理刚才提到的所有设备。 总结: 程序员无法把所有的硬件操作细节都了解到,管理这些硬件并且加以优化使用是非常繁琐的工作,这个繁琐的工作就是操作系统来干的,有了他,程序员就从这些繁琐的工作中解脱了出来,只需要考虑自己的应用软件的编写就可以了,应用软件直接使用操作系统提供的功能来间接使用硬件。 精简的说的话,操作系统就是一个协调、管理和控制计算机硬件资源和软件资源的控制程序。操作系统所处的位置如图
细说的话,操作系统应该分成两部分功能: 顾名思义,进程即正在执行的一个过程。进程是对正在运行程序的一个抽象。 进程的概念起源于操作系统,是操作系统最核心的概念,也是操作系统提供的最古老也是最重要的抽象概念之一。操作系统的其他所有内容都是围绕进程的概念展开的。 所以想要真正了解进程,必须事先了解操作系统 PS:即使可以利用的cpu只有一个(早期的计算机确实如此),也能保证支持(伪)并发的能力。将一个单独的cpu变成多个虚拟的cpu(多道技术:时间多路复用和空间多路复用+硬件上支持隔离),没有进程的抽象,现代计算机将不复存在。 必备的理论基础: 进程(Process)是计算机中的程序关于某数据集合上的一次运行活动,是系统进行资源分配和调度的基本单位,是操作系统结构的基础。在早期面向进程设计的计算机结构中,进程是程序的基本执行实体;在当代面向线程设计的计算机结构中,进程是线程的容器。程序是指令、数据及其组织形式的描述,进程是程序的实体。 注意:同一个程序执行两次,就会在操作系统中出现两个进程,所以我们可以同时运行一个软件,分别做不同的事情也不会混乱。 要想多个进程交替运行,操作系统必须对这些进程进行调度,这个调度也不是随即进行的,而是需要遵循一定的法则,由此就有了进程的调度算法。 并行 : 并行是指两者同时执行,比如赛跑,两个人都在不停的往前跑;(资源够用,比如三个线程,四核的CPU ) 并发 : 并发是指资源有限的情况下,两者交替轮流使用资源,比如一段路(单核CPU资源)同时只能过一个人,A走一段后,让给B,B用完继续给A ,交替使用,目的是提高效率。 区别: 并行是从微观上,也就是在一个精确的时间片刻,有不同的程序在执行,这就要求必须有多个处理器。 在了解其他概念之前,我们首先要了解进程的几个状态。在程序运行的过程中,由于被操作系统的调度算法控制,程序会进入几个状态:就绪,运行和阻塞。 (1)就绪(Ready)状态 当进程已分配到除CPU以外的所有必要的资源,只要获得处理机便可立即执行,这时的进程状态称为就绪状态。 (2)执行/运行(Running)状态当进程已获得处理机,其程序正在处理机上执行,此时的进程状态称为执行状态。 (3)阻塞(Blocked)状态正在执行的进程,由于等待某个事件发生而无法执行时,便放弃处理机而处于阻塞状态。引起进程阻塞的事件可有多种,例如,等待I/O完成、申请缓冲区不能满足、等待信件(信号)等。 效率最低。拿上面的例子来说,就是你专心排队,什么别的事都不做。 如果在银行等待办理业务的人 实际上是效率低下的。 想象一下你一边打着电话一边还需要抬头看到底队伍排到你了没有,如果把打电话和观察排队的位置看成是程序的两个操作的话, 效率更高, 因为打电话是你(等待者)的事情,而通知你则是柜台(消息触发机制)的事情, 比如说,这个人突然发觉自己烟瘾犯了,需要出去抽根烟,于是他告诉大堂经理说,排到我这个号码的时候麻烦到外面通知我一下,那么他就没有被阻塞在这个等待的操作上面,自然这个就是异步+非阻塞的方式了。 很多人会把同步和阻塞混淆,是 但凡是硬件,都需要有操作系统去管理,只要有操作系统,就有进程的概念,就需要有创建进程的方式,一些操作系统只为一个应用程序设计,比如微波炉中的控制器,一旦启动微波炉,所有的进程都已经存在。 而对于通用系统(跑很多应用程序),需要有系统运行过程中创建或撤销进程的能力,主要分为4中形式创建新的进程: 1. 系统初始化(查看进程linux中用ps命令,windows中用任务管理器,前台进程负责与用户交互,后台运行的进程与用户无关,运行在后台并且只在需要时才唤醒的进程,称为守护进程,如电子邮件、web页面、新闻、打印) 2. 一个进程在运行过程中开启了子进程(如nginx开启多进程,os.fork,subprocess.Popen等) 3. 用户的交互式请求,而创建一个新进程(如用户双击暴风影音) 4. 一个批处理作业的初始化(只在大型机的批处理系统中应用) 无论哪一种,新进程的创建都是由一个已经存在的进程执行了一个用于创建进程的系统调用而创建的。 1. 正常退出(自愿,如用户点击交互式页面的叉号,或程序执行完毕调用发起系统调用正常退出,在linux中用exit,在windows中用ExitProcess) 2. 出错退出(自愿,python a.py中a.py不存在) 3. 严重错误(非自愿,执行非法指令,如引用不存在的内存,1/0等,可以捕捉异常,try...except...) 4. 被其他进程杀死(非自愿,如kill -9) 之前我们已经了解了很多进程相关的理论知识,了解进程是什么应该不再困难了,刚刚我们已经了解了,运行中的程序就是一个进程。所有的进程都是通过它的父进程来创建的。因此,运行起来的python程序也是一个进程,那么我们也可以在程序中再创建进程。多个进程可以实现并发效果,也就是说,当我们的程序中存在多个进程的时候,在某些时候,就会让程序的执行速度变快。以我们之前所学的知识,并不能实现创建进程这个功能,所以我们就需要借助python中强大的模块 仔细说来,multiprocess不是一个模块而是python中一个操作、管理进程的包。 之所以叫multi是取自multiple的多功能的意思,在这个包中几乎包含了和进程有关的所有子模块。由于提供的子模块非常多,为了方便大家归类记忆,我将这部分大致分为四个部分:创建进程部分,进程同步部分,进程池部分,进程之间数据共享。 process模块是一个创建进程的模块,借助这个模块,就可以完成进程的创建。 在一个python进程中开启子进程,start方法和并发效果。 《Python》并发编程 标签:相同 序列 捕捉异常 精简 splay play 阻塞非阻塞 界面 非阻塞 原文地址:https://www.cnblogs.com/zyling/p/12787517.html手工操作 —— 穿孔卡片
批处理 —— 磁带存储
联机批处理系统
脱机批处理系统
多道程序系统
多道程序设计技术
多道批处理系统
分时系统
实时系统
分时——现在流行的PC,服务器都是采用这种运行模式,即把CPU的运行分成若干时间片分别处理不同的运算请求 linux系统
实时——一般用于单片机上、PLC等,比如电梯的上下控制中,对于按键等动作要求进行实时处理
通用操作系统
操作系统的进一步发展
个人计算机操作系统
网络操作系统
分布式操作系统
操作系统的作用
#一:隐藏了丑陋的硬件调用接口,为应用程序员提供调用硬件资源的更好,更简单,更清晰的模型(系统调用接口)。应用程序员有了这些接口后,就不用再考虑操作硬件的细节,专心开发自己的应用程序即可。
例如:操作系统提供了文件这个抽象概念,对文件的操作就是对磁盘的操作,有了文件我们无需再去考虑关于磁盘的读写控制(比如控制磁盘转动,移动磁头读写数据等细节),
#二:将应用程序对硬件资源的竞态请求变得有序化
例如:很多应用软件其实是共享一套计算机硬件,比方说有可能有三个应用程序同时需要申请打印机来输出内容,那么a程序竞争到了打印机资源就打印,然后可能是b竞争到打印机资源,也可能是c,这就导致了无序,打印机可能打印一段a的内容然后又去打印c...,操作系统的一个功能就是将这种无序变得有序。
操作系统背景知识
#一 操作系统的作用:
1:隐藏丑陋复杂的硬件接口,提供良好的抽象接口
2:管理、调度进程,并且将多个进程对硬件的竞争变得有序
#二 多道技术:
1.产生背景:针对单核,实现并发
ps:
现在的主机一般是多核,那么每个核都会利用多道技术
有4个cpu,运行于cpu1的某个程序遇到io阻塞,会等到io结束再重新调度,会被调度到4个
cpu中的任意一个,具体由操作系统调度算法决定。
2.空间上的复用:如内存中同时有多道程序
3.时间上的复用:复用一个cpu的时间片
强调:遇到io切,占用cpu时间过长也切,核心在于切之前将进程的状态保存下来,这样
才能保证下次切换回来时,能基于上次切走的位置继续运行
什么是进程
第一,进程是一个实体。每一个进程都有它自己的地址空间,一般情况下,包括文本区域(text region)、数据区域(data region)和堆栈(stack region)。文本区域存储处理器执行的代码;数据区域存储变量和进程执行期间使用的动态分配的内存;堆栈区域存储着活动过程调用的指令和本地变量。
第二,进程是一个“执行中的程序”。程序是一个没有生命的实体,只有处理器赋予程序生命时(操作系统执行之),它才能成为一个活动的实体,我们称其为进程。[3]
进程是操作系统中最基本、重要的概念。是多道程序系统出现后,为了刻画系统内部出现的动态情况,描述系统内部各道程序的活动规律引进的一个概念,所有多道程序设计操作系统都建立在进程的基础上。
从理论角度看,是对正在运行的程序过程的抽象;
从实现角度看,是一种数据结构,目的在于清晰地刻画动态系统的内在规律,有效管理和调度进入计算机系统主存储器运行的程序。
进程调度
进程的并行与并发
并发是从宏观上,在一个时间段上可以看出是同时执行的,比如一个服务器同时处理多个session。同步异步阻塞非阻塞
状态介绍
同步和异步
所谓同步就是一个任务的完成需要依赖另外一个任务时,只有等待被依赖的任务完成后,依赖的任务才能算完成,这是一种可靠的任务序列
。要么成功都成功,失败都失败,两个任务的状态可以保持一致。 所谓异步是不需要等待被依赖的任务完成,只是通知被依赖的任务要完成什么工作,依赖的任务也立即执行,只要自己完成了整个任务就算完成了
。至于被依赖的任务最终是否真正完成,依赖它的任务无法确定,所以它是不可靠的任务序列
。阻塞与非阻塞
阻塞和非阻塞这两个概念与程序(线程)等待消息通知(无所谓同步或者异步)时的状态有关。也就是说阻塞与非阻塞主要是程序(线程)等待消息通知时的状态角度来说的
同步/异步与阻塞/非阻塞
采用的是异步的方式去等待消息被触发(通知)
,也就是领了一张小纸条,假如在这段时间里他不能离开银行做其它的事情,那么很显然,这个人被阻塞在了这个等待的操作上面; 异步操作是可以被阻塞住的,只不过它不是在处理消息时阻塞,而是在等待消息通知时被阻塞。
这个程序需要在这两种不同的行为之间来回的切换
,效率可想而知是低下的。
程序没有在两种不同的操作中来回切换
。因为很多时候同步操作会以阻塞的形式表现出来
,同样的,很多人也会把异步和非阻塞混淆,因为异步操作一般都不会在真正的IO操作处被阻塞
。进程的创建与结束
进程的创建
进程的结束
在python程序中的进程操作
multiprocess模块
使用process模块创建进程
process模块介绍
Process([group [, target [, name [, args [, kwargs]]]]]),由该类实例化得到的对象,表示一个子进程中的任务(尚未启动)
强调:
1. 需要使用关键字的方式来指定参数
2. args指定的为传给target函数的位置参数,是一个元组形式,必须有逗号
参数介绍:
1 group参数未使用,值始终为None
2 target表示调用对象,即子进程要执行的任务
3 args表示调用对象的位置参数元组,args=(1,2,‘egon‘,)
4 kwargs表示调用对象的字典,kwargs={‘name‘:‘egon‘,‘age‘:18}
5 name为子进程的名称
使用process模块创建进程
import os
import time
from multiprocessing import Process
def func():
for i in range(10):
time.sleep(0.5)
print(‘子进程%s:‘ % (i + 1), os.getpid(), os.getppid())
if __name__ == ‘__main__‘: # 这一句只是在windows上必须写,不然报错
print(‘主进程:‘, os.getpid(), os.getppid())
p = Process(target=func)
p.start()
for i in range(10):
time.sleep(0.5)
print(‘*‘ * i)
‘‘‘
主进程: 1304 5160
子进程1: 6848 1304
*
子进程2: 6848 1304
**
子进程3: 6848 1304
***
子进程4: 6848 1304
****
子进程5: 6848 1304
*****
子进程6: 6848 1304
******
子进程7: 6848 1304
*******
子进程8: 6848 1304
********
子进程9: 6848 1304
*********
子进程10: 6848 1304
‘‘‘
# 给子进程传参数
import os
import time
from multiprocessing import Process
def func(arg, n):
for i in range(10):
time.sleep(0.5)
print(‘子进程%s:%s‘ % (n, arg), os.getpid(), os.getppid())
if __name__ == ‘__main__‘:
print(‘主进程‘, os.getpid(), os.getppid())
p = Process(target=func, args=(‘a‘, 10)) # 给子进程传参,必须是元祖类型
p.start()
for i in range(10):
time.sleep(0.5)
print(‘*‘ * i)
‘‘‘
主进程 5684 5160
子进程10:a 7804 5684
*
子进程10:a 7804 5684
**
子进程10:a 7804 5684
***
子进程10:a 7804 5684
****
子进程10:a 7804 5684
*****
子进程10:a 7804 5684
******
子进程10:a 7804 5684
*******
子进程10:a 7804 5684
********
子进程10:a 7804 5684
*********
子进程10:a 7804 5684
‘‘‘
# 进程之间数据隔离问题
import os
import time
from multiprocessing import Process
count = 100
def func():
global count
count -= 1
print(‘子进程:‘, count, os.getpid(), os.getppid())
if __name__ == ‘__main__‘:
print(‘主进程:‘, count, os.getpid(), os.getppid())
p = Process(target=func)
p.start()
time.sleep(2)
print(‘主进程:‘, count, os.getpid(), os.getppid())
‘‘‘
主进程: 100 7704 5160
子进程: 99 7476 7704
主进程: 100 7704 5160
‘‘‘
# 启动多个进程
import os
from multiprocessing import Process
def func(arg):
print(‘子进程%s:‘ % arg, os.getpid(), os.getppid())
if __name__ == ‘__main__‘:
for i in range(10):
Process(target=func, args=(i,)).start()
‘‘‘
因为10个子进程启动时是异步进行的,所以顺序会乱
子进程0: 6632 6736
子进程1: 7912 6736
子进程2: 2908 6736
子进程3: 6380 6736
子进程4: 4484 6736
子进程5: 4456 6736
子进程7: 4732 6736
子进程8: 2624 6736
子进程6: 5340 6736
子进程9: 4564 6736
‘‘‘
# 子进程和父进程的关系
import os
import time
from multiprocessing import Process
def func(arg):
print(‘子进程%s:‘ % arg, os.getpid(), os.getppid())
time.sleep(5)
print(‘子进程end‘)
if __name__ == ‘__main__‘:
for i in range(10):
Process(target=func, args=(i,)).start()
print(‘父进程********‘)
‘‘‘
父进程********
子进程0: 5232 4356
子进程1: 4360 4356
子进程2: 7192 4356
子进程3: 6216 4356
子进程5: 3028 4356
子进程6: 6316 4356
子进程9: 3376 4356
子进程7: 896 4356
子进程8: 5668 4356
子进程4: 6068 4356
子进程end
子进程end
子进程end
子进程end
子进程end
子进程end
子进程end
子进程end
子进程end
子进程end
‘‘‘
# 1.父进程和子进程的启动时异步的
# 父进程只负责通知操作系统启动子进程
# 接下来的工作由操作系统接手 父进程继续执行
# 2.父进程执行完毕之后并不会直接结束程序,
# 而是会等待所有的子进程都执行完毕之后才结束
# 父进程要负责回收子进程的资源
上一篇:使用python进行URL编码,爬虫时解决参数乱码的问题
下一篇:Leetcode练习(Python):哈希表类:第242题:给定两个字符串 s 和 t ,编写一个函数来判断 t 是否是 s 的字母异位词。