python 進(jìn)程池
在利用Python進(jìn)行系統(tǒng)管理的時(shí)候,特別是同時(shí)操作多個(gè)文件目錄,或者遠(yuǎn)程控制多臺(tái)主機(jī),并行操作可以節(jié)約大量的時(shí)間。多進(jìn)程是實(shí)現(xiàn)并發(fā)的手段之一,需要注意的問(wèn)題是:
1)很明顯需要并發(fā)執(zhí)行的任務(wù)通常要遠(yuǎn)大于核數(shù)
2)一個(gè)操作系統(tǒng)不可能無(wú)限開(kāi)啟進(jìn)程,通常有幾個(gè)核就開(kāi)幾個(gè)進(jìn)程
3)進(jìn)程開(kāi)啟過(guò)多,效率反而會(huì)下降(開(kāi)啟進(jìn)程是需要占用系統(tǒng)資源的,而且開(kāi)啟多余核數(shù)目的進(jìn)程也無(wú)法做到并行)
例如當(dāng)被操作對(duì)象數(shù)目不大時(shí),可以直接利用multiprocessing中的Process動(dòng)態(tài)成生多個(gè)進(jìn)程,十幾個(gè)還好,但如果是上百個(gè),上千個(gè)。。。手動(dòng)的去限制進(jìn)程數(shù)量卻又太過(guò)繁瑣,此時(shí)可以發(fā)揮進(jìn)程池的功效。
我們就可以通過(guò)維護(hù)一個(gè)進(jìn)程池來(lái)控制進(jìn)程數(shù)目,比如httpd的進(jìn)程模式,規(guī)定最小進(jìn)程數(shù)和最大進(jìn)程數(shù)...
對(duì)于遠(yuǎn)程過(guò)程調(diào)用的高級(jí)應(yīng)用程序而言,應(yīng)該使用進(jìn)程池,Pool可以提供指定數(shù)量的進(jìn)程,供用戶調(diào)用,當(dāng)有新的請(qǐng)求提交到pool中時(shí),如果池還沒(méi)有滿,那么就會(huì)創(chuàng)建一個(gè)新的進(jìn)程用來(lái)執(zhí)行該請(qǐng)求;但如果池中的進(jìn)程數(shù)已經(jīng)達(dá)到規(guī)定最大值,那么該請(qǐng)求就會(huì)等待,直到池中有進(jìn)程結(jié)束,就重用進(jìn)程池中的進(jìn)程。
創(chuàng)建進(jìn)程池的類(lèi):如果指定numprocess為3,則進(jìn)程池會(huì)從無(wú)到有創(chuàng)建三個(gè)進(jìn)程,然后自始至終使用這三個(gè)進(jìn)程去執(zhí)行所有任務(wù),不會(huì)開(kāi)啟其他進(jìn)程
1Pool([numprocess[,initializer[,initargs]]]):創(chuàng)建進(jìn)程池
參數(shù)介紹:
1numprocess:要?jiǎng)?chuàng)建的進(jìn)程數(shù),如果省略,將默認(rèn)使用cpu_count()的值
2initializer:是每個(gè)工作進(jìn)程啟動(dòng)時(shí)要執(zhí)行的可調(diào)用對(duì)象,默認(rèn)為None
3initargs:是要傳給initializer的參數(shù)組
主要方法:
1p.apply(func[,args[,kwargs]])
在一個(gè)池工作進(jìn)程中執(zhí)行func(*args,**kwargs),然后返回結(jié)果。
需要強(qiáng)調(diào)的是:此操作并不會(huì)在所有池工作進(jìn)程中并執(zhí)行func函數(shù)。如果要通過(guò)不同參數(shù)并發(fā)地執(zhí)行func函數(shù),必須從不同線程調(diào)用p.apply()函數(shù)或者使用p.apply_async()
2p.apply_async(func[,args[,kwargs]]):
在一個(gè)池工作進(jìn)程中執(zhí)行func(*args,**kwargs),然后返回結(jié)果。
此方法的結(jié)果是AsyncResult類(lèi)的實(shí)例,callback是可調(diào)用對(duì)象,接收輸入?yún)?shù)。當(dāng)func的結(jié)果變?yōu)榭捎脮r(shí),
將理解傳遞給callback。callback禁止執(zhí)行任何阻塞操作,否則將接收其他異步操作中的結(jié)果。
3p.close():關(guān)閉進(jìn)程池,防止進(jìn)一步操作。如果所有操作持續(xù)掛起,它們將在工作進(jìn)程終止前完成
4P.jion():等待所有工作進(jìn)程退出。此方法只能在close()或teminate()之后調(diào)用
應(yīng)用
同步調(diào)用applay
異步調(diào)用apply_async
apply_async與apply詳解
使用進(jìn)程池維護(hù)固定數(shù)目的進(jìn)程
server端
客戶端
發(fā)現(xiàn):并發(fā)開(kāi)啟多個(gè)客戶端,服務(wù)端同一時(shí)間只有3個(gè)不同的pid,干掉一個(gè)客戶端,另外一個(gè)客戶端才會(huì)進(jìn)來(lái),被3個(gè)進(jìn)程之一處理
回掉函數(shù):
需要回調(diào)函數(shù)的場(chǎng)景:進(jìn)程池中任何一個(gè)任務(wù)一旦處理完了,就立即告知主進(jìn)程:我好了額,你可以處理我的結(jié)果了。主進(jìn)程則調(diào)用一個(gè)函數(shù)去處理該結(jié)果,該函數(shù)即回調(diào)函數(shù)
我們可以把耗時(shí)間(阻塞)的任務(wù)放到進(jìn)程池中,然后指定回調(diào)函數(shù)(主進(jìn)程負(fù)責(zé)執(zhí)行),這樣主進(jìn)程在執(zhí)行回調(diào)函數(shù)時(shí)就省去了I/O的過(guò)程,直接拿到的是任務(wù)的結(jié)果。
以上內(nèi)容為大家介紹了python進(jìn)程池,希望對(duì)大家有所幫助,如果想要了解更多Python相關(guān)知識(shí),請(qǐng)關(guān)注IT培訓(xùn)機(jī)構(gòu):千鋒教育。

猜你喜歡LIKE
相關(guān)推薦HOT
更多>>
python中的filter函數(shù)功能是什么?
python中的filter函數(shù)功能是什么?在python中,面對(duì)眾多的數(shù)據(jù),我們要過(guò)濾篩選出我們需要的數(shù)據(jù)。python中的filter函數(shù)就是起到了過(guò)濾篩選的作...詳情>>
2023-11-10 20:37:27
pythontime模塊是什么
pythontime模塊是什么在python中使用時(shí)間,就免不了和time模塊打交道,另外兩個(gè)模塊這個(gè)暫時(shí)先不做介紹。做time模塊的使用上,我們可以用它來(lái)對(duì)...詳情>>
2023-11-10 15:53:16
python是什么編程語(yǔ)言
python是什么編程語(yǔ)言1、說(shuō)明是一種面向?qū)ο蟆⒔忉屝陀?jì)算機(jī)程序設(shè)計(jì)語(yǔ)言,由GuidovanRossum于1989年底發(fā)明,第一個(gè)公開(kāi)發(fā)行版發(fā)行于1991年。Pyt...詳情>>
2023-11-10 15:21:05
python異常處理的兩種技巧
python異常處理的兩種技巧1、傳遞異常有時(shí)我們會(huì)在捕捉到一個(gè)異常后重新引發(fā)它(傳遞異常),實(shí)現(xiàn)起來(lái)很簡(jiǎn)單,使用不帶參數(shù)的raise語(yǔ)句即可。deff...詳情>>
2023-11-10 14:49:39熱門(mén)推薦
python中的filter函數(shù)功能是什么?
沸python delattr函數(shù)如何使用?
熱python中pdb模塊怎么用?
熱Python如何截圖保存?
新python?中缺少module怎么辦?
python strftime和strptime的不同分析
python time.strptime的格式化
python中@contextmanager是什么?
python對(duì)象的三要素是什么
pythonGIL在Python多線程的應(yīng)用
python如何對(duì)多個(gè)CSV文件進(jìn)行讀取
pythonif嵌套命令如何理解?
python對(duì)列表進(jìn)行永久性或臨時(shí)排序的方法
python生成器調(diào)用方法引發(fā)異常
技術(shù)干貨







快速通道 更多>>
-
課程介紹
點(diǎn)擊獲取大綱 -
就業(yè)前景
查看就業(yè)薪資 -
學(xué)習(xí)費(fèi)用
了解課程價(jià)格 -
優(yōu)惠活動(dòng)
領(lǐng)取優(yōu)惠券 -
學(xué)習(xí)資源
領(lǐng)3000G教程 -
師資團(tuán)隊(duì)
了解師資團(tuán)隊(duì) -
實(shí)戰(zhàn)項(xiàng)目
獲取項(xiàng)目源碼 -
開(kāi)班地區(qū)
查看來(lái)校路線