<abbr id="ciwa6"><option id="ciwa6"></option></abbr>
  • <sup id="ciwa6"><kbd id="ciwa6"></kbd></sup>
    <small id="ciwa6"></small>
  • 千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

    400-811-9990
    手機(jī)站
    千鋒教育

    千鋒學(xué)習(xí)站 | 隨時(shí)隨地免費(fèi)學(xué)

    千鋒教育

    掃一掃進(jìn)入千鋒手機(jī)站

    領(lǐng)取全套視頻
    千鋒教育

    關(guān)注千鋒學(xué)習(xí)站小程序
    隨時(shí)隨地免費(fèi)學(xué)習(xí)課程

    上海
    • 北京
    • 鄭州
    • 武漢
    • 成都
    • 西安
    • 沈陽(yáng)
    • 廣州
    • 南京
    • 深圳
    • 大連
    • 青島
    • 杭州
    • 重慶
    當(dāng)前位置:成都千鋒IT培訓(xùn)  >  技術(shù)干貨  >  python 進(jìn)程池

    python 進(jìn)程池

    來(lái)源:千鋒教育
    發(fā)布人:xqq
    時(shí)間: 2023-11-09 16:06:36

    在利用Python進(jìn)行系統(tǒng)管理的時(shí)候,特別是同時(shí)操作多個(gè)文件目錄,或者遠(yuǎn)程控制多臺(tái)主機(jī),并行操作可以節(jié)約大量的時(shí)間。多進(jìn)程是實(shí)現(xiàn)并發(fā)的手段之一,需要注意的問(wèn)題是:

    1)很明顯需要并發(fā)執(zhí)行的任務(wù)通常要遠(yuǎn)大于核數(shù)

    2)一個(gè)操作系統(tǒng)不可能無(wú)限開(kāi)啟進(jìn)程,通常有幾個(gè)核就開(kāi)幾個(gè)進(jìn)程

    3)進(jìn)程開(kāi)啟過(guò)多,效率反而會(huì)下降(開(kāi)啟進(jìn)程是需要占用系統(tǒng)資源的,而且開(kāi)啟多余核數(shù)目的進(jìn)程也無(wú)法做到并行)

    例如當(dāng)被操作對(duì)象數(shù)目不大時(shí),可以直接利用multiprocessing中的Process動(dòng)態(tài)成生多個(gè)進(jìn)程,十幾個(gè)還好,但如果是上百個(gè),上千個(gè)。。。手動(dòng)的去限制進(jìn)程數(shù)量卻又太過(guò)繁瑣,此時(shí)可以發(fā)揮進(jìn)程池的功效。

    我們就可以通過(guò)維護(hù)一個(gè)進(jìn)程池來(lái)控制進(jìn)程數(shù)目,比如httpd的進(jìn)程模式,規(guī)定最小進(jìn)程數(shù)和最大進(jìn)程數(shù)...

    對(duì)于遠(yuǎn)程過(guò)程調(diào)用的高級(jí)應(yīng)用程序而言,應(yīng)該使用進(jìn)程池,Pool可以提供指定數(shù)量的進(jìn)程,供用戶調(diào)用,當(dāng)有新的請(qǐng)求提交到pool中時(shí),如果池還沒(méi)有滿,那么就會(huì)創(chuàng)建一個(gè)新的進(jìn)程用來(lái)執(zhí)行該請(qǐng)求;但如果池中的進(jìn)程數(shù)已經(jīng)達(dá)到規(guī)定最大值,那么該請(qǐng)求就會(huì)等待,直到池中有進(jìn)程結(jié)束,就重用進(jìn)程池中的進(jìn)程。

    創(chuàng)建進(jìn)程池的類(lèi):如果指定numprocess為3,則進(jìn)程池會(huì)從無(wú)到有創(chuàng)建三個(gè)進(jìn)程,然后自始至終使用這三個(gè)進(jìn)程去執(zhí)行所有任務(wù),不會(huì)開(kāi)啟其他進(jìn)程

    1Pool([numprocess[,initializer[,initargs]]]):創(chuàng)建進(jìn)程池

    參數(shù)介紹:

    1numprocess:要?jiǎng)?chuàng)建的進(jìn)程數(shù),如果省略,將默認(rèn)使用cpu_count()的值

    2initializer:是每個(gè)工作進(jìn)程啟動(dòng)時(shí)要執(zhí)行的可調(diào)用對(duì)象,默認(rèn)為None

    3initargs:是要傳給initializer的參數(shù)組

    主要方法:

    1p.apply(func[,args[,kwargs]])

    在一個(gè)池工作進(jìn)程中執(zhí)行func(*args,**kwargs),然后返回結(jié)果。

    需要強(qiáng)調(diào)的是:此操作并不會(huì)在所有池工作進(jìn)程中并執(zhí)行func函數(shù)。如果要通過(guò)不同參數(shù)并發(fā)地執(zhí)行func函數(shù),必須從不同線程調(diào)用p.apply()函數(shù)或者使用p.apply_async()

    2p.apply_async(func[,args[,kwargs]]):

    在一個(gè)池工作進(jìn)程中執(zhí)行func(*args,**kwargs),然后返回結(jié)果。

    此方法的結(jié)果是AsyncResult類(lèi)的實(shí)例,callback是可調(diào)用對(duì)象,接收輸入?yún)?shù)。當(dāng)func的結(jié)果變?yōu)榭捎脮r(shí),

    將理解傳遞給callback。callback禁止執(zhí)行任何阻塞操作,否則將接收其他異步操作中的結(jié)果。

    3p.close():關(guān)閉進(jìn)程池,防止進(jìn)一步操作。如果所有操作持續(xù)掛起,它們將在工作進(jìn)程終止前完成

    4P.jion():等待所有工作進(jìn)程退出。此方法只能在close()或teminate()之后調(diào)用

    應(yīng)用

    同步調(diào)用applay

    異步調(diào)用apply_async

    apply_async與apply詳解

    使用進(jìn)程池維護(hù)固定數(shù)目的進(jìn)程

    server端

    客戶端

    發(fā)現(xiàn):并發(fā)開(kāi)啟多個(gè)客戶端,服務(wù)端同一時(shí)間只有3個(gè)不同的pid,干掉一個(gè)客戶端,另外一個(gè)客戶端才會(huì)進(jìn)來(lái),被3個(gè)進(jìn)程之一處理

    回掉函數(shù):

    需要回調(diào)函數(shù)的場(chǎng)景:進(jìn)程池中任何一個(gè)任務(wù)一旦處理完了,就立即告知主進(jìn)程:我好了額,你可以處理我的結(jié)果了。主進(jìn)程則調(diào)用一個(gè)函數(shù)去處理該結(jié)果,該函數(shù)即回調(diào)函數(shù)

    我們可以把耗時(shí)間(阻塞)的任務(wù)放到進(jìn)程池中,然后指定回調(diào)函數(shù)(主進(jìn)程負(fù)責(zé)執(zhí)行),這樣主進(jìn)程在執(zhí)行回調(diào)函數(shù)時(shí)就省去了I/O的過(guò)程,直接拿到的是任務(wù)的結(jié)果。

    以上內(nèi)容為大家介紹了python進(jìn)程池,希望對(duì)大家有所幫助,如果想要了解更多Python相關(guān)知識(shí),請(qǐng)關(guān)注IT培訓(xùn)機(jī)構(gòu):千鋒教育。

    聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。

    猜你喜歡LIKE

    python delattr函數(shù)如何使用?

    2023-11-10

    python time.strptime的格式化

    2023-11-10

    pythonGIL在Python多線程的應(yīng)用

    2023-11-10

    最新文章NEW

    python中pdb模塊怎么用?

    2023-11-10

    Python如何截圖保存?

    2023-11-10

    python?中缺少module怎么辦?

    2023-11-10

    相關(guān)推薦HOT

    更多>>

    快速通道 更多>>

    最新開(kāi)班信息 更多>>

    網(wǎng)友熱搜 更多>>