Python?多進(jìn)程、協(xié)程異步抓取英雄聯(lián)盟皮膚并保存在本地
[導(dǎo)讀]作者|俊欣來源?|關(guān)于數(shù)據(jù)分析與可視化就在11月7日晚間，《英雄聯(lián)盟》S11賽季全球總決賽決斗，在冰島拉開“帷幕”，同時面向全球直播。在經(jīng)過了5個小時的鏖戰(zhàn)，EDG戰(zhàn)隊最終以3:2戰(zhàn)勝來自韓國LCK賽區(qū)的DK戰(zhàn)隊，獲得俱樂部隊史上首座全球總決賽冠軍。奪冠的消息瞬間引爆全網(wǎng)，包括小...
奪冠的消息瞬間引爆全網(wǎng)，包括小編的朋友圈也被刷屏了，今天小編就寫一篇與之相關(guān)的文章，通過單線程、多進(jìn)程以及異步協(xié)程等方法來抓取英雄聯(lián)盟的皮膚并下載。
傳統(tǒng)數(shù)據(jù)抓取 VS 高性能數(shù)據(jù)抓取
傳統(tǒng)的數(shù)據(jù)抓取都是運行在單線程上的，先用獲取到目標(biāo)頁面中最大的頁數(shù)，然后循環(huán)抓取每個單頁數(shù)據(jù)并進(jìn)行解析，按照這樣的思路，會有大量的時間都浪費在等待請求傳回的數(shù)據(jù)上面，如果在等待第一個頁面返回的數(shù)據(jù)時去請求第二個頁面，就能有效地提高效率，下面我們就通過單線程、多進(jìn)程以及異步協(xié)程的方式分別來簡單的實踐一下。頁面分析
目標(biāo)網(wǎng)站：https://lol.qq.com/data/info-heros.shtml
官網(wǎng)的界面如圖所示，上面的每一張小圖代表每一個英雄，我們知道每一個英雄有多個皮膚，我們的目標(biāo)就是爬取每一個英雄的所有皮膚，并且保存在本地；打開一個英雄顯示他所有的皮膚，如下圖所示，
我們打開瀏覽器里面的開發(fā)者工具，查看皮膚數(shù)據(jù)的接口，
可以看到皮膚的信息是通過json的數(shù)據(jù)格式來進(jìn)行傳輸?shù)模⑶掖娣牌つw的url也是有一定規(guī)律的，和英雄的ID相掛鉤url1 = 'https://game.gtimg.cn/images/lol/act/img/js/hero/1.js'
url2 = 'https://game.gtimg.cn/images/lol/act/img/js/hero/2.js'
url3 = 'https://game.gtimg.cn/images/lol/act/img/js/hero/3.js'
url4 = 'https://game.gtimg.cn/images/lol/act/img/js/hero/4.js'
因此我們也可以自己來構(gòu)造這個url格式'https://game.gtimg.cn/images/lol/act/img/js/hero/{}.js'.format(i)
單線程方案
我們先來看一下單線程的方案def get_page():
page_urls = []
for i in range(1, 10):
url = 'https://game.gtimg.cn/images/lol/act/img/js/hero/{}.js'.format(i)
page_urls.append(url)
return page_urls
# 獲取各英雄皮膚的鏈接
def get_img_urls():
results_list = []
page_urls = get_page()
for page_url in page_urls:
res = requests.get(page_url, headers=headers)
result = res.content.decode('utf-8')
result_dict = json.loads(result)
skins_list = result_dict["skins"]
for skin in skins_list:
hero_dict = {}
hero_dict['name'] = skin["heroName"]
hero_dict['skin_name'] = skin["name"]
if skin["mainImg"] == '':
continue
hero_dict['imgUrl'] = skin["mainImg"]
results_list.append(hero_dict)
time.sleep(2)
return results_list
# 將各種皮膚保存到本地
def save_image(index, img_url):
path = "skin/" img_url["name"]
if not os.path.exists(path):
os.makedirs(path)
response = requests.get(img_url['imgUrl'], headers = headers).content
with open('./skin/' img_url['name'] '/' img_url['skin_name'] str(index) '.jpg', 'wb') as f:
f.write(response)
上面的代碼分別代表的獲取各英雄每個皮膚的鏈接，然后再將各英雄的皮膚圖片保存到本地，通過一個主函數(shù)將上面的步驟都串聯(lián)到一起def main():
img_urls = get_img_urls()
print("總共有{}個網(wǎng)頁".format(len(img_urls)))
for index, img_url in enumerate(img_urls):
print("目前正處于第{}個".format(img_urls.index(img_url)))
save_image(index, img_url)
print("Done")
爬取這幾個網(wǎng)頁然后保存到本地的時間總共是需要43秒的時間，接下來我們來看一下多進(jìn)程的爬取所需要的時間。
多進(jìn)程的抓取方案
首先來簡單的介紹一下進(jìn)程，進(jìn)程是系統(tǒng)進(jìn)行資源分配和調(diào)度的最小單位，每一個進(jìn)程都有自己獨立的地址空間，不同進(jìn)程之間的內(nèi)存空間不共享，進(jìn)程與進(jìn)程之間的通信是由操作系統(tǒng)來傳遞的，因此通訊效率低，切換開銷大。這里我們簡單的用多進(jìn)程來抓取一下各個英雄的皮膚def main():
img_urls = get_img_urls()
print("總共有{}個網(wǎng)頁".format(len(img_urls)))
pools = multiprocessing.Pool(len(img_urls))
for index_1, img_url in enumerate(img_urls):
print("目前正處于第{}個".format(img_urls.index(img_url)))
pools.apply_async(save_image, args=(index_1, img_url, ))
pools.close() # 關(guān)閉進(jìn)程池（pool），使其不在接受新的任務(wù)。
pools.join() # 主進(jìn)程阻塞等待子進(jìn)程的退出， join方法要在close或terminate之后使用
print("Done")
整體下來需要的時間是29秒，比上面的單線程要快出許多。
異步協(xié)程的抓取方案
與異步相對立的則是同步，顧名思義，同步具體指的各個任務(wù)并不是獨立進(jìn)行的，而是按照順序交替進(jìn)行下去的，在一個任務(wù)進(jìn)行完之后得到結(jié)果才進(jìn)行下一個的任務(wù)。而異步則是各個任務(wù)可以獨立的運行，一個任務(wù)的運行不受另外一個任務(wù)的影響。而這里提到的協(xié)程，英文叫做Coroutine，也稱為是微線程，是一種用戶態(tài)的輕量級線程，擁有自己的寄存器上下文和棧，在進(jìn)行調(diào)度切換時，將寄存器上下文和棧保存到其他地方，在切回來的時候恢復(fù)先前保存的寄存器上下文和棧。
我們可以利用協(xié)程來實現(xiàn)異步操作，比如在發(fā)出請求的時候，需要等一段時間才能得到返回的結(jié)果，但其實這個等待的時候程序完全可以干其他許多的事情，在響應(yīng)返回之后再切換回來繼續(xù)處理，這樣可以充分利用 CPU 和其他資源。我們這里用協(xié)程來抓取一下各個英雄的皮膚async def save_image(index, img_url):
path = "skin/" img_url["name"]
if not os.path.exists(path):
os.makedirs(path)
response = requests.get(img_url['imgUrl'], headers = headers).content
with open('./skin/' img_url['name'] '/' img_url['skin_name'] str(index) '.jpg', 'wb') as f:
f.write(response)
def main():
loop = asyncio.get_event_loop()
img_urls = get_img_urls()
print("總共有{}個網(wǎng)頁".format(len(img_urls)))
tasks_list = [save_image(index, img_url) for index, img_url in enumerate(img_urls)]
try:
loop.run_until_complete(asyncio.wait(tasks_list))
finally:
loop.close()
print("Done")
一整個跑下來，大概是需要33秒的時間，也是比單線程的43秒要快出很多以上便是用單線程、多進(jìn)程以及異步協(xié)程的方式來優(yōu)化爬蟲腳本的性能，感興趣的讀者可以自己照著上面的教程與步驟自己去敲一遍代碼，感謝閱讀。
下載文檔本站聲明： 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布，目的在于傳遞更多信息，并不代表本站贊同其觀點，本站亦不保證或承諾內(nèi)容真實性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者，如若文章內(nèi)容侵犯您的權(quán)益，請及時聯(lián)系本站刪除。
換一批
延伸閱讀
助力再生農(nóng)業(yè)轉(zhuǎn)型、溫室氣體減排并改善農(nóng)民生計 北京2022年10月13日 /美通社/ -- 雀巢咖啡作為雀巢集團(tuán)最大且廣受全球消費者喜愛的咖啡品牌，近期推出了使咖啡種植更加可持續(xù)的延展計劃：雀巢咖啡2030...
關(guān)鍵字： 可持續(xù)發(fā)展 BSP 路線圖 進(jìn)程（全球TMT2022年10月12日訊）Exyte已完成對美國廢氣凈化技術(shù)專家Airgard Inc.的收購。Airgard成立于1988年，總部位于加利福尼亞州的Milpitas，是 "濕式" 洗滌器開發(fā)和制造領(lǐng)域的領(lǐng)...
關(guān)鍵字： TE AIR 進(jìn)程 半導(dǎo)體行業(yè)（全球TMT2022年9月22日訊）建筑項目管理軟件領(lǐng)域企業(yè)InEight Inc.宣布了最新的軟件創(chuàng)新，包括范圍、設(shè)計和資源管理方面的新流程標(biāo)準(zhǔn)化，以及新的進(jìn)展跟蹤功能和創(chuàng)建基準(zhǔn)驗證型進(jìn)程預(yù)估和時間表的能力。該更新還...
關(guān)鍵字： 軟件 進(jìn)程 應(yīng)用程序 模板InEight專注于軟件創(chuàng)新的標(biāo)準(zhǔn)化和基準(zhǔn)更新，從而提高了效率，增加了項目信心 InEight建筑項目管理平臺的最新發(fā)展引入了新的設(shè)計管理和基準(zhǔn)實踐，提高了各個項目之間的一...
關(guān)鍵字： 軟件 應(yīng)用程序 進(jìn)程 移動應(yīng)用"襯"出新我，再續(xù)傳奇 沈陽2022年9月8日 /美通社/ -- 9月6日，GANT沈陽K11全新門店正式啟幕。此次GANT以新店開幕為契機(jī)，回顧品牌標(biāo)志性襯衫單品的誕生與歷史，并演繹經(jīng)歷沉淀后的迭...
關(guān)鍵字： GAN 行業(yè)標(biāo)準(zhǔn) 進(jìn)程 微信
廠商專欄
熱門文章
- 硬剛到底！大疆正式起訴美國FCC，這場反擊太解氣
- 馬斯克的SpaceX要造手機(jī)了 可直連星鏈！
- 國產(chǎn)仿真軟件NESIM-A發(fā)布 國產(chǎn)EDA重要里程碑
- TrendForce集邦咨詢: 受CPU、存儲器價格同步上漲壓力，預(yù)估2026年第一季度筆電出貨量將季減14.8%
- 宇樹科技澄清2025年銷量數(shù)據(jù)：人形機(jī)器人實際出貨量超5500臺
- TrendForce集邦咨詢: 新機(jī)調(diào)價抑制銷售需求，2026年第二季度起智能手機(jī)生產(chǎn)承壓明顯
- 盤點晶體諧振器振蕩頻率溫度特性異常的幾個原因
- YL-335B自動化生產(chǎn)線裝配單元Ⅱ程序設(shè)計
- Keil MDK軟件包(pack)下載的幾種方法詳解
- 一文搞懂脈沖寬度調(diào)制（PWM）原理、頻率與占空比
編輯精選
更多
論壇活動
更多
論壇熱帖
- 【每周分享】程序員真的逃不過35歲被裁的坎嗎？
- 【每周分享】公司已經(jīng)裁掉我了，還在繼續(xù)安排大量工作給我，這合適嗎？
- 【每周分享】努力、運氣、選擇，哪一個更重要？
- CW32L012固件庫發(fā)現(xiàn)兩處問題
- CW32L011休眠模式 偶發(fā)無法喚醒
- gd32f4 中斷影響adc采樣怎么解決
- GD32F303定時器捕獲頻率出現(xiàn)問題
- 用PMOS做開關(guān)的電路，開關(guān)按下PMOS導(dǎo)通，電路為啥不行呢
- APM32F407備份SRAM VBAT測試避坑指南：從誤判到精準(zhǔn)檢測
- 極海的APM32F425和APM32F427到底有什么區(qū)別？
技術(shù)子站
更多
