一篇文章教會你利用Python網絡爬蟲獲取分類圖片
2020-07-14 16:56
Python進階學習交流
關注
【一、項目背景】
博海拾貝是一支互聯網從業者在線教育的團隊，扎根于中國教育行業以及互聯網行業的創新和眼球中，打造專業體系化的互聯網人在線教育平臺。精心創作許多精彩的文章，提供了很多有趣的圖片。
今天來教大家如何使用Python來爬取博海拾貝的圖片，分類保存，寫入文檔。
【二、項目目標】
創建一個文件夾， 分類保存所有文章圖片。下載成功，結果顯示控制臺。
【三、項目分析】
1、如何找到真正訪問的地址，多網頁請求？
滑動鼠標，觀察網站，右鍵F12 。鼠標滾輪滑動加載新內容。如圖：
點開隨機網頁 ， 點開Request URL ，觀察網址的規律。
https：／／bh．sb／page／1／
https：／／bh．sb／page／2／
https：／／bh．sb／page／3／
https：／／bh．sb／page／4／
觀察到，每增加一頁page／｛｝／自增加1，用｛｝代替變換的變量，再用for循環遍歷這網址，實現多個網址請求。
2． 反爬處理
1）獲取正常的 http請求頭，并在requests請求時，設置這些常規的http請求頭。
2）使用 fake＿useragent ，產生隨機的UserAgent進行訪問。
分享
聲明：
本文由入駐維科號的作者撰寫，觀點僅代表作者本人，不代表OFweek立場。如有侵權或其他問題，請聯系舉報。
請輸入評論內容...
請輸入評論/評論長度6~500個字
最新活動更多
- 1 GPT-6要來了，但AI行業早不跟 OpenAI玩了
- 2 資本巨頭紛紛抽身，為何中小投資者仍為AI狂熱加碼？
- 3 谷歌Gemma 4遭破解！實測：偽造支票、找盜版電影，有求必應
- 4 阿里云CTO李飛飛，不是那個“AI教母”李飛飛
- 5 特斯拉Optimus Gen3量產在即，哪些環節最具確定性？
- 6 深度丨Anthropic和OpenAI把Harness帶出圈，AI管AI成為現實
- 7 OpenAI深夜王炸！ChatGPT Images 2.0實測：中文穩、細節炸，設計師慌了
- 8 具身智能第一季度融資均千萬起步，億級扎堆，一場關于“落地”的競賽才剛剛開始
- 9 五分之一崗位被AI滲透：美國加速替代，中國穩崗賦能，全球勞動力市場冰火兩重天
- 10 估值泡沫隱憂：OpenAI 8520 億估值的信任危機與戰略迷途
