入坑python，你的第一個(gè)python爬蟲應(yīng)該去爬代理IP才是，在學(xué)習(xí) Python 爬蟲的時(shí)候，要偽裝瀏覽器，自己寫一個(gè)爬蟲去免費(fèi)代理IP上爬取大量代理IP，建立自己的代理IP池。爬數(shù)據(jù)的時(shí)候，記得戴上馬甲，別用自己的IP裸爬。對于封IP的網(wǎng)站，需要很多的代理IP，去買代理IP。

一、那么如何處理python爬蟲ip被封?

簡單來講，你通過代碼向服務(wù)器發(fā)送的請求與瀏覽器向服務(wù)器發(fā)送的請求不一樣，所以你可以通過瀏覽器獲取數(shù)據(jù)，但是無法通過代碼。

首先建議你打開瀏覽器的開發(fā)者工具，推薦使用Chrome瀏覽器。選中Network一欄之后重新通過瀏覽器向服務(wù)器發(fā)送一次請求，然后，你就可以看到你剛才通過瀏覽器訪問服務(wù)器資源的流程和數(shù)據(jù)流向。其中，數(shù)據(jù)流向包括：

瀏覽器向服務(wù)器發(fā)送的請求頭

瀏覽器向服務(wù)器發(fā)送的請求體

(可能)服務(wù)器向?yàn)g覽器發(fā)送的重定向地址及瀏覽器重新向新的地址發(fā)送請求

服務(wù)器返回的響應(yīng)頭

服務(wù)器返回的響應(yīng)體---

你面臨的問題很可能是在模擬瀏覽器發(fā)送請求這一步(1、2)。檢查代碼，修復(fù)之。

至于解決方案，既然你可以通過瀏覽器訪問，說明你的IP并沒有被服務(wù)器禁封，加上你提到用了requests庫，我猜測你通過requests.Session()來獲取了一個(gè)對象或者指定了headers中的Cookie字段來發(fā)送請求。這兩種方法，服務(wù)器都會(huì)認(rèn)為你的多次請求來自同一個(gè)客戶端，自然訪問過快之后，服務(wù)器會(huì)向此客戶端彈驗(yàn)證碼(服務(wù)器端通過Session確認(rèn)某一個(gè)用戶，客戶端通過Cookie[中的某一條]告訴服務(wù)器自己是某Session對應(yīng)的用戶)。

所以，你可以嘗試切換一個(gè)新的requests.Session()對象來發(fā)送請求。更甚之，你可以通過代理IP，使用代理IP需要注意的是，最好選擇高匿的IP，并在使用前校驗(yàn)有效性。python爬蟲代理有免費(fèi)的ip代理、付費(fèi)的、自己掃的、動(dòng)態(tài)撥號vps等，如果是趟過付費(fèi)IP代理這趟渾水的，會(huì)發(fā)現(xiàn)市面上的ip代理魚龍混雜，普遍存在以下問題：

1、ip可用率低，因?yàn)槭菑木W(wǎng)上掃的量，IP時(shí)長和質(zhì)量均無法保證。

2、ip池夸大，吹噓自己有幾百萬的量，實(shí)際上只有十幾萬到二三十萬，因?yàn)橹貜?fù)使用的原因，造成ip可用率不高。那如果遇到大客戶怎么辦呢?只能找更大的ip代理供應(yīng)商尋求合作，賺取差價(jià)，那么作為終端客戶，又被人擄羊毛了。

3、性價(jià)比低，雖然有些價(jià)格賣得很低，但是可用率同樣很低，不穩(wěn)定，掉線等問題，實(shí)際上付出的時(shí)間成本遠(yuǎn)遠(yuǎn)高于金錢成本。

4.本身沒有資源，如果說第一種還算有自己的量，遇到問題可能也有工程師解決，那么這一種純代理商就更加沒有保障了，賺取不菲的中間差價(jià)外，不需要付出任何成本，也會(huì)有拿錢跑路的風(fēng)險(xiǎn)，遇到問題也只能找上級代理ip商尋求解決。

二、那么怎樣選擇優(yōu)質(zhì)的python爬蟲代理ip供應(yīng)商呢?

尋找能夠模擬使用狀況免費(fèi)測試的，譬如我一天用100W，你能給我100W的量進(jìn)行測試，測試還很穩(wěn)定。盡量與755800這樣的源頭廠商合作，這樣價(jià)格談下來是最有優(yōu)勢的，可以簽合同走對公賬戶，這樣也是最有保障的，而且一般量大的爬蟲代理提供商，因?yàn)橹饕獮槠髽I(yè)用戶服務(wù)，基本不會(huì)開發(fā)自己的軟件，而是提供API，最大化適應(yīng)客戶的需求。

python爬蟲代理ip服務(wù)商哪家好，這里推薦755800代理IP。755800代理IP在python爬蟲代理ip方面做得非常好，可以更好地服務(wù)于各類項(xiàng)目，吸引了很多人去使用。

python爬蟲代理服務(wù)器租用：http://hbjsdrq.com

海外服務(wù)器免費(fèi)測試：http://hbjsdrq.com/