云主機是什么?具體有什么用?VPS除了可以放眼看世界和建站的用途之外,其實可以有很多種用途。所謂的vps,全名叫小型虛擬服務器,你可以看作是一臺遠程電腦。這玩意功能很多,建網(wǎng)站,炒外匯,vps搭建梯子啥的都行。
我主要是拿來搭建網(wǎng)盤和作外服網(wǎng)游加速器,比如吃雞和H1Z1.親測H1Z1使用香港的vps自建的加速器,ping值從150降低到60左右,也有人通過它在網(wǎng)絡上匿名溝通的技術,讓他人難以追蹤使用者身份。雖然很多人使用這個工具匿名進入暗網(wǎng),但有些僅僅是出于隱私保護,我想說一句“技術無罪,匿名不等于犯罪”。前幾天對某站點做爬蟲測試,需要一些代理,正好有一臺一 心網(wǎng)絡香港vps,于是便想到在vps上使用tor來隱匿真實IP,達到代理訪問的目的。
準備
1. 前提要求爬取的站點,沒有屏蔽海外IP訪問,否則還是參考大神另外一篇《VPS+TinyProxy快速搭建代理》
2. 一 心網(wǎng)絡云服務器一臺,香港或海外地區(qū)。建議使用國外供應商主機,我是開通最便宜的主機,需要自備梯子
部署:本代理池的搭建,Tor是必備的工具,不過要想將其作為http代理使用,還需要搭配Privoxy進行請求轉換
Tor:通常在圖形界面使用的是Tor(The Onion Router)瀏覽器,但這次是要使用Tor做代理,所以只需要安裝Tor內(nèi)核
安裝
epel源有Tor軟件
$ yum install -y epel-release
$ yum install -y tor
配置:配置文件路徑 /etc/tor/torrc, 默認Tor大約每10分鐘更換一次IP地址,可能無法滿足要求,這里將IP更換頻率改為10秒
MaxCircuitDirtiness 10
服務管理
· 啟動tor
$ systemctl start tor
· 關閉tor
$ systemctl stop tor
· 測試
$ curl http://httpbin.org/ip
$ torsocks curl http://httpbin.org/ip
以上兩個命令分別是獲取本機真實IP,和Tor代理訪問后的IP。不出意外,可以看到兩個結果是不同的
Privoxy
Tor提供的是SOCKS5代理, 但爬蟲程序通常用的是http代理,需要有個工具將http請求轉發(fā)到SOCKS代理,使用Privoxy可以解決該問題。
Tor默認監(jiān)聽地址是127.0.0.0:9050 ,可以使用netstat命令查看
$ netstat -nltup |grep tor
安裝:與安裝Tor的方式相同
$ yum install privoxy
配置:配置文件路徑 /etc/privoxy/config ,主要修改監(jiān)聽端口、訪問權限部分
#外網(wǎng)訪問8118端口
listen-address 0.0.0.0:8118
#...
# 將http請求轉發(fā)到socks5代理
forward-socks5 / 127.0.0.1:9050
#授權哪些ip,可以使用該代理,這里應該是授權給爬蟲服務器
permit-access 127.0.0.1
permit-access 46.188.188.188
服務管理
· 啟動privoxy
$ systemctl start privoxy
· 關閉privoxy
$ systemctl stop privoxy
· 測試
$ netstat -nltup |grep privoxy
$ curl http://httpbin.org/ip
$ curl http://httpbin.org/ip -x http://127.0.0.1:8118
不出意外,可以看到http代理成功, 現(xiàn)在就可以在爬蟲服務器測試使用了。
海外服務器免費測試:http://hbjsdrq.com/