實際工作中碰到的問題，抓取 QCC 網站，會有多個機器同時抓取。但是 cookie 不能頻繁更換IP，否則會封號需要修改密碼。所以登陸就需要相應機器IP進行登陸操作。自建代理，然后使用 selenium + 代理進行登陸操作。

CentOS 自建代理

1、安裝?squid

yum -y install squid

2、 改為開機啟動

systemctl enable squid.service

3、修改配置：

vim??/etc/squid/squid.conf
#允許的客戶端ip
acl?allcomputers?src?all
#配置用戶名密碼，后面會生成passwords文件
auth_param?basic?program?/usr/lib64/squid/basic_ncsa_auth?/etc/squid/passwords
acl?authenticated?proxy_auth?REQUIRED
http_access?allow?authenticated
#?添加以下改成高匿模式,這樣就可以完全避免被識別出來
request_header_access?X-Forwarded-For?deny?all
request_header_access?From?deny?all
request_header_access?Via?deny?all

這里說明一下/usr/lib64/squid/basic_ncsa_auth /etc/squid/passwords這兩個是文件，前面的安裝了squid就已經存在，后面的需要自己生成。

4、找到http_access deny all并注釋掉

#http_access?deny?all
#?修改一下默認的3128端口
http_port?3601

5、用戶名密碼認證

使用的是htpasswd命令

yum install httpd-tools

sudo htpasswd -bc  /etc/squid/passwords 用戶名 密碼
sudo chmod o+r /etc/squid/passwords

6、檢查squid配置是否正確

squid -z

可能會有下面的錯誤

在配置文件?/etc/squid/squid.conf?中去掉下面這行的注釋

#cache_dir ufs /var/spool/squid 100 16 256

7、重新執(zhí)行命令，啟動這個服務

systemctl restart squid.service

如果是騰訊云或者阿里云，需要打開相應的安全組端口。

8、查看日志

tail?-f??/var/log/squid/access.log
tail?-f?/var/log/squid/cache.log

9、測試

selenium + 插件代理