【原创文章】centos服务器如何查看网站蜘蛛实时访问记录

使用场景：

新建网站robots时，网站没有限值任何蜘蛛的爬取数量限值，导致网站因为蜘蛛的大量爬取，网络带宽资源占用过高，来判断哪个蜘蛛的访问频率比较大所以今天我们写一个如何查看网站访问日志来观察蜘蛛的实时访问量。

使用步骤：

这里以字节的蜘蛛为例，从2019年就开始认证站长，带宽资源占用非常大，收录没几个，蜘蛛每天上万或者大几千，严重拉慢了网站的速度。

第一步：打开宝塔后台，打开终端，

第二步：输入下面的命令观察蜘蛛

tail -f /www/wwwlogs/www.playezu.com.log | grep spider

第三步：可以结合nslookup查询是否为字节蜘蛛

nslookup + ip   win运行ctrl+r  输入cmd

第五步：nginx将字节蜘蛛跳转403

    if ($http_user_agent ~* "toutiao|Bytespider") {      return 403; }