Linux/Nginx如何查看搜索引擎蜘蛛爬虫的行为(linux查看nginx配置文件)

推荐整理分享Linux/Nginx如何查看搜索引擎蜘蛛爬虫的行为(linux查看nginx配置文件)，希望有所帮助，仅作参考，欢迎阅读内容。

文章相关热门搜索词:linux 查找nginx,linux查看nginx进程命令,linux 查找nginx,查看nginx命令,linux如何查看nginx日志,linux nginx版本查看命令,linux查看nginx配置文件,linux查看nginx,内容如对您有帮助，希望把文章链接给更多的朋友！

摘要

做好网站SEO优化的第一步就是首先让蜘蛛爬虫经常来你的网站进行光顾，下面的Linux命令可以让你清楚的知道蜘蛛的爬行情况。下面我们针对nginx服务器进行分析，日志文件所在目录：/usr/local/nginx/logs/access.log，access.log这个文件记录的应该是最近一天的日志情况，首先请看看日志大小，如果很大(超过MB)建议别用这些命令分析，因为这些命令很消耗CPU，或者更新下来放到分析机上执行，以免影响网站的速度。

Linux shell命令

1. 百度蜘蛛爬行的次数

cat access.log | grep Baiduspider | wc

最左面的数值显示的就是爬行次数。

2. 百度蜘蛛的详细记录(Ctrl C可以终止)

cat access.log | grep Baiduspider

也可以用下面的命令：

cat access.log | grep Baiduspider | tail -n cat access.log | grep Baiduspider | head -n

只看最后条或最前条，这用就能知道这个日志文件的开始记录的时间和日期。

3. 百度蜘蛛抓取首页的详细记录

cat access.log | grep Baiduspider | grep “GET / HTTP”

百度蜘蛛好像对首页非常热爱每个钟头都来光顾，而谷歌和雅虎蜘蛛更喜欢内页。

4. 百度蜘蛛派性记录时间点分布

cat access.log | grep “Baiduspider ” | awk ‘{print $4}'

5. 百度蜘蛛爬行页面按次数降序列表

cat access.log | grep “Baiduspider ” | awk ‘{print $7}' | sort | uniq -c | sort -r

文中的Baiduspider 改成Googlebot都可以查看谷歌的数据，鉴于大陆的特殊性，大家应该对百度的log更为关注。

附：(Mediapartners-Google)Google adsense蜘蛛的详细爬行记录

cat access.log | grep Mediapartners

Mediapartners-Google是什么呢&#;Google adsense广告之所以能与内容相关，因为每个包含着adsense的广告被访问后，很快就有个Mediapartners-Google蜘蛛来到这个页面，所以几分钟后再刷新就能显示相关性广告了，真厉害啊！

ps：linux下nginx如何启用网站日志，查看蜘蛛爬虫

默认的路径是你安装时候指定的

如果用的LNMP之类的安装包

你可以在SHELL下

whereisnginx

找到相应的路径之后

在NGINX下的CONF文件夹里看配置文件，日志文件如果记录了话

在配置文件里有路径的～

Linux Shell脚本面试问集合 Q:1Shell脚本是什么、它是必需的吗答:一个Shell脚本是一个文本文件，包含一个或多个命令。作为系统管理员，我们经常需要使用多个命令来完成一项任务

iredmail下安装脚本分析（一）---get_all.sh 文件所在目录为PKGS iredmail是一套以postfix为核心的整合邮件系统的安装脚本，可以达到快速部署邮件服务器的目的。经过上面的一系列分析后，进入到获取安装包的步骤，

exit(-1)或者return(-1)shell得到的退出码为什么是 下面我写了一个helloworld程序，一起看看吧：//filename:main.c#includestdio.hintmain(void){printf("hellowolrd!n");return(-);}编译执行：gccmain.c&&./a.out现在我们看看在当前s