在群里边经常看到大家问怎么看搜索引擎的爬行记录,今天从网上找了一段给大家共享下,有什么问题大家可以一块讨教一下!
Call robot()
Sub robot()
Dim robots:robots="Baiduspider@Baidu|Baiduspider+@Baidu|Google@Google|Googlebot@Google|crawler@alexa.com|ia_archiver@Alexa|IAArchiver@Alexa|ASPSeek@ASPSeek|YahooSeeker@Yahoo|sohu-search@Sohu|help.yahoo.com/help/us/ysearch/slurp@Yahoo|sohu-search@SOHU|MSNBOT@MSN"
...