快速检测你的网站是否能被谷歌搜索引擎，bing搜索引擎蜘蛛正常（爬）抓取。
1.什么时候应该禁止网站被搜索引擎抓取？
在你还没完全搭建好网站之前，你的网站最好是禁止搜索引擎抓取的状态，也就是网站应该设置整站（noindex）。因为你的网站在建设过程中，很多内容是不完整的，甚至还有很多填充的测试文本，如果这时候你的网站被搜索引擎抓取后会被认为是低质量网站。从而降低网站权重及搜索引擎蜘蛛爬取频率。
2. 如何查看网站是否能正常被蜘蛛爬取？
首先你可以通过本工具查看你网站的可抓取性。
你还可以在谷歌搜索控制台（GSC）后台查看蜘蛛的爬取频率。
3. 每个网站的蜘蛛爬取频率是一样的吗？
和网站收录页面一样，网站的权重和质量不同，搜索引擎蜘蛛的爬取频率也不同。
4. Robots.txt有什么用？
网站通过设置robots.txt可以规范与限制搜索引擎抓取指定目录，同时还能屏蔽蜘蛛抓取你不想被收录的页面。