建站经验分享
设置网站robots.txt需要注意的要点以及如何正确配置robots！我来详细解释下:
1. robots.txt的作用
robots.txt是告诉搜索引擎爬虫哪些页面可以抓取,哪些页面不能抓取的一个指令文件,可以更好地管理搜索引擎对网站的爬取,保护网站敏感信息。
2. robots.txt位置
robots.txt需要放在网站根目录下,与网站首页index.html同级。各大搜索引擎会自动查找此文件。
3. 注意语法规范
robots.txt遵循特定语法,必须正确书写各指令与路径,否则可能无法生效。常用指令有User-agent、Disallow、Allow等。
4. 仅阻止搜索引擎
robots.txt只能阻止搜索引擎爬虫,对普通用户没有任何限制作用。不要误以为能够提高安全性。
5. 不要过度屏蔽
过度屏蔽访问会导致网站内容无法被收录。可以用Allow指令先允许爬虫访问整站,再排除个别页面。
6. 排除敏感数据
页面记得使用Disallow指令排除包含隐私信息、未完工页面、非原创内容等敏感页面。
7. 记得允许爬虫访问Sitemap
通过Sitemap可以让爬虫更完整地抓取网站,所以记得创建Sitemap并在robots.txt中指定。
8. 逐步放开新的页面
网站改版后可以先禁止爬虫全部抓取,待网站稳定后再逐步允许访问新的页面。
9. 定期检查robots.txt
要注意根据网站页面变动来更新robots.txt,确认各指令设置依然有效。
10. 测试指令生效
可以使用搜索引擎测试工具来验证robots.txt指令是否生效。
11. 无法屏蔽已经被爬取页面
robots.txt只能针对未来的爬取,对已经被爬取并收录的页面无效。
综上所述,这些是设置网站robots.txt需要注意的要点,按照语法要求正确配置可以更好地管理搜索引擎的爬取,达到保护网站的目的。
WordPress作为最常用的博客建站程序，使用WordPress搭建网站的个人、企业比较多，因此设置好WordPress robots.txt文件也是非常重要的，关于WordPress robots.txt配置可以参考下面文章：
13、通过robots.txt禁止ChatGPT抓取内容训练
目前国内外很多AI聊天机器人可以使用，其中ChatGPT已经成为了行业的标杆，目前来说AI聊天机器人都是通过知识训练来增强对话能力的，因此ChatGPT也有通过网络来抓取内容进行训练的蜘蛛“GPTBot”，如果不需要GPTBot蜘蛛抓取我们的网站或者需要屏蔽指定的蜘蛛，可以通过设置robots.txt来禁止。详情可以参考下面文章：
2、然后在
到这里通过
如果你建站没有使用宝塔Linux面板，那么此文章的操作是不适合的！如果对宝塔Linux面板感兴，关于宝塔Linux面板的安装和使用请参考下面文章：
如果排除了被挂马，那么再进行下面的操作。
然后通过设置去添加相关需要屏蔽拦截的关键词就可以了。
不过宝塔Linux面板的Nginx防火墙需要专业版才可以免费使用当然非专业版也可以付费购买该插件，关于宝塔Linux面板专业版和插件如何购买划算，可以参考此文章：
当然如果百度流量经营年限等硬性条件暂未达到标准，但在以下方面有突出优势的站点，百度搜索资源平台VIP俱乐部也是鼓励积极申请的
2、接下来填写自己需要接入Microsoft Clarity的网站或者移动APP程序。如下图填写自己的网站名称和网址即可。
3、接下来是安装代码验证，可以选择第三方平台上安装，如果使用WordPress搭建的博客的话！不过站长这里选择的是手动安装，点击如图下去复制验证代码。
4、复制好代码后进入到自己的WordPress博客后台，一般主题都有设置自定义代码的功能，下面以DUX主题安装Microsoft Clarity代码为教程。
如上图安装好了后，等待生效Microsoft Clarity即可正常使用了！
根据通知，百度搜索资源平台此次实名认证要求所有用户必须在规定时间内完成认证，否则将面临一系列后果。未完成实名认证的用户，其账号下的站点将被清退验证关系，同时收录展现也将受到限制。这意味着未完成实名认证的用户将无法继续使用百度搜索资源平台进行网站管理和推广。
此次实名认证要求是百度搜索资源平台为了进一步加强平台的安全性和规范性，确保用户权益和数据安全而采取的必要措施。对于未完成实名认证的用户，其账号将被逐步清理，直至最终被注销。这一举措旨在打击网络黑产作弊等不正当行为，维护搜索引擎生态的公平性和健康性。
建议所有使用百度搜索资源平台的用户尽快完成实名认证，确保账号的正常使用和收录展现不受影响。实名认证的过程非常简单，用户只需按照平台要求提供相关证明材料，即可轻松完成认证。完成实名认证后，用户可以更好地管理自己的网站，提高搜索引擎的排名和曝光率。
总之，百度搜索资源平台此次实名认证要求是必要的措施，旨在保障用户权益和数据安全。建议未完成实名认证的用户尽快完成认证，以免影响站点的收录和推广效果。同时，我们也应该积极支持百度搜索资源平台的这一举措，共同维护搜索引擎生态的公平性和健康性。
3、再在如下图找到设置按钮。
4、在设置页面中，我们可以看到【账号管理】选项，点击“账号管理”进入即可！
5、在账号管理页面中，我们可以看到【身份认证】选项，点击进入。如下图点击“身份认证”填写认证资料即可完成实名认证了。在身份认证页面中，我们需要按照系统提示进行实名认证。具体步骤包括上传身份证照片、填写身份证信息、进行人脸识别等。
按照上述操作就不会因为百度搜索资源平台实名认证要求而导致网站收录受影响了。在完成实名认证后，我们的百度搜索资源平台账号将获得更高级别的安全保护，同时也可以更好地享受百度搜索资源平台提供的服务。百度搜索资源平台实名认证是必要的措施，建议所有用户按照通知要求尽快完成认证，以享受更优质的服务和保障自己的权益。
如果还没有自己网站的企业邮箱，建站经验分享过一些较为便宜的国外企业邮箱和免费企业邮箱，有兴趣的可以参考下面文章：
2、当然也可以根据自己的需求，设置允许OpenAI GPTBot蜘蛛来抓取指定内容！比如下面是设置了只允许抓取网站首页内容就添加了“Allow: /$”即可！因为“Allow”在robots.txt规则当中就是运营的作用！
接下来是分类的SEO优化设置，这里可以参考建站经验分享选择的简易模式设置，当然也可以选择高级模式去一个一个分类自定义设置！如果分类目录不多的话建议选择高级模式去设置更好！如果像建站经验分享设置的分类目录比较多，一个个设置需要花费大量时间就偷懒使用简易模式设置！如果关键词不知道填写什么那么就填写和首页一样的关键词！另外关于秒杀可以参考如下图的设置，当然也可以根据自己的实际内容来设置！
接下来设置的是详情页！这里面文章页是非常重要的，一般来说我们向搜索引擎设置内容权重，首页排第一，文章页是排第二的，分类可以和文章页同属第二也可排第三，标签也一般是排到后面了，因为比较每篇文章才是组成我们网站内容的主体！这里主要是对以往的文章进行设置。
如果是启用了Smart SEO Tool插件后，建议在发布文章的时候就设置关于文章页面的SEO优化信息设置。如下图：
另外在详情页面还有独立页面的设置，如果独立页面内容比较重要，那么建议把不索引改为索引，不然搜索引擎不会抓取！其他的内容设置和文章页面一样的设置方法，在写独立页面内容的时候就设置好标题、关键词、描述内容！
另外其他栏目当中标签列表的设置也是比较重要的！因为WordPress网站标签是一个比较有特色的功能，对于SEO优化也是有很大帮助的，搜索引擎相对来说比较喜欢抓取标签页的内容！同时标签也可以帮助访问者快速找到网站当中所需要的内容！设置具体可以参考如下！
另外其他栏目的“搜索结果页”、“作者归档”都可以设置为不索引！这些内容都SEO帮助不大！
关于网站地图内容如何设置，如下！如果有独立页面，建议独立页面也开启加入网站地区！关于更改频率、优先级别的设置可以参考建站经验分享的设置！另外百度地图不支持此插件生成的网站地图，因为百度搜索站长平台不支持提交索引型Sitemap，解决这个问题可以使用百度SiteMap网站地图插件：
关于WordPress SEO优化插件Smart SEO Tool的详细使用教程就到这里结束了！有疑问的可以通过邮件咨询沟通交流！另外其他关于WordPress SEO优化插件的介绍如下文：
