
Dynadot新注册.CLOUD域名只需$1.99首年,续费$18.99/年
Dynadot当前推出了最新域名注册优惠活动,即日起截止2023年8月29日新在Dynadot新注册.CLOUD域名只需$1.99首年,.CLOUD原价是$18.99/年!Dynadot是一家从2002年就开始从事域名注册的商家,并且官网支...
Dynadot当前推出了最新域名注册优惠活动,即日起截止2023年8月29日新在Dynadot新注册.CLOUD域名只需$1.99首年,.CLOUD原价是$18.99/年!Dynadot是一家从2002年就开始从事域名注册的商家,并且官网支...
Disallow: /?s=
2、申请搜狗资源平台申请Sitemap提交权限的邮箱地址。 根据自己网站实际情况编写好内容后,可以直接发送邮件到“zhanzhang#tencent.com”#用@代替。 具体如图,最好使用自己网站的企业邮箱来发送。尊敬的搜狗搜索资源平台:我是建站经验分享网站(https://www.wn12.cn/)的负责人,由于网站之前做过改版和域名更换,所以为了搜狗搜索能够更好的抓取到全站历史内容,特此申请【Sitemap 提交】权限。网站地址:https://www.wn12.cn/(已认证)归属账号:(填写自己的搜狗资源平台账号)
关于WordPress博客如何设置robots.txt,建站经验分享在WordPress网站如何设置robots.txt配置更有利于SEO优化文章当中也有过介绍,可以自己去参考文章并根据自己实际情况去设置!
User-agent: GPTBot Disallow: /具体如下图:
User-agent: GPTBot Disallow: / Allow: /$因此自己网站当中认为可以给OpenAI GPTBot抓取的内容就通过“Allow”规则来实现即可!一般来说如下图禁止OpenAI GPTBot网站抓取全站内容、只同意抓取首页就差不多了!除非有特定的内容是可以给OpenAI GPTBot抓取的,则根据自己需求设置即可,比如一些关于网站的介绍内容!
User-agent: * Allow: /wp-content/uploads/ Allow: /wp-admin/admin-ajax.php Disallow: /wp-* Disallow: /feed Disallow: /*/feed Disallow: /*.js Disallow: /*.css Disallow: /*.inc Disallow: /*.php Disallow: /?s= Disallow: /tag/*/page/ Disallow: /page/* Disallow: /*/page Disallow: /category/*/page/ Disallow: /comments/feed Disallow: /readme.html Disallow: /licence.txt Sitemap: https://www.wn12.cn/wp-sitemap.xml Sitemap: https://www.wn12.cn/sitemap.html Sitemap: https://www.wn12.cn/baidu_sitemap.xm2、对于上面robots.txt配置的一些说明和解释。