文章发出来了,浏览器能打开,sitemap 也提交了,为什么 Google 还是搜不到?这几件事分别说明页面能访问、地址已被提交,却不能直接证明搜索引擎已经抓取并建立索引。
对新网站来说,先把问题缩小到某一条文章地址,比反复修改全站标题更有用。选一篇你最希望用户找到的文章,按下面的顺序检查,再把结论整理成记录。
一、页面是不是对未登录访客正常开放?
用未登录窗口访问最终文章地址,看看是否被跳回首页、登录页或安全验证页面。再检查实际响应:正文是否完整,是否出现临时错误,以及页面最终停在哪个 URL。页面壳能显示,但正文只在后台账号里可见,并不等于公开文章可访问。
如果接了 CDN 或防护服务,还要留意是否对爬虫返回不同内容。这里的目标是让该公开的正文正常可读,不是把后台、订单和用户资料一起开放。
二、公开文章是否误带了 noindex?
打开网页源代码,查看 head 中的 robots 设置,同时检查 HTTP 响应头中的 X-Robots-Tag。下面这段适用于有意不希望收录的页面;如果出现在公开文章模板里,就需要排查原因:
<meta name="robots" content="noindex">
Google 的 noindex 文档指出,它既可通过 meta 标签设置,也可通过响应头设置。检查时不能只搜索正文中的“noindex”这个词,教程代码里也可能出现;应确认真正生效的标签和响应头。
登录、订单等私密页面继续保留权限控制。不要为了处理一篇公开文章的收录问题,把全站的限制一次性删掉。
三、有没有把 robots.txt 当成不收录开关?
robots.txt 主要管理抓取,而不是访问权限。Google 官方说明,被禁止抓取的 URL 仍可能因其他网页的链接而出现在搜索结果中。若同时阻止抓取,爬虫也可能看不到页面里的 noindex。
因此,公开文章应确认没有被规则意外拦住;私密数据则依靠认证和权限保护。不要把订单号、邮箱查询结果或后台路径写入 sitemap,指望再用 robots.txt 补救。参见 Google:robots.txt 的用途和限制。
四、文章能不能从站内正常走到?
从首页进入文章列表,再点击这篇文章,确认链接指向最终公开地址。文章只存在于后台,或者地址只能从一份临时表格拿到,都不利于正常发现。
随后打开 sitemap,核对是否有这条最终 URL,有没有混入草稿、过期预览链接或带用户参数的地址。Google 的 sitemap 说明明确指出,站点地图帮助发现 URL,但不保证每一条都会被抓取或收录。提交成功后,仍需要检查页面本身。
五、用 Search Console 看具体原因
在已验证的网站属性中,把这条完整地址交给 URL 检查工具。Google 的 Search Console 使用指南说明,这个工具可查看索引状态、测试在线网址并请求抓取。
把“页面当前能访问”和“Google 上次看到的内容”分开记录。刚修好的配置,未必已经反映到上次抓取结果里;如果工具指出了明确问题,先修复、验证,再按需提交。反复点击请求不会把内容自动变成优质页面。
留一张简单的检查表
| 检查项 | 需要记下的结果 |
|---|---|
| 最终网址 | 是否重定向,最终地址是否稳定 |
| 公开访问 | 未登录时能否读取完整正文 |
| 索引与抓取设置 | meta、响应头和 robots.txt 的实际规则 |
| 发现路径 | 文章列表可点击,sitemap 包含最终网址 |
| Search Console | 检查日期、上次抓取状态、待修复原因 |
如果这些项目都正常,就继续检查文章是否真正回答了标题中的问题:有没有清楚步骤、适用条件和可核对的依据。不要为了催收录,连续发布多篇只有标题不同、正文相近的内容。技术配置解决的是抓取和理解上的障碍,不能替代文章本身的价值,也不存在固定天数的收录保证。