AI 搜索机器人要的是可解析。GPTBot、ClaudeBot、PerplexityBot 这些爬虫,抓取逻辑和传统搜索引擎有相似之处,也有差异。它们更依赖文本上下文,也更在意文件是否公开可访问。一个 PDF 白皮书放在私有对象存储里,只给登录用户生成临时链接。AI 爬虫抓不到。那你的内容在生成式答案里就消失了。
踩坑清单,我列几个常见的。第一,忘记设置生命周期规则,日志文件越积越多,存储费悄悄上涨。第二,开启版本控制后没清理旧版本,费用翻倍。第三,公共桶被恶意刷流量,一夜之间欠费。第四,CORS 配置成通配符,私有 API 被跨站调用。第五,CDN 缓存规则把动态签名 URL 也缓存了,导致用户 A 看到用户 B 的文件。第六,robots.txt 屏蔽了对象存储域名,AI 爬虫进不来。第七,上传时没设置 Content-Type,浏览器直接下载而不是预览。