在埃隆马斯克带领下,更新目前 X 正在继续施加更多限制,使用施加书面任何未经 X 书面同意的协议限制情况下,出于任何目的未经网、以任何形式、同意抓取 X 平台任何内容均属于违反 X 的禁止使用协议,有这条协议打底后,平台马斯克就可以起诉他发现的任何任何爬虫。
此前 X 已经在美国起诉四个 IP 所有者非法抓取 X 平台的内容内容,尽管目前还不知道有没有查到这些 IP 的蓝点所有者,不过马斯克显然是更新在杀鸡儆猴。
在马斯克接管 X 后,使用施加书面X 对平台内容的协议限制获取限制日趋严厉,例如此前 X 就变更开发者政策,未经网删除免费 API 接口,同意如果要想抓取 X 内容那开通 API 费用会非常高。
同时 X 还对免费用户每天可以看的推文数量进行限制,这既是用来防范某些开发者不通过申请付费 API 而是注册一大批账号进行抓取,也是为了刺激更多 X 用户开通 X Premium 订阅会员。
而未登录情况下只能浏览推特算法推荐内容,无法查看用户主页浏览全部推文 (一开始的限制是未登录禁止浏览任何推文,后面改成可以通过具体推文链接访问单条推文)。
新的抓取限制条款:
X 此前已经更新 robots.txt 文件,阻止除谷歌爬虫 (GoogleBot) 以外的一切爬虫,包括诸如 Bing、Yandex 等搜索引擎爬虫。
但 robots.txt 毕竟只是行业约定俗称的爬取规范,并非法律协议,所以现在 X 删除关于 robots.txt 进行合法抓取的描述,取而代之的就是未经书面同意任何抓取都是违规行为。
此前条款中是这么要求的:注意:如果按照 robots.txt 文件的规定进行抓取服务时允许的。但是,未经我们实现同意就抓取是明确禁止的。
而在 2023 年 9 月 29 日生效的新条款中删除了关于 robots.txt 的描述,取而代之的时:注意:未经我们事先书面同意,明确禁止出于任何目的的以任何形式的抓取或抓取服务。
是否与谷歌续签协议还是未知数:
尽管此前 X 修改限制时也误伤谷歌,导致谷歌搜索无法抓取 X 平台内容,但很快 X 就修复了这个问题,毕竟 Twitter 在 2015 年与谷歌达成过协议,允许谷歌抓取 Twitter 平台的内容。
不过这其实是一个 BUG,因为其他爬虫还可以爬谷歌来获取 X 平台的内容,所以很难说后面 X 是否也会限制谷歌抓取。
如果协议即将到期马斯克大概率是不会续签的,可能当前继续保留谷歌抓取也只是碍于协议,不能限制谷歌抓取。
打造“大櫆故里 诗礼陈洲”统战阵地
行业洞察
热点聚焦
/大陆
正片
王者荣耀百分比伤害是无视护甲的吗
财经瞭望
环球视野
/大陆
正片
明日方舟长夜临光活动怎么完成
环球视野
财经瞭望
/大陆
正片
神角技巧浅滩遗迹一级石材在哪里
深度锐评
热点聚焦
/大陆
正片
AMD计划为掌机打造新款处理器:不同定位,性能有强有弱
行业洞察
财经瞭望
/大陆
正片
零之战线开荒阵容推荐
深度锐评
深度锐评
/大陆
正片
从杂役弟子开始修仙渡劫期有哪些异兽出现
深度锐评
行业洞察
/大陆
正片
云图计划初尘强度分析以及抽取建议
深度锐评
深度锐评
/大陆
正片
苹果被关税坑惨 iPhone 17系列成本大增要涨价
热点聚焦
环球视野
/大陆
正片
双生幻想万圣迷藏第五天南瓜位置攻略
热点聚焦
深度锐评
/大陆
正片
光遇11.3季节蜡烛位置一览2021
环球视野
热点聚焦
/大陆
正片
《王者荣耀·世界》实录内容引争议,动作相似实乃常见
财经瞭望
财经瞭望
/大陆
正片