X(原推特)已經屏蔽除谷歌以外的所有搜索引擎以阻止數據被抓取 – 藍點網
7 月初埃隆馬斯克帶領的原已經有搜 X 曾屏蔽谷歌搜索爬蟲抓取內容,這導致谷歌搜索無法在用戶搜索 X 用戶名時展示最新的推特推文摘要,不過后面 X 對谷歌解封了。屏蔽廣州花都哪里有小姐上門服務vx《134-8006-5952》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達
但其他搜索引擎就沒那么幸運了,除谷如果使用 site:twitter.com 指令在必應搜索上查詢的歌外話,你會發現必應收錄的索引 X 內容只有 12.1 萬條,而谷歌搜索則是擎阻 4.22 億條。
發生了什么?止數抓原因是 X 屏蔽了除谷歌搜索以外的所有搜索引擎爬蟲,至于原因嘛也很簡單,據被廣州花都哪里有小姐上門服務vx《134-8006-5952》提供外圍女上門服務快速選照片快速安排不收定金面到付款30分鐘可到達埃隆馬斯克不想 X 的藍點數據被其他人抓取拿去訓練 AI,所有屏蔽了諸如 Bingbot、原已經有搜MSNbot、推特Yandex 等搜索引擎爬蟲。屏蔽


那谷歌為什么是例外的呢?估計馬斯克都要罵街了,因為之前有傳聞稱杰克多西時代的歌外推特與谷歌達成了相關協議,允許谷歌抓取內容,目前這一協議尚未到期。
藍點網通過互聯網檔案館排查發現,X 是在 2023 年 7 月 24 日執行屏蔽操作的,更新后的 robots.txt 文件僅允許 Googlebot 抓取內容,其他所有爬蟲均被封禁。
所以現在諸如必應搜索上的推特內容極少也就是這個原因,后面估計索引數量會進一步降低,如果谷歌的協議到期了估計內容也都會消失。
不過 robots.txt 畢竟只是君子協定 (這不是法律規定,之前某大數字被某度起訴抓取某度百科內容時,就辯稱這是 robots.txt 只是行業管理而非法律規定),所以仍然有各種來路不明的爬蟲試圖抓取推特上的內容拿去賣數據。
對于這種情況埃隆馬斯克也早有準備,在協議規定未經同意獲取內容屬于違反協議的行為,馬斯克對這些未經同意的抓取行為直接起訴。
附 X robots.txt 的最新內容:
# Google Search Engine Robot# ==========================User-agent: GooglebotAllow: /?_escaped_fragment_Allow: /*?lang=Allow: /hashtag/*?src=Allow: /search?q=%23Allow: /i/api/Disallow: /search/realtimeDisallow: /search/usersDisallow: /search/*/gridAllow: /*?ref_src=Allow: /*?src=Disallow: /*?Disallow: /*/followersDisallow: /*/followingDisallow: /account/deactivatedDisallow: /settings/deactivated# 下面的指令代表禁止搜索爬蟲抓取內容# ========================================================User-agent: *Disallow: /
相關文章:
- 長沙包夜學生妹(電話微信181-8279-1445)一二線城市外圍模特伴游預約、空姐、模特、留學生、熟女、白領、老師、優質資源
- 南京包夜小三情婦(電話微信181-8279-1445)上門預約外圍上門外圍女全套一條龍供全球及一二線城市包養資源
- 武漢外圍(外圍模特)電話微信181-8279-1445誠信外圍,十年老店
- 三亞外圍價格查詢(微信181-8279-1445)三亞外圍女價格多少
- 常州美女同城上門外圍上門外圍女(電話微信181-8279-1445)提供頂級外圍女上門,可滿足你的一切要求
- 鎮江外圍模特經紀人(外圍預約)外圍女(電話微信181-8279-1445)一二線城市可以真實可靠快速安排
- 鎮江外圍價格查詢(微信181-8279-1445)鎮江外圍女價格多少
- 廣州外圍(外圍模特)電話微信181-8279-1445誠信外圍,十年老店
- 天津外圍(外圍經紀)外圍女(電話微信181-8279-1445)真實上門外圍上門外圍女快速安排30分鐘到達
- 哈爾濱美女上門預約(微信181-8279-1445)提供頂級外圍女上門,可滿足你的一切要求
