小紅書禁止所有搜索引擎抓取其內容 隻能通過站內手動搜索


百度搜索目前已經收錄小紅書網站上7億9807萬個網頁,谷歌則隻索引小紅書網站的首頁,為什麼呢?因為小紅書早已禁止所有搜索引擎抓取小紅書的內容。小紅書的robots.txt文件已經明確禁止所有搜索引擎抓取內容,不過藍點網檢索後發現實際上小紅書是在2023年4月2日修改robots.txt文件的,轉眼間這都修改1年。

目前並不清楚小紅書為什麼禁止搜索引擎抓取內容,從 SEO 角度來說,允許搜索引擎抓取有助於給小紅書帶來更多流量,畢竟現在百度都索引 7 億多個網頁。

而且小紅書是去年 4 月修改的,所以估計也不是因為防止被抓取內容訓練 AI 吧?但小紅書目前的內容庫拿去訓練 AI 確實很有價值,畢竟巨量文字和圖片內容。

不過 robots.txt 文件隻是君子協定,屬於防君子不妨小人的那種,除會導致用戶無法從搜索引擎直接查詢小紅書內容外,其實幫助也不大,畢竟其他非搜索引擎的爬蟲也會繼續抓取內容,小紅書肯定也做反爬措施。

現在國內的網站禁止搜索引擎抓取已經是個很常見的事情,或者專門預留一些層級目錄供搜索引擎抓取想要獲得一些流量,更有甚者甚至別說搜索引擎,就連正常的用戶訪問也會被攔截,必須註冊賬號登錄後才能繼續訪問,這顯然不是一個好事情。

附小紅書 2023 年 4 月 2 日的 robots.txt 信息:

圖片.png

下面是小紅書最新的 robots.txt 信息:

圖片.png


相關推薦

2022-08-03

頌不論是平臺定位、內容覆蓋范圍還是展示方式等,都與小紅書較為相似。不過由於可頌尚在發展初期,其在頁面呈現、內容劃分、功能設定等層面均未達到小紅書的深度。采寫/劉敏娟編輯/劉敏娟出品人/楊慧具體而言,小紅書

2023-02-20

微軟的必應搜索引擎嵌入ChatGPT後,它的智能程度震驚世人。一夜之間,人們似乎都在期待,智能搜索引擎會怎樣幹掉以谷歌和百度為代表的傳統搜索引擎?ChatGPT火好一陣,各種消息還是層出不窮。有人讓它幫自己寫文案,有人

2024-04-12

如果我們好幾個設備都能搜到,但是客戶搜不到,像是在小紅書這種搜索結果千人千面的平臺,我們就得第一時間跟客戶說清楚,這是平臺的流量特點。目前為止我們大部分的客戶都是接受的。有些客戶覺得3臺設備太少,他要

2022-07-11

遊戲戰線陸續收縮,其鏖戰五年有餘的種草業務始終未對小紅書構成實質威脅,新上線的“可頌”真能緩解字節跳動的焦慮,打通興趣電商的“任督二脈”嗎?用“小紅書”打敗小紅書?不得不承認,剛上線不久的“可頌”,致

2024-03-05

年,百度迅速擊敗雅虎、Google中國成長為全球最大的中文搜索引擎。彼時,其戰略重點是在B2B市場提供搜索引擎服務。隨著互聯網的發展,百度逐漸轉向B2C市場,並成為中國最大的搜索引擎提供商。這一階段,百度通過提供精準

2023-08-17

似乎沒有對其robots.txt文件進行任何更改,該文件會通知搜索引擎爬蟲可以訪問哪些URL。此舉或許是對谷歌最近更新的隱私政策的回應。該政策披露,搜索巨頭可能會從網絡上收集公共數據來訓練其各種人工智能服務,如Bard或Clou

2023-08-17

似乎沒有對其robots.txt文件進行任何更改,該文件會通知搜索引擎爬蟲可以訪問哪些URL。此舉或許是對谷歌最近更新的隱私政策的回應。該政策披露,搜索巨頭可能會從網絡上收集公共數據來訓練其各種人工智能服務,如Bard或Clou

2023-08-16

似乎沒有對其robots.txt文件進行任何更改,該文件會通知搜索引擎爬蟲可以訪問哪些URL。此舉或許是對谷歌最近更新的隱私政策的回應。該政策披露,搜索巨頭可能會從網絡上收集公共數據來訓練其各種人工智能服務,如Bard或Clou

2024-02-22

為更適合中國遊客使用習慣的《孤獨星球》,承擔起旅行搜索引擎的職能。而促成這一現象的,是眾多不以商業變現為訴求的“素人”創作者。當社區內容豐富到一定程度後,內容也可以擁有工具屬性。“到存檔點”2月下旬,

2024-02-25

各項業務、各個領域進行創新的核心,將改變和提高幾乎所有的用戶體驗。這意味著,亞馬遜不會躺在“搜索電商”的既得利益上睡大覺。實際上,它已經邁出關鍵的幾步,將刀刃向內,進行自我革新,欲實質性地改變整個平臺

2023-09-14

公報》(Press Gazette)采訪時表示,過去新聞媒體允許Google等搜索引擎抓取內容,以獲得商業回報:搜索引擎會將讀者引導至新聞媒體網站,在網站內,他們可以展示廣告,吸引讀者成為訂閱者,或者進行活動宣傳以及其他聯盟合作

2024-02-10

前幾日,小紅書與京東前後官宣與2024年春晚合作,京東成為春晚獨傢互動合作平臺,而小紅書則成為筆記與直播分享平臺。回顧歷年春晚的贊助商,從上世紀80年代的鐘表品牌,到90年代的酒業藥廠,再到2015年後的互聯網大廠。

2023-11-11

大眾消費品牌將起量的第一陣地從淘寶轉向抖音、快手、小紅書等短視頻和圖文內容平臺。“與淘寶相比,抖音等社交平臺更容易做爆發式銷售,抖音通過內容,達人帶貨的敏捷營銷,整體策略比較靈活。”安旭說。“抖音產品

2022-08-16

洪災害共造成7人死亡、8人輕傷。據悉,龍槽溝為近幾年小紅書、抖音等社交媒體平臺上推薦的“野生網紅打卡點”,在酷熱的夏天吸引大量遊客前來露營、玩水。由於該河道為上遊泄洪河道,盡管風景優美但並未開發成景區,