百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

為了讓百度搜索的重要合作伙伴——廣大站長充分了解百度搜索引擎規(guī)則,并根據(jù)規(guī)則合理安全建設網(wǎng)站、優(yōu)化網(wǎng)站,更好的獲取搜索流量;百度搜索資源平臺歷時3個月,探訪搜索內(nèi)部各個技術部門,將百度搜索內(nèi)部技術原理抽絲剝繭,化零為整,整理出《百度移動搜索建站優(yōu)化白皮書》,希望與各位站長攜手,為用戶提供一個健康安全高效的搜索環(huán)境。

1 前言

手機百度是一款有6億用戶在使用的手機搜索客戶端,在中文用戶信息獲取上發(fā)揮了不可替代的作用;移動搜索引擎每日分發(fā)上億流量給到優(yōu)質安全網(wǎng)站,來滿足用戶的搜索需求;而對于廣大的站長來說,優(yōu)質安全的網(wǎng)站有助于在搜索引擎中獲得良好的排序和展現(xiàn),從而吸引更多用戶,獲得更多流量。

移動搜索引擎優(yōu)化,指從建站開始到吸引用戶,貫穿所有流程,為了讓百度搜索的重要合作伙伴——廣大站長充分了解百度搜索引擎規(guī)則,并根據(jù)規(guī)則合理安全建設網(wǎng)站、優(yōu)化網(wǎng)站,更好的獲取搜索流量;百度搜索資源平臺歷時3個月,探訪搜索內(nèi)部各個技術部門,將百度搜索內(nèi)部技術原理抽絲剝繭,化零為整,整理出《百度移動搜索建站優(yōu)化白皮書》,希望與各位站長攜手,為用戶提供一個健康安全高效的搜索環(huán)境。

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書
2 網(wǎng)站建設

2.1 域名選擇

網(wǎng)站域名選擇,不僅能快速直觀讓用戶了解網(wǎng)站定位,域名設置,更會影響搜索對網(wǎng)站的抓取情況。因此,選擇簡單好記且安全的域名,是網(wǎng)站搭建前期最重要的一步。

2.1.1 域名選擇的注意事項

網(wǎng)站搭建之初,對網(wǎng)站域名選擇,建議域名獨立,簡單好記;獨立移動站域名選擇也遵循此規(guī)則。

移動站的域名需與PC站域名分開,移動站不建議與PC站公用一個域名;比如PC網(wǎng)站域名建議是m.allfloridahomeinspectors.com,對應移動站的域名是m.growthhk.cn,而不是m.allfloridahomeinspectors.com/m/的形式;如果是自適應網(wǎng)站可不考慮此情況。

網(wǎng)站域名選擇中,需要規(guī)避的是,互聯(lián)網(wǎng)中一些開放注冊的域名,如:

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

類似的還有:.party,.science等。

此類域名注冊成本相對較低,一般是站群作弊者的溫床,針對這類域名后綴,不建議各位站長們使用,使用后可能會出現(xiàn)搜索抓取延遲等問題;如有發(fā)現(xiàn)正當運營的此類域名站點,請在搜索資源平臺驗證站點,系統(tǒng)校驗站點內(nèi)容后,則會保持跟其他正常域名一樣的抓取優(yōu)先級。

2.1.2 使用子域名或目錄

網(wǎng)站是否需要建立子域名,或是劃分多級目錄,可根據(jù)網(wǎng)站自身定位及網(wǎng)站內(nèi)容量級決定。通常來說,綜合類或內(nèi)容量較多的網(wǎng)站,可將內(nèi)容按照不同二級域明確劃分;而如果網(wǎng)站內(nèi)容較少,不建議網(wǎng)站開設過多的子域名。

舉例來說,blog形式站點,有的網(wǎng)站給到每個blog作者單獨的三級域,但如果作者發(fā)布頻率較低,整個三級域都是更新頻率很低的狀態(tài),過低的發(fā)布頻率對搜索引擎來說是不友好的。

2.2 內(nèi)容發(fā)布系統(tǒng)

內(nèi)容發(fā)布系統(tǒng),無論是網(wǎng)站自建還是使用第三方建站系統(tǒng),百度都是支持的;所有發(fā)布系統(tǒng),除遵循有條理、邏輯清晰建站,還要注意網(wǎng)站搭建的安全問題,避免網(wǎng)站安全隱患,才能更好的提升網(wǎng)站價值。

2.2.1 自建內(nèi)容發(fā)布系統(tǒng)

網(wǎng)站自建內(nèi)容發(fā)布系統(tǒng),注意事項包括:

  • √ 主體內(nèi)容清晰且能夠很好的識別與分辨;
  • √ 后臺發(fā)布時間切勿自行設置,遵循發(fā)布時間與展示時間一致;
  • √ 內(nèi)容發(fā)布系統(tǒng)中各表單設置合理,如對tag標簽的設置不宜過多、不宜羅列關鍵詞;
  • √ 分類劃分明確,分類主題的文章對應發(fā)布到相應分類下;
  • √ 題文相符,切勿掛羊頭賣狗肉,欺騙搜索引擎流量,損傷用戶體驗;
  • √ 段落清晰合理、字體大小適中、字體顏色切勿使用與背景色相近的顏色;
  • √ 發(fā)布內(nèi)容目錄劃分清晰,具體參考2.3章節(jié)中網(wǎng)站結構設置。

2.2.2 第三方發(fā)布系統(tǒng)

使用第三方發(fā)布系統(tǒng)建站,需要站長關注以下注意事項:

  • √ 模板主題不建議頻繁更換;
  • √ 類似wordpress等系統(tǒng),不建議使用過多插件,會影響網(wǎng)頁打開速度;
  • √ URL偽靜態(tài)的處理,命名規(guī)范、層級清晰;
  • √ 開源建站系統(tǒng)存在較多安全隱患,使用過程中務必做一些安全上的設置和優(yōu)化。

2.2.3 頁面生成規(guī)范

無論網(wǎng)站自建發(fā)布系統(tǒng),還是網(wǎng)站使用第三方建站系統(tǒng),網(wǎng)站頁面的生成,都應注意以下幾點:

  • 網(wǎng)頁結構清晰、各分類名稱設置醒目;
  • 導航、面包屑導航設置合理,機器可讀、位置突出,用戶能很好得知所訪問頁面在網(wǎng)站中的位置;
  • 不存在遮擋主體內(nèi)容的廣告元素;
  • 無三俗圖文、音頻元素;
  • 注意網(wǎng)站搭建系統(tǒng)安全問題,杜絕網(wǎng)站安全隱患。

訪問請求中的content-type需要根據(jù)對應的類型進行正確設置,圖示如下:

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

除此之外,關于頁面規(guī)范標準,建議參考搜索學院發(fā)布的《百度搜索Mobile Friendly(移動友好度)標準V1.0》

2.3 網(wǎng)站結構

合理設置網(wǎng)站結構,是網(wǎng)站被快速抓取、獲得搜索流量的基礎;因網(wǎng)站結構設置不合理,導致網(wǎng)站無法被快速識別抓取的事例在百度日常反饋中經(jīng)常見到,且網(wǎng)站換域名也會對網(wǎng)站造成一定損失,故希望各位站長從建站之初重視網(wǎng)站結構設置,避免不必要的損失。

2.3.1 URL結構設置

URL搭建是否有嚴格要求,請看以下幾點注意事項:

在搭建網(wǎng)站結構、制作URL時,盡量避開非主流設計,追求簡單美即可,越簡單越平常,越好,例如URL中出現(xiàn)生僻字符,如不常見的“II”,會引起搜索引擎識別錯誤;

不建議URL中含有中文字符,中文字符容易出現(xiàn)編碼轉換問題,造成識別錯誤

URL長度要求去掉協(xié)議頭http(s)://之后的URL長度不要超過256個字節(jié);

謹慎使用#參數(shù),有效的參數(shù)不能放在#后面;可能被截斷導致網(wǎng)頁抓取異常。

2.3.2 目錄結構設置

網(wǎng)站目錄結構搭建是否合理,影響搜索引擎對網(wǎng)站的抓取情況,這里需要提到的是,網(wǎng)站目錄結構無論是扁平化還是樹形結構,一般都可以被搜索引擎發(fā)現(xiàn),但有以下幾點注意事項:

建議不同內(nèi)容放在不同目錄或子域下,域名劃分在2.1.2網(wǎng)站域名劃分章節(jié)中有詳細提到;

不要使用孤島鏈接,孤島鏈接很難被搜索引擎快速發(fā)現(xiàn);若網(wǎng)站已存在大量孤島鏈接,建議使用搜索資源平臺的鏈接提交工具向百度提交數(shù)據(jù);

重要內(nèi)容不建議放在深層目錄,若該內(nèi)容沒有大量內(nèi)鏈指向,搜索引擎很難判斷該頁面的重要程度。

以下是圖片示例:

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

2.4 服務商/自建服務器

選擇服務商或者自建服務器,對網(wǎng)站搭建都是十分重要基礎的一環(huán);服務器安全和穩(wěn)定將直接影響百度搜索引擎對網(wǎng)站的整體判斷。

2.4.1 域名服務

2.4.1.1 域名服務&域名部署
關于域名服務和域名部署,有以下注意事項:

  • √ 站長在域名部署中請仔細各環(huán)節(jié)問題,不要出現(xiàn)域名部署錯誤情況;
  • √ 不建議網(wǎng)站進行泛解析,若網(wǎng)站爆發(fā)大規(guī)模泛解析,且影響惡劣,則會受到搜索策略打壓;
  • √ 盡量選擇優(yōu)質域名服務商。

2.4.2 服務器

做網(wǎng)站還有非常重要的一環(huán),就是服務器的選擇,那服務器選擇中,無論是虛擬主機、云主機還是獨立的服務器,都應該注意以下四點:

  • √ 中文網(wǎng)站不建議選擇國外服務器;
  • √ 服務器的穩(wěn)定性非常重要,需要保持訪問流暢,服務器是否穩(wěn)定,可以使用百度搜索資源平臺(原百度站長平臺)抓取異常、抓取診斷工具進行檢測維護。(服務器經(jīng)常無法訪問或者死機,對爬蟲來講都是致命傷害);
  • √ 服務器選擇除了自身的穩(wěn)定性外,實際上還要考慮網(wǎng)站的業(yè)務量,例如帶寬、內(nèi)存、CPU是否能夠承受訪問量,突發(fā)大流量情況下是否可以正常訪問;
  • √ 服務器主機設置,需要注意是否有禁止爬蟲抓取的設置、或存在404錯誤信息設置,這些情況都會引起不必要的搜索引擎抓取判斷異常,為網(wǎng)站帶來不必要的損失。

2.4.2.1 虛擬主機
總的來說,建議虛擬主機選購時候需要特別注意:

  • √ 主機商是否存在限制搜索引擎訪問的情況;
  • √ 主機商的資質是否符合要求;
  • √ 主機商的技術沉淀是否足夠,建議選擇品牌較大的主機商;
  • √ 主機商托管的機房的物理條件和網(wǎng)絡條件是否足夠優(yōu)秀;
  • √ 主機商的技術和客服支持情況是否夠好;
  • √ 主機商是否會存在超容量的情況;
  • √ 主機商是否存在違規(guī)接入高風險站點的問題或同一IP下是否會存在高風險站點的情況;
  • √ 國內(nèi)站點建議選購國內(nèi)云主機建站。

2.4.2.2 獨立主機
獨立主機為站點帶來更加寬松的使用環(huán)境和個性軟件的安裝,因此獨立主機需要站長擁有一定的技術力量來保證網(wǎng)站的正常運行和安全。

我們對于站長選購和托管獨立主機的建議是:

  • √ 注意虛擬主機是否有將爬蟲IP拉入黑名單,關于百度UA,可以參考3.1.2.1百度蜘蛛章節(jié);
  • √ 建議使用獨立IP地址的主機;
  • √ 建議使用規(guī)模較大機構的主機,在安全配置、穩(wěn)定性上相對更好;
  • √ 對IDC服務商的建設標準需要一定的考慮,例如防火、防盜、是否有UPS保證、室內(nèi)溫控、消防等;
  • √ IDC服務商的服務質量和技術是否達標,是否24h值班,是否能夠協(xié)助排查一些故障、免費重啟重裝系統(tǒng)等;
  • √ IDC機房的資質是否齊全,存放站點是否有高風險站點或服務器存在。

2.4.3 安全服務

2.4.3.1 HTTPS
當前百度已實行全站化HTTPS安全加密服務,百度HTTPS安全加密已覆蓋主流瀏覽器,旨在用戶打造了一個更隱私化的互聯(lián)網(wǎng)空間、加速了國內(nèi)互聯(lián)網(wǎng)的HTTPS化。同時也希望更多網(wǎng)站加入到HTTPS的隊伍中來,為網(wǎng)絡安全貢獻一份力量。

HTTPS安全原理解析

HTTPS主要由有兩部分組成:HTTP + SSL / TLS,也就是在HTTP上又加了一層處理加密信息的模塊。服務端和客戶端的信息傳輸都會通過TLS進行加密,所以傳輸?shù)臄?shù)據(jù)都是加密后的數(shù)據(jù)。HTTPS與HTTP的原理區(qū)別可以觀察下圖:

HTTS復雜的加密機制有效的加大了網(wǎng)站的安全性,加密機制與認證機制可以減少網(wǎng)站被劫持和假冒的風險,建議站長們可以通過做HTTPS改造來強化網(wǎng)站安全。

百度搜索資源平臺為了更好的抓取識別HTTPS網(wǎng)站,2017年還推出了HTTPS認證工具,已經(jīng)完成HTTPS改造的網(wǎng)站,可以在搜索資源平臺-網(wǎng)站支持-HTTPS認證工具中提交網(wǎng)站的HTTPS數(shù)據(jù),便于百度更好抓取識別網(wǎng)站。關于HTTPS認證工具詳解,可以參考5.3.2HTTPS認證工具章節(jié)。

2.4.3.2 網(wǎng)站防止被黑對策
網(wǎng)站被黑,通常表現(xiàn)為網(wǎng)站中出現(xiàn)大量非本網(wǎng)站發(fā)布的類似博彩內(nèi)容,或網(wǎng)站頁面直接跳轉到博彩頁面;以下是網(wǎng)站被黑后發(fā)布的內(nèi)容:

內(nèi)容非網(wǎng)站發(fā)布,內(nèi)容中含大量博彩網(wǎng)站指向:

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

網(wǎng)站頁面直接跳轉到博彩網(wǎng)站:

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

網(wǎng)站被黑代表網(wǎng)站安全存在嚴重問題或漏洞,如何防范網(wǎng)站被黑,請參考以下:

首先,自查是否被黑

  • √ 被黑網(wǎng)站在數(shù)據(jù)上有一個特點,即索引量和從搜索引擎帶來的流量在短時間內(nèi)異常數(shù)據(jù)異常。所以,站長可以利用百度搜索資源平臺(原百度站長平臺)的索引量工具,觀察站點索引量是否有異常;如果發(fā)現(xiàn)數(shù)據(jù)異常,再通過流量與關鍵詞工具查看獲得流量的關鍵詞是否與網(wǎng)站有關、是否涉及博彩和色情;
  • √ 通過Site語法查詢站點,結合一些常見的色情、博彩類關鍵詞效果更佳,有可能發(fā)現(xiàn)不屬于站點的非法頁面;
  • √ 由于百度流量巨大,有些被黑行為僅針對百度帶來的流量予以跳轉,站長很難發(fā)現(xiàn),所以在查看自己站點是否被黑時,一定要從百度搜索結果中點擊站點頁面,查看是否跳轉到了其他站點;
  • √ 站點內(nèi)容在百度搜索結果中被提示存在風險;
  • √ 后續(xù)可以請網(wǎng)站技術人員通過后臺數(shù)據(jù)和程序進一步確認網(wǎng)站是否被黑。

其次,被黑之后如何處理

  • √ 確認網(wǎng)站被黑后,SEO人員除了要推動技術人員快速修正外,還需要做一些善后和預防的工作;
  • √ 網(wǎng)站如有變更頁面,變更頁面建議使用鏈接提交工具向百度提交數(shù)據(jù);
  • √ 立即停止網(wǎng)站服務,避免用戶繼續(xù)受影響,防止繼續(xù)影響其他站點;
  • √ 如果同一主機提供商同期內(nèi)有多個站點被黑,可以聯(lián)系主機提供商,敦促對方做出應對;
  • √ 清理已發(fā)現(xiàn)的被黑內(nèi)容,將被黑頁面設置為404死鏈,并通過百度搜索資源平臺(原百度站長平臺)死鏈提交工具進行提交。(我們發(fā)現(xiàn)有些站點采用了將被黑頁面跳轉至首頁的做法,非常不可取。);
  • √ 排查出可能的被黑時間,和服務器上的文件修改時間相比對,處理掉黑客上傳、修改過的文件;檢查服務器中的用戶管理設置,確認是否存在異常的變化;更改服務器的用戶訪問密碼。注:可以從訪問日志中,確定可能的被黑時間。不過黑客可能也修改服務器的訪問日志;
  • √ 做好安全工作,排查網(wǎng)站存在的漏洞,防止再次被黑。

網(wǎng)站自我防護的注意事項:

√ 多種安全防護同步進行:適合中小型資訊網(wǎng)站;

● 網(wǎng)站程序勤打補丁:現(xiàn)在很多資訊類網(wǎng)站用的系統(tǒng)使用了內(nèi)容管理系統(tǒng)(CMS),作為新聞發(fā)布系統(tǒng),功能還算可以了,但是作為比較常見的內(nèi)容管理系統(tǒng)(CMS),也有另一個問題,那就是漏洞比較大眾化,因為源碼是公開的,所以很容易被研究出漏洞,需要對網(wǎng)站程序及時進行漏洞修復。

√ 對服務器進行常規(guī)的安全防護;

● 在上班時間之外,對服務器上的網(wǎng)站權限做設置,禁止文件修改,后臺文件隱藏或遷移到根目錄之外。

● 參考一些網(wǎng)站的安全設置,非限定的IP不能寫入到數(shù)據(jù)庫。

√ 不使用開源程序默認的robots文件;

● 下圖是一個地級市的資訊類站點的robots文件,從robots文件中可以看出,該網(wǎng)站用的是織夢后臺,那黑客就可以通過各種針對織夢攻擊的軟件進行操作了,也可以針對織夢網(wǎng)站的常見漏洞進行掃描和針對性攻擊了。

2.4.4 網(wǎng)絡服務

2.4.4.1 CDN
從搜索抓取機制上講:百度蜘蛛對站點的抓取方式和普通用戶訪問一樣,只要普通用戶能訪問到的內(nèi)容,百度蜘蛛就能抓取到。不管是用什么技術,只要能保證用戶能流暢的訪問網(wǎng)站,對搜索引擎就沒有影響。但有站長反饋使用CDN后出現(xiàn)網(wǎng)站抓取異常、甚至流量異常等問題,主要是兩方面的因素:

一是部分CDN服務商硬件投入不夠,經(jīng)常出現(xiàn)不穩(wěn)定情況,會導致大量的蜘蛛抓取失敗,從而影響網(wǎng)站抓取效果,有的甚至影響了索引量數(shù)據(jù);所以選擇有實力的CDN服務商很重要;

二是緩存機制在網(wǎng)站出現(xiàn)死鏈、無法打開、被黑等情況的時候起到了推波助瀾的作用。短時間內(nèi)產(chǎn)生了一些不利快照,影響了排名。這種情況不用擔心,及時清理源文件和CDN緩存,并在百度搜索資源平臺(原百度站長平臺)提交相關死鏈數(shù)據(jù)等方法進行挽回,是可以恢復的。

3 網(wǎng)站優(yōu)化

3.1 抓取友好性

關于抓取的優(yōu)先級,在此重點強調(diào):

  • √ 網(wǎng)站更新頻率:經(jīng)常更新高價值的站點,優(yōu)先抓取;
  • √ 受歡迎程度:用戶體驗好的站點,優(yōu)先抓??;
  • √ 優(yōu)質入口:優(yōu)質站點內(nèi)鏈接,優(yōu)先抓??;
  • √ 歷史的抓取效果越好,越優(yōu)先抓??;
  • √ 服務器穩(wěn)定,優(yōu)先抓?。?/li>
  • √ 安全記錄優(yōu)質的網(wǎng)站,優(yōu)先抓??;

順暢穩(wěn)定的抓取是網(wǎng)站獲得搜索用戶、搜索流量的重要前提,影響抓取的關鍵因素,站長可以通過本章節(jié)了解。

3.1.1 URL規(guī)范

網(wǎng)站的URL如何設置,可參考2.3.1中的URL設置規(guī)范

3.1.1.1 參數(shù)
URL中的參數(shù)放置,需遵循兩個要點:

  • √ 參數(shù)不能太復雜;
  • √ 不要用無效參數(shù),無效參數(shù)會導致頁面識別問題,頁面內(nèi)容最終無法在搜索展示

另外,很多站長利用參數(shù)(對搜索引擎和頁面內(nèi)容而言參數(shù)無效)統(tǒng)計站點訪問行為,這里強調(diào)下,盡量不要出現(xiàn)這種形式資源,例如:

https://www.test.com/deal/w00tb7cyv.html?s=a67b0e875ae58a14e3fcc460422032d3

或者:

http://nmtp.test.com/;NTESnmtpSI=029FF574C4739E1D0A45C9C90D656226.hzayq-nmt07.server.163.org-8010#/app/others/details?editId=&articleId=578543&articleType=0&from=sight

3.1.2 鏈接發(fā)現(xiàn)

3.1.2.1 百度蜘蛛

很多站長會咨詢?nèi)绾闻袛喟俣纫苿又┲耄@里推薦一種方法,只需兩步,正確識別百度蜘蛛:

查看UA

如果UA都不對,可以直接判斷非百度搜索的蜘蛛,目前對外公布過的UA是:

移動UA 1:

Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/ search/ spider.html)

移動UA 2:

Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

PC UA 1:

Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

PC UA 2:

Mozilla/5.0(compatible;Baiduspider-render/2.0;+http://www.baidu.com/search/ spider.html)

反查IP

站長可以通過DNS反查IP的方式判斷某只蜘蛛是否來自百度搜索引擎。根據(jù)平臺不同驗證方法不同,如Linux/Windows/OS三種平臺下的驗證方法分別如下:

在Linux平臺下,可以使用hostip命令反解IP來判斷是否來自百度蜘蛛的抓取。百度蜘蛛的hostname以*.baidu.com格式命名,非*.baidu.com即為冒充。

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

這里需要再提出一點,建議使用DNS更換為8.8.8.8后進行nslookup反向解析,否則很容易出現(xiàn)無返回或返回錯誤的問題。

在Windows平臺下,可以使用nslookup ip命令反解IP來判斷是否來自百度蜘蛛的抓取。打開命令處理器輸入nslookup xxx.xxx.xxx.xxx(IP地址)就能解析IP,來判斷是否來自百度蜘蛛的抓取,百度蜘蛛的hostname以*.baidu.com格式命名,非*.baidu.com即為冒充。

在Mac OS平臺下,網(wǎng)站可以使用dig命令反解IP來判斷是否來自百度蜘蛛的抓取。打開命令處理器輸入dig xxx.xxx.xxx.xxx(IP地址)就能解析IP,來判斷是否來自百度蜘蛛的抓取,百度蜘蛛的hostname以*.baidu.com的格式命名,非*.baidu.com即為冒充。

3.1.2.2 鏈接提交

鏈接提交工具是網(wǎng)站主動向百度搜索推送數(shù)據(jù)的工具,網(wǎng)站使用鏈接提交可縮短爬蟲發(fā)現(xiàn)網(wǎng)站鏈接時間,目前鏈接提交工具支持四種方式提交:

  • √ 主動推送:是最為快速的提交方式,建議將站點當天新產(chǎn)出鏈接立即通過此方式推送給百度,以保證新鏈接可以及時被百度抓?。?/li>
  • √ Sitemap:網(wǎng)站可定期將網(wǎng)站鏈接放到Sitemap中,然后將Sitemap提交給百度。百度會周期性的抓取檢查提交的Sitemap,對其中的鏈接進行處理,但抓取速度慢于主動推送;
  • √ 手工提交:如果不想通過程序提交,那么可以采用此種方式,手動將鏈接提交給百度;
  • √ 自動推送:是輕量級鏈接提交組件,將自動推送的JS代碼放置在站點每一個頁面源代碼中,當頁面被訪問時,頁面鏈接會自動推送給百度,有利于新頁面更快被百度發(fā)現(xiàn)。

簡單來說:建議有新聞屬性站點,使用主動推送進行數(shù)據(jù)提交;新驗證平臺站點,或內(nèi)容無時效性要求站點,可以使用Sitemap將網(wǎng)站全部內(nèi)容使用Sitemap提交;技術能力弱,或網(wǎng)站內(nèi)容較少的站點,可使用手工提交方式進行數(shù)據(jù)提交;最后,還可以使用插件方式,自動推送方式給百度提交數(shù)據(jù)。

3.1.3 網(wǎng)頁抓取

3.1.3.1 訪問速度

關于移動頁面的訪問速度,百度搜索資源平臺(原百度站長平臺)已于2017年10月推出過閃電算法,針對頁面首頁的打開速度給予策略支持。閃電算法中指出,移動搜索頁面首屏加載時間將影響搜索排名。移動網(wǎng)頁首屏加載時間在2秒之內(nèi)的,在移動搜索下將獲得提升頁面評價優(yōu)待,獲得流量傾斜;同時,在移動搜索頁面首屏加載非常慢(3秒及以上)的網(wǎng)頁將會被打壓。

對于頁面訪問速度的提速,這里也給到幾點建議:

資源加載:

  • √ 將同類型資源在服務器端壓縮合并,減少網(wǎng)絡請求次數(shù)和資源體積;
  • √ 引用通用資源,充分利用瀏覽器緩存;
  • √ 使用CDN加速,將用戶的請求定向到最合適的緩存服務器上;
  • √ 非首屏圖片類加載,將網(wǎng)絡帶寬留給首屏請求。

頁面渲染:

  • √ 將CSS樣式寫在頭部樣式表中,減少由CSS文件網(wǎng)絡請求造成的渲染阻塞;
  • √ 將JavaScript放到文檔末尾,或使用異步方式加載,避免JS執(zhí)行阻塞渲染;
  • √ 對非文字元素(如圖片,視頻)指定寬高,避免瀏覽器重排重繪;

希望廣大站長持續(xù)關注頁面加載速度體驗,視網(wǎng)站自身情況,參照建議自行優(yōu)化頁面,或使用通用的加速解決方案(如MIP),不斷優(yōu)化頁面首屏加載時間。

了解MIP-移動網(wǎng)頁加速器可參考:https://www.mipengine.org/

3.1.3.2 返回碼

HTTP狀態(tài)碼是用以表示網(wǎng)頁服務器HTTP響應狀態(tài)的3位數(shù)字代碼。各位站長在平時維護網(wǎng)站過程中,可能會在站長工具后臺抓取異常里面或者服務器日志里看到各種各樣的響應狀態(tài)碼,有些甚至會影響網(wǎng)站的SEO效果,例如重點強調(diào)網(wǎng)頁404設置,百度搜索資源平臺(原百度站長平臺)中部分工具如死鏈提交,需要網(wǎng)站把內(nèi)容死鏈后進行提交,這里要求設置必須是404。

下面為大家整理了一些常見的HTTP狀態(tài)碼:

301:(永久移動)請求的網(wǎng)頁已被永久移動到新位置。服務器返回此響應(作為對GET或HEAD請求的響應)時,會自動將請求者轉到新位置。

302:(臨時移動)服務器目前正從不同位置的網(wǎng)頁響應請求,但請求者應繼續(xù)使用原有位置來進行以后的請求。此代碼與響應GET和HEAD請求的301代碼類似,會自動將請求者轉到不同的位置。

這里強調(diào)301與302的區(qū)別:

  • 301/302的關鍵區(qū)別在于:這個資源是否存在/有效;
  • 301指資源還在,只是換了一個位置,返回的是新位置的內(nèi)容;
  • 302指資源暫時失效,返回的是一個臨時的代替頁(例如鏡像資源、首頁、404頁面)上。注意如果永久失效應當使用404。

有時站長認為百度對302不友好,可能是誤用了302處理仍然有效的資源;

  • 400:(錯誤請求)服務器不理解請求的語法;
  • 403:(已禁止)服務器已經(jīng)理解請求,但是拒絕執(zhí)行它;
  • 404:(未找到)服務器找不到請求的網(wǎng)頁;

這里不得不提的一點,很多站長想自定義404頁面,需要做到確保蜘蛛訪問時返回狀態(tài)碼為404,若因為404頁面跳轉時設置不當,返回了200狀態(tài)碼,則容易被搜索引擎認為網(wǎng)站上出現(xiàn)了大量重復頁面,從而對網(wǎng)站評價造成影響;

  • 500:(服務器內(nèi)部錯誤)服務器遇到錯誤,無法完成請求;
  • 502:(錯誤網(wǎng)關)服務器作為網(wǎng)關或代理,從上游服務器收到了無效的響應;
  • 503:(服務不可用)目前無法使用服務器(由于超載或進行停機維護)。通常,這只是一種暫時的狀態(tài);
  • 504:(網(wǎng)關超時)服務器作為網(wǎng)關或代理,未及時從上游服務器接收請求。

3.1.3.3 robots

robots工具的詳細工具使用說明,細節(jié)參考4.3.4robots工具章節(jié),關于robots的使用,僅強調(diào)以下兩點:

  • √ 百度蜘蛛目前在robots里是不支持中文的,故網(wǎng)站robots文件編寫不建議使用中文字符;
  • √ robots文件支持UrlEncode編碼這種寫法,如:http://www.test.cn/%E7%89%B9%E6%AE%8A:%E6%B5%8F%E8%A7%88/%E7%94%9F%E6%AD%BB%E7%8B%99%E5%87%BB:%E7%99%BD%E9%93%B6%E5%8A%A0%E7%89%B9%E6%9E%97

3.1.3.4 死鏈

當網(wǎng)站死鏈數(shù)據(jù)累積過多,并且被展示到搜索結果頁中,對網(wǎng)站本身的訪問體驗和用戶轉化都起到了負面影響。另一方面,百度檢查死鏈的流程也會為網(wǎng)站帶來額外負擔,影響網(wǎng)站其他正常頁面的抓取和索引。

百度搜索資源平臺(原百度站長平臺)推出死鏈提交工具,幫助網(wǎng)站提交死鏈數(shù)據(jù),死鏈提交工具使用參考4.3.2死鏈提交工具。

什么是死鏈及死鏈的標準

頁面已經(jīng)無效,無法對用戶提供任何有價值信息的頁面就是死鏈接,比較常見死鏈形式共有3種,協(xié)議死鏈和內(nèi)容死鏈是比較常見兩種形式,除此之外還有跳轉死鏈。

  • √ 協(xié)議死鏈:頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈,常見的如404、403、503狀態(tài)等;
  • √ 內(nèi)容死鏈:服務器返回狀態(tài)是正常的,但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權限等與原內(nèi)容無關的信息頁面;
  • √ 跳轉死鏈:指頁面內(nèi)容已經(jīng)失效,跳轉到報錯頁,首頁等行為。

3.1.4 訪問穩(wěn)定性

訪問穩(wěn)定性主要有以下幾個注意點:

DNS解析

DNS是域名解析服務器,關于DNS,這里建議中文網(wǎng)站盡可能使用國內(nèi)大型服務商提供的DNS服務,以保證站點的穩(wěn)定解析。

分享一個DNS穩(wěn)定性的示例:

搜索資源平臺(原站長平臺)曾收到多個站長反饋,稱網(wǎng)站從百度網(wǎng)頁搜索消失,site發(fā)現(xiàn)網(wǎng)站數(shù)據(jù)為0。

經(jīng)追查發(fā)現(xiàn)這些網(wǎng)站都使用國外某品牌的DNS服務器 *.DOMAINCONTROL.COM,此系列DNS服務器存在穩(wěn)定性問題,百度蜘蛛經(jīng)常解析不到IP,在百度蜘蛛看來,網(wǎng)站是死站點。此前也發(fā)現(xiàn)過多起小DNS服務商屏蔽百度蜘蛛解析請求或者國外DNS服務器不穩(wěn)定的案例。因此這里建議網(wǎng)站,謹慎選擇DNS服務。

蜘蛛封禁

針對爬蟲的封禁會導致爬蟲認為網(wǎng)站不可正常訪問,進而采取對應的措施。爬蟲封禁其實分兩種,一種就是傳統(tǒng)的robots封禁,另一種是需要技術人員配合的IP封禁和UA封禁;而絕大多數(shù)情況下的封禁都是一些操作不當導致的誤封禁,然后在搜索引擎上的反應就是爬蟲不能正常訪問。所以針對爬蟲封禁的操作一定要慎重,即使因為訪問壓力問題要臨時封禁,也要盡快做恢復處理。

服務器負載

拋開服務器硬件問題(不可避免),絕大多數(shù)引起服務器負載過高的情況是軟件程序引起的,如程序有內(nèi)存泄露,程序出core,不合理混布服務(其中一個服務消耗服務器資源過大引起服務器負載增大,影響了服務器對爬蟲訪問請求的響應。)對于提供服務的機器一定要注意服務器的負載,留足夠的buffer保證服務器具有一定的抗壓能力。

其他人為因素

人為操作不當引起訪問異常的情況是經(jīng)常見到的,針對這種情況需要嚴格的制度約束,不同站點情況不一樣。需要保證每一次的升級或者操作要準確無誤。

3.1.5 可訪問鏈接總量

3.1.5.1 資源可窮盡

一般來說網(wǎng)站的內(nèi)容頁面是可窮盡的,萬級別,百萬級別甚至億級別,但一定是可窮盡的。而現(xiàn)實中確實存在這樣一些網(wǎng)站,爬蟲針對這些網(wǎng)站進行抓取提鏈時會陷入”鏈接黑洞”;通俗的講就是網(wǎng)站給爬蟲呈現(xiàn)的鏈接不可窮盡;典型的是部分網(wǎng)站的搜索結果頁,不同的query在不同anchor下的a標簽鏈接不一樣就導致了”鏈接黑洞”的產(chǎn)生,所以嚴禁URL的生成跟用戶的訪問行為或者搜索詞等因素綁定。

3.2 頁面解析

頁面解析,主要指網(wǎng)站頁面被蜘蛛抓取,會對頁面進行分析識別,稱之為頁面解析。頁面解析對網(wǎng)站至關重要,網(wǎng)站內(nèi)容被抓取是網(wǎng)站被發(fā)現(xiàn)的第一步,而頁面解析,則是網(wǎng)站內(nèi)容被識別出來的重要一環(huán),頁面解析效果直接影響搜索引擎對網(wǎng)站的評價。

3.2.1 頁面元素

3.2.1.1 頁面標題

關于網(wǎng)頁標題,百度搜索于2017年9月推出清風算法,重點打擊網(wǎng)站標題作弊,引導用戶點擊,損害用戶體驗的行為;清風算法重點打擊的標題作弊情況有以下兩種:

  • √ 文不對題,網(wǎng)站標題與正文有明顯不符合,誤導搜索用戶點擊,對搜索用戶造成傷害;
  • √ 大量堆砌,網(wǎng)站標題中出現(xiàn)大量堆砌關鍵詞的情況也十分不提倡,

關于網(wǎng)站標題作弊的詳細解讀,參考搜索學院發(fā)布官方文檔《百度搜索內(nèi)容質量白皮書——網(wǎng)頁標題作弊詳解》。

關于網(wǎng)站TDK,有以下幾種情況需要注意:(”T”代表頁頭中的title元素,”D”代表頁頭中的description元素,”K”代表頁頭中的keywords元素,簡單指網(wǎng)站的標題、描述和摘要);

  • √ 百度未承諾嚴格按照title和description的內(nèi)容展示標題和摘要,尤其是摘要,會根據(jù)用戶檢索的關鍵詞,自動匹配展示合適的摘要內(nèi)容,讓用戶了解網(wǎng)頁的主要內(nèi)容,影響用戶的行為決策;
  • √ 站長會發(fā)現(xiàn)同一條鏈接的摘要在不同關鍵詞下是變化的,可能不會完全符合站長預期,尤其是站長在檢索框進行site語法操作時,可能會感覺摘要都比較差。但請不要擔心,畢竟絕大多數(shù)普通網(wǎng)民不會這樣操作。在此情況下出現(xiàn)不符合預期的摘要并不代表站點被懲罰;
  • √ 還有一種情況,是網(wǎng)頁中的HTML代碼有誤,導致百度無法解析出摘要,所以有時大家會看到某些結果的摘要是亂碼(當然這種情況很少見),所以也請站長注意代碼規(guī)范。

3.2.1.2 主體內(nèi)容

主體內(nèi)容注意兩個點,一個主體內(nèi)容過長(通常網(wǎng)頁源碼長度不能超過128k),文章過長可能會引起抓取截斷;另外一個是注意內(nèi)容不能空短,空短內(nèi)容也會被判斷為無價值內(nèi)容。

以下分析兩個示例:

關于主體內(nèi)容過長的示例分析:

某網(wǎng)站主體內(nèi)容都是JS生成,針對用戶訪問,沒有做優(yōu)化;但是網(wǎng)站特針對爬蟲抓取做了優(yōu)化,直接將圖片進行base64編碼推送給百度,然而優(yōu)化后發(fā)現(xiàn)內(nèi)容沒有被百度展示出來;

頁面質量很好,還特意針對爬蟲做了優(yōu)化,為什么內(nèi)容反而無法出現(xiàn)在百度搜索中;

分析主要有以下原因:

  • √ 網(wǎng)站針對爬蟲爬取做的優(yōu)化,是直接將圖片base64編碼后放到HTML中,導致頁面長度過長,網(wǎng)站頁面長度達164k;
  • √ 站點優(yōu)化后將主體內(nèi)容放于最后,圖片卻放于前面;
  • √ 爬蟲抓取內(nèi)容后,頁面內(nèi)容過長被截斷,已抓取部分無法識別到主體內(nèi)容,最終導致頁面被認定為空短而不建索引。

這樣的情況給到以下建議:

  • √ 如站點針對爬蟲爬取做優(yōu)化,建議網(wǎng)站源碼長度在128k之內(nèi),不要過長;
  • √ 針對爬蟲爬取做優(yōu)化,請將主體內(nèi)容放于前方,避免抓取截斷造成的內(nèi)容抓取不全。

關于內(nèi)容空短的示例分析:

某網(wǎng)站反饋網(wǎng)站內(nèi)容未被建索引,分析發(fā)現(xiàn),網(wǎng)站抓取沒有問題,但被抓取到的頁面,都提示需要輸入驗證碼才能查看全部頁面,這類頁面被判斷為空短頁面,這類頁面在抓取后,會被判定為垃圾內(nèi)容。

而且當蜘蛛對一個網(wǎng)站抓取后發(fā)現(xiàn)大面積都是低值的空短頁面時,爬蟲會認為這個站點的整體價值比較低,那么在后面的抓取流量分布上會降低,導致針對該站點的頁面更新會比較慢,進而抓取甚至建索引庫也會比較慢。

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

為什么會出現(xiàn)網(wǎng)站內(nèi)容空短這種情況,其中一個原因是網(wǎng)站內(nèi)容未全部搭建完成,未對外開放,但已被蜘蛛爬取發(fā)現(xiàn)。針對這種情況,建議網(wǎng)站在邀請測試階段使用robots封禁。

另外還會有些網(wǎng)站,設置用戶查看權限,如需用戶登陸才能查看全部內(nèi)容,這樣的行為對搜索引擎也極不友好,蜘蛛無法模擬用戶登陸,僅能抓取網(wǎng)站已展示頁面,可能會導致抓取頁面為空短的現(xiàn)象。

這里再次強調(diào),不要讓爬蟲給站點畫上不優(yōu)質的標簽,對網(wǎng)站將產(chǎn)生很不好的影響。另外,移動端的H5頁面,很多都是采用JS方式加載,其實是更容易產(chǎn)生空短,請各位站長注意。

3.2.1.3 網(wǎng)頁發(fā)布時間

關于網(wǎng)頁發(fā)布時間,有以下幾點建議:

√ 網(wǎng)頁內(nèi)容盡可能加上產(chǎn)出時間,嚴格說是內(nèi)容發(fā)布時間;且時間盡量全,時間格式為年-月-日 時:分:秒;

例:2017-08-12 10:23:06

√ 網(wǎng)頁上切忌亂加時間,這樣容易造成頁面時間提取問題,或搜索引擎判斷提取時間不可信,從而降低對網(wǎng)頁的展現(xiàn)。

3.2.1.4 canonical標簽

canonical標簽的目的

在PC互聯(lián)網(wǎng)時代,canonical標簽的作用主要是用來解決由于網(wǎng)址形式不同內(nèi)容相同而造成的內(nèi)容重復問題。而在移動時代,canonical標簽被百度搜索賦予了更多的意義,在原來的作用基礎上,又起到了相同內(nèi)容的移動頁和PC頁之間的關聯(lián)作用;讓移動資源更容易繼承PC資源的各種特征,從而快速生效移動網(wǎng)頁數(shù)據(jù)。

canonical標簽如何設置

在HTML代碼的head里添加rel=”canonical”,不能添加多個,否則搜索引擎會認為是無效的canonical標簽。另外需要注意href里的地址不能是死鏈,錯誤頁或者被robots封禁的頁面。

具體示例如下:

3.2.2 落地頁體驗

為提升移動搜索整體用戶體驗,提升搜索滿意度,百度搜索在2017年推出《百度移動搜索落地頁體驗白皮書——廣告篇2.0》(以下簡稱廣告白皮書)。廣告白皮書對網(wǎng)站移動落地頁頁面廣告內(nèi)容、廣告位置、大小等做了明確要求,從而充分保證搜索用戶的瀏覽體驗。

白皮書詳情,請參考搜索學院官方文檔《百度移動搜索落地頁體驗白皮書——廣告篇2.0》

3.3 頁面價值

3.3.1 內(nèi)容價值

原創(chuàng)文章,要求是獨立完成的創(chuàng)作,且沒有歪曲、篡改他人創(chuàng)作或者抄襲、剽竊他人創(chuàng)作而產(chǎn)生的作品,對于改編、注釋、整理他人已有創(chuàng)作而產(chǎn)生的作品要求有充分的點評、補充等增益信息。

建議原創(chuàng)文章在標題下方明確注明“來源:xxxx(本站站點名)”或“本站原創(chuàng)”之類字樣,轉載文章明確注明“來源:xxxx(轉載來源站點名)”之類字樣,不建議使用“admin”、“webmaster”、“佚名”等模糊的說法。

3.3.2 外鏈建設

通常認為,外鏈是本站點對第三方站點頁面的鏈接指向,是本站點對第三方站點頁面內(nèi)容的一種認可和推薦。

站點進行外鏈建設時,建議是有真實推薦意圖,并且指向那些熟悉的、被認可的、內(nèi)容相關的外部頁面;不建議推薦與本站點頁面內(nèi)容無關的外鏈內(nèi)容。也不建議亂推薦外鏈、交換外鏈互聯(lián)、指向作弊站的行為(這些很可能被超鏈策略反向識別成垃圾作弊站點進行打壓)。

最后,站長要及時發(fā)現(xiàn)和處理站點被黑的頁面。頁面被黑掉后,一般會被人為放入大量無關的,甚至作弊的外鏈在該頁面上,其目的是要瓜分站點自身權重,并以此來提高外鏈目標站點影響力。建議站長發(fā)現(xiàn)后,及時向搜索資源平臺(原站長平臺)提交死鏈進行刪除和屏蔽,不及時處理一定程度上會影響站點本身的權重。最好從技術上優(yōu)化,提高站點安全壁壘,防范于未然。

3.3.3 內(nèi)鏈建設

內(nèi)鏈,描述了站點的結構,一般起到頁面內(nèi)容組織和站內(nèi)引導的作用;內(nèi)鏈的重要意思是通過鏈接指向,告訴搜索引擎哪個頁面最為重要。

內(nèi)鏈組織的時候,建議結構清晰,不要過于冗雜,另外內(nèi)鏈組織的版式建議保持一致,這樣對搜索引擎超鏈分析比較友好。

與外鏈類似,建議站長善于使用nofollow標簽,既對搜索引擎友好,又可避免因垃圾link影響到站點本身的權重。

3.3.4 anchor

anchor描述:盡可能使用典型的,有真實意義的anchor。anchor描述要與超鏈接的頁面內(nèi)容大致相符,避免高頻無意義anchor的使用,另外同一個URL的anchor描述種類不宜過多,anchor分布越稀疏會影響搜索排名。

4 百度專屬SEO工具

4.1 百度搜索資源平臺(原百度站長平臺)介紹

百度搜索資源平臺(原百度站長平臺)是全球最大的面向中文互聯(lián)網(wǎng)管理者、移動開發(fā)者、創(chuàng)業(yè)者的搜索流量管理的官方平臺。提供有助于搜索引擎數(shù)據(jù)查詢及優(yōu)化的工具、SEO建議、多端適配服務的能力等。

百度搜索資源平臺域名地址:http://ziyuan.baidu.com/

4.2 查詢工具

4.2.1 索引量工具

網(wǎng)站的索引量指該網(wǎng)站在百度搜索上,可以被用戶搜索到的鏈接總量。百度蜘蛛通過抓取發(fā)現(xiàn)網(wǎng)站內(nèi)容,進行頁面解析,對有價值內(nèi)容建立索引庫,最終使搜索用戶可以搜索到網(wǎng)站內(nèi)容。

網(wǎng)站被百度蜘蛛抓取后,經(jīng)過一系列計算才得以建入索引庫,有了和搜索用戶見面的機會。所以,索引量一直是站長們關注的焦點,但關于索引量工具有一些誤讀,這里給到正確解答:

  • √ 索引量不等于網(wǎng)站流量:索引庫分多個層級,進入上層索引庫才有更多與搜索用戶見面的機會;進入下層庫機會渺茫。所以,索引量總體的增加減少并不能說明流量會有什么變化;
  • √ 索引量變化不直接影響流量變化:當流量發(fā)生巨大變化時,索引量數(shù)據(jù)可以作為排查原因的渠道之一,但不是唯一排查渠道,索引量變化并不直接影響流量變化;
  • √ 索引量浮動情況,索引量上下浮動10%(經(jīng)驗值),甚至更多,都可能屬于正常。只要流量變化不大就不用緊張。

4.2.2 流量與關鍵詞工具

流量與關鍵詞工具提供站點的熱門關鍵詞在百度搜索結果中的展現(xiàn)及點擊量數(shù)據(jù),通過對關鍵詞表現(xiàn)情況的監(jiān)控,幫助網(wǎng)站更好進行優(yōu)化,流量與關鍵詞工具可全面幫助站長了解網(wǎng)站在百度搜索引擎中的表現(xiàn),決定頁面及網(wǎng)站的優(yōu)化方向,為網(wǎng)站運營決策提供分析依據(jù)。

關于流量與關鍵詞工具,還有一點需要強調(diào),如果站長需要在反饋中心中提交關于網(wǎng)站流量異常的情況,請使用此工具的數(shù)據(jù)、及數(shù)據(jù)截圖作為證據(jù),便于工作人員分析網(wǎng)站問題。

4.2.3 抓取頻次工具

什么是抓取頻次

抓取頻次是搜索引擎在單位時間內(nèi)(天級)對網(wǎng)站服務器抓取的總次數(shù),如果搜索引擎對站點的抓取頻次過高,很有可能造成服務器不穩(wěn)定,百度蜘蛛會根據(jù)網(wǎng)站內(nèi)容更新頻率和服務器壓力等因素自動調(diào)整抓取頻次。

什么情況下可以進行抓取頻次上限調(diào)整:

  • 首先,百度蜘蛛會根據(jù)網(wǎng)站服務器壓力自動進行抓取頻次調(diào)整;
  • 其次,如果百度蜘蛛的抓取影響了網(wǎng)站穩(wěn)定性,站長可以通過此工具調(diào)節(jié)百度蜘蛛每天抓取網(wǎng)站的頻次上限。
  • 強調(diào)1:調(diào)整抓取頻次上限不等于調(diào)高抓取頻次;
  • 強調(diào)2:建議站長慎重調(diào)節(jié)抓取頻次上限值,如果抓取頻次過小則會影響百度蜘蛛對網(wǎng)站的及時抓取,從而影響索引。

4.2.4 抓取診斷工具

什么是抓取診斷

抓取診斷工具,可以讓站長從百度蜘蛛的視角查看抓取內(nèi)容,自助診斷百度蜘蛛看到的內(nèi)容,和預期是否一致。每個站點每周可使用200次,抓取結果只展現(xiàn)百度蜘蛛可見的前200KB內(nèi)容。

抓取診斷工具能做什么

目前抓取診斷工具有如下作用:

  • √ 診斷抓取內(nèi)容是否符合預期,譬如很多商品詳情頁面,價格信息是通過JavaScript輸出的,對百度蜘蛛不友好,價格信息較難在搜索中應用。問題修正后,可用診斷工具再次抓取檢驗;百度工程師操刀的百度移動搜索建站優(yōu)化白皮書
  • √ 診斷網(wǎng)頁是否被加了黒鏈、隱藏文本。網(wǎng)站如果被黑,可能被加上隱藏的鏈接,這些鏈可能只在百度抓取時才出現(xiàn),需要用此抓取工具診斷。

4.2.5 抓取異常工具

什么是抓取異常

百度蜘蛛無法正常抓取,就是抓取異常。通常網(wǎng)站出現(xiàn)抓取異常,都是網(wǎng)站自身原因造成,需要網(wǎng)站根據(jù)工具提示,盡快自查網(wǎng)站問題并解決。

抓取異常對網(wǎng)站有哪些影響

對于大量內(nèi)容無法正常抓取的網(wǎng)站,搜索引擎會認為網(wǎng)站存在用戶體驗上的缺陷,并降低對網(wǎng)站的評價,在抓取、索引、搜索評價上都會受到一定程度的負面影響,最終影響到網(wǎng)站從百度獲取的流量。

抓取異常的原因有哪些

● 網(wǎng)站異常

  • √ DNS異常:當百度蜘蛛無法解析網(wǎng)站的IP時,會出現(xiàn)DNS異常。可能是網(wǎng)站IP地址錯誤,或者域名服務商把百度蜘蛛封禁。請使用whois或者host查詢自己網(wǎng)站IP地址是否正確且可解析,如果不正確或無法解析,請與域名注冊商聯(lián)系,更新網(wǎng)站IP地址;
  • √ 連接超時:抓取請求連接超時,可能原因服務器過載,網(wǎng)絡不穩(wěn)定;
  • √ 抓取超時:抓取請求連接建立后,下載頁面速度過慢,導致超時,可能原因服務器過載,帶寬不足;
  • √ 連接錯誤:無法連接或者連接建立后對方服務器拒絕。

● 鏈接異常

  • √ 訪問被拒絕:爬蟲發(fā)起抓取,httpcode返回碼是403;
  • √ 找不到頁面:爬蟲發(fā)起抓取,httpcode返回碼是404;
  • √ 服務器錯誤:爬蟲發(fā)起抓取,httpcode返回碼是5XX;
  • √ 其他錯誤:爬蟲發(fā)起抓取,httpcode返回碼是4XX,不包括403和404。

4.3 提交工具

4.3.1 鏈接提交工具

目前一共有4種提交方式,分別是主動推送、Sitemap、手工提交和自動推送,這四種推送方式的區(qū)別,請看下圖:

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

建議有新聞屬性站點,使用主動推送進行數(shù)據(jù)提交;新驗證平臺站點,或內(nèi)容無時效性要求站點,可以使用Sitemap將網(wǎng)站全部內(nèi)容使用Sitemap提交;技術能力弱,或網(wǎng)站內(nèi)容較少的站點,可使用手工提交方式進行數(shù)據(jù)提交;最后,還可以使用插件方式,自動推送方式給百度提交數(shù)據(jù)。

使用鏈接提交工具,還需要注意的是,部分網(wǎng)站會采用第三方插件推送數(shù)據(jù),插件推送方式需要站長仔細檢查推送邏輯,之前發(fā)生過站長使用第三方插件推送數(shù)據(jù),而第三方插件采用域名+標題進行推送,這樣導致推送給百度的URL中存在中文字符,帶有中文字符的URL會301跳轉到真實的URL上,出現(xiàn)此類情況,是無法享受快速抓取優(yōu)待的。

鏈接提交工具可以快速幫助站點實現(xiàn)內(nèi)容抓取,使用第三方插件可以快速幫助站長解決推送的問題,站長只需在選擇插件時,仔細檢查下插件數(shù)據(jù)邏輯,否則推送錯誤數(shù)據(jù),網(wǎng)站數(shù)據(jù)無法享受快速抓取優(yōu)待。

4.3.2 死鏈提交工具

為什么要使用死鏈工具
當網(wǎng)站死鏈數(shù)據(jù)累積過多時,并且被展示到搜索結果頁中,對網(wǎng)站本身的訪問體驗和用戶轉化都起到了負面影響。另一方面,百度檢查死鏈的流程也會為網(wǎng)站帶來額外負擔,影響網(wǎng)站其他正常頁面的抓取和索引。

注意事項:

  • √ 請推送協(xié)議死鏈數(shù)據(jù),死鏈工具僅支持協(xié)議死鏈數(shù)據(jù);
  • √ 提交死鏈被刪除后,網(wǎng)站可以刪除已提交的死鏈文件,否則搜索仍會繼續(xù)抓取死鏈文件,確認文件中內(nèi)容。

什么是死鏈規(guī)則提交?

死鏈規(guī)則是鏈接前綴,且匹配前綴的鏈接全部是死鏈。

目前支持兩種死鏈規(guī)則:

  • √ 目錄規(guī)則:以“/”結尾的前綴;
  • √ CGI規(guī)則:以“?”結尾的前綴。

什么是死鏈文件提交?

  • √ 站長需要提交已被百度建索引的、且需要刪除的鏈接,如鏈接在百度搜索不到,則可以不提交死鏈;
  • √ 需要刪除的鏈接需要全部設置為404,如發(fā)現(xiàn)有鏈接非死鏈,會導致文件校驗失敗,從而無法刪除死鏈;
  • √ 如死鏈文件抓取失敗,可以通過抓取診斷工具判斷死鏈文件是否可以正常抓??;
  • √ 站長提交死鏈后,請不要在robots中封禁百度蜘蛛,封禁百度蜘蛛會影響鏈接的正常刪除;
  • √ 如果需要刪除的鏈接已經(jīng)被刪除,請及時的刪除掉死鏈文件;
  • √ 提交死鏈工具,最長需要2-3天生效死鏈。如站長發(fā)現(xiàn)鏈接未被刪除,一周后可以重新提交。

規(guī)則提交:

  • √ 規(guī)則死鏈不支持通配符;
  • √ 規(guī)則死鏈必須是以?或者 /結尾的規(guī)則。

關于死鏈提交的常見問題

  • √ 網(wǎng)站死鏈數(shù)據(jù),除了使用死鏈提交工具,還可以使用robots屏蔽百度抓取,百度將根據(jù)robots文件中的規(guī)則,不再抓取該內(nèi)容,如果該內(nèi)容線上已經(jīng)展現(xiàn),將會進行屏蔽;
  • √ 已經(jīng)提交死鏈的文件,蜘蛛仍會繼續(xù)抓取,檢查文件中是否有更新的鏈接;如抓到更新的鏈接,將再次校驗網(wǎng)站;如死鏈提交已生效,且此文件后續(xù)將不再更新,可以直接在工具中將文件刪除;
  • √ 搜索資源平臺中的鏈接分析工具,有死鏈分析功能,可以幫助網(wǎng)站發(fā)現(xiàn)站內(nèi)死鏈。

4.3.3 移動適配工具

什么是移動適配,移動適配工具的作用

移動適配工具主要用于,如果網(wǎng)站同時擁有PC站和移動站,且二者能夠在內(nèi)容上對應,即主體內(nèi)容完全相同,網(wǎng)站可以通過移動適配工具進行對應關系,便于百度來識別PC和移動站之間的關系。

站長通過移動適配工具提交pattern級別或者URL級別的PC頁與手機頁對應關系,若可以成功通過校驗,將有助于百度移動搜索將移動用戶直接送入對應的手機頁結果。積極參與“移動適配”,將有助于的手機站在百度移動搜索獲得更多流量,同時以更佳的瀏覽效果贏取用戶口碑。

移動適配工具如何使用

當網(wǎng)站同時擁有移動站點和PC站點、且移動頁面和PC頁面的主體內(nèi)容完全相同,就可以在通過百度搜索資源平臺(原百度站長平臺)提交正確的適配關系,獲取更多移動流量。

第一步:注冊并登錄百度搜索資源平臺(原百度站長平臺);

第二步:提交PC網(wǎng)站并驗證站點與ID的歸屬關系,具體驗證網(wǎng)站歸屬方法可見幫助文檔;

第三步:站點驗證后,進入“網(wǎng)站支持”――“數(shù)據(jù)引入”――“移動適配工具”,選擇具體需要進行移動適配的PC站,然后“添加適配關系”;

第四步:根據(jù)自己提交的適配數(shù)據(jù)特點,選擇適合網(wǎng)站的提交方式。目前移動適配工具支持規(guī)則適配提交URL適配提交,無論使用哪種方式都需要先指定PC與移動站點,此舉可以令平臺更加快速地檢驗提交的數(shù)據(jù)、給出反饋,順利生效。同時在之后步驟中提交的適配數(shù)據(jù)中必須包含指定的站點,否則會導致校驗失?。?/p>

1)規(guī)則適配:當PC地址和移動地址存在規(guī)則(pattern)的匹配關系時(如PC頁面www.test.com/picture/12345.html,移動頁面m.test.com/picture/12345.html),可以使用規(guī)則適配,添加PC和移動的正則表達式,正則的書寫方式詳見工具頁面《正則格式說明》。強烈建議使用規(guī)則適配,一次提交成功生效后,對于新增同規(guī)則的URL可持續(xù)生效,不必再進行多次提交。同時該方式處理周期相對URL適配更短,且易于維護和問題排查,是百度推薦使用的提交方式。

2)URL適配:當規(guī)則適配不能滿足適配關系的表達時,可以通過“URL對文件上傳”功能,將主體內(nèi)容相同的PC鏈接和移動鏈接提交給百度:文件格式為每行前后兩個URL,分別是PC鏈接和移動鏈接,中間用空格分隔,一個文件最多可以提交5萬對URL,可以提交多個文件。另外網(wǎng)站還可以選擇“URL對批量提交”,在輸入框中直接輸入URL對,格式與文件相同,但此處一次性僅限提交2000對URL。

第五步:提交適配數(shù)據(jù)后,關注移動適配工具會提供狀態(tài)說明,若未適配成功,可根據(jù)說明文字和示例進行相應的調(diào)整后更新提交適配數(shù)據(jù)。

4.3.4、robots

什么是robots文件

robots是站點與蜘蛛溝通的重要渠道,站點通過robots文件聲明該網(wǎng)站中不想被搜索引擎抓取的部分或者指定搜索引擎只抓取特定的部分。

請注意,僅當網(wǎng)站包含不希望被搜索引擎抓取的內(nèi)容時,才需要使用robots.txt文件。如果希望搜索引擎抓取網(wǎng)站上所有內(nèi)容,請勿建立robots.txt文件。之前發(fā)現(xiàn)很多流量下降的網(wǎng)站示例,最后追查都是因為技術人員通過robots對搜索引擎加了封禁。

為了避免站長在設置robots文件時出現(xiàn)錯誤,百度搜索資源平臺(原百度站長平臺)特別推出了robots工具,幫助站長正確設置robots。

robots.txt文件的格式

robots文件往往放置于根目錄下,包含一條或更多的記錄,這些記錄通過空行分開(以CR,CR/NL, or NL作為結束符),每一條記錄的格式如下所示:

“:”

在該文件中可以使用#進行注解,具體使用方法和UNIX中的慣例一樣。該文件中的記錄通常以一行或多行User-agent開始,后面加上若干Disallow和Allow行,詳細情況如下:

User-agent:該項的值用于描述搜索引擎robot的名字。在”robots.txt”文件中,如果有多條User-agent記錄說明有多個robot會受到”robots.txt”的限制,對該文件來說,至少要有一條User-agent記錄。如果該項的值設為*,則對任何robot均有效,在”robots.txt”文件中,”User-agent:*”這樣的記錄只能有一條。如果在”robots.txt”文件中,加入”User-agent:SomeBot”和若干Disallow、Allow行,那么名為”SomeBot”只受到”User-agent:SomeBot”后面的 Disallow和Allow行的限制。

Disallow:該項的值用于描述不希望被訪問的一組URL,這個值可以是一條完整的路徑,也可以是路徑的非空前綴,以Disallow項的值開頭的URL不會被 robot訪問。例如”Disallow:/help”禁止robot訪問/help.html、/helpabc.html、/help/index.html,而”Disallow:/help/”則允許robot訪問/help.html、/helpabc.html,不能訪問/help/index.html。”Disallow:”說明允許robot訪問該網(wǎng)站的所有URL,在”/robots.txt”文件中,至少要有一條Disallow記錄。如果”/robots.txt”不存在或者為空文件,則對于所有的搜索引擎robot,該網(wǎng)站都是開放的。

Allow:該項的值用于描述希望被訪問的一組URL,與Disallow項相似,這個值可以是一條完整的路徑,也可以是路徑的前綴,以Allow項的值開頭的URL 是允許robot訪問的。例如”Allow:/hibaidu”允許robot訪問/hibaidu.htm、/hibaiducom.html、/hibaidu/com.html。一個網(wǎng)站的所有URL默認是Allow的,所以Allow通常與Disallow搭配使用,實現(xiàn)允許訪問一部分網(wǎng)頁同時禁止訪問其它所有URL的功能。

使用”*”and”$”:百度蜘蛛支持使用通配符”*”和”$”來模糊匹配URL。

“*” 匹配0或多個任意字符。

“$” 匹配行結束符。

最后需要說明的是:百度會嚴格遵守robots的相關協(xié)議,請注意區(qū)分網(wǎng)站不想被抓取或抓取的目錄的大小寫,百度會對robots中所寫的文件和網(wǎng)站不想被抓取和抓取的目錄做精確匹配,否則robots協(xié)議無法生效。

4.4 搜索展現(xiàn)工具

站點logo百度搜索資源平臺推出的免費類工具,可以給到網(wǎng)站品牌曝光、展示。站點logo是百度搜索根據(jù)網(wǎng)站評價、用戶需求度、用戶瀏覽軌跡等系統(tǒng)分析產(chǎn)出的效果,因此這個工具并不是所有站點都享有權限。

4.4.1 站點logo

站點申請百度搜索下的logo展示,可以通過搜索資源平臺——站點屬性——站點logo中進行提交,此工具為免費展示類工具。

下圖為站點logo的截圖示例:

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

4.5 維護類工具

4.5.1 網(wǎng)站改版工具

當一個站點的域名或者目錄發(fā)生變化時,如果想讓百度快速收錄變化之后的新鏈接、用以替換之前的舊鏈接,需要使用百度搜索資源平臺的網(wǎng)站改版工具來提交網(wǎng)站的改版關系,加速百度對已收錄鏈接的新舊替換。網(wǎng)站換域名對網(wǎng)站的影響,可以參考5.1章節(jié)網(wǎng)站換域名。

使用改版工具提交改版規(guī)則的前提:

  • √ 站點的URL發(fā)生了變化,不論是域名還是站點的目錄,或者結果頁URL發(fā)生變化,改版工具都提供支持,這里單獨說一點,頁面內(nèi)容發(fā)生變化的不在改版工具處理的范圍內(nèi);
  • √ 如果站點URL的路徑和參數(shù)部分都沒有變化,僅僅是域名改變的,只需要知道每個改版前域名和改版后域名的對應關系,不要有整理遺漏,目前平臺不支持主域級別的改版規(guī)則提交,需要每個域名都單獨提交生效;
  • √ 如果站點URL的路徑和參數(shù)部分發(fā)生變化,但是路徑和參數(shù)都是有規(guī)律可尋的,可以通過規(guī)則表達式來整理改版前和改版后的URL對應關系;
  • √ 如果站點的URL改變沒有任何規(guī)律的情況,需要準確整理出改版前URL和改版后URL的對應關系。

站長要準確的找到對應關系,這與改版規(guī)則的生效息息相關。有了準確的對應關系后,就可以設置301跳轉了。

4.5.2 閉站保護工具

由網(wǎng)站自身原因(改版、暫停服務等)、客觀原因(服務器故障、政策影響等)造成的網(wǎng)站較長一段時間都無法正常訪問,百度搜索引擎會認為該站屬于關閉狀態(tài)。站長可以通過閉站保護工具進行提交申請,申請通過后,百度搜索引擎會暫時保留索引、暫停抓取站點、暫停其在搜索結果中的展現(xiàn)。待網(wǎng)站恢復正常后,站長可通過閉站保護工具申請恢復,申請審核通過后,百度搜索引擎會恢復對站點的抓取和展現(xiàn),站點的評價得分不會受到影響。

閉站保護工具的重要tip如下:

√ 申請閉站需要保證全站鏈接都是死鏈或直接關閉服務器,申請恢復是需要保證網(wǎng)站服務器已經(jīng)啟動并沒有死鏈。為了盡快進行閉站保護/解除閉站保護,保障自身權益,請確保以上條件沒問題之后再提交申請(校驗很嚴格,抽樣的內(nèi)容基本需要是100%);

√ 閉站保護申請、死鏈提交等工具,提到的設置死鏈,都必須是協(xié)議死鏈,即返回碼是404,否則會導致無法通過校驗。

    • ● 內(nèi)容死鏈,比如單純的在網(wǎng)頁上寫上404,或一張圖片上畫著404,是不行的。
    • ● 判斷自己網(wǎng)頁返回碼是否是404,瀏覽器里可以直接打開控制臺,查看network的doc,刷新頁面。

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

    • ● 或者可以控制臺使用命令:curl -i 網(wǎng)頁地址 。
    • ● 查返回的信息。

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

閉站保護只能保證網(wǎng)站的索引量,不能保證網(wǎng)站的排名。之前有站點反饋閉站保護不好用,因為閉站恢復后網(wǎng)站排名沒有了,這里再次強調(diào)一下,使用閉站工具只能保留網(wǎng)站的索引量,但不保證網(wǎng)站的排名不變。

關于閉站保護常見的問題:

  • √ 閉站保護的通過時間是從提交申請到生效一天內(nèi);
  • √ 閉站保護申請恢復,是站點沒有任何404頁面等情況下,2天內(nèi)恢復;
  • √ 閉站保護生效之后,首頁不會屏蔽,如有網(wǎng)站首頁屏蔽需求,可以在搜索資源平臺反饋中心提交;
  • √ 閉站保護最長保護時間是180天,過了180天之后的自動放出,如站點有404頁面
  • √ 仍會正常屏蔽處理;
  • √ 主站申請了閉站保護后,對應移動站也是需要申請閉站保護的;即使存在適配關系,也只能屏蔽在適配關系中的移動鏈接,其余不在適配關系中的鏈接,比如直接被抓取的鏈接,仍無法屏蔽。

4.5.3 HTTPS認證工具

使用HTTPS認證工具的收益:

網(wǎng)站通過HTTPS認證后,站點在百度搜索的所有快照都會變成HTTPS格式,蜘蛛也會優(yōu)先抓取HTTPS的鏈接,讓用戶在搜索中獲得更安全的鏈接。

網(wǎng)站使用HTTPS認證工具的注意事項:

  • √ 保證HTTPS站點正常訪問,且頁面內(nèi)引入資源為HTTPS格式,包括引入的視頻、圖片、CSS、JS等元素;如果網(wǎng)站沒有全站HTTPS,申請百度搜索資源平臺(原站長平臺)HTTPS認知是不會通過的,但是如果系統(tǒng)沒有檢測到這個情況而通過驗證的話,會導致沒改造的這部分頁面產(chǎn)生死鏈,所以認證前一定要檢測好;
  • √ 如果站點存在HTTP和HTTPS兩種協(xié)議的頁面,必須將HTTP的URL 301到HTTPS的URL上,僅有HTTPS站點的可以直接認證;
  • √ 必須保證HTTP站點與HTTPS的鏈接一一對應,沒有HTTPS對應的HTTP鏈接可能會被判斷成死鏈接。

關于網(wǎng)站做HTTPS回退的注意事項:

    • √ 站點通過認證后,只需要點擊退場按鈕(在搜索資源平臺驗證的網(wǎng)站擁有者),就可以退回到HTTP站點了;
    • √ 需要強調(diào)的是,點擊回退按鈕后,要等到顯示回退成功了再做其他操作,否則有可能導致網(wǎng)站產(chǎn)生死鏈接。

百度工程師操刀的百度移動搜索建站優(yōu)化白皮書

5 網(wǎng)站常見問題專題

5.1 網(wǎng)站換域名

5.1.1 網(wǎng)站換域名的定義

網(wǎng)站換域名,包括從一個二級域更換到一個新的二級域,或者網(wǎng)站域名整體發(fā)生改變,都視為網(wǎng)站換域名。如ent.test.com的內(nèi)容,要整體換域名到news.test.com;或者網(wǎng)站www.test.com要換域名為www.123.com,以上兩種情況都視為換域名。

注意以下幾點,輕松應對網(wǎng)站換域名:

  • √ 換域名后,建議兩個域名同時保存一段時間;
  • √ 網(wǎng)站換域名后,需要把兩個網(wǎng)站內(nèi)容做好301的跳轉,強調(diào)一點,需要做到正文頁對正文頁一一對應的跳轉,而不是將舊域名內(nèi)容全部跳轉到新域名的首頁;
  • √ 網(wǎng)站換域名后,需使用改版工具,在搜索資源平臺(原站長平臺)提交數(shù)據(jù),便于搜索識別新舊域名之間關聯(lián);
  • √ 建議網(wǎng)站選擇在用戶訪問網(wǎng)站較少的時間段換域名,如長假期間等。

5.1.2 換域名對網(wǎng)站的影響

網(wǎng)站換域名需要網(wǎng)站做好301,且使用搜索資源平臺(原站長平臺)的改版工具,能保證網(wǎng)站的流量損失降到最低;但搜索資源平臺(原站長平臺)的部分權益是與網(wǎng)站域名綁定,換域名的對網(wǎng)站的注意事項,請關注以下幾點:

  • √ 總體來說網(wǎng)站換域名會影響網(wǎng)站排名,不推薦更換域名。若品牌需要等原因,必須換域名,建議做好301跳轉規(guī)則后,在平臺工具提交改版規(guī)則和死鏈處理;
  • √ 網(wǎng)站從目錄級更換為二級域名,如之前為www.baidu.com/news/,需更新為news.baidu.com,這類現(xiàn)象通用視為換域名;同樣需要需要在平臺工具提交改版規(guī)則和做好301;
  • √ 網(wǎng)站頁面結構改版,僅是頁面樣式發(fā)生變化,不會對排名有影響;無需使用改版工具;
  • √ 強烈建議不要把所有舊域名頁面301到新域名首頁,建議做新舊域名之間正文頁對正文頁的301;
  • √ 網(wǎng)站換域名后,搜索資源平臺(原站長平臺)的VIP權限,站點logo、站點子鏈不會同步到新域名中,需要網(wǎng)站單獨申請。

5.2 網(wǎng)站流量異常

網(wǎng)站流量異常是站長最擔心的問題之一,網(wǎng)站發(fā)生流量異常,建議網(wǎng)站先做好站點自查,盡快發(fā)現(xiàn)并排除網(wǎng)站自身原因造成的流量波動情況;另外,如網(wǎng)站的索引量數(shù)據(jù)發(fā)生大幅下降,可自查網(wǎng)站是否存在大量過期/無索引內(nèi)容,如索引量大幅波動,但流量無明顯變化,可隨時觀察網(wǎng)站數(shù)據(jù),無須在搜索資源平臺(原站長平臺)進行問題反饋。

5.2.1 網(wǎng)站流量異常自查

網(wǎng)站流量異常,應該首先進行全網(wǎng)自查,自查包括以下幾個要點:

  • √ 是否屏蔽百度抓取,如百度UA,設定了robots等,屏蔽百度抓取將對網(wǎng)站流量造成巨大影響;
  • √ 網(wǎng)站服務器是否穩(wěn)定,可以使用百度搜索資源平臺,抓取異常及抓取診斷工具,模擬搜索蜘蛛對網(wǎng)站進行抓取,便于及時發(fā)現(xiàn)網(wǎng)站問題;
  • √ 網(wǎng)站是否被黑,被劫持,出現(xiàn)網(wǎng)站不安全的行為;
  • √ 網(wǎng)站是否存在大量死鏈,部分網(wǎng)站在改版等過程中,會出現(xiàn)大量死鏈,死鏈的大量存在,會對網(wǎng)站評價造成影響;
  • √ 如網(wǎng)站流量異常來自移動端,需要網(wǎng)站自查移動端落地頁體驗,是否存在網(wǎng)站被轉碼&濾鏡的可能性,盡快整改,避免流量損失。

5.2.2 流量異常反饋

網(wǎng)站流量異常,如自查網(wǎng)站并無以上問題,可以通過百度搜索資源平臺(原百度站長平臺)-反饋中心進行問題提交;反饋中心的問題提交,需要網(wǎng)站具備以下幾點:

  • √ 數(shù)據(jù)證明,需要截圖搜索資源平臺(原站長平臺)-流量與關鍵詞工具的數(shù)據(jù)截圖作為證明,不提倡使用第三方工具截圖;
  • √ 關鍵詞下降證明,需提供網(wǎng)站流量下降明顯的關鍵詞,及關鍵詞對應的URL 10組,便于工作人員查詢問題;
  • √ 如網(wǎng)站索引量大幅下降,而網(wǎng)站流量變化不大,可仔細觀察網(wǎng)站情況,不需要在反饋中心進行提交。

5.3 HTTPS改造

關于網(wǎng)站是否HTTPS化,要看站點具體需求;從網(wǎng)站安全和用戶體驗上來講,HTTPS站點更為安全優(yōu)質,且百度搜索在索引的時候會考慮優(yōu)先展現(xiàn)用戶體驗較好的頁面;總體來講,如果條件允許建議網(wǎng)站做HTTPS。

有站長提到HTTPS慢不慢的問題,繁重的計算和多次交互天然的影響了HTTPS的訪問速度,所以需要網(wǎng)站有針對性的做站的優(yōu)化,關于網(wǎng)頁訪問速度的問題,可以詳細參考3.1.3.1訪問速度章節(jié)。

5.3.1 全站HTTPS的注意事項

  • √ 建議站長從HTTP到HTTPS的301/302跳轉,不建議只有HTTPS,而無HTTP到HTTPS的跳轉關系,只用HTTPS訪問對用戶來說,可能會遇到問題;
  • √ 不建議HTTPS、HTTP這兩種版本并存,這種情況存在三種問題,第一個它的維護成本比較高,需要維護兩個版本;第二個做不到絕對安全,HTTP訪問有不安全風險;第三有不一致的可能性,隨著長遠的發(fā)展這兩個版本可能會越來越不一致,會影響用戶體驗,我們建議站長做了HTTPS之后能對HTTPS做一定的跳轉預設;
  • √ HTTPS回退到HTTP極不建議。例如線上已經(jīng)展示HTTPS的鏈接給用戶點擊,如果站長回退到HTTP,用戶在瀏覽器里面點開的時候會展現(xiàn)死鏈的樣式是非常不建議的,做這個之前一定考慮。如果實在想做回退,請在百度搜索資源平臺(原站長平臺)提交HTTPS校驗,并建議站點提前至少24小時在平臺提交回退,這樣能夠保證站長的點擊不會出現(xiàn)死鏈的形式,這點非常重要;
  • √ HTTPS網(wǎng)頁沒有建設完成之前不要在互聯(lián)網(wǎng)上提供超鏈接,之前遇到過好幾個case,本身HTTPS并沒有做完,兩個版本都存在,但是HTTP是用戶可訪問的,或者說HTTPS的頁面是一個臨時性的假頁面,這樣站點有可能就以HTTPS的形式展現(xiàn)出來,會引起用戶體驗問題。

5.3.2 HTTTPS認證工具

網(wǎng)站進行HTTPS改造后,為保證百度搜索可以快速識別HTTP和HTTPS站點間對應關系,且盡快進行搜索展示端資源替換,建議站點使用HTTPS認證工具。

HTTPS認證工具使用,可參考4.5.3HTTPS認證工具章節(jié)。

5.4 網(wǎng)站關閉服務器

如網(wǎng)站短期內(nèi)關閉服務器,舉例來說,網(wǎng)站僅在一天之內(nèi)關閉服務器,可不用使用閉站保護工具;如網(wǎng)站需要長時間關閉網(wǎng)站,建議使用閉站保護工具,可反饋蜘蛛閉站期間無需抓取,保護網(wǎng)站評價不受損害。

網(wǎng)站如長時間需要關閉網(wǎng)站服務器,推薦使用閉站保護工具,可參考4.5.2閉站保護工具章節(jié),仍有一點需要注意,閉站保護工具生效后,網(wǎng)站首頁不會被屏蔽,如網(wǎng)站有首頁屏蔽的需求,需要單獨在搜索資源平臺反饋中提交。

5.5 新站扶持

5.5.1 新站點三步走

新站搭建成功后,應該做些什么,能得到搜索資源平臺(原站長平臺)哪些優(yōu)待呢?新站入駐,先來三步走:

第一步:站點驗證,在搜索資源平臺(原站長平臺)驗證網(wǎng)站后,可以了解網(wǎng)站在搜索的數(shù)據(jù)表現(xiàn),以及使用平臺工具向百度提交數(shù)據(jù)等;

第二步:向百度提交數(shù)據(jù),網(wǎng)站可以通過鏈接提交工具-Sitemap,將站點數(shù)據(jù)打包提交給百度,便于百度更快發(fā)現(xiàn)網(wǎng)站;

第三步:新站保護,符合新站保護目標站點,則會在鏈接提交工具中發(fā)現(xiàn)隱藏板塊-新站保護工具,使用此工具向百度提交數(shù)據(jù),可更好的保證網(wǎng)站內(nèi)容被百度抓取到。

5.5.2 新站保護工具

百度搜索資源平臺(原百度站長平臺)2017年9月份上線新站保護工具,此工具針對索引量極低的網(wǎng)站開放,且僅符合要求的網(wǎng)站可以在百度搜索資源平臺(原百度站長平臺)工具中看到此工具。關于新站保護工具的一些常見問題,可以通過以下得到解答:

符合新站保護要求的網(wǎng)站,需關注以下注意事項:

  • √ 新站保護工具權限是自動開通,符合要求的站點均會自動開通,無需申請;
  • √ 新站保護中需填寫備案信息,備案信息僅需要填寫主體備案號即可;
  • √ 建議提交網(wǎng)站容頁URL;
  • √ 此工具僅對站點進行2個月的保護,兩個月后權限會自動關閉。

5.6 流量統(tǒng)計

5.6.1 百度統(tǒng)計

百度統(tǒng)計是百度推出的一款免費的專業(yè)網(wǎng)站流量分析工具,能夠告訴用戶訪客是如何找到并瀏覽用戶的網(wǎng)站,在網(wǎng)站上做了些什么,有了這些信息,可以幫助用戶改善訪客在用戶的網(wǎng)站上的使用體驗,不斷提升網(wǎng)站的投資回報率。

百度統(tǒng)計提供了幾十種圖形化報告,全程跟蹤訪客的行為路徑。同時,百度統(tǒng)計集成百度推廣數(shù)據(jù),幫助用戶及時了解百度推廣效果并優(yōu)化推廣方案。

基于百度強大的技術實力,百度統(tǒng)計提供了豐富的數(shù)據(jù)指標,系統(tǒng)穩(wěn)定,功能強大但操作簡易。登陸系統(tǒng)后按照系統(tǒng)說明完成代碼添加,百度統(tǒng)計便可馬上收集數(shù)據(jù),為用戶提高投資回報率提供決策依據(jù)。是提供給廣大網(wǎng)站管理員免費使用的網(wǎng)站流量統(tǒng)計系統(tǒng),幫助用戶跟蹤網(wǎng)站的真實流量,并優(yōu)化網(wǎng)站的運營決策。

5.6.2 百度統(tǒng)計與流量與關鍵詞區(qū)別

關于流量與關鍵詞工具的介紹,在4.2.2中已經(jīng)有過介紹,這里重點強調(diào)下流量與關鍵詞工具,與百度統(tǒng)計的區(qū)別。

搜索資源平臺流量與關鍵詞工具,只記錄來自百度自然搜索的內(nèi)容,什么是自然搜索,是指除了廣告、阿拉丁之外的搜索點擊量;另外,流量與關鍵詞工具,將PC端的點擊量和移動端的點擊量,是分開統(tǒng)計的,站長查看精確數(shù)據(jù),需要結合PC端和移動端一起看;百度統(tǒng)計,統(tǒng)計的是來自百度搜索的全部UV或PV。

簡言之,百度搜索資源平臺(原百度站長平臺)流量與關鍵詞工具,提供的是來自百度搜索的自然搜索的點擊量,即搜索用戶每次從百度點擊進入頁面的那個動作次數(shù),點擊一次算一次量;百度統(tǒng)計,計算的是來自百度搜索的全PV和UV,數(shù)據(jù)更詳細更充分。

從站長使用角度出發(fā),如果網(wǎng)站想了解純SEO流量,可以使用流量與關鍵詞工具,如果想知道所有從百度過來的點擊,可以使用百度統(tǒng)計。

5.7 反饋溝通渠道

5.7.1 反饋中心

百度自然搜索結果下的網(wǎng)站問題,都可以通過反饋中心進行提交反饋。如網(wǎng)站流量下降、網(wǎng)站抓取建索引等問題,都可以通過反饋中心提交,并快速獲得答案。這里提示各位站長,提交問題反饋需要具備充足的說明,包括并不限于數(shù)據(jù)截圖,數(shù)據(jù)變化等,方便反饋中心同事更快解決網(wǎng)站問題。

以流量異常為例,反饋參考示例如下:

網(wǎng)站與2017年8月8日發(fā)生流量大幅異常,網(wǎng)站來自百度流量整體下降50%,(附流量與關鍵詞工具的截圖),自查網(wǎng)站并無問題,服務器穩(wěn)定。

網(wǎng)站流量下降嚴重的關鍵詞如下:(需十組)

百葉窗,URL:http://www.abc.com/news/baiye123,之前排在搜索結果第一位,現(xiàn)在排在搜索第二頁。

反饋中心入口為:

PC——百度搜索資源平臺首頁——右側小飄窗,地址:http://ziyuan.baidu.com/feedback

5.7.2 自動問答

關于網(wǎng)站如何優(yōu)化、友好建站、搜索規(guī)則等問題,站長如果想通過自我學習的方式了解,除了可以通過百度搜索資源平臺,更可以訪問搜索學院推出的自助問答服務,快速了解搜索知識。搜索學院的自動問答系統(tǒng)涵蓋學院所有歷史文章,及站長常見QA;且對于站長提問,每周都會進行問題整理盤點,內(nèi)容補充。

GrowthHK(Growth Hacker):增長黑客是依靠技術和數(shù)據(jù)來達成各種營銷目標的新型團隊角色。從單線思維者時常忽略的角度和高度,梳理整合產(chǎn)品發(fā)展的因素,實現(xiàn)低成本甚至零成本帶來的有效增長…

本文經(jīng)授權發(fā)布,不代表增長黑客立場,如若轉載,請注明出處:http://m.allfloridahomeinspectors.com/cgo/2103.html

(0)
打賞 微信掃一掃 微信掃一掃 支付寶掃一掃 支付寶掃一掃
上一篇 2017-12-09 23:42
下一篇 2017-12-10 00:03

增長黑客Growthhk.cn薦讀更多>>

發(fā)表回復

登錄后才能評論