備注：本文方法或已經(jīng)失效，分享本文旨在幫助大家更了解黑帽，并非鼓勵大家使用黑帽的方式來(lái)進(jìn)行網(wǎng)站優(yōu)化，不僅傷害用戶(hù)也為互聯(lián)網(wǎng)帶來(lái)了更多污染。
我們知道搜索引擎的產(chǎn)品線(xiàn)很長(cháng)，多個(gè)產(chǎn)品之間總不可能完全完美地配合，因此在robots.txt的限制收錄那里就產(chǎn)生了一個(gè)可以被利用的漏洞。
原理分析(以搜狗為例)
我們可以看到搜狗的robots.txt文件內容為：
User-agent: Sogou web spider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sogou inst spider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sogou spider2 Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sogou blog Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sogou News Spider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sogou Orion spider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: JikeSpider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Sosospider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Googlebot Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: MSNBot Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Baiduspider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: 360spider Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: Baiduspider-image Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: YoudaoBot Disallow: /sogou? Disallow: /web? Disallow: /sohu? Disallow: /quan? Disallow: /sgtest? Disallow: /se? Disallow: /gzh? Disallow: /gzhwap? Disallow: /weixin? Disallow: /weixinwap? Disallow: /websearch.do Disallow: /websearch/websearch.do Disallow: /zhishi/searchlist.jsp Disallow: /express/sq.jsp User-agent: * Disallow: /
很顯然，搜狗針對各個(gè)搜索引擎，對搜索結果頁(yè)面進(jìn)行了屏蔽處理。其中/sogou?、/web?等路徑均是結果頁(yè)面的路徑，那么，會(huì )不會(huì )有這樣一種情況？搜狗存在其他的搜索結果頁(yè)面路徑，但是在robots.txt中卻沒(méi)有申明屏蔽？為了驗證這一猜想，我們到百度中搜索搜狗。
我們可以看到其中/sie?、/sgo?均為搜狗搜索結果頁(yè)面的路徑，但是在robots.txt文件中卻沒(méi)有被申明屏蔽！即是說(shuō)這樣路徑的頁(yè)面時(shí)允許被搜索引擎收錄，如果這樣的頁(yè)面的搜索結果全部都是自己的網(wǎng)站呢？那么就實(shí)現了讓搜索引擎給自己網(wǎng)站做外鏈的效果！
那么問(wèn)題來(lái)了？如果讓搜索結果全部都是自己的站點(diǎn)呢？很自然地就會(huì )想到站內搜索！具體尋找站內搜索參數的方式請自行搜索相關(guān)資料，此處直接說(shuō)明結果：搜狗的站內搜索參數為insite，那么組裝成這樣一個(gè)網(wǎng)址：
http://www.sogou.com/sgo?query=SEO&insite=meeaxu.com
這個(gè)網(wǎng)址時(shí)可被收錄的、這個(gè)頁(yè)面的所有搜索結果均是指定網(wǎng)站的，將類(lèi)似的網(wǎng)址在互聯(lián)網(wǎng)上進(jìn)行傳播，蜘蛛爬行到之后最終會(huì )入庫建立索引，最后達到了我們的目的：讓搜索引擎給自己的網(wǎng)站鏈接。
寫(xiě)在最后
這種方法的時(shí)效性不高，很多人都使用之后就會(huì )被修復。之所以要將原理清楚地描述出來(lái)，是為了描述黑帽方法的發(fā)現過(guò)程。黑帽并不是簡(jiǎn)單地做什么站群、群發(fā)外鏈什么的，更多的是利用搜索引擎本身的漏洞來(lái)進(jìn)行優(yōu)化。本文僅僅是示例了一個(gè)非常簡(jiǎn)單的黑帽方法發(fā)現過(guò)程，更多大神都非常低調，其發(fā)現的方法也并未在互聯(lián)網(wǎng)上傳播。本文僅僅是為了讓大家更了解黑帽，并非鼓勵大家使用黑帽的方式來(lái)進(jìn)行網(wǎng)站優(yōu)化，不僅傷害用戶(hù)也為互聯(lián)網(wǎng)帶來(lái)了更多污染。我希望大家更多地去考慮用戶(hù)體驗，去配合搜索引擎，同樣能夠達到最終目的。
皖公網(wǎng)安備 34010202600669
