如何正確的了解百度蜘蛛的抓取頻次和抓取時(shí)間段

　　經(jīng)常聽(tīng)到站長(cháng)們問(wèn)，百度蜘蛛是什么？最近百度蜘蛛來(lái)的太頻繁服務(wù)器抓爆了，最近百度蜘蛛都不來(lái)了怎么辦，還有很多站點(diǎn)想得到百度蜘蛛的IP段，想把IP加入白名單，但IP不固定，我們無(wú)法對外公布。

　　首先瘋狗科技要告訴大家到底什么是百度蜘蛛抓?。喊俣戎┲?，是百度搜索引擎的一個(gè)自動(dòng)程序。它的作用是訪(fǎng)問(wèn)收集整理互聯(lián)網(wǎng)上的網(wǎng)頁(yè)、圖片、視頻等內容，然后分門(mén)別類(lèi)建立索引數據庫， 使用戶(hù)能在百度搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁(yè)、圖片、視頻等內容。

　　1.打開(kāi)FTP登陸軟件(這里以FlashFxp為例),登陸你的空間FTP。登陸進(jìn)FTP后,你會(huì )發(fā)現在根目錄下有一個(gè)WebLog的文件夾

　　(注:不同的IDC空間生成的日志文件目錄名稱(chēng)不一樣,僅供參考.一般文件夾中包含Log字符的都是日志文件夾)

　　2.打開(kāi)WebLog目錄后,里面有一些以日期格式特征為文件名的.gz后綴結尾的文件.這些就是我們需要下載到本地的日志文件.

　　3.打開(kāi)壓縮文件,發(fā)現里面只有一個(gè)以.log結尾的日志文件,我們需要的就是這個(gè)文件了.

　　4.解壓后,打開(kāi)日志文件.Ctrl+F查找baidu.com/search

　　那怎么才能識別正確的百度蜘蛛呢？來(lái)來(lái)來(lái)，只需兩步，教你正確識別百度蜘蛛

　　1、查看UA，如果UA都不對，可以直接判斷非百度搜索的蜘蛛，目前對外公布過(guò)的UA是：

　　移動(dòng)UA:Mozilla/5.0 (Linux;u;Android 4.2.2;zh-cn;) AppleWebKit/534.46 (KHTML,likeGecko) Version/5.1 Mobile Safari/10600.6.3 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html)

　　PC UA:Mozilla/5.0 (compatible; Baiduspider/2.0;+http://www.baidu.com/search/spider.html）

　　新增渲染UA:

　　移動(dòng)UA：Mozilla/5.0 (iPhone; CPU iPhone OS 9_1 likeMac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143Safari/601.1 (compatible; Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

　　PC UA：Mozilla/5.0 (compatible;Baiduspider-render/2.0; +http://www.baidu.com/search/spider.html)

　　2、反查IP

　　站長(cháng)可以通過(guò)DNS反查IP的方式判斷某只spider是否來(lái)自百度搜索引擎。根據平臺不同驗證方法不同，如linux/windows/os三種平臺下的驗證方法分別如下：

　　1）、在linux平臺下，您可以使用host ip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。Baiduspider的hostname以 *.baidu.com或 *.baidu.jp 的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

　　2)、在windows平臺或者IBM OS/2平臺下，您可以使用nslookup ip命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器輸入nslookup xxx.xxx.xxx.xxx（IP地址）就能解析ip，來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以*.baidu.com或*.baidu.jp的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

　　3）、 在mac os平臺下，您可以使用dig 命令反解ip來(lái)判斷是否來(lái)自Baiduspider的抓取。打開(kāi)命令處理器輸入dig xxx.xxx.xxx.xxx（IP地址）就能解析ip，來(lái)判斷是否來(lái)自Baiduspider的抓取，Baiduspider的hostname以 *.baidu.com或*.baidu.jp的格式命名，非 *.baidu.com 或 *.baidu.jp 即為冒充。

　　以上就是關(guān)于百度蜘蛛抓取網(wǎng)站的詳細工作流程，如何有不懂的朋友可以留言給瘋狗科技小編，大家一起交流學(xué)習！