首先介紹一下百度爬蟲(chóng)抓取量，其實(shí)就是百度爬蟲(chóng)對站點(diǎn)一天抓取網(wǎng)頁(yè)的數量，從百度內部透露來(lái)說(shuō)，一般會(huì )抓兩種網(wǎng)頁(yè)，其中一個(gè)是這個(gè)站點(diǎn)產(chǎn)生新的網(wǎng)頁(yè)，一般 中小型站當天就可以完成，大型網(wǎng)站可能完成不了，另一種是百度以前抓過(guò)的網(wǎng)頁(yè)，它是需要更新的，比如一個(gè)站點(diǎn)已經(jīng)被百度收錄了5w，那么百度會(huì )給出一個(gè)時(shí) 間段，比如30天，然后平均一下，每天到這個(gè)站點(diǎn)上面抓5W/30的這樣一個(gè)數字，但是具體的量，百度有自己的一套算法公式來(lái)計算。

影響百度抓取量的因素。

1.站點(diǎn)安全

對于中小型站點(diǎn)，在安全技術(shù)上比較薄弱，被黑被篡改的現象非常常見(jiàn)，一般被黑有常見(jiàn)幾種情況，一種是主域被黑，一種是標題被篡改，還有一種是在頁(yè)面里面加 了很多的外鏈。一般主域被黑就是被劫持，就是主域被進(jìn)行301的跳轉到指定的網(wǎng)站，而如果在百度那邊發(fā)現跳轉后的是一些垃圾站，那么你這個(gè)站點(diǎn)抓取量會(huì )里 面降低。

2.內容質(zhì)量

如果抓取了10萬(wàn)條，而只有100條建庫了，那么抓取量還會(huì )降下來(lái)，因為百度會(huì )認為抓取的網(wǎng)頁(yè)比例很低，那么就沒(méi)必要去抓取更多，所以要“寧缺毋濫”，特別要注意在建站的時(shí)候一定要注意質(zhì)量，不要采集一些內容，這是一種潛在的隱患。

3.站點(diǎn)響應速度

①網(wǎng)頁(yè)的大小會(huì )影響抓取，百度建議網(wǎng)頁(yè)的大小在1M以?xún)?，當然?lèi)似大的門(mén)戶(hù)網(wǎng)站，如新浪另說(shuō)。

4.同ip上面主域的數量

百度抓取都是按照ip進(jìn)行去抓取的，比如在一個(gè)ip上一天抓取了1000w個(gè)頁(yè)面，而在這個(gè)站點(diǎn)上有40W的站點(diǎn)，那么平均下來(lái)抓取每個(gè)站點(diǎn)的數量會(huì )分的 很少，所以在選擇服務(wù)商的時(shí)候，要看一看同ip上面有沒(méi)有大站，如果有大站的話(huà)，可能會(huì )被分得的抓取量會(huì )很少因為流量都跑大站上面去了。