爬虫访问记录

适用场景

适用于查看搜索引擎蜘蛛是否抓取站点，以及抓取频次、路径是否符合预期。

操作步骤

1. 进入蜘蛛爬虫页面，按爬虫类型查看抓取记录。

   

2. 关注抓取页面、抓取时间和频次，判断重要页面是否被持续访问。
3. 重要页面长期没有抓取时，检查内链入口、robots 规则、页面状态码和是否需要登录。
4. 爬虫突然高频访问时，先确认是否与站点更新、地图提交或搜索平台抓取有关。

注意事项

• 本文面向自动抓取记录，不用于评估访客转化。
• 收录与排名结论应结合搜索平台继续验证。

適用場景

適用於查看搜尋引擎蜘蛛是否抓取站點，以及抓取頻次、路徑是否符合預期。

操作步驟

1. 進入蜘蛛爬蟲頁面，按爬蟲類型查看抓取記錄。

   

2. 關注抓取頁面、抓取時間和頻次，判斷重要頁面是否被持續訪問。
3. 重要頁面長期沒有抓取時，檢查內鏈入口、robots 規則、頁面狀態碼和是否需要登入。
4. 爬蟲突然高頻訪問時，先確認是否與站點更新、網站地圖提交或搜尋平台抓取有關。

注意事項

• 本文面向自動抓取記錄，不用於評估訪客轉化。
• 收錄與排名結論應結合搜尋平台繼續驗證。

When to use

Use it to see whether search engine spiders crawl the site and whether crawl frequency and paths match expectations.

Steps

1. Open the Spider Crawler page and review crawl records by crawler type.

   

2. Focus on crawled pages, crawl time and frequency to judge whether important pages are visited continuously.
3. When important pages are not crawled for a long time, check internal links, robots rules, status codes and login requirements.
4. When crawl frequency suddenly rises, first verify whether it relates to site updates, sitemap submission or search-platform crawling.

Notes

• This article focuses on automated crawl records and does not evaluate visitor conversion.
• Indexing and ranking conclusions should be verified with search platforms.