Can I use robots.txt to optimize Googlebot's crawl?

google

seo

robots.txt

crawling

Автор: Google Search Central

Загружено: 2010-08-16

Просмотров: 29817

Описание: Can I use robots.txt to optimize Googlebot's crawl? For example, can I disallow all but one section of a site (for a week) to ensure it is crawled, and then revert to a 'normal' robots.txt?

Blind Five Year Old, SF, CA

Не удается загрузить Youtube-плеер. Проверьте блокировку Youtube в вашей сети.
Повторяем попытку...

Can I use robots.txt to optimize Googlebot's crawl?

Доступные форматы для скачивания:

Скачать видео

Информация по загрузке:

Скачать аудио

Похожие видео