Стоит ли блокировать страницы результатов поиска?

Описание: Функция внутреннего поиска вашего сайта тайно приглашает к индексации огромного количества сайтов? В этом выпуске подкаста «Search off the Record» Мартин Сплитт и Джон Мюллер приоткрывают завесу тайны над тем, как страницы результатов внутреннего поиска могут превратиться в «бесконечное пространство для индексации», которое задерживает Googlebot, расходует ваш бюджет на индексацию и резко увеличивает нагрузку на базу данных. Они разбирают критически важные технические различия между блокировкой страниц поиска с помощью robots.txt и тегов noindex и раскрывают огромные риски для безопасности, связанные с сохранением индексируемости этих страниц.

В этом выпуске вы узнаете: Концепция «бесконечного пространства для индексации»: как Googlebot рассматривает функции внутреннего поиска как бесконечное пространство для индексации, которое может генерировать бесконечный цикл новых URL-адресов.

Нагрузка на сервер и производительность: почему страницы внутреннего поиска без кэширования заставляют постоянно обращаться к базе данных и выполнять вычисления ранжирования, замедляя работу вашего сайта для реальных пользователей.


Robots.txt против Noindex: Различные технические компромиссы между использованием широкого правила запрета robots.txt и метатегом robots или заголовком HTTP noindex.

Угроза спам-вектора: Как злоумышленники ищут на вашем сайте запросы, связанные с фармацевтикой, контентом для взрослых или казино, чтобы использовать авторитет вашего домена и отображать спамную контактную информацию в индексе Google.

Почему ошибки 500 — это плохо: Почему отправка кода ошибки 500 для остановки ботов на поисковых URL-адресах приведет к обратному эффекту и снизит скорость сканирования Googlebot на всем вашем веб-сайте.

Страницы категорий против страниц поиска: Как такие системы, как Blogger, используют параметры поиска для целевых страниц тегов и почему следует по-разному относиться к ценным страницам категорий.

Ключевые выводы для SEO-специалистов и разработчиков: Исправление сканирования на источнике: Не используйте инструмент удаления Google Search Console для обработки бесконечных поисковых URL-адресов; он только временно фильтрует результаты поиска и не останавливает Googlebot от перегрузки вашего сервера.

Расширьте правила Robots: используйте одно общее правило с подстановочным знаком в файле robots.txt (например, /search?), чтобы охватить все параметры запроса, сохраняя файл в удобном и чистом виде.

Создавайте настоящие страницы категорий: вместо использования внутренних параметров поиска в качестве импровизированных категорий, инвестируйте в чистые, выделенные страницы категорий, чтобы помочь поисковым системам понять иерархию вашего сайта.

Не полагайтесь на автоматические системы: хотя системы Google пытаются автоматически распознавать и снижать приоритет бесконечных пространств, это медленно и ненадежно — проактивная ручная настройка всегда безопаснее.






Разделы 00:00 - Введение и приветствия

00:45 - Определение внутренних страниц результатов поиска

01:26 - Как Googlebot обнаруживает функции поиска и Создает бесконечные пространства

04:15 - Бюджет сканирования, нагрузка на сервер и проблемы производительности базы данных

07:32 - Решения: запрет в robots.txt против Meta Noindex

10:09 - Ошибочность инструмента удаления Search Console и страниц с ошибкой 404

12:35 - Почему никогда не следует выдавать ботам ошибки 500

13:56 - Нюансы CMS: целевые страницы тегов и категории блога

15:26 - Создание общих шаблонов robots.txt и исторические рекомендации

18:17 - Когда (и когда не) разрешать индексированные страницы поиска

20:41 - Угроза спам-вектора: взломанный контент, казино и т. д. Уязвимости в фармацевтической отрасли

25:06 — Принятие превентивных мер безопасности для клиентов

27:04 — Взлом системы перенаправления поиска, заключение и подписка

Упомянутые ресурсы:

Google Search Console (инструмент для удаления)



У вас есть веская причина разрешить поисковым системам индексировать вашу внутреннюю страницу результатов поиска? Сообщите нам об этом в комментариях ниже или найдите нас в LinkedIn, чтобы поделиться своими мыслями!

Не забудьте поставить лайк и подписаться на подкаст на вашей любимой платформе, чтобы не пропустить ни одного закулисного эпизода от команды Search Relations!

Транскрипт эпизода → https://goo.gle/sotr113-transcript

Слушайте больше выпусков Search Off the Record → https://goo.gle/sotr-yt

Подпишитесь на канал Google Search → https://goo.gle/SearchCentral

Search Off the Record — это серия подкастов, которая знакомит вас с закулисьем поиска Google вместе с командой Search Relations.

#SOTRpodcast #SEO #GoogleSearch #SearchConsole #SEOTips #CrawlBudget #RobotsTXT #GoogleSearchConsole #WebPerformance #WebSecurity #SearchOffTheRecord