Новое в индексации Гугла
Что-то я расписался сегодня 
Может это и не новое, но для себя обнаружил. Делаю новый сайт клиента, которые занимаются вывозом ТБО в Нижнем Новгороде. После семинара Ашманова, я впервые сделал не по-своему, а именно разместил на время написания файл robots.txt и запретил индексацию сайта.
Обычно я выкладывал более-менее подготовленную (оптимизированную) первую страницу, поскольку особенно трудно поменять после тэг title. Можно запросто ждать 2-3 месяца. Ну так вот, обычно оптимизирую по максимуму главную страницу, а после по мере готовности выкладываю одну за одной. Получается естесственный рост контента сайта, что благоприятно сказывается на индексации.
В этот раз все не так. Даже плохо. Выложил в первый раз 7 страниц, Яндекс благополучно подхватил главную, сразу в ТОП-10 ее по многим ключевикам. А после по мере “знакомства” с сайтом, позиции улетели в 50. Это не смертельно, все проходили, поскольку вернется и даже будет лучше. Но вот Гугл!..
Ни в какую не берет. И Бобрый Добр его не радует, и ссылки никакие не нравятся. Сегодня что только не передумал. Даже и robots.txt переписал с учетом семантики, и sitemap постоянно обновляю, добавляю, ужос… Все проверил. Не нравится ему сайт и все тут!
Я себе еще недавно сайт завел. По обычаю, первую страницу сделал, на остальное “забил” – времени нет, весь в работе и в клиентах. Народ пошел с поисковиков, в индексе сайт. Что с Фарбе делать? Ума не приложу.
Резюме. Не знаю, как нужно, но больше никаких disallow на весь сайт в robots!
Следующая страница в рубрике “Помогаем своему сайту” – Сайт попал в непот.
sockraina, чуть ниже в комментариях указано как написать.
Как закрыть от индексации Гуглом, в роботс, зеркало сайта?
У меня сейчас вот так, но все равно 3 страницы зеркала Гугл видит и индексирует (даже учитывая, что редирект с зеркала стоит на основной домен)
User-Agent: *
Disallow: /admin.php
Disallow: /p.php?typ=
Disallow: /http://хххх.com/
Основной сайт ххх.com.ua
Насколько знаю лучше вообще в роботе не закрывать индексацию сайта, единственное можно поискать каталог ненужных ботов и оградить их заходы, а так же создать правила индексации например для админ-блока и конкретных файлов. Например
User-agent: *
Disallow: /your_site/adminblock/
User-agent: Googlebot, Yandex
Disallow: /*gif
Но это как бы просто упростит работу ботам, им не придется индексировать страницы, к которым доступ из поисковой системы не имеет смысла или вообще запрещен. А рисунки стандартным роботам стоит запретить индексировать чтобы не теряли время, а сканили только необходимый контент. Для рисунков свои есть роботы.
А закрытие сайта к индексации во время публикации на мой взгляд большая ошибка.
Чтобы закрыть сайт от индексации Гуглом, вставьте в robots.txt
User-agent: googlebot
Disallow:
А как полностью закрыть сайт от индексации Гуглом?
User-agent: Yandex
Disallow: ?
Хочу закрыт зеркало…
пустые строки – ошибки? это не пустые строки, это разделение на блоки.
> 3. Для нового сайта 2-х месячной давности с PR=0 нормально, что Google проиндексировал всего 3 страницы, а не все 8. При учете, что сайт был ещё и закрыт от индексации. Надо просто подождать.
может и так, но я привык, что мои сайты в течение недели попадают в топ-10 (нескромно как-то, там нет вч-запросов)
> Только умоляю – не пишите, что на семинаре вам советовали покупать ссылки на г@вносайтах типа
я разве писал где? нет, все сам делаю
4. Кстати на сайте-доноре papers.same.ru Яндекс видит всего 3 страницы, так что это выброшенные деньги.
5. Если хотите, чтобы Google проиндексировал все 8 страниц вашего сайта – поставьте 8 ссылок на весь ваш внутряк, а не все ссылки на морду.
Только умоляю – не пишите, что на семинаре вам советовали покупать ссылки на г@вносайтах типа
(ссылка удалена. admin)
Кстати, в robots.txt есть ошибки – пустые строки.
>… и запретил индексацию сайта.
…и пустил пулю в висок.
1. При выкладывании новой версии сайта взамен существующей – от индексации обычно закрывается каталог, в который она выкладывается для проверки. А не весь сайт. После проверки старая версия сайта разом меняется на новую.
2. При выкладывании нового сайта ничего от индексации закрывать не надо вообще.
3. Для нового сайта 2-х месячной давности с PR=0 нормально, что Google проиндексировал всего 3 страницы, а не все 8. При учете, что сайт был ещё и закрыт от индексации. Надо просто подождать.
> больше никаких disallow на весь сайт в robots!
Аминь.
Оставьте свой комментарий
Мои проекты
Подписка
Подписка на новые записи:
На свою электронную почту или RSS.
Рубрики
Последние комментарии
Самое комментируемое
Счетчики