Н ачинающие веб-мастера, едва,создав новый сайт начинают недоумевать, почему он не индексируется Яндексом. Чаще всего причиной оказывается слишком малый срок жизни сайта. На добавление новых площадок в базу данных Яндекса, обычно, уходит от 2-х недель до месяца.

В случае, когда по истечении длительного срока ничего не изменяется, лучше приступить к активным действиям, чтобы сообщить поисковой системе о новом веб-ресурсе.

1. Яндекс не индексирует целый сайт: причины

1.1. Медленно индексируются молодые сайты
Для этого необходимо:

1. Добавить сайт в систему Яндекс.Вебмастер.
2. Добавить сайт в Яндекс с помощью специальной формы в разделе Яндекс.Вебмастер.
3. Установить на сайт счетчики Яндекс.Метрики.
4. Провести внешнюю оптимизацию, увеличив число внешних ссылок из социальных сетей и блогов, где ежедневно бывают поисковые роботы.

В крайнем случае, всегда можно обратиться в службу технической поддержки поисковой системы, чтобы сообщить о молодого сайта. Возможно, существуют некие объективные причины того, что сайт не индексируется, но веб-мастеру о них неизвестно.

Если Вы начинающий веб мастер, то обязательно ознакомьтесь с разделом «помощь вебмастеру» , что находиться на сервисе Яндекса. Там Вы найдете раздел «Индексирование сайта» из которого узнаете от первоисточника, что нужно для нормальной индексации.

К примеру, домен может находиться в «черном списке» Яндекса.

1.2. Бывают проблемы с индексацией страниц на старых сайтах

Проблемы характеризуются:

• быстрым выпадением из индекса поисковой системы большей части страниц и разделов сайта;
• откровенным несоответствием количества страниц в поиске и на сайте.

Чаще всего так происходит, если на блог накладываются те или иные фильтры поисковой системы. К примеру, Яндекс обнаруживает, что контент ресурса утрачивает свое качество или перестает быть интересным для пользователей.

Кроме того, плохая индексация может быть связана с:

• неверным составлением файла robots.txt;
• заражением сайта вирусами;
• прочими техническими проблемами и перебоями в работе проекта.

2.Не индексируются отдельные страницы

Неприятная, но более типичная ситуация, когда отдельные страницы никак не проходят в основную базу данных системы Яндекс.

Среди причин плохой индексации страниц можно выделить:

1. Запутанную структуру ресурса и высокую вложенность, при которой поисковый робот просто не может добраться к новым материалам. Проблема легко разрешается путем упрощения структуры, создания «Карты сайта».
2. Низкое качество контента. Повысить шансы на быструю индексацию можно, если переработать материал, опубликованный на странице.
3. Превышение лимита на индексацию. Проблема устраняется путем закрытия ненужных, дублирующихся и служебных страниц, которые не представляют особого интереса для пользователей. Кроме того, повысить лимит, определенный Яндексом для конкретного сайта, можно, если переключить внимание на развитие и расширение проекта.
4. Отсутствие каких-либо на страницу. При этом поисковый робот оказывается неспособным совершить переход на отдельную страницу для ее индексации. В этом случае проблему можно решить, если обеспечить связь общей структуры проекта, грамотно проставив внутренние ссылки(перелинковка).

1. Запрет в файле . Соответственно, достаточно пересмотреть данный файл для снятия запрета.
2. Запрет с помощью специальных тегов (например, noindex). Устранить проблему можно, проверив и исправив программный код страницы.
3. Использование техник, которые мешают нормальной индексации. К примеру, страница и (или) ее контент может целиком состоять из анимации или flash-элементов.

Необходимые изменения устраняют проблему, а обновленная страница беспрепятственно пройдет индексацию.

Яндекс не индексирует мой сайт...

Данную фразу можно нынче встретить на каждом форуме. Как меня, так и тысячи других владельцев новых сайтов очень интересует вопрос: "Почему Яндекс в последнее время очень медленно индексирует новые сайты или не индексирует их вообще?".

Большинство начинающих вебмастеров описывает приблизительно одинаково сложившуюся проблему. Очень часто сайт успешно индексируется другими поисковыми системами, тем же Гуглом, Рамблером, Yahoo, MSN, Апортом и т.д., но вот Яндекс наотрез отказывается индексировать сайт даже при наличии внешних ссылок, уже проиндексированных самим же Яндексом. Вот такой парадокс получается...

И начинают владельцы недавно созданных ресурсов рыскать по форумам в надежде найти ответ на этот непростой вопрос.

Кстати я не являюсь исключением, поэтому и решила поднять эту тему. Мой сайт был проиндексирован в полном объеме поисковой системой Google уже через две недели после его опубликования в Интернете. На тот момент сайт не имел ни одной внешней ссылки, но был добавлен в панель вебмастеров.

Яндекс не проиндексировал ни одной страницы до сих пор, хотя уже прошло более двух месяцев. И такая ситуация наблюдается у многих владельцев сайта. Многие из них, устав выяснять причины отсутствия индексации со стороны Яндекса, стали раскручивать свои сайты под Гугл. Чувствую, что пойти этим путем придется и мне. Тем более, что все новые статьи на моем сайте Гугл индексируют очень шустро.

Тоже самое могу сказать и о поисковой системе Рамблер. Да, она несколько уступает по скорости индексации Гуглу, но тем не менее ею проиндексированы на сегодняшний день почти все страницы моего сайта. Жаль, что по популярности у пользователей Интернета Рамблер значительно отстает от Яндекса...

Для тех, кто еще не потерял надежды попасть в индекс Яндекса посвящается дальнейшая часть статьи, где мы попытаемся выяснить основные причины отсутствия молодого сайта в индексе.

Итак, для начала давайте убедимся, что Яндексом действительно не проиндексировано ни одной страницы сайта. Для этого воспользуемся расширенным поиском самого же Яндекса.

Поле "Я ищу" на странице расширенного поиска оставляете пустым. В поле "На сайте" вводите адрес вашего сайта и нажимаете "Найти" в самом низу страницы. Если в ответ получите "Искомая комбинация слов нигде не встречается", то индексация действительно прошла мимо вас.

А может Яндекс вовсе не знает о существовании вашего сайта, Добавляли ли вы его в панель вебмастеров, отображается ли он там?

Если данные о нем фигурируют в панели вебмастера, значит Яндекс в курсе и ваш сайт вероятно застрял в очереди на индексацию. Если сайта в панели вебмастеров нет, возможно вам не удалось подтвердить права на него. Попробуйте подтвердить права еще раз.

У многих вебмастеров возникают опасения в том, что их сайт оказался забанен либо он под штрафными санкциями. Проверить свой сайт на бан несложно, для этого в форму добавления новых урлов (в народе она называется аддурилкой) добавьте адрес любой внутренней страницы вашего сайта. Если результат будет: "Ваш адрес успешно добавлен и будет проиндексирован...", значит ни о каком бане и речи нет.

Если ответом будет: "URL недоступен", значит имеют место технические проблемы сервера. Чтобы убедиться в этом, просмотрите логи сервера. Обычно клиенты хостинга имеют свободный доступ к серверным журналам логов в своей админпанели. Если доступа нет, можно обратиться в техподдержку хостинга с просьбой предоставить последние записи в журнале логов.

Запись в журнале логов выглядит следующим образом:

275.169.105.78 - [ 29.11.2010: 15:35:47 + 0500 ] " GET/HTTP/1.01 200 OK "_" "Yandex/1.01.001 (compatible, win16, I ).

Теперь давайте расшифруем данную запись:

275.169.105.78 - это IP- адрес, с которого к вам заходят посетители либо боты;

29.11.2010: 15:35:47 - это дата и время посещения ими вашего сайта;

HTTP/1.01 200 - это ответ сервера, обязательно в ответе сервера должна присутствовать цифра 200, это значит, что страница сайта доступна для прочтения. При отсутствии такого ответа есть смысл обратиться к хостеру с просьбой устранить неполадки;

Yandex/1.01.001 (compatible, win16, I ) - это название бота Яндекса, обратите внимание на последний символ I , он присущ основному боту Яндекса. Если такая запись в журнале имеется, то паниковать не стоит. Значит основной бот Яндекса посещает ваш сайт и возможно скоро страницы сайта появятся в индексе.

Главное, чтобы после Yandex/1.01.001 (compatible, win16, I ) не было сообщения об ошибке, например HTTP/1.1.404 Not Found, означающей, что бот сервера не разрешил боту Яндекса прочесть страницу. В случае обнаружения подобной записи немедленно обращайтесь к хостеру.

Проверить ответ сервера можно также в сервисе be1.ru/stat/ либо его аналоге seo-rus.com. В конце страницы, после анализа сайта будет вот такая запись:

Заголовок

HTTP/1.1 200 OK

Server: nginx/0.7.67

Content-Type: text/html

Connection: close

ETag: "5c8e26-6636-4961a4c921a80"

Accept-Ranges: bytes

Content-Length: 26166

Vary: Accept-Encoding

В строке после 271 вы видите нужный ответ сервера. Если в результате проведенной проверки вами не выявлено технических причин и ваш сайт не забанен, посещается ботами, вы не нарушили никаких правил лицензионного использования поисковой системы Яндекса, ваш сайт представляет собой СДЛ, контент на сайте уникальный, ссылками не торгуете, спам не плодите, тогда единственный выход из создавшейся ситуации - это обратиться в техподдержку Яндекса.

Создали сайт, но не можете его найти в поисковиках? Не проблема! В этом материале Вы узнаете, как проиндексировать сайт в Яндекс и Google, за максимально короткий промежуток времени. Наверное, о плюсах быстрого попадания в индекс поисковых систем говорить излишне. Ведь любой понимает, что чем раньше его сайт будет показываться в поисковой выдаче, тем быстрее появятся новые клиенты. И чтобы это всё заработало, необходимо попасть в базу поисковиков.

Кстати говоря, благодаря правильному подходу, новые материалы нашего сайта достаточно хорошо, а самое главное всегда быстро индексируются поисковыми системами. Возможно и Вы попали на эту страницу после обращения соответствующим запросом в поисковой строке. От лирики же перейдём к практике.

Как узнать проиндексирован ли сайт?

Первое, что нужно сделать — узнать проиндексирован ли сайт поисковыми системами. Может быть так, что сайт просто не находится на первой странице поиска по тому запросу, которые Вы вводили. Это могут быть высокочастнотный запросы, чтобы показываться по которым нужно работать над , а не просто сделать и запустить сайт.

Итак, для проверки заходим во все поисковые системы, в которые имеет смысл заходить (Яндекс, Гугл, Мэйл, Рамблер ) и в строку поискового запроса вводим адрес сайта.

Если Ваш ресурс ещё не был проиндексирован — в результатах выдачи ничего не будет показано, либо покажутся другие сайты.

Как проиндексировать сайт в Яндексе?

Для начала расскажем, как проиндексировать сайт в Яндексе. Но прежде чем, добавить свой ресурс, проверьте, чтобы он корректно работал, правильно открывался на всех устройствах и содержал только уникальный контент . Например, если добавить сайт на стадии разработки, можно просто угодить под фильтр — с нами один раз такое случалось и пришлось ждать целый месяц, чтобы Яндекс понял, что у нас качественный сайт и снял санкции.

Чтобы сообщить Яндексу о новом сайте, необходимо и , первый инструмент отвечает за дополнительную информацию о ресурсе (регион, структура, быстрые ссылки ) и тот, как сайт выглядит в результатах органической выдачи, второй за сбор данных по сайту (посещаемость, поведение и прочее ), что согласно нашем опыту, так же оказывает влияние на индексацию сайта и его позиции в поиске. А ещё обязательно сделайте карту сайта и укажите её в панели вебмастеров.

Как проиндексировать сайт в Google?

Чаще всего Гугл сам достаточно оперативно находит новые сайты и загоняет их в поиск, но ждать, когда Google придёт и сделает за нам всю работу — слишком самонадеянно, поэтому давайте разберёмся, как проиндексировать сайт в Google.

Сначала — это панель вебмастеров Google, и . Придерживаемся тех же целей — дать максимум информации о сайте поисковым системам.

После того, как сайты добавлены, должно пройти от 3 до 7 дней , прежде чем поисковики обновят данные и проиндексируют сайт.

Всегда хочется, чтобы новые страницы сайта, стали показываться в результатах поиска, как можно быстрее и для этого есть несколько секретных (и очень простых) способов, как ускорить индексацию страниц сайта в поисковых системах.

3. Чтобы проделать манипуляцию описанную во 2-м пункте, только для поисковой системы Google, заходим в Search Console. Выбираем «Сканирование» и «Посмотреть, как Googlebot» -добавляем адрес новой страницы и нажимаем «Сканировать», после этого запрашиваем индексацию.

Анализ индексации сайта

В завершении необходимо отметить, что даже после успешной индексации сайта в поисковых системах, на этом работа не заканчивается. Необходимо периодически делать анализ индексации сайт, а так же снимать позиции по популярным запросам. Это позволит держать руку на пульсе и не оказать в ситуации, когда значительная часть трафика из органической выдаче просто исчезла.

Так случилось со многими старыми сайтами, которые использовали старые методы продвижения, после выхода . При этом, Яндекс заранее сообщил о том, что запускает этот алгоритм и переоптимизированные страницы будут исключены из поиска, а тот же Google, никогда не сообщает о выходе новых алгоритмов. Поэтому только неустанный контроль позволит оставаться лидером тематики или стать им!

Как я и обещал в , сегодня я расскажу как решить проблему индексации страниц Яндексом , а если быть точнее – если некоторые (или все) страницы по непонятным причинам не индексируются.

Месяц назад я зашел в панель Яндекс Вебмастера и обнаружил такую вот неприятную штуку – все мои посты не индексировались! «Пипец! Столько времени потрачено в пустую – статьи могли бы быть уже в поиске» — подумал я. И вправду, это выходит что все время что я писал мои статьи были закрыты от Яндекса. Поэтому я полез в инет с надеждой найти решение своей проблемы. Порывшись на всяких там форумах и блогах я пришел к выводу – или где-то ошибка с шаблоном блога, или же один из плагинов делает мне такую каку. Первый вариант отпал сразу, так как я полностью перерыл код шаблона, когда делал и каких-либо ошибок не увидел. Значит проблема в одном из плагинов. Вначале я подумал что неправильно настроил , но как оказалось проблема была совсем не в нём. Спасибо моему другу , который заметил вот такую строчку кода у меня на страницах с постами:

Как же я тупонул! Я поставил себе когда-то плагин Robots Meta и забыл на время про него, а он мне все статьи закрыл от поисковиков из-за того, что я его неправильно настроил. Эта ошибка будет мне уроком. Плагин я успешно удалил и стал ждать очередного АПа, в надежде что страницы проиндексируются. К сожалению ничего подобного не произошло, в Яндекс Вебмастере высвечивалась та же ошибка – «Документ содержит тег noidex ». Ну что же, пришло время штурмовать суппорт Яши своими письмами:). Справа в панели есть ссылка «Задать вопрос о сайте службе поддержки» — вот её то и надо нажимать, если у Вас возникли трудности с индексацией и Вы не знаете как их решить.

Пишу следующее письмо:

Доброго времени суток!.
У меня проблема с индексацией страниц. Проблема вот в чем — кроме меток и рубрик, которые я запретил к индексации, у меня еще много исключенных страниц.
«Документ содержит мета-тег noindex» — вот в чем проблема. Я порылся в настройках своего блога и нашел причину — у меня стоял плагин, который запрещал индексировать все страницы, которые я публиковал.плагин я удалил и тег НОИНДЕКС пропал на страницах.Страницы эти до сих пор исключены, хотя я удалил этот плагин еще месяц назад.
Поисковый робот заходил на блог много раз а изменений никаких.
Вот скрин некоторых непроиндексированных страниц (я для на всякий случай передал скрины ссылок на те страницы).

На второй день приходит мне ответ:

Здравствуйте!
Если страницы в настоящий момент не содержат запрещающий тег, то со временем робот отследит эти изменения самостоятельно. О том, как помочь нашему роботу быстрее индексировать сайт, Вы можете прочитать на странице нашей помощи: http://help.yandex.ru/webmaster/. Вы также можете ускорить процесс обхода необходимых Вам страниц роботом, добавляя их непосредственно через форму «Сообщить о новом сайте»: http://webmaster.yandex.ru/addurl.xml .
В этом случае они будут проиндексированы и должны появиться в результатах поиска в течение 2 недель.
С уважением, Платон Щукин
Служба поддержки Яндекса

Я, если честно. и не знал что можно добавлять отдельные страницы в форму о сообщении нового сайта, чтобы ускорить их индексацию. Только насколько я понял, в день можно добавлять ограниченное количество адресов с одного айпишника (когда я добавил страниц 10, кнопка «Добавить» перестала быть активной). Плюс ко всему, чтобы поисковый робот быстрее индексировал , я установил себе плагин Dagon Design Sitemap Generator, который создал на отдельной странице . Теперь я на 100% уверен, что все мои статьи через 2 недели будут проиндексированы.

Вчера я увидел новый комментарий к статье « », его написала Voleyko. Кратко расскажу о её проблеме: 30 декабря, когда был последний АПдейт тИЦ, Дед Мороз подарил ей +10 к пузику, но на второй день из индекса выпали почти все страницы блога. Так что радость от удачного АПдейта прошла к сожалению очень быстро. В чем же может быть проблема? Лично я думаю, что проблема скорее всего в ссылках на говноблоги. Почему? В одной из своих статей писал о подобной проблеме. Когда его блог получил тИЦ 20 через время из индекса вылетели все страницы. Прошел месяц, пока Студент не нашел причину вылета из индекса: пару ссылок на говносайты и на адалт-сайт dosug.cz. Так что, уважаемая Voleyko, советую Вам пересмотреть все ссылки, которые есть на Вашем блоге и удалить ненужные. Ну а потом задалбывайте службу поддержки Яндекса, пока не решите свою проблему.

Многие вебмастера сталкиваются с проблемами индексации сайта, которые негативно влияют на его SEO-продвижение, трафик. Они постоянно совершенствуют сайт, оптимизируют, добавляют новый контент, а число страниц в индексе не растет, либо и вовсе весь ресурса там отсутствует.

Чтобы предпринять соответствующие меры по предотвращению данной проблемы, нужно выяснить, почему сайт не индексируется поисковыми роботами. Сегодня мы и поговорим об основных причинах, которые приводят к тому, что материалы с ресурса не вносятся в .

1. Яндекс и Google еще не заметили ваш ресурс

Это одна из самых возможных причин. Вы недавно создали свой сайт и выложили его в интернет, но не предприняли никаких мер, чтобы поисковики побыстрее нашли его. Тогда индексацию и вправду можно ждать очень долго.

Чтобы этого не допустить, обязательно , а также в . Проделав эти несложные шаги, можно ожидать попадания сайта в индекс уже через пару часов, но бывает, что приходится ждать и несколько дней.

Если вы используете готовую , обязательно проверьте приватные настройки, которые нередко установлены по умолчанию, и именно из-за них сайт может не индексироваться.

4. На сайте много повторяющихся материалов

Как правило, зачастую дублируются страницы и . Это грозит не только непопаданием вашего сайта в индекс, но и применением по отношению к нему санкций от Google Panda (алгоритм, который борется с некачественным контентом). Узнать, какие основные проблемы существенно снижают качество и эффективность проекта, вы можете в разделе «Вид в поиске» –> «Оптимизация HTML» в Google Вебмастере.

Сегодня это одна из распространенных причин, по которой сайты попадают под санкции, и разработчикам становится сложнее их продвигать.

5. Мета-тег name, content

Скрыть веб-ресурс от поисковиков можно и мета-тегом:

Иногда это правило может быть прописано и для определенных роботов:

Чтобы проверить его наличие, откройте исходный код сайта и проверьте содержимое. Если найдете вышеупомянутую строку, просто удалите ее, или «nofollow» и «noindex» замените на «follow» и «index» соответственно.

Да, бывали и такие случаи, когда данный мета-тег присутствовал в коде, а вебмастера даже не догадывались об этом и искали совершенно другие проблемы.

6. Мета-тег noindex

Заодно проверьте в коде тег , не обрамлен ли им ваш контент. Этот тег служит для поисковой системы Яндекс, который указывает, что этот контент не следует индексировать. То есть если у вас часть текста закрыта этим тегом, то у вас страница будет индексироваться, а сам контент который им обрамлен не будет.

7. Использование HTTP-заголовка X-Robots-Tag

Этот способ закрывает от индексации страницы только для Google. В коде этот метатег не найти, так как он работает на уровне заголовков сервера. Проверить его можно с помощью плагина для браузера Web Developer: Chrome , FireFox

Или с помощью онлайн инструмента http://tools.seobook.com/server-header-checker/

8. Перебои в работе хостинга или сервера

Если робот посетил ваш сайт, чтобы проиндексировать его содержимое, а в это время он оказался недоступным, то страницы так и не будут внесены в базу данных поисковых систем. Поэтому очень важно выбрать надежный хостинг и сервер с хорошим up time.

Чтобы всегда быть в курсе доступности ресурса, созданы самые разные сервисы. Найти их можно, введя в поиск запрос «uptime checker». Рекомендуем Яндекс.Метрика – он совершенно бесплатный.

9. Ошибки при сканировании

Если их возникает в изобилии, то боты не имеют возможности полноценно обойти сайт и добраться до необходимых страниц. Проверить наличие ошибок можно в Google Webmaster Tools. Зайдите в раздел «Сканирование» и выберите «Ошибки сканирования» . Если они будут обнаружены, сервис предложит их исправить.

10. Ранее используемый домен

Если вы зарегистрировали сайт на старое доменное имя, потому что оно легко читается и хорошо звучит, будьте готовы к тому, что его предыдущий владелец занимался черными методами SEO-продвижения, и теперь вам придется «разгребать» все те проблемы, к которым привела его деятельность.

Поправить ситуацию можно:

1. Отправив в Яндекс и Google запрос на пересмотр и узнав, почему страницы не индексируются.
2. Продолжая продвигать проект и работать над его качеством.

На заметку. Если домен спустя 3 или чуть более месяцев все равно нормально не индексируется, лучше сменить доменное имя. Или написать в поддержку поисковых систем и узнать насчет санкций на этот домен.

11. Медленная скорость загрузки сайта

Данный показатель является одним из основных факторов ранжирования ресурса и оказывает существенное влияние на его позиции в поисковых системах. Разумеется, если ваш портал загружается дольше положенного, с большой долей вероятности и его индексация будет проходить очень медленно. Самое оптимальное время загрузки составляет 2 секунды. Более 3-х секунд – это уже долго. На загрузку сайта влияет хостинг на котором он расположен.

12. Ресурс заблокирован в файле htaccess

Зачастую данный файл используется для настройки 301 редиректа, однако здесь также можно осуществить закрытие поисковым ботам доступ к сайту. Чтобы проверить содержимое.htaccess, найдите его на сервере, после чего проверьте код, чтобы там не было команды, блокирующей ресурс.

13. Наличие AJAX и JavaScript

Поисковик Google индексирует их, но гораздо сложнее, чем тот же . Неправильно настроив страницы и , ваш сайт не будет проиндексирован.

14. Попадание под фильтры поисковиков

Получить Deindexed, пожалуй, страшнее всего. Это наказание за то, что вебмастер выбрал нелегальную политику продвижения своего сайта: размещал запрещенные материалы или нерелевантный запросам контент, спамил ключевыми словами, использовал дорвеи и пр. Это очень и очень плохо, и если вас разоблачили, то вернуть сайт в поиск и заслужить доверие поисковых машин будет сложно.

15. Индексация сайта с www и без www

По сути, www – это поддомен..сайт – это разные адреса сайта. Перепроверьте, указали вы 301 редирект с одного домена на другой. Также не забудьте указать основное доменное имя, и при этом подтвердить, что вы являетесь владельцем обеих доменов, чтобы поисковая система не считала эти домены разными сайтами.

16. Отсутствие карты сайта

В редких случаях, но отсутствие Sitemap на сайте может стать причиной того, что он остается незамеченным поисковыми ботами. Эту страницу тоже не забудьте добавить в панель вебмастера Яндекс и Google.

Заключение

Без индексации веб-сайта его существование просто бессмысленно, только если вы не ведете его чисто для себя. Если желаете продвигать сайт, найдите причину, из-за которой он не заносится в индекс. Это важно, чтобы поскорее предотвратить проблему и в дальнейшем не допускать ее снова.

Если же вы исправили все вышеуказанные причины и ресурс все-равно не попадает в поиск, незамедлительно обращайтесь в поддержку Google и Яндекс. Там вам с большой вероятностью объяснят, в чем дело.