Блог Евгения Вергуса Советы Вебмастера

Начните зарабатывать на партнерских программах, даже если у вас нет опыта и знаний! Скачайте бесплатный видеокурс по партнерским программам. Получить бесплатно
Евгений Вергус
Рубрики блога: Показать все

Файл robots.txt для WordPress

Robots.txt

Всем доброго времени суток, уважаемые читатели. Сегодня я расскажу Вам как сделать файл robots.txt, который ставится один раз на Ваш сайт и все, Вы о нем забываете навсегда, но он постоянно работает и подсказывает поисковым роботам, где и какие страницы надо индексировать, а какие нет. Поисковики очень не любят когда полно всякого мусора, повторяющихся страниц и так далее, поэтому надо дать роботу все что полезно для пользователя и он с удовольствием проиндексирует Ваши страницы.

Сразу хочу Вам сказать, что если у Вас отсутствует файл robots.txt или стоит какой-нибудь другой, который позволяет индексировать все подряд, то у Вас могут выпасть страницы из индекса Яндекса и Google, но это полезная процедура, так как все страницы будут проходить правильную переиндексацию и в скором времени все станет на свои места. После того, как поисковики проиндексируют заново, все что нужно, страницы постепенно попадут в индекс и все станет на свои места.  У меня этот процесс занял не более недели. Кстати, много полезного по SEO-продвижению, Вы сможете найти на данном seo-блоге.

Файл берем здесь robots.txt  разархивируем архив и получаем файл robots.txt он должен называться так как есть, менять ни чего не надо, иначе пользы от него не будет ни какой. Теперь покажу на примере что Вам нужно заменить в данном файле. В самом низу файла необходимо заменить адрес моего сайта на Ваш и все больше ничего делать не надо, после чего необходимо сохранить Ваш файл robots.txt. Итак, вот пример красным выделено то, что Вам надо заменить на свой адрес:

Host: sovetywebmastera.ru

Sitemap: http://sovetywebmastera.ru/sitemap.xml.gz

Sitemap: http://sovetywebmastera.ru/sitemap.xml

Меняем только адрес Вашего сайта и все!!!

После сохранения, файл robots.txt необходимо загрузить на Ваш хостинг в корневую папку Вашего сайта, для этого заходим в панель управления хостингом и находим там «файловый менеджер» либо для тех кто пользуется Total commander, можно загрузить при помощи данной программы, но я Вам покажу на примере своего любимого хостинга Timeweb.

Заходим в «Файловый менеджер» и попадаем в данное окно:

Robots

Для того, чтобы попасть именно в корневую папку, надо найти папку с названием Вашего сайта, нажать на нее и далее нажать на папку public_html, это корневая папка по умолчанию  для WordPress, после этого нажимаем на кнопку «Файл» далее «Закачать», затем выбираем наш файл robots.txt и закачиваем его в данную папку. Все, файл установлен и будет приносить нашему сайту пользу и постоянное продвижение. Еще необходимо будет составить карту Вашего сайта для поисковиков, но об этом уже в следующей статье.

Вот мы и сделали одно из самых важных дел для наших сайтов. Также как всегда жду Ваших комментариев к данной статье и конечно задавайте вопросы, я обязательно постараюсь на них ответить. Все Вам удачи и роста Вашим ресурсам и помните главное, никто не сделает лучше, чем мы сами. Обязательно прочтите дополнение о ЧПУ ссылках по данной ссылке.

P.S. Внимание!!! На данный момент алгоритмы поисковых систем поменялись и файл тоже теперь совсем другой, поэтому скачайте, а затем разархивируйте правильный файл по ссылке ниже и замените название своего домена.

Правильный файл robots.txt скачивать здесь >>>

В завершении предлагаю посмотреть видео, что такое robots.txt, видео для ознакомительных целей, не стоит менять предложенный файл, если у Вас недостаточно для этого знаний. Файл который представлен в моей статье, также установлен и на моем блоге, отлично работает и не вызывал никаких проблем.

Спасибо Вам за то, что поделились статьей в социальных сетях!
Вконтакте
Телеграм
Рекомендую ознакомиться с похожими статьями:
Оставлено 189 комментариев
  • Ольга

    статья полезная и важная. не каждый знает такие подробности сайтостроения! :)))

    • admin

      Спасибо, надеюсь мой сайт принесет Вам пользу.

  • Евгения

    Класс, пошла устанавливать)

  • Михаил

    Привет Евгений!Читал про этот файл ,но смелости всё не хватало проделать это самому.Спасибо тебе за доступное и понятное объяснение.Всё сделал.Единственное что меня смутило это то что при добавлении в корневую папку файла,у меня не было названия моего сайта.Но думаю это не проблема потому что фафикон я тоже так добавлял и он у меня высвечивается.

    • admin

      Привет, Михаил. Я думаю все будет нормально, зарегистрируйся в Яндекс Вебмастер и сможешь проверить, работает файл или нет.

  • Лилия

    Статья полезная,написана понятно и хорошо, но для меня это пройденный этап, сейчас больше интересует как сделать карту сайта, так что буду ждать следующую статью. Спасибо.

    • admin

      Статья будет сегодня вечером.

  • Ольга

    привет, Михаил. Кликаю по ссылке,как написано -/Файл берем здесь robots.txt/выходит таблица-список , где надо менять ваш адрес сайта на мой,но к сожалению ваши данные не стираются, а мои соответственно не вставляются.Что-то здесь не так???

    • admin

      Скопируйте все в блокнот и назовите robots.txt, а затем замените на свои нужные строки.

    • admin

      Добавил архив, скачайте, разархивируйте и меняйте все что нужно.

  • Ольга

    Евгений, простите меня, но и дальше мне непонятно — /Для того, чтобы попасть именно в корневую папку, надо найти папку с названием Вашего сайта/ — я дошла до этого пункта и опять я в ступоре, как же мне найти эту папку? я сейчас нахожусь в «файловом менеджере», но в браузере такие данные cp.timeweb.ru/fileman/ Видимо надо вставить свои?

    я смотрю, что написано у вас, вставляю со своими данными, но мне отвечают, что гугл не может меня найти,нэма меня!! вот печаль!во засада! Как всегда, с уважением...

    • admin

      Вы находитесь там где нужно, ниже расположены папки, найдите папку с название вашего сайта и нажмите на нее, должна появиться папка public_html нажимаете на нее и далее файл , загрузить, выбрать вообщем все по тексту.

  • Ольга

    К сожалению папок никаких нет — поле пустое, как небо в дождь... — ни звёздочки, ни папочки.если бы были папки, ясный пень, что я свою бы нашла.Может это оттого, что я заплатила за хостинг только за 2 м-ца, так сказать «пробный этап». что-то я в раздумьи, похоже у меня ничё не получится.С уважением...

    • admin

      Если хостинг закончится, то Ваш сайт работать не будет, сейчас он работает, значит все нормально. Папки есть у всех иначе бы Ваш сайт не работал, только там хранится информация и все файлы, возможно Вы смотрите технический домен или еще что нибудь. Поверьте мне, в интернете чудес не бывает.

  • Ольга

    Спасибо, Евгений! Вселяете надежду.Завтра займусь этим. Очень благодарна вам за помощь!Надеюсь получится.

  • Юлия

    А я когда захожу в файловый менеджер, там только папка public_html и больше ничего нет.

    • admin

      Нажимайте на зеленую стрелку вверх и папки будут появляться, но Вам нужна именно эта папка, нажмите на нее и далее файл, загрузить и далее по тесту. Если не понятно, пишите.

  • Юлия

    Евгений, спасибо! Файл установила, как всегда очень полезная статья!

    • admin

      Всегда пожалуйста, рад помочь.

  • Инна

    Спасибо вам Евгений за подробное описание. Файл установила как у вас описано, теперь буду ждать следующие ваши статьи.

    • admin

      Пожалуйста, Ирина, всегда рад помочь.

  • Светлана

    Евгений сделала все как описано, все получилось,теперь буду ждать результата.И еще если возможно, поясните пожл.что значат ошибки валидации.При анализе сайта в cy-pr выдает информацию , что есть ошибки,что это такое и как с ним бороться?

    • admin

      Все нормально, не надо обращать на них внимания. Они Вам ничем не навредят.

  • Светлана

    Евгений и еще вопрос .Запустила анализ сайта в dinews. Если раньше при анализе на это сервисе у меня файл robots.txt не показывался, то теперь сразу же виден прямо на странице в рамочке со всеми надписями .Это нормально? И сколько должно быть внутренних ссылок, а то у меня по моему их очень много, что сними делать?

    • admin

      Все нормально, так и должно быть, а сколько внутренних ссылок?

  • Светлана

    123 ссылки.

    • admin

      Нормально, не много больше чем положено, но не страшно.

  • Татьяна

    Спасибо Евгений,вроде все прошло гладко с установкой, но вот как проверить?

    • admin

      Файл не изменился, что-то не так сделали, удалите файл, а далее сделайте все так сказано в моей статье и файл тоже возьмите с моей статьи.

  • Татьяна

    Спасибо Женя!Я уже написала в службу поддержки, дело в том, что у меня корневая папка public_html пустая. Подожду ответа.

  • Татьяна

    Женя! Мне ответили в тех. поддержке хостинга:попробуйте воспользоваться FTP-клиентом для загрузки файлов на сайт, например FileZilla. Я не совсем поняла, о чем речь... Что мне делать, может попробовать опять по новой установить, следую рекомендациям вашей статьи?

    • admin

      Татьяна, когда Вы заходите в файловый менеджер, что у Вас отображается? Есть ли какие-нибудь папки?

      • Татьяна

        В том то и дело, что раньше открывала корневую папку и там было много папок и файлов, а сейчас одна папка и файл((( cgi-bin, index.html. В службе тех. поддержки не могут ничего ответить((

      • admin

        Татьяна, надо писать в службу поддержки. Я просто на днях занимался чужим сайтом и там вообще не было папок. Я написал в службу поддержки письмо, почему в файловом менеджере не отображаются папки с файлами и указал адрес сайта и через час пришел ответ о том что ошибка исправлена и все папки появились и я удачно разместил файл.

      • Татьяна

        Женя, пишу им в третий раз, вот последний ответ:"На вашем аккаунте нет файлов кроме папки public_html. Уточните, какие файлы там должны быть? Папка public_html корень вашего сайта." А я то откуда помню, какие были папки и файлы, там больше страницы.

      • admin

        Татьяна, если есть данная папка, загрузите туда robots.txt и напишите мне, я проверю.

  • Татьяна

    Все сделала.

    • admin

      У вас старый файл, удалите его и поставьте новый, который у меня в статье.

      • Татьяна

        Хорошо,сейчас заново все сделаю, хотя и брала ваш. По-моему у меня двойной аккаунт, сейчас пытаюсь разобраться. Извините, что заняла у вас столько времени(((. Вы Женя может удалите мою переписку, а то людям будет неудобно свои вопросы писать)))я пол страницы уже заняла со своей проблемой.

      • admin

        Да места всем хватит, не переживайте.

      • Татьяна

        Все, закачала заново, у меня каким то образом вышло два аккаунта на хостинге, поэтому тех.поддержка была в ступоре. Сейчас перезашла и у меня отображаются все мои папки и файлы.

      • admin

        Татьяна, я Вас поздравляю, Вы его победили, все отлично, теперь ждите переиндексацию и пишите побольше статей. Удачи, всегда рад помочь. Можете обращаться в любое время.

  • Татьяна

    еееееессссссссс!)))) СПАСИБО ВАМ ЖЕНЯ ОГРОМНОЕ!!!

  • Ольга

    На хостинге, после нажатия «файловый менеджер», я не вижу папку с названием моего сайта, но папка public_html есть. Я туда и закачала. Как думаете, работать будет?

    • admin

      Работает, я Вас поздравляю! Я проверил, файл есть, теперь будет переиндексация.

  • Екатерина

    Евгений, я два дня назад сделала файл робот тхт, вроде бы правильно все. Но у меня почему-то в некоторых статьях перестала отображаться реклама от гугл, в новых вообще не отображается. Зашла в гугл в «инструменты для вебмастеров», там написано что обнаружена ошибка и некоторые важные страницы блокируются роботом. И в эти два дня я иногда не могу выйти на сайт, показывает «ошибку 512». Это может быть связано с файлом «робот тхт»?

    • admin

      Екатерина, обязательно прочтите статью заново, я добавил внизу дополнение, если есть в названиях ? это будет плохо, надо убирать или менять файл. А по-поводу http:// все верно сделали.

  • Екатерина

    Все, я вроде бы нашла ошибку. В поле Host я написала название сайта с http://, а не надо было-:)

  • Екатерина

    Ну конечно у меня есть в названиях знак ?, попробую поменять тип ссылки в панели инструментов. Но все дело в том, что я уже очень много где своих ссылок наоставляла, да и на самом сайте у меня много внутренних ссылок. Если я сейчас поменяю тип ссылки, то прошлые ссылки перестанут работать? Извините за глупый вопрос...

    • admin

      Вопрос не глупый, да перестанут, поэтому лучше поменять сейчас, чем когда пройдет время, но все это на Ваше усмотрение, можете просто закачать другой файл или убрать строку, о которой я писал.

  • Екатерина

    Я поменяла тип ссылки, потом проверила через некоторые источники, где я эту ссылку оставляла, все работает! Но гугл в инструментах для вебмастеров все равно сообщает мне об ошибках, что некоторые важные страницы блокируются роботом, так и должно быть? У меня в плагине All in One SEO Pack стоит запрет на индексацию архивов и тегов...

    • admin

      В роботе прописана блокировка ненужных файлов, это темы, плагины, кэш и так далее, у меня тоже многие страницы закрыты, всякий мусор и дублирование контента плохо влияет на индексацию сайта.

  • Татьяна

    Женя все правильно...это мой случай, уже второй раз после опубликования статьи у меня в панели админа, показывает все ссылки в разделе неправильные ...с вопросами что тогда лучше удалить тот файл из корневой папки или вручную редактировать в панели все ссылки?

    • admin

      Надо настроить постоянные ссылки ЧПУ в панели инструментов, в настройках, надо чтобы было без вопросов.

  • Виктория

    Спасибо, Вам, большое, Евгений! Вы очень помогаете. Все установила, и хочу уточнить, знак вопроса нужна убрать в названии страниц или в названиях статей? Спасибо.

  • Любовь

    Женя! Подскажи, пожалуйста, по следующему вопросу: У меня практически во всех статьях и на страницах сайта исчезла реклама Google. Я зашла на главную страницу моего аккаунта Google AdSense — Настройки аккаунта — Доступ и авторизация — Доступ для робота — Ошибки сканирования. И там заблокированный URL, причина блокировки — файл robots.txt. А заблокированный URL — перечислены все мои статьи и страницы. Я думаю, может быть реклама исчезла из -за этого?

    • Евгений Вергус

      У вас в ссылках есть знак вопроса, а все ссылки со знаком вопроса блокируются, это прописано в данном файле. Прочитайте внимательно статью, надо заменить в настройках ссылок ЧПУ на числовой или использовать плагин, все это описано в статье.

  • Любовь

    Женя! Я, честно говоря, не понимаю, что значит: заменить в настройках ссылок ЧПУ на числовой?

    • Евгений Вергус

      В панели управления, находите Настройки, а далее вкладка Постоянные ссылки ЧПУ и в настройках выбираете числовой, но старые ссылки работать не будут, те ссылки которые Вы оставляли на других сайтах на свои статьи, если все оставите так как есть, то удалите файл robots.txt и или замените его на другой в конце статьи есть другой файл, его надо будет поставить, в противном случае у Вас выпадут из индекса все страницы и почему никто ни читает до конца и внимательно, все делают, а потом начинают исправлять ошибки, я же написал что ссылки со знаком ? закрыты от индексации.

  • Екатерина

    Евгений, а я ссылку заменила уже несколько дней назад, но у меня все равно страниц в индексе значительно убавилось. Исчезла третья часть моих статей. Я вот думаю, может все статьи через Аддурилку прогнать, что бы они вернулись в индекс? И ошибку мне гугл все равно каждый день показывает, что робот блокирует важные страницы.

    • Евгений Вергус

      Все нормально, надо ждать переиндексацию, это примерно две недели или чуть более.

  • Екатерина

    Евгений, большое спасибо! Я заменила на ссылку со словом archives, то есть, например архив 123 и так далее, а сейчас подумала, может надо было заменить на название поста? Ссылки со словом «архив» нормально индексируются? Уже всего боишься, и лучше исправить сразу, я думаю, пока не так много статей...

    • Евгений Вергус

      Все будет нормально индексироваться, главное чтобы в ссылках не было знака ? в данном файле ссылки со знаком ? закрыты от индексации.

  • Екатерина

    Поясню,этот тип ссылки называется «числовой»...

  • Екатерина

    Спасибо еще раз, Евгений, за ваши оперативные ответы! А я перестраховалась дважды получается — я и ссылки сменила, и сам файл робот тхт тоже, удалила старый и закачала новый, который внизу статьи...на всякий случай-:)

  • Татьяна

    Скажите пожалуйста,если я случайно закачала в корневой каталог файл robot.zip как его теперь удалить? Что-то у меня он никак не удаляется.Или ничего страшного ,может можно сюда же еще и robot.txt просто добавить?

    • Евгений Вергус

      Найдите его в папке, выделите и удалите. Можно закачать и новый, но лишний мусор не нужен, все на Ваше усмотрение.

  • Екатерина

    У меня стоит плагин AII in SEO Pask где закрыты архивы и теги, разрешены только категории, это не помешает переиндексации?

    • Евгений Вергус

      Нет, дублированный контент это очень плохо для сайта, поэтому и тэги и архивы должны быть закрыты, у меня заблокировано более 800 страниц и это нормально.

  • Екатерина

    Ладно, ничего не буду делать, буду ждать переиндексации, может странички, все-таки, вернутся в индекс, а то очень хочется уже попроситься в Ротапост.

  • Екатерина

    Здравствуйте, Евгений! С Рождеством! Я на днях сделала второй сайт, опять буду вам надоедать-:) Я закачала сегодня робот тхт, подтвердила права на сайт, но сайт не индексируется. В Яндексе написано, что сайт не проиндексировался, так как DNS сервер не вернул роботу адрес сайта. Я проверила через форму проверки, там написано что если сервер отдает HTTP код 200, то сайт начнет индексироваться в течение 2-х недель. Что это обозначает? Мой первый сайт был быстро проиндексирован...

    • Евгений Вергус

      2 недели для индексации сайта это нормально, тем более что Яндекс с каждым днем удивляет все больше и больше, а с кодом 200 я не знаком, к сожалению всего знать не могу.

  • Екатерина

    А чем Яндекс удивляет? У меня основной поток посетителей именно с Яндекса.

    • Евгений Вергус

      Этим и удивляет, люди оптимизируют месяцами свои сайты, а Вашему сайту пару месяцев и такой трафик с поисковиков, с такой посещаемостью сайт должен приносить 15-20 т рублей минимум в месяц, если это так, то я Вас поздравляю.правда у Вас слишком мало просмотров для такой посещаемости и это наводит на определенные мысли.

  • Екатерина

    На какие? У меня сегодня первый день столько посетителей по одному единственному запросу — рождественские гадания. А так, в среднем, у меня 150-200 посетителей. И я продвигаю свой сайт только лишь своими статьями, не зря же я два года работала копирайтером на биржах-:)Евгений, я ни разу не купила ни одной ссылки, честно! Но вот по трастовой базе свой сайт я прогнала. Сидела буквально ночами. Да и на написание и оптимизацию статей у меня уходит много времени. И заработка пока особого нет, так как я только пробую пока разные виды и зарегистрировалась только в РотаПост.

    • Евгений Вергус

      Конечно Ваша совесть чиста и я вообще не собирался Вас в чем-то обвинять, я всегда отношусь с уважением ко всем своим посетителям, а определенные мысли, я имею ввиду выдачу Яндекса, её на данный момент его очень тяжело понять и предугадать с точки зрения оптимизатора, а Ваша статья попала в выдачу и я Вас с этим поздравляю, если она там задержится, то будет хорошо, хотя этот запрос временный, пойду гляну сколько выдает посетителей.

  • Екатерина

    Так что моя совесть чиста. Я ничего не вкладывала в свой сайт, кроме своего труда.

    • Евгений Вергус

      И это главное, свой труд, это и дает основной заработок.

  • Екатерина

    Да ну и что, что временный...А дальше будет Крещение, день Валентина и 8 марта-:) Главное вовремя написать и что бы статья попала в индекс...

    • Евгений Вергус

      Да все верно, удачи Вам и Вашему сайту.

  • Екатерина

    Спасибо, Евгений! Вам я тоже желаю Процветания, тем более в волшебную ночь перед Рождеством все мечты и пожелания осуществляются!-:)

    • Евгений Вергус

      Огромное спасибо, надеюсь что Ваши пожелания сбудутся.

  • Елена

    Привет!!!

    Файл ТХТ обязательно нужен для сайта ,но он также блокируе некоторые системы ((

    • Евгений Вергус

      Какие именно, что Вы имеете в виду.

  • Дмитрий Антонюк

    Вопрос: если у меня несколько сайтов на одном хосте с разной тематикой,можно ли установить этот файл?

    • Евгений Вергус

      Файл robots.txt должен стоять на всех сайтах без исключения, именно этот файл разработан и идеально подходит для всех сайтов на движке WordPress.

  • Дарья

    Евгений, спасибо вам огромное за помощь! И статья нужная и интересная. Еще раз спасибо.

    • Евгений Вергус

      Дарья, всегда рад помочь. Тебе конечно тоже большое спасибо.

  • Цветан Кръстев

    Здравствуйте!

    Мне все понравилось!

    Желаю для всех Вам здоровье и счастье!

    Ваш незнакомьi друг Цветан.

    • Евгений Вергус

      Цветан, спасибо Вам. Рад буду Вас видеть на своем сайте.

  • Борис

    Искал по роботу тхт и попался ваш,попробовал по вашим советам-получилось,правда у моего сайта все сырое еще,и данные по робату высветились 4 строки User-agent: *

    Disallow: /wp-admin/

    Disallow: /wp-includes/

    Sitemap: anisimow5.tmweb.ru/sitemap.xml.gz, как перевелось запрещен в админ и в себе,и карта сайта.

    • Евгений Вергус

      Борис, если Вы все правильно сделали, то должен отображаться файл тот, который Вы закачали и тогда будет все работать правильно.

  • Борис

    Евгений добрый день,извиняюсь за назойливость,но с роботом тхт ничего не получается.Я уж и домен поменял и в названии сайта изменения,при в вводе на УРЛ высвечивается только самые первые 4строки.Не могу понять в чем дело? Хостинк у меня тоже TimeWeb.

    • Евгений Вергус

      Борис, файл нужно скачать и изменить название моего сайта на Ваш и загрузить его в папку public данного сайта и все. Возможно Вы загрузили файл в другую папку или он называется не robots.txt

      • Борис

        Евгений спосибо за ответ,файл скачал ваш robots.txt.Названии сайта вставил свои, согласно доменного имени,но вот где зеленая стрелка указател на файлы после на

        клонной / мой сайт не написан?

        User-agent: *

        Disallow: /wp-admin/

        Disallow: /wp-includes/ вот все что высвечивается!

      • Евгений Вергус

        Борис, пока Вы не поместите файл в в папку public, то он отображаться не будет.

  • Борис

    Евгений приветствую ВАС!Начал с вами с робота,вот что на сегоднешний день имею а?б?аДаЕаЛаИб?б? аВб?аЕ,квадратики буквы на всех записях,все перерыл,не нашел ни одной подсказки,как исправить.Бекап сайта сделал в архив на всякий случай!Главно так выглядит только в Opere, в Mazille и в Crome все нормально за исключением деталей,в записях пропал редактор.Евгений что посоветуете? Переустоновить WordPress? Или все же есть выход.

    • Евгений Вергус

      Борис, у Вас все нормально, только что был на Вашем сайте. Проблема наверное с браузером, в настройках браузера надо очистить кеш.

  • Борис

    Да Евгений чуть не забыл,главное на счетчике,показывает что есть посетители? Им эти каракули не видно что ли?

  • Борис

    СПОСИБО Евгений,Завтра попробую!

    • Евгений Вергус

      Пожалуйста, Борис.

  • Борис

    Евгений получилось!!!Почитал литературу про кеширование,попробовал настроить интернет эксплоер,в разделе вид сказоно настроить кодирование,там попробовал и точно вылазиют аброкодабры в записи. Вернулся на свой сайт нажал правой кнопкой, открылось окно, где есть стрелка круговая, называется обновления, на нее нажал, аброкадабры на сайте изчезли.Может наша переписка поможет еще кому-то. Блогодарю Вас! PS/На сайте кнопку надо нажимать не на надпись а на прогал те на чистое место.

    • Евгений Вергус

      Борис, в нашем деле все просто, главное знать куда нажать.

  • Ирина

    Доброго времени, Евгений!

    Хотелось бы получить помощь. Опыта совсем нет.

    Поставила наконец-то robots.txt c Вашей помощью. Но наделала кучу ошибок. В результате не могу удалить robot.txt и robot.rar. После выделения не появляется «удалить» и не удаляется кнопкой Del. Помогите, оказывается, я совсем тупая.

    • Евгений Вергус

      Ирина, подпишитесь на мой бесплатный курс по созданию сайтов, получите доступ и там есть видеоурок о том как поставить данный файл. И откуда Вы не можете удалить файл и зачем? Его можно просто отредактировать.

  • Надежда Ковальская

    Установила файл на свой блог! Знала о нем и раньше, но на новый блог забыла сделать. Спасибо, Женя, за напоминание! Теперь еще больше разобралась, что за файл и для чего он нужен, благодарю за статью и за видео!

    • Евгений Вергус

      Надежда, всегда пожалуйста, у меня много чего хорошего есть на сайте, стараюсь радовать своих читателей 🙂

      • Надежда Ковальская

        Ага, я уже заметила, буду перечитывать по возможности старые статьи. Уверенна, найду много полезного для себя.

      • Евгений Вергус

        Я буду очень рад, если ты найдешь для себя полезности, а я думаю, что найдешь много полезного 🙂

  • Алена Трач

    Большое спасибо! исправила ошибки в своем файле

  • Надежда

    Евгений, я правильно поняла: удалить из файла роботс, что я у вас скачала две строчки Disallow: /*?* И только потом закачивать в корневую папку?

    • Евгений Вергус

      Надежда, у Вас со ссылками все в порядке, так что Вам можно не убирать, это для тех, у кого в ссылках есть знак ?, а у Вас все нормально.

  • Надежда

    Все поняла, Евгений, спасибо огромное!

    • Евгений Вергус

      Да не за что, но напоминаю, что после смены данного файла будет переиндексация, так что не удивляетесь, если страницы будут выпадать из индекса, со временем все вернется.

  • Любовь

    Женя! Я у тебя когда — то скачала файл robots.txt (для ссылок со знаком ?).

    Затем недавно со Школы Старт Ап пришло письмо с видео, чтобы убрать ненужный пробел.

    Это я сделала где — то месяц назад. А сейчас начало глючить на CY-PR.com , то не показывает индексацию страниц от Яндекса, то от Гугл.

    Я смотрела несколько файлов на других сайтах, где хорошо индексируются страницы, там файл robots.txt больше по объему (больше строчек) и нет строки, которую я выделила на скриншоте:

    clip2net.com/s/28f1C

    Я могу добавить новые строчки в файл( кроме со знаком вопроса) и могу удалить эти строчки, что я выделила?

  • Любовь

    Женя, ты извини. Я поняла, что я задала некорректный вопрос. Я посмотрела твой файл robots.txt У тебя сайт прекрасно индексируется. Я оставляю все, как есть.

    • Евгений Вергус

      Да, за что, каждый должен сам для себя сделать выбор, меня устраивает и этот файл.

  • Вадим

    Евгений, большое спасибо за полезную статью! каждый раз, когда у меня возникают проблемы, я захожу на ваш сайт, и нахожу ответы.

    • Евгений Вергус

      Вадим, я очень рад, что вам помогаем мой сайт 🙂

  • Мария

    Здравствуйте, Евгений!

    У меня, мне кажется, тоже проблема с robots.txt. Мой сайт не индексируется Яндексом, а по гуглу данные есть.

    В заданиях школы Start Up ничего не говорится , что нужно убрать ссылки со знаком ?.

    Женя, Вы сможете посмотреть, в чем дело. И еще, когда заполняла к вам отзыв, у меня выскочило два сайта Почему так?

    Если у меня неправильный robots.txt то как его удалить?

    • Евгений Вергус

      Мария, смените настройку ссылок ЧПУ и все будет нормально, у меня в статье есть ссылка, как это сделать. Если не найдете, напишите, я дам ссылочку. Сам файл правильный, просто нужно поменять ЧПУ ссылок и все.

  • Татьяна

    Ура, роботс теперь присутствует!!! Спасибо вам. Теперь только ссылки исправить...

  • Галина

    Здравствуйте, Евгений!

    Я проверила robot.txt в Яандексе и получила ответ,

    что это значит?

    Используемые секции

    Строка

    21-40

    User-agent: Yandex

    Disallow: /wp-login.php

    ...

    Host: cemenova.ru

    42-43

    • Евгений

      Здравствуйте, все правильно показывает, так и должно быть, Яндекс показывает какие строки он использует из файла, остальные строки для других поисковых роботов. Да и вообще, не нужно лезть в дебри, поставили файл и забыли про него, вот и все.

  • Наталья

    Здравствуйте Евгений! У меня тоже сайт не индексирует Яндекс,обратилась в техподдержку, там ответили, что стоит запрет (Disallow: /*?*) и его необходимо удалить, тогда все будет хорошо.Скажите, это же и есть две строчки, про которые вы говорили, что их надо удалить? Уточняю, чтоб не удалить что то другое. И еще вопрос-мне тоже нужно будет поменять ЧПУ ссылок? Заранее вам благодарна за ответ. С уважением.

    • Евгений Вергус

      Наталья, если у Вас в ссылках есть знак ?, то конечно нужно убрать данную строку. Если Вы смените настройки ссылок, то стоит понимать, что адреса страниц изменятся, советую почитать вот эти статьи, там я все подробно рассказал и показал sovetywebmastera.ru/seo/f...k-chpu-videourok и вот эту sovetywebmastera.ru/kak-p...azvaniya-ssyilok

  • Наталья

    Спасибо Жень, за такой быстрый ответ. Сейчас буду удалять эти две строки. А дальше лучше сразу установить плагин и менять ссылки? Информацию я как раз сейчас читаю.

    • Евгений Вергус

      Какой плагин? Если сделать настройку ссылок, то и удалять ничего не надо, а нужно оставить все как есть.

  • Наталья

    Плагин Cyr-To-Lat, чтоб настроить ссылки.

    То есть если его устанавливать, то удалять ничего не нужно, я правильно поняла?

    • Евгений Вергус

      ДА, совершенно верно 🙂 Все это есть в моем бесплатном курсе, там все рассказал подробно, чтобы новичок с самого начала все делал правильно 😉

  • Наталья

    Если б я с самого начала была с вами! Но сайт сделала с Твой старт,а там это как то размыто. Ну а все остальное у вас,и семантическое ядро и многое другое. У меня вот еще вопрос- названия записей, статей нужно писать на латинице, немного непонятно.

    • Евгений Вергус

      Да названия после установки данного плагина сами будут писаться как надо 🙂 Будете писать по русски, а ссылка будет в транслитерации.

  • Наталья

    Евгений, я вам очень благодарна, спасибо вам большое! Конечно беспокоюсь, чтобы все прошло хорошо, а то почитала -у многих все посбивалось, надеюсь у меня обойдется!

    А файл robot.txt трогать не нужно? Там все выправится само собой, да? А то жаль, роботы ко мне заходят, а индексировать не могут, а я и думаю в чем же дело?

    • Евгений Вергус

      Нет, само собой ничего не выправится, но если Вы все сделаете как написано в статьях, то все будет отлично и файл robot.txt трогать не надо. И всегда пожалуйста!

  • Наталья

    Еще раз большое вам спасибо!И дай вам бог всего самого лучшего!

    О своих успехах или наоборот, обязательно отпишусь. УДАЧИ!

  • Alexey

    Зачем писать одно и тоже под

    user agent: *

    и user agent: yandex ?

    По сути, достаточно одной секции — user agent: *

    Так как в данном случае абсолютно идентичные правила как «для всех», так и «для яндекса».

    • Евгений Вергус

      У меня сделано так и спорить здесь бесполезно. Я уже неоднократно говорил, что по данному файлу много споров и разногласий. Но это проверен и работает отлично.

  • Andrew

    Здравствуйте! Не могу удалить или изменить файл robots.txt с помощью filezilla! Из-за этого не индексируется сайт(т.к. там прописано, что индексация агентами запрещена). Подскажите, как можно его удалить или изменить? При попытках удаления/изменения выдаёт критическую ошибку! Спасибо!

    • Евгений Вергус

      Любой файл можно удалить, роботс это всего лишь текстовый документ. Можно удалить с помощью файлового менеджера на хостинге.

  • Светлана Нимчук

    Спасибо, Евгений,думаю, что решила свою проблему с помощью вашего файла робот тхт, блог индексировался нормально, я начала изучать и анализировать робот, поменяла на другой файл, наредактировала что-то не правильно и в поиске только главная страница. В результате проверки в вебмастере яндекс дал ответ, что я сама запретила все страницы в роботе. Сегодня заменила файл робот на ваш, проверила страницы — разрешены. Но нужно ли индексировать категории, это не дублирует страницы? Спасибо большое за полезности на вашем сайте.

    • Евгений Вергус

      Светлана, тот файл который я предлагаю, установлен и у меня лично и работает он идеально.

  • гена

    Спасибо!!!

  • Алена Чайка

    Евгений! Если уже стоит робот, но я подозреваю, что он не работает и хочу его заменить на нормальный, тот, который Вы даете. Как правильно это сделать? На тему сайта это не повлияет? Какие могут быть последствия?

    • Евгений Вергус

      А зачем подозревать? Зайдите в Яндекс.Вебмастер и все станет ясно.

      Также всегда можно поменять данный файл, но нужно понимать, что может начаться переиндексация и новые данные вступят в силу через 2-3 поисковых выдачи.

  • юлия

    Здравствуйте, Евгений. Я прошла Ваши курсы, создала сайт, и изучила курс «Денежные ручейки». Установила файл robots.txt. Но Яндекс пишет, что у меня 308 страниц закрыто от индексации, причина файл robots.txt. Возможно ли это? Буду очень признательна Вам, если поможете понять причину.

    • Евгений Вергус

      Если вы проходили мои курсы, то там ясно сказано, что роботс закрывает ненужное. У вас в индексе 174 страницы, все в полном порядке.

  • Виктория

    Ну вот, нашелся нормальный человек, который просто поделился своим robots.txt =)

    Сейчас пойду про SEO читать 😀

    • Евгений Вергус

      Виктория, согласен, многие всегда льют воду и объясняют все «космическим» языком для инопланетян 🙂

  • Алексей

    Большое Вам спасибо.Все толково описали!

  • Евгений

    Итак, Евгений, снова поменялся роботс.txt у Вас и других гуру, в связи с известными событиями. Теперь для нас, тех кто движется, собственно, за Вами, и доверяет только Вам (в моем случае) необходимы некоторые разъяснения/подтверждения. Следует ли руководствоваться Вашим нынешним роботс? И что следует перенять, а к чему отнестись, как к руководству, только при определенных условиях?

    • Евгений Вергус

      Ни что не стоит на месте. Я сам поменял файл буквально на днях. Во всех статьях и в курсе он изменен на тот, который установлен на моем блоге. И что значит снова? За 2,5 года я первый раз поменял данный файл.

      • Евгений

        Снова — это вообще о гуру, в число которых отношу и Вас.

        Тогда о деталях. Что обозначает «Disallow: /ompin». Что закрываем этим? Дубли картинок?

      • Евгений Вергус

        Да, хороший вопрос. Я сразу не посмотрел и поспешил, сейчас исправлю, это директива не нужна в файле. Ее просто можно удалить, но и вреда от нее не будет.

  • Лариса

    Здравствуйте, Евгений.Скачала предложенный Вами Робот — действительно непривычно выглядит. Посмотрела тот, что находится у Вас на блоге — почему-то в нем не хватает строчки Sitemap: sovetywebmastera.ru/sitemap.xml.gz. xml есть, а xml.gz нету. Поскольку опыт общения с Роботом у меня достаточно грустный, теперь я как та пуганая ворона — и куста боюсь. Поясните, пожалуйста.

    И еще, я правильно поняла, что если на блоге с самого рождения установлены ЧПУ, то Ваш робот можно спокойно скачивать — все будет ок?

    • Евгений Вергус

      Все будет нормально 🙂 Это проверено на все 100%. Что касается Sitemap, то у меня данная строка осталась еще с прошлого файла.

  • Лариса

    Евгений, здравствуйте. Я проходила у Вас курс по партнерке, и вот сегодня новый блог поставила на индексацию в Гугл. Добавила сайт и подтвердила права. Собралась загрузить Робот, а он мне пишет — последнее обновление 25 января 2015 (сегодня 31-е). Хорошо, загрузила новый, потом добавила sitemap.xml — пишет, запрещен в файле Робот. Не знаю, какие нервы нужны, чтобы всем этим заниматься. Пожалуйста, хоть как-то помогите разрулить эту проблему. Понимаю, что это с моей стороны наглость, но что же мне делать? Если можно, подключитесь ко мне в Скайп lorika_best чтобы все эти художества я смогла Вам продемонстрировать. Если я должна буду заплатить за консультацию — разумеется. Но моих мозгов здесь просто не хватает.

    • Евгений Вергус

      Лариса, я не оказываю поддержку в скайпе. Что касается «последнее обновление 25 января 2015», то это нормально, поисковый робот сам решает когда ему быть на вашем сайте и здесь вы ничего не сделаете, так и должно быть. Что значит «потом добавила sitemap.xml»? Я не обучаю добавлять sitemap.xml, для этого есть плагин, об этом можно почитать здесь sovetywebmastera.ru/kak-p...dlya-poiskovikov . Что касается самого файла Роботс, как он выглядит и как его загружать, все это показано в моем бесплатном курсе по созданию сайта, получить его можно здесь sovetywebmastera.ru/sait/

      • Лариса

        Спасибо, Евгений, за быстрый ответ, но такое ощущение, что мой комментарий Вы не читали. Обновление 25 января, но файл Роботс я добавила только 31 января. Простите, что обновлять, если его там не было.

        Что значит «потом добавила sitemap.xml» — в гугл мастер после добавления робота добавила sitemap.xml. Это удивляет?

        Робот я взяла у Вас, и хоть сквозь лупу смотри — нет там команды, запрещающей индексацию статей, а Гугл настаивает на том, что они запрещены файлом Роботс. Возможно, что-то в настройках плагина, но вроде бы все проверила — все ок. Понимаю, что где-то допускаю ошибку, но найти не получается.

      • Евгений Вергус

        Ну конечно, я не читал ваш комментарий и не уделил ему свое время, ну тогда как же я написал Вам ответ из нескольких предложений и нашел на своем сайте несколько ссылок, которые должны были вам помочь в вашем вопросе. К тому же, ни в одном своем курсе, я не обучаю работать с Гугл-инструментами.

  • Наталья Кочеткова

    Евгений, техническая служба хостинга рекомендует мне ограничить запросы с элементом «?replytocom» с помощью файла robots.txt — т к блог часто недоступен. Как вы посоветуете — нужно ли вносить такие изменения?

    • Евгений Вергус

      Да, изменения вносить можно.

  • Лариса

    Ух, сколько комментов!

    Женя, эта статья актуальна, ничего в роботс не поменялось с тех пор?

    • Евгений Вергус

      Поменялся. В данной статье тот который нужен.

  • Лариса

    Ого, да я вижу, ты его поменял полгода назад... Что подписчиков не обрадовал? ) Это всем теперь нужно такой ставить? Строчек гораздо меньше стало...

    • Евгений Вергус

      Файл был изменен здесь и в бесплатном курсе по созданию сайта, сам курс был выслан всем подписчикам.

  • Лариса

    Так тот старый и длинный уже не годен? У меня в нем еще и яндекс упоминается (не помню, когда и зачем появился). Может, он для чего-то нужен?

    • Лариса

      Задала анализ файла на яндекс-вебмастере, выдал, что он использует именно эти строчки — с 16 по 30... А в новом роботсе их нет. Или последних двух достаточно для яшки?

      • Лариса

        Забыла на комменты подписаться )

        Жду ответа, как соловей лета )))

      • Евгений Вергус

        Отписался по всем комментам 🙂 Если есть еще вопросы, готов ответить!

      • Лариса

        Ну вот этих строчек, например, нет в новом? Они точно не нужны?

        Crawl-delay: 4

        Disallow: /cgi-bin

        Disallow: /wp-admin

        Disallow: /trackback

        Disallow: */trackback

        Disallow: */*/trackback

        Disallow: */*/feed/*/

        Disallow: */feed

        Только не спрашивай, откуда они и для чего, я уже не помню...

      • Евгений Вергус

        В данном файле нет этих строк 🙂 Зачем спрашивать нужны они или нет? Если их там нет, то значит они не нужны.

      • Евгений Вергус

        Роботс не только для Яндекса и Яндекс использует только те строки, которые написаны для него 🙂

    • Евгений Вергус

      Вообще данных файлов масса и есть много споров по этому поводу. Но у меня такой и отлично себя чувствует.

  • Лариса

    Жень, так зачем в первой строчке гугл? Яша не обидится?

    • Евгений Вергус

      Нет, не обидится 🙂 Как я уже сказал, каждый робот берет свои строки, то есть то что ему указано, то он и делает 🙂

      • Лариса

        А гугл что должен делать, руководствуясь этим предписанием?

      • Евгений Вергус

        Гугл будет руководствоваться теми строками, которые указаны для него. Хотя и Гугл и Яндекс могут делать то, что им нужно, невзирая ни на какие директивы 🙂

  • Марина

    Евгений, добрый день. Хочу установить ваш файл. Но только мне не понятно.

    Сравниваю 1-ую и 3-ю строчку. В 3-ей строке не хватает «-» перед Images. Это ошибка или так и надо?

    User-agent: Googlebot-Image

    Allow: /wp-content/uploads/

    User-agent: YandexImages

    Allow: /wp-content/uploads/

    • Евгений Вергус

      Это не ошибка, все верно.

  • Сергей

    Добрый день!

    Подскажите, пожалуйста, ответы на вопросы:

    1. на сегодняшний день данный файл еще не потерял свою актуальность?

    2. Там, где говориться про

    Sitemap: sovetywebmastera.ru/sitemap.xml.gz

    Sitemap: sovetywebmastera.ru/sitemap.xml

    это имеется в виду, что файл sitemap.xml должен обязательно быть?

    3. если «да», то где этот файл можно взять.

    Заранее спасибо за ответ.

    • Евгений Вергус

      Данный файл в Вордпресс создается при помощи плагина Google XML Sitemaps

  • Сергей

    небольшое дополнение: я делал файл в программе Frontpafe на HTML (не на WordPress)

  • Виктория

    Очень помогли добавить файл роботс, долго не могла создать правильный. Скачала, сразу же пошла загрузка на хостинге в корневой директории.

  • Евгения

    Здравствуйте, правильный файл роботс на данный момент актуален и обновлен или уже устарел? Спасибо.

  • Александр

    Здравствуйте Евгений. Подскажите пожалуйста можно ли активировать ваш архив robots.txt в настройках плагина All in one SEO pack ?

  • Алексей

    Доброго дня! Подскажите ваш файл актуальный на данный момент? В сети искал как правильно составить, и у всех файл «правильный»

    • Евгений Вергус

      У всех свой и у всех правильный ))

  • Светлана

    Я всегда перед важными настройками движка делаю бекап сайта. Ваша статья помогает разобраться, спасибо.

Оставить свой комментарий

Ваш адрес email не будет опубликован.