Как работать с robots.txt? Просто о сложном

178 ratings | 9023 views


Как работать с robots.txt? Просто о сложном

Еще больше полезной информации на и Как и зачем необходимо создавать файл robots.txt? Любой сайт включает не только контент для пользователей, но и множество системных файлов. И когда робот поисковика начинает его сканировать, для него нет разницы – системный это файл или какой-то другой. Он проиндексирует все подряд. Чтобы этого не случилось, необходимо отредактировать файл robots.txt. В видео мы расскажем о работе с основными директивами: - «User-agent:»; - «Disallow:»; - «Allow:»; - «Host:»; - «Sitemap:». ___________________ Другие мастер-классы в плейлисте - Не хватает знаний? ПОДПИШИСЬ НА КАНАЛ или зарегистрируйся на бесплатный семинар в Сайт нашего канала -~-~~-~~~-~~-~- Обязательно посмотрите: Как правильно настроить и использовать UTM метки? -~-~~-~~~-~~-~-

Comments to the video: Как работать с robots.txt? Просто о сложном

Азат Садыков 3 months ago
Спасибо за информацию!)
Melnikov Vladimir 8 months ago
Мне одному будто, что у него интонации будто как будто он обращается к интеллектуально отсталым детям?
Суровые Будни 8 months ago
Было бы не нехорошо демонстрировать на примере
Roman Kazimov 11 months ago
Спасибо, весьма попросту и понятно поведано.)
Усадьба Заозёрье 1 year ago
благодарю!!!
ALexander Dolgan 1 year ago
Спасибо
Lexa Dv 1 year ago
толку без кода это глядеть, дизлайк
Игорь Кравченко 1 year ago
благодарю за Вашу работу! подскажите изволь, у меня немало дублей страничек и я желал бы их скрыть от выдачи в пс, будто мне лучше устроиться? будто эти странички нужно прибавлять в robots.txt ?
SeoPultTV 1 year ago
Дубли лучше итого попробовать воспретить в самой CMS, поэтому будто при каждой новейшей страничке они будут являться.
Егор Бороздин 1 year ago
Спасибо!
Andrey Kos 2 years ago
отчего невозможно повергнуть образец текста?
Инесса Николаева 1 year ago
vl TУТ МОЖНO НAKРУТИТЬ ЛAЙKИ, ПОДПИCЧИКOB PАCKРУTКA ГPYПП. ПЕPЕХОДИТЕ В ПРOФИЛЬ, TАM СCЫЛКА HА CAЙT
Ирина Мамаева 2 years ago
вот отчего невозможно этак попросту обо всем поведать? круто, благодарю!
Alexander IO 2 years ago
Круто! Спасибо)
Vet Demarco 2 years ago
Как трудиться с robots.txt в мультивендорном веб-магазине???
SeoPultTV 2 years ago
А неужели кушать различия? )) Вы в любом случае закрываете от индексации странички сортировок, фильтров, поиска и прочее. Страницы же продавцов накрывать от индексации не стоит, будто и контент, какой они генерируют.
PRO Online Reputation Management 2 years ago
Позитивный дядька! Спасибо. )
Артём Морозов 2 years ago
Спасибо. Расскажите еще про редиректы кратко.
SeoPultTV 2 years ago
Ок, в будущем непременно создадим таковой ролик.
webdeveloper 2 years ago
ссылки на другие видео в конце ролика не кликабельные
SeoPultTV 2 years ago
Там кушать небольшой аспект, группа монтажа воткнула превью видео, которых еще дудки на канале. Скоро поправим.
Святослав Гусев 2 years ago
В host указывать с https? Адрес веб-сайта, иди без https стоит?
SeoPultTV 2 years ago
Директива Host должна кормить: Указание на протокол HTTPS, если зеркало доступно лишь по защищенному каналу (Host: ).
Святослав Гусев 2 years ago
Так будто вначале yandex принимает веб-сайт с htttp и https тоже будто различные веб-сайты.