Файл Robots txt - настройка, директивы и популярные ошибки

0 ratings | 5283 views


Файл Robots txt - настройка, директивы и популярные ошибки

Как работает файл robots.txt для сайта - создание, настройка, описание директив и возможные ошибки при его составлении. Учимся закрывать страницы и устранять дубли. ★ Подпишись на мой канал о SEO и интернет-маркетинге: ★ Читаем пост о robots.txt в моем блоге: ↓↓↓ ►►► Описание видео 0:07 Файл robots.txt и как он работает 0:23 Что такое robots.txt и как его создать 1:00 Директивы robots.txt и их описания 1:02 User-agent 1:20 Disallow 1:31 Allow 1:55 Директива Host 2:07 Sitemap 2:19 Crawl-delay 2:41 Clean-param 03:19 Ошибки при составлении robots.txt 05:37 Что следует закрывать от индексации На моем канале о SEO и Интернет-маркетинге вы найдете информацию о продвижении сайтов, аналитике, технических нюансах, способах получения клиентов и увеличению продаж и многое другое. Буду рад seo romanus sem ppc smm - - - - - - - - - - ♔ МОИ КОНТАКТЫ ♔ ★ Skype: seo-romanus ★ Вконтакте: ★ Twitter: ★ Мой блог: ★ Мои услуги: - - - - - - - - - - ♔ПОПУЛЯРНЫЕ ПЛЕЙЛИСТЫ♔ SEO для начинающих: SEO-софт и сервисы для маркетологов:

Comments to the video: Файл Robots txt - настройка, директивы и популярные ошибки

Imam Dangerous 6 months ago
Спасибо огромное, у тебя весьма отлично выходит преподносить информацию. Есть пару глуповатых вопросов: 1) Как отыскать все дубли страничек и будто легче, вернее их затворить? Например кушать в веб магазине две страницы с продуктами, где пересекаются продукты, это дубли? Можно ли программеру произнести прибрать все дубли и он сам разберется либо ему необходимо демонстрировать какие странички являются дублями?)
Роман Вердыш 6 months ago
1) Любой краулер и глядеть дубли тайтлов, дескрипшенов, h1 и т.д. Просканить каким-нить краулером типа Сайтрепорта контент, что узреть неполные дубли. Сканить выдачу по ЯНдексу и Гуглу снова же хоть каким краулером. Самое сложное - неполные дубли, однако отыщешь пару моментов - сможешь зацепиться за логику и вычистить останки сходу по всему веб-сайту. 1а) Закрывать в robots.txt + тег robots. Но вначале попробовать убрать делему в корне, а не ее симптомы. 2) И конечно и дудки, если скрещение огромное - это неполный дубль. 3) Не, программеры сходу будут упрашивать аннотацию :)
Мария Ступишина 7 months ago
Подскажите отчего в host не необходимо указывать http, а лишь домен?
Роман Вердыш 7 months ago
Здравствуйте. Такой синтаксис. Если у вас подключен SSL сертификат, то в Host вы уже будете строчить не домен, а
Виктор Антипов 10 months ago
Добрый денек. Подскажите, необходимо ли воспрещать индексацию странички /NotFound.html (прекрасно оформленная страничка ошибки?) и папку инклуд (со вставками php), заблаговременно благодарю за ответ.
Виктор Антипов 10 months ago
Спасибо. Просто я захожу с сирчь консоль и в ошибках сканирования на первом месте страничка NotFound.html.
Роман Вердыш 10 months ago
Галерею закрываете, если вам не нужна индексация изображений в ней. Cgi-bin - не необходимо. не разу не лицезрел, чтоб файлы в индекс попадали из нее. Насчет php файлов - сможете затворить. Но накрывать что-то без цели - нехорошая мысль. Смотрите индекс - если попадает мусор какой-или, его закрываете. Это более высококачественный вариант, т.к. были случаи, когда кто-то брал общественный весьма крутой, самый высококачественный robots.txt для определенной CMS - а позже оказывалось, что у него в индекс что-то не попадает.
Виктор Антипов 10 months ago
Не знаю если можно мастерить ссылки, то вот мой веб-сайт
Виктор Антипов 10 months ago
Нет у меня веб-сайт изготовлен вручную на html и php. Есть папка в которой находятся файлы php, подгружаемые в сайтбар, в шапку, в подвал. Там тизеры, реклама, Слайдшоу (шапка). Еще кушать папки cgi-bin и gallery, это все тоже стоит затворить?
Роман Вердыш 10 months ago
Я не закрываю 404 ошибку. Насчет папки Инклуд - не сообразил. Вы желаете папку затворить? Если выговор идет о Wordpress - то там по-умолчанию в роботсе прописан запрещение на индексацию служебных папок. По /index.html - склейте с главной страничке и всё.
Osaf MIlan 1 year ago
Круто) думаю было бы лучше воткнуть в описание файл robots.txt будто он обязан смотреться) благодарю
Osaf MIlan 1 year ago
благодарю)
Роман Вердыш 1 year ago
Есть грешок - забывчивость. Статья издавна кушать в блоге, однако ссылку не поставил на нее в описание (уже сделал). Вот тут кушать текстовая информация + примеры robots.txt для фаворитных CMS -
JulieBefana 1 year ago
Спасибо огромное за ваши труды, не так давно натолкнулась на ваш блог, провела несколько бессонных ночей за чтением :D Очень импонирует ваш подход к сео в целом.
Роман Вердыш 1 year ago
Спасибо. Не забудьте подписаться ;)
myWEBpc 2 years ago
пухленький какой) обыкновенно дрищи очкарявые прыщявые стримят
Роман Вердыш 2 years ago
Спасибо
myWEBpc 2 years ago
успешного развития
Роман Вердыш 2 years ago
Пока нету, я будто-то за канал лишь не так давно взялся :) Пока охватываю темы, которые кушать в блоге.
myWEBpc 2 years ago
спс за живое мировоззрение а то в гугле одни скопированые блоги по настройке) и про пережитки прошедшего что напомнили тоже спс, у вас нету видео случаем по настройке Yoast SEO
Роман Вердыш 2 years ago
Для поисковиков пофиг - это попросту ЧПУ. Важнее структура и размещение ваших материалов. Но я приверженец того, чтоб в урле подавать структурированные данные, т.е. я бы избрал вариант /%category%/%postname%. Причем.html я бы убрал, это отрыжка прошедшего, будто и www. Но если вы сделаете попросту последний /%postname% - какого-то существенного конфигурации вы не заметите.
Vadim Trade 2 years ago
Имеет-ли смысл распорядок директив? У мня Sitemap в первой строке стоит.
Роман Вердыш 2 years ago
Порядок не имеет значения. Sitemap обязан стоять в пользователь-агенте
Vadim Trade 2 years ago
Что означает global в моем Robots?
Роман Вердыш 2 years ago
Это комментарий. Пишется попросту для удобства
Arsenii Boy 2 years ago
подписался,жду в гости
Surprise Toys 2 years ago
привет! мы подписались на ваш канал,входите в гости