Вообще любая оптимизация сайта (не важно SEO или какая-нибудь другая) начинается еще на стадии разработки.
Однако, очень часто сайт создается впопыхах, кем-попало (кого смогли найти за те деньги), без технического задания, а если оно и есть, то меняется прямо на ходу. Поэтому, ко мне часто поступают обращения с просьбой подготовить сайт на движке WordPress (поскольку популярная платформа) под SEO-оптимизацию.
Метатэги
Ок. Начнем с простого. Установим плагин «All In One SEO Pack». Делается это в админке, в разделе «Плагины», в подпункте «Добавить новый».
На открывшейся странице, в строку поиска, вводите название плагина, ищите, устанавливаете, активируете.
После этого в окне редактирования или создания поста, ниже поля куда вы вводите текст, появляются поля для тайтла, дескрипшина и кейвордсов. Если не знаете что это или зачем, то вы ни шиша не понимаете в SEO. Но у меня для вас хорошая новость, вся инфа есть в интернете. Воспользуйтесь поиском Яндекса, Гугла, поищите на ютубе. Не тупите!
Про метатэги пишу в этом посте исключительно для комплекта. Даже настроек самого плагина не буду касаться. Это та часть SEO-оптимизации, которую лучше сделать одновременно с добавлением Сайтмапа и Роботса, о которых пойдет речь дальше. Почему? Потому, что это займет всего пару минут, а в будущем точно понадобится.
Sitemap.xml
Теперь добавим карту сайта. Это тоже делается с помощью плагина. Их много, но я предпочитаю тот, что зовется «Google XML Sitemaps». Ставится ровно так же как и предыдущий.
Настраивается в разделе админки (левое вертикальное меню) «Настройки», подпункт «XML-Sitemap». Собственно, достаточно тупо снять галочку с пункта «Add sitemap URL to the virtual robots.txt file.» и сохранить (там есть кнопка сохранения, если пролистаете ниже).
Чтобы убедиться, что все работает, откройте в соседней вкладке ссылку типа http://ваш_сайт/sitemap.xml
Увидели что-то вроде этого?
Отлично. Не закрывайте вкладку. Она нам еще пригодится. А пока переходим в админку.
Robots.txt
Этот файл можно заливать без каких-либо плагинов. По FTP например. Но если нет доступа или хочется все проделать с комфортом, то… Ставим плагин. Как вы уже убедились на предыдущих примерах, это очень простое действие, но профессионалы берут за это деньги.
Итак, ставим плагин «WordPress Robots.txt File». Опять-же, можете выбрать другой, который будет работать.
Ставим плагин, активируем, переходим в «Настройки», в подпункт «Чтение».
На открывшейся странице видим поле robots.txt
Если оно чем-то заполнено — удалите. Сейчас мы его заполним новым содержимым.
Перейдите по ссылке (желательно открыть эту ссылку в новой вкладке). На открывшейся странице вы можете видеть три поля и кнопку.
Скопируйте из адресной строки браузера адрес вашего сайта и вставьте его в поле с надписью «Введите адрес сайта».
Теперь перейдите во вкладку с Сайтмапом. Помните, выше по тексту я просил ее не закрывать? Скопируйте из адресной строки путь к файлу sitemap.xml и вставьте в поле «Введите адрес вашего файла sitemap.xml».
Нажмите кнопку «Создать robots.txt».
Если все сделано правильно, в поле под кнопкой появится текст. Скопируйте его весь и вставьте в поле robots.txt, открытое в админке вашего сайта («Настройки», «Чтение»).
Нажмите кнопку «Сохранить изменения».
Перейдите по ссылке типа http://ваш_сайт/robots.txt
Если на открывшейся странице вы видите текст, который только что копировали и вставляли из поля, значит все установилось как надо.
Т.е. только что, благодаря умению читать и искать, вы сами, своими руками, установили Карту сайта и файл директив для поисковых роботов. Браво!
А с вами был Доктор Лексиум. До новых постов.
Вот в этой статье **ссылка удалена** автор утверждает о том, что если открыть uploads для всех ботов, то в индексе появляются загруженные PDF и прочие текстовые файлы. А в яндекс вебмастере, в отчете «Исключенные страницы» появляются сообщения об ошибке при индексировании картинок, мол содержимое не поддерживается. Вот и не знаю кому верить…
В приведённой статье сказано:
«Disallow: /wp-content/uploads — закрываем именно эту папку, поскольку она может содержать разного рода документы, например, PDF, DOC и т.д., которые не стоит пускать в индекс. Закрывать «wp-content» полностью чревато проблемами.»
Я бы не советовал закрывать папку uploads от индексации. Незачем хранить в ней такие текстовые файлы и PDF, появление которых в выдаче было бы нежелательным. Лучше положить такое в отдельную папку, и уже её закрыть.
Если же яндекс.вебмастер ругается на то, что содержимое не поддерживается, значит с содержимым и правда имеется проблема. Может там вместо картинки отдаётся какая-нибудь ошибка, или сервер коряво настроен и прикручивает к файлу некорректный MIME-type. Причин подобному может быть не мало.
Sitemap.xml с версии wp 5.5 автоматически генерится должен, но не всегда работает корректно к сожалению. А html карту обычно с помощью WP Sitemap Page делаю, и стараюсь как-то ещё апгрейдить, что ли, оживить, https://sverchokcorm.ru/sitemap/ тут например пару картинок добавил, все повеселее)
Спасибо за полезный комментарий.