https://www.lexium.ru/2014/10/kak-zakryt-ot-indeksacii-https-versiyu-sajjta/

Как закрыть от индексации https-версию сайта

Анализирую выдачу яндекса и обнаруживаю, что в индекс попали ссылки https-версии сайта. Сайт не мой, я просто… ну ты в курсе, наверное))

В принципе, если у тебя куплен нужный сертификат, никаких проблем с https нет. Болтают, что https-версию особенно любит и уважает Гугл. Хотя, слыхал и противоположное мнение. Но это всё покупные сертификаты. А веб-мастера, чаще, использует самоподписанные-бесплатные. Не в меру умные браузеры, при заходе на такой сайт, предупреждают пользователя, о неких ужасных рисках и карах. Как правило, обыватель делает большие глаза и, промахиваясь по крестику, закрывает такую страшно-опасную вкладку. Лишь потом переводит дух и, спустя время, хвастает друзьям и тёще, как ловко не дал себя взломать злобным хаккерам.

ahtung

И вот представь, ищет юзверь что-то в том же яндексе, видит россыпь сайтов, кликает на ссылку ведущую на твой и… МАМА ДОРОГАЯ! Браузер пужает, да так страшно! Двойной облом, в общем: ни себе ни людям.

А на самом деле, ничего страшного в посещении https-версий сайтов нет. Почти всегда. Но кому поверят больше: неизвестной, странной, впервые найденной веб-страничке или такому родному, привычному браузеру? Вот то то и оно.

Внимание! Инструкция, как и любой инструмент, опасна в руках растущих не из того места. Всё, что ты делаешь, делается на твой страх и риск. Никаких претензий автор сего текста не принимает. Нет уверенности — найми того, кто умеет. Если что, можно утешиться фразой: «Зато удалось сэкономить».

Поисковики индексируют HTTPS-версию сайта, а браузер потом пугает входящих?! Хватит это терпеть!

Если ты веб-мастер и у сайта есть https-версия, значит либо купишь сертификат, либо закроешь ее от индесации. Для счастья вполне достаточно тёплого-лампового http. Этого я бы и оставил.

Ты наверное того же мнения, а значит, первым делом, лезешь в Гугл или Яндекс с запросом «как закрыть от индексации https-версию сайта» и находишь заветную формулу. А она не работает. Но давай без забеганий. Может именно у тебя сработает этот мэйнстримный вариант.

Итак, тебе предлагают, в пару к файлу robots.txt создать https.txt и разместить его туда же (в корень сайта). В https.txt пропиши вот эти две строчки:

User-agent: *
Disallow: / 

Сохрани и утри проступившую испарину. Первая часть Марлезонского балета успешно комплитнулась, с чем я тебя и поздравляю. Все тебе хлопают в ладоши, хлопают, хлопают, кончили хлопать. Проследуем в следующий зал.

Эту часть делай. Она по-любому понадобится.

А вот следующая работает не у всех.

Открываешь файл .htaccess (если в корне сайта нет такого, создай).

Находишь строку RewriteEngine on (если нету, вставь) и сразу под ней добавь:

RewriteCond %{HTTPS} on
RewriteRule ^robots\.txt$ https.txt 

Сохрани и проверь работает-ли. Для этого открой сайт в двух вкладках. Допустим, домен сайта lexium.ru
Значит в первой вкладке вставишь такую ссылку https://www.lexium.ru/robots.txt
Во второй эту — https://www.lexium.ru/robots.txt

Если шаманство с .htaccess сработало, текст страничек в этих вкладках отличается. Во второй он вот такой:

User-agent: *
Disallow: / 

Значит всё отлично. Дальше можно не читать.

Если не сработало, придется лезть на сервер и исправлять конфиг ngnix для домена.

Если на хостинге, на сервере, на VDS, на VPS (не знаю что там у тебя) установлена ISP-панель, то считай повезло. Если нет, значит статья почти бесполезна. Хотя, как знать? Дальше покажу в картинках. Хотел в стихах, но… а, не важно.

Заходим в панель.
В левом вертикальном меню клацаем пункт WWW Домены.

1

Находим нужный в списке.
5
Клацаем по нему.
В верхнем горизонтальном меню пиктограмм кликаем кнопку «Конфиг».

Появляется окно редактирования конфига. В нём (внимание!) выбирай вкладку Ngnix!

3

Теперь ты видишь нужный конфиг.
В нём находишь кучку директив location, после которых идут некие буквы, потом открывающая фигурная скобка. Ниже еще несколько строчек, завершающихся закрывающейся фигурной скобкой.
Эта конструкция составляет цельный блок.
Я пролистал все блоки location и после закрывающей скобки последнего, вставил вот такой:

location /robots.txt {
if ($scheme = "https") {
rewrite (.*)  /https.txt;
}
root $root_path;
}

Внизу окошка есть кнопки ОК и Отмена. Ты, есссно, жмакаешь ОК. Если кнопок не видно, значит убрались ниже экрана. Листать, в данном случае, гиблое дело. Нажми пару раз «Ctrl -» (кнопку Ctrl и кнопку «минус» одновременно). Это уменьшит масштаб странички и кнопочки станут доступны.

После ОК, конфиг сохраняется, а ты, если всё сделано правильно, радуешься победе.

Теперь по ссылке https://www.lexium.ru/robots.txt и https://www.lexium.ru/robots.txt открывается разный текст. У меня, во всяком случае.

Как там у тебя, понятия не имею, но надеюсь на лучшее.

Если помогло, поделись печеньками к чаю. Заранее спасибо.

Напишите комментарий