Закриваєм доступ ботам через .htaccess

Пошукова оптимізація під гугл (UA,US).
Ключові слова. Пошуковий спам. Дорчики.
Софт - Zenno Poster, Xrumer ...
Відповісти
Аватар користувача
my3uka
SEO Master
Повідомлень: 109
З нами з: Нед жовтня 18, 2015 8:33 am
Звідки: Ukraine

Закриваєм доступ ботам через .htaccess

Повідомлення my3uka » Вів жовтня 27, 2015 12:56 pm

Якщо сервер працює на nginx то дивимся цю інструкцію, якщо на apache то в корінь сайта в файл .htaccess пишемо наступне:

Код: Виділити все

# Закрити доступ по юзер агентам
SetEnvIfNoCase User-Agent MJ12bot bad_bot
SetEnvIfNoCase User-Agent AhrefsBot bad_bot
SetEnvIfNoCase User-Agent Baiduspider bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot
Що це значить, що коли бот прийде на сайт з юзер-агентом в якому буде знайдено співпадіння з списка юзер агентів які представлені в htacces то доступ до сайта в них буде закритий, про що говорить нам "Deny from env=bad_bot".

Як перевірити чи дійсно працює доступ ботам через .htaccess?

Ось що передає мій браузер в якості юзер агента

Код: Виділити все

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/46.0.2490.80 Safari/537.36
Беру любий кусок текста і прописую в htaccess. Я взяв "AppleWebKit/537.36", а точніше "537". Число 537 є в моєму юзер агенті

Код: Виділити все

SetEnvIfNoCase User-Agent 537 bad_bot
Пробую зайти на свій сайт - не пускає. В логах сервера шукаєм надоїдливих ботів або з лічильника, якщо такі є.
Рекомендую - VPS

Аватар користувача
my3uka
SEO Master
Повідомлень: 109
З нами з: Нед жовтня 18, 2015 8:33 am
Звідки: Ukraine

Re: Закриваєм доступ ботам через .htaccess

Повідомлення my3uka » П'ят жовтня 30, 2015 12:05 pm

Нові юзер агенти

Код: Виділити все

Validator.nu/LV http://validator.w3.org/services
Mozilla/5.0 (compatible; archive.org_bot; Wayback Machine Live Record; +http://archive.org/details/archive.org_bot)
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
Рекомендую - VPS

Аватар користувача
my3uka
SEO Master
Повідомлень: 109
З нами з: Нед жовтня 18, 2015 8:33 am
Звідки: Ukraine

Re: Закриваєм доступ ботам через .htaccess

Повідомлення my3uka » Вів листопада 03, 2015 11:38 am

UPDATE - добавив нових ботів

Код: Виділити все

SetEnvIfNoCase User-Agent MJ12bot bad_bot
SetEnvIfNoCase User-Agent AhrefsBot bad_bot
SetEnvIfNoCase User-Agent Baiduspider bad_bot
SetEnvIfNoCase User-Agent Validator.nu bad_bot
SetEnvIfNoCase User-Agent archive.org_bot bad_bot
SetEnvIfNoCase User-Agent facebookexternalhit bad_bot
SetEnvIfNoCase User-Agent James bad_bot
SetEnvIfNoCase User-Agent SEOkicks bad_bot
SetEnvIfNoCase User-Agent SemrushBot bad_bot
SetEnvIfNoCase User-Agent YandexBot bad_bot
SetEnvIfNoCase User-Agent HaosouSpider bad_bot
SetEnvIfNoCase User-Agent MojeekBot bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot
Рекомендую - VPS

Аватар користувача
my3uka
SEO Master
Повідомлень: 109
З нами з: Нед жовтня 18, 2015 8:33 am
Звідки: Ukraine

Re: Закриваєм доступ ботам через .htaccess

Повідомлення my3uka » Сер січня 27, 2016 8:53 am

GetintentCrawler - якась срань
GrapeshotCrawler
Cliqzbot
proximic
Рекомендую - VPS

Відповісти

Хто зараз онлайн

Зараз переглядають цей форум: 1 і 0 гість