4 заметки с тегом

htaccess

Apache: Боты Ahrefs озверели!

Есть замечательный для SEO-оптимизаторов сервис, который называется Ahrefs. Позволяет собирать информацию по различным сайтам, сравнивать её с другими сайтами и как следствие создавать правильную картинку о конкурентах.

А вот сегодня я был обескуражен количеством обращений к простому интернет-магазину от этих товарищей:

351    13.30%  Mozilla/5.0 (compatible; AhrefsBot/5.2; +http://ahrefs.com/robot/)

Техподдержка хостинга мне маякнула, что они тоже обескуражены и решила ограничить доступ к сайту, от чего я был ещё более обескуражен данным действием. И пришлось решать вопрос ребром и заблокировать эти чёртовы парсеры интернета:

<ifModule mod_rewrite.c>
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} ^.*(AhrefsBot|SemrushBot).*$ [NC]
RewriteRule .* - [F,L]
</ifModule>

Отловим Ahrefs (и Semrush туда же) по user-agent через htaccess и покажем им 403 ошибку.
Нагрузки нет, хостинг доволен, ограничения сняты, клиент в восторге. Работаем дальше.

21 апреля   htaccess

Включаем кеширование для Google Pagespeed

Открываем .htaccess и добавляем:

<ifModule mod_deflate.c>
AddOutputFilterByType DEFLATE text/html text/plain text/xml application/xml application/xhtml+xml text/css text/javascript application/javascript application/x-javascript
</ifModule>
 
# кеш браузера
<ifModule mod_expires.c>
ExpiresActive On
 
#по умолчанию кеш в 5 секунд
ExpiresDefault "access plus 1 days"
 
# Включаем кэширование изображений и флэш на месяц
ExpiresByType image/x-icon "access plus 1 month"
ExpiresByType image/jpeg "access plus 4 weeks"
ExpiresByType image/png "access plus 30 days"
ExpiresByType image/gif "access plus 43829 minutes"
ExpiresByType application/x-shockwave-flash "access plus 2592000 seconds"
 
# Включаем кэширование css, javascript и текстовых файлоф на одну неделю
ExpiresByType text/css "access plus 604800 seconds"
ExpiresByType text/javascript "access plus 604800 seconds"
ExpiresByType application/javascript "access plus 604800 seconds"
ExpiresByType application/x-javascript "access plus 604800 seconds"
 
# Включаем кэширование html и htm файлов на один день
ExpiresByType text/html "access plus 43200 seconds"
 
# Включаем кэширование xml файлов на десять минут
ExpiresByType application/xhtml+xml "access plus 600 seconds"
 
# Нестандартные шрифты сайта 
ExpiresByType application/x-font-ttf "access plus 1 month"
ExpiresByType font/opentype "access plus 1 month"
ExpiresByType application/x-font-woff "access plus 1 month"
ExpiresByType image/svg+xml "access plus 1 month"
ExpiresByType application/vnd.ms-fontobject "access plus 1 month"
</ifModule>
18 марта   htaccess

301 редирект на SSL

Проверенный вариант, без циклической переадресации.
Открываем .htaccess и пишем:

RewriteEngine On
RewriteCond %{HTTPS} off
RewriteCond %{HTTP:X-Forwarded-Proto} !https
RewriteRule ^(.*)$ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
18 марта   htaccess

500 Internal Server Error — больше деталей

Часто из-за конфликтов Friendly URL, мы можем увидеть подобную ошибку, которую нужно как то вылечить. И первым шагом для её решения — это подключить детальный вывод ошибок. Для этого открываем .htaccess и в самом начале пишем:

php_flag display_startup_errors on
php_flag display_errors on
php_flag html_errors on

После мы увидим конкретный файл и строчку, которая мешает полноценной загрузке файла.

18 марта   htaccess