Время чтения: 6 мин. 3 апреля 2019 в 10:13 Woocommerce
Звёзд: 1Звёзд: 2Звёзд: 3Звёзд: 4Звёзд: 5
Загрузка...

Robots.txt для Woocommerce

Итоговый файл

Запретить роботам сканировать ссылки «добавить в корзину» в WooCommerce

prevent robots crawling add to cart links on woocommerceНесколько дней назад мы заметили, что сайт WooCommerce, размещенный на нашей платформе, использует гораздо больше процессорной мощности процессора по сравнению с количеством посетителей. Несмотря на то, что сайт использовал все три верхних фактора для повышения производительности или снижения загрузки ЦП, в данном случае: кеш Litespeed, кеш объектов APCu и CDN Google Cloud, тем не менее мы заметили, что этот сайт посещает около 500 человек в день. имеет более высокую загрузку процессора, чем сайт с 40 000 посетителей в день.

В чем проблема со ссылками WooCommerce и «добавить в корзину»?

Проблема не в формате ссылок WooCommerce или «добавить в корзину»; на самом деле проблема в том, что страницы «добавить в корзину» не кэшируются. Closte использует кеш Litespeed WordPress, который полностью совместим с WooCommerce и имеет интегрированную систему мониторинга, которая дает вам статистический анализ по трем параметрам: Cache-Hit, Cache-Miss и Uncacheable. Давайте проверим эти параметры вкратце.

  • Cache-Hit — количество запросов, которые получили кэшированный ответ. Эти запросы не используют загрузку процессора или памяти, и вы всегда должны стараться поддерживать это число высоким.
  • Cache-Miss — количество запросов, которые не были кэшированы в то время, но кэш генерируется для следующих запросов.
  • Uncacheable — этот тип страниц не может быть кэширован, очень часто на сайте WooCommerce, это когда пользователь входит в систему, когда пользователь добавляет товары в корзину или видит их в ней.

В большинстве случаев Cache-Hit должен быть выше, чем Cache-Miss или Uncacheable; в противном случае ваш сайт будет использовать значительное количество ресурсов процессора и памяти. Посмотрите на картинку ниже, где вы можете видеть, что в определенный час сайт достиг только 5,5% кеша.

wordpress cache hit rate

Эти 1143 не кэшируемых запроса намного больше, чем Cache-Hit / Miss, и всегда используют емкость процессора, память, а в этом случае (вы увидите ниже) и дополнительную пропускную способность. Удивительным является тот факт, что этот сайт WooCommerce имеет так много не кешируемых запросов. Означает ли это, что все наши посетители авторизованы, посещают только страницы «добавить в корзину», «корзину» и т. Д.? Кажется немного странным, не так ли?

Следующим, что мы проверили, были журналы доступа, чтобы проанализировать, какие URL запрашиваются без кэширования.

add to cart logs

Когда мы проверяли журналы доступа, мы сразу заметили, что такие боты, как Googlebot, Bingbot и другие, индексируют ссылки «добавить в корзину». Эти ссылки не могут быть кэшированы (они частично могут, но мы поговорим об этом в другом посте), и нет необходимости индексировать; в противном случае они замедлят ваш сайт WooCommerce, используя вычислительную мощность для ненужных вещей.

Как запретить роботам сканировать ссылки «добавить в корзину»?

Мы должны отметить, что есть темы WooCommerce, которые выполняют функцию «добавить в корзину» через Javascript, и боты фактически незнакомы с этими ссылками, но есть темы WooCommerce, которые добавляют ссылки «добавить в корзину» непосредственно в HTML файл. Это легко проверить в исходном коде HTML (Chrome: щелкните правой кнопкой мыши -> Просмотреть исходный код страницы).

js html

Однако, независимо от того, выполняются ли ваши ссылки «добавить в корзину» с помощью Javascript или добавляются непосредственно в HTML-файл, рекомендуется отключить параметр их индексации. Все, что вам нужно сделать, это установить параметры в файле  /robots.txt,  который скажет роботам, что ссылки «добавить в корзину» не должны индексироваться.

Говоря о параметрах robots.txt, было бы хорошо исключить еще несколько страниц.

С этими параметрами роботы больше не будут индексировать ваши ссылки «добавить в корзину», а также некоторые другие страницы, которые также не могут быть кэшированы, и это позволит вашему сайту использовать намного меньше ЦП, памяти и, в этом случае,  дополнительные пропускная способность . Как только мы добавим параметры в /robots.txt, давайте посмотрим, что мы выиграем от этого.

1. Количество не кешируемых запросов значительно сокращено

uncached monitoring

2. Уменьшено использование процессора

reduced cpu usage

Снижена загрузка ЦП из-за ненужной индексации «добавить в корзину» и других ссылок; поэтому ваш сайт WooCommerce обладает большей вычислительной мощностью для других «важных» страниц.

Заключение

Мы увидели, что с помощью системы мониторинга кэша вы можете легко заметить, что с вашим сайтом WooCommerce / WordPress происходит что-то странное. Вы всегда должны пытаться иметь большее количество Cache-Hit; Таким образом, ваш сайт не будет использовать много ресурсов процессора и памяти.

Как только вы заметили определенные нечетные числа, вам нужно проанализировать журналы доступа, чтобы увидеть, какие URL-адреса не могут быть кэшированы сервером, а затем сделать что-то об этом. В этом случае нам просто нужно было отключить роботов, чтобы индексировать «добавить в корзину» и другие подобные ссылки.

Поскольку мы взимаем плату за использование ЦП, это уменьшит ваши ежемесячные расходы, в то время как другие хостинг-провайдеры могут легко отстранить вас или замедлить работу вашего сайта WooCommerce / WordPress, даже если у вас все настроено для повышения скорости и уменьшения ЦП. использование.

Похожие статьи

Получить коммерческое предложение
Я свяжусь с Вами в течении 10 минут и отвечу на все Ваши вопросы.
Введите ваше имя * Введите контактный телефон * Введите контактный e-mail * Какая услуга Вас интересует? * Допонительные услуги Комментарий
Получить коммерческое предложение
Я свяжусь с Вами в течении 10 минут и отвечу на все Ваши вопросы.
Введите ваше имя * Введите контактный телефон * Введите контактный e-mail * Какая услуга Вас интересует? * Допонительные услуги Комментарий
Получить консультацию
Я свяжусь с Вами в течении 10 минут и отвечу на все Ваши вопросы.
Введите ваше имя * Введите контактный телефон * Введите контактный e-mail * Комментарий
Получить консультацию
Я свяжусь с Вами в течении 10 минут и отвечу на все Ваши вопросы.
Введите ваше имя * Введите контактный телефон * Введите контактный e-mail * Комментарий
[contact-form-7 404 "Not Found"]
[contact-form-7 404 "Not Found"]
Начать сотрудничество
Заполните поля ниже. Я лично перезвоню Вам в течении 15 минут для обсуждения деталей.
Введите ваше имя * Введите контактный телефон * Введите контактный Email для отправки точной стоимости
или позвоните мне по телефону +7-499-70-300-44
Получить консультацию
Я свяжусь с Вами в течении 10 минут и отвечу на все Ваши вопросы.
Введите ваше имя * Введите контактный телефон * Введите контактный e-mail * Комментарий
[contact-form-7 404 "Not Found"]
Оставить заявку
Заполните поля ниже. Я свяжусь с Вами в ближайшее время для обсуждения деталей
Введите контактный телефон * Введите контактный e-mail * Комментарий Прикрепить файл
Получить коммерческое предложение
Я свяжусь с Вами в течении 10 минут и отвечу на все Ваши вопросы.
Введите ваше имя * Введите контактный телефон * Введите контактный e-mail * Какая услуга Вас интересует? * Допонительные услуги Комментарий
Рассчитать стоимость
Заполните поля ниже. Я свяжусь с Вами в течении 15 минут в рабочее время для обсуждения деталей
Введите контактный телефон * Введите контактный e-mail * Опишите ваш вопрос для того чтобы я мог рассчитать стоимость
Запись на бесплатный урок
Введите ваше имя, телефон и e-mail. Я свяжусь с Вами для уточнения времени прохождения урока.
Как вас зовут * Введите контактный телефон * Введите контактный E-mail *
Введите ваше имя * Введите контактный телефон* Введите контактный email * Опишите ваш вопрос в произвольной форме Прикрепить файл, если необходимо
Заказать сайт
Первые 14 дней бесплатно. Оставьте номер email и контактный телефон. Я лично перезвоню Вам в течении 10 минут, для обсуждения деталей.

Ваш email Введите контактный телефон Комментарий или вопрос
Проблемы с оплатой?
Опишите ситуацию. Когда возникает проблема? Что планируете купить?
Введите ваше имя * Введите контактный email * Что необходимо доработать
Скачать чек-лист
Заполните поля ниже. В течении 10 минут на указанный e-mail будет отправлена ссылка на скачивание чек-листа.
Введите ваше имя * Введите контактный E-mail *
Предварительная запись для получения скидки
Введите ваше имя, телефон и Skype логин и email. Я свяжусь с Вами для уточнения деталей прохождения курса.
С кого числа Вам удобней начать обучение в 2019 году? Введите контактный телефон * Введите контактный E-mail * Выберите программу
Задать вопрос
У вас появился вопрос? Предложение? Пишите, я подробно изучу вас вопрос, подготовлю ответ и отвечу вам.
Ваше имя * Ваш e-mail* Ваш сайт Сообщение *
Степень загрузки
В данном разделе представлена моя занятость в данный момент. Данные обновляются каждый день. Вся работа выполняется по предварительной записи и 20% предоплатой от стоимости проекта.
низкая загрузка. выполняется ~5 заказов. старт работ через 5 дней.
средняя загрузка. выполняется ~15 заказов. старт работ через 20 дней.
высокая загрузка. заказы временно не принимаются.
Задать вопрос
У вас есть вопросы адресованный интернет-маркетологу? А у меня ответы, добро пожаловать! И да, это бесплатно. Я отвечу вам в течение 24 в разделе вопрос-ответ.
Запросить доступ в личный кабинет
Заполните поля ниже. В течение 10 минут на указанный e-mail будет сгенерирован доступ в личный кабинет.
Введите ваше имя * Введите контактный E-mail *
Тариф Индивидуальный

Из данного курса вы узнаете как превратить ваш интернет сайт в рабочую лошадку, генерирующую по нарастающей поток клиентов из 300 человек в месяц, в 10 000 в день.

Особенности продвижения интернет-магазинов, специфика оптимизации. Как избавить себя от рутинной оптимизации каждой страницы и в 1 клик оптимизировать до 10 000 тыс товаров.

А также вы в разы увеличите продажи, значительно снизите стоимость клика и стоимость заявки, в перспективе сможете отказаться от контексной рекламы (только для акций), откроете новые горизонты.

И да, все это урок за уроком я лично расскажу Вам и помогу внедрить.

Длительность обучения 30 дней.

Запись на бесплатный урок
Введите ваше имя, телефон и e-mail. Я свяжусь с Вами для уточнения времени прохождения урока.
Как вас зовут * Введите контактный телефон * Введите контактный E-mail *
Курс SEO для корпоративных сайтов

Данный курс поможет вашему бизнесу получить новых клиентов из органического трафика.

А также вы в разы увеличите продажи, значительно снизите стоимость клика и стоимость заявки, в перспективе сможете отказаться от контексной рекламы (только для акций), откроете новые горизонты.

И да, все это урок за уроком я лично расскажу Вам и помогу внедрить.

Длительность обучения 20 дней.

Запись на бесплатный урок
Введите ваше имя, телефон и e-mail. Я свяжусь с Вами для уточнения времени прохождения урока.
Как вас зовут * Введите контактный телефон * Введите контактный E-mail *
Курс SEO для Landing Page

Данный курс - находа для вас, если вы хотите увеличить трафик или не хотите использовать контекстную рекламу для продвижения своего продукта или услуги.

Курс научит Вас оптимизировать и продвигать одностраничные сайты.

И да, все это урок за уроком я лично расскажу Вам и помогу внедрить.

Длительность обучения 1 день.

Запись на бесплатный урок
Введите ваше имя, телефон и e-mail. Я свяжусь с Вами для уточнения времени прохождения урока.
Как вас зовут * Введите контактный телефон * Введите контактный E-mail *
Курс SEO для индивидуального обучения

Полностью индивидуальная работа над проектом лично от меня. Я лично для вас провожу каждый урок.

После прохождения каждого урока Вы выполняете домашнее задание.Со своей стороны я оказываю поддержка на всех этапах. По каждому уроку вы можете задать неограниченное количество вопросов и получить квалифицированный ответ.

Все материалы курса выдаются последовательно, от простого к сложному. У Вас будет четкий план действий.

В итоге вы сможете увеличить органический трафик на 500% минимум!!!

Запись на бесплатный урок
Введите ваше имя, телефон и e-mail. Я свяжусь с Вами для уточнения времени прохождения урока.
Как вас зовут * Введите контактный телефон * Введите контактный E-mail *
Курс SEO для самостоятельного обучения

В закрытом разделе моего сайта весь курс представлен в текстовом/видео формате. Если вы желаете обучаться самостоятельно по актуальным данным которые работают в данный момент (поскольку данную информацию я обновляю сразу по мере изменений от поисковых систем) этот курс для вас.

Вы шаг за шагом приведете свой сайт в порядок и сможете увеличить трафик на 500% минимум!!!

Самым важным отличием данного курса от конкурентов является возможность онлайн переговоров со мной лично. Как это работает: вы изучаете урок, у вас появляются вопросы. Вы их записываете, мы созвонимся по скайпу или телефону и я голосом отвечаю на них.

Запись на бесплатный урок
Введите ваше имя, телефон и e-mail. Я свяжусь с Вами для уточнения времени прохождения урока.
Как вас зовут * Введите контактный телефон * Введите контактный E-mail *

Я работаю в городе Москва, но работу строю удаленно, и ваш город Абакан, Абинск, Аксай, Александровское, Алексин, Альметьевск, Анапа, Ангарск, Апшеронск, Арзамас, Армавир, Архангельск, Ачинск, Балаково, Балашиха, Балашов, Барнаул, Батайск, Белая Калитва, Белгород, Белореченск, Березники, Бийск, Благовещенск, Благодарный, Борисоглебск, Братск, Бронницы, Брюховецкая, Брянск, Бугульма, Буденновск, Бузулук, Великие Луки, Великий Новгород, Владивосток, Владикавказ, Владимир, Волгоград, Волгодонск, Волжский, Вологда, Волхов, Воркута, Воронеж, Воскресенск, Выборг, Выкса, Выселки, Гатчина, Геленджик, Георгиевск, Горно Алтайск, Грозный, Губкин, Гудермес, Гуково, Гусь Хрустальный, Десногорск, Дзержинск, Димитровград, Дмитров, Домодедово, Донецк, Ейск, Екатеринбург, Елец, Ессентуки, Железногорск, Железногорск Красноярский край, Железнодорожный, Зеленоград, Зеленокумск, Иваново, Ивантеевка, Ижевск, Изобильный, Ипатово, Иркутск, Йошкар Ола, Казань, Калуга, Каменск Шахтинск, Камышин, Каневская, Кашира, Кемерово, Кинешма, Кириши, Киров, Клин, Клинцы, Ковров, Коломна, Комсомольск на Амуре, Кореновск, Королёв, Кострома, Котлас, Красногорск, Краснодар, Красноярск, Крымск, Кстово, Кузнецк, Курган, Курганинск, Курск, Кущевская, Лабинск, Ленинградская, Ленинск Кузнецкий, Ливны, Липецк, Лобня, Лысьва, Лыткарино, Люберцы, Москва, Магнитогорск, Майкоп, Междуреченск, Миасс, Миллерово, Минеральные воды, Михайловск, Мичуринск, Можайск, Мончегорск, Морозовск, Мостовской, Мурманск, Муром, Мытищи, Набережные Челны, Назрань, Нальчик, Находка, Невинномысск, Нерюнгри, Нефтекамск, Нефтекумск, Нефтеюганск, Нижневартовск, Нижнекамск, Нижний Новгород, Нижний Тагил, Новоалександровск, Новокузнецк, Новомосковск, Новороссийск, Новосибирск, Новочеркасск, Новошахтинск, Норильск, Ноябрьск, Нягань, Одинцово, Октябрьский, Омск, Орёл, Оренбург, Орехово Зуево, Орск, Отрадная, Павловская, Павловский Посад, Пенза, Пермь, Петрозаводск, Петропавловск Камчатский, Подольск, Приморско Ахтарск, Прокопьевск, Псков, Пушкино, Пятигорск, Раменское, Реутов, Россошь, Ростов на Дону, Рыбинск, Рязань, Санкт Петербург, Сальск, Самара, Саранск, Саратов, Саянск, Светлоград, Северодвинск, Северская, Сергиев Посад, Серов, Серпухов, Славянск на Кубани, Смоленск, Солнечногорск, Сочи, Ставрополь, Староминская, Старый Оскол, Стерлитамак, Сургут, Сызрань, Сыктывкар, Таганрог, Тамбов, Тверь, Темрюк, Тимашевск, Тихвин, Тихорецк, Тобольск, Тольятти, Томск, Трудобеликовский, Тула, Тюмень, Улан Удэ, Ульяновск, Усинск, Усолье Сибирское, Уссурийск, Усть Илимск, Усть Лабинск, Уфа, Ухта, Фрязино, Хабаровск, Ханты Мансийск, Чебоксары, Челябинск, Череповец, Чехов, Чита, Шахты, Шелехов, Щёлково, Электросталь, Энгельс, Южно Сахалинск, Якутск, Ярославльи регионАмурская область, Камчатский край, Приморский край, Республика Саха Якутия, Сахалинская область, Хабаровский край, Кировская область, Нижегородская область, Оренбургская область, Пензенская область, Пермский край, Республика Башкортостан Октябрьский и Нефтекамск, Республика Башкортостан Уфа, Республика Марий Эл, Республика Мордовия, Республика Татарстан, Республика Татарстан Казань, Республика Удмуртия, Республика Чувашия, Самарская область, Саратовская область, Ульяновская область, Архангельская область, Вологодская область, Мурманская область, Новгородская область, Псковская область, Республика Карелия, Республика Коми Воркута и Усинск, Республика Коми Сыктывкар, Республика Ингушетия, Республика Кабардино Балкария, Республика Северная Осетия Алания, Ставропольский край, Чеченская Республика, Алтайский край, Забайкальский край, Иркутская область, Кемеровская область, Красноярский край, Красноярский край Норильск, Новосибирская область, Омская область, Республика Алтай, Республика Бурятия, Республика Хакасия, Томская область, Курганская область, Свердловская область, Тюменская область, Ханты Мансийский АО, Челябинская область, Ямало Ненецкий АО, Белгородская область, Брянская область, Владимирская область, Воронежская область, Ивановская область, Калужская область, Костромская область, Курская область, Липецкая область, Орловская область, Рязанская область, Смоленская область, Тамбовская область, Тверская область, Тульская область, Ярославская область, Волгоградская область, Краснодарский край, Республика Адыгея, Ростовская область,не имеет значения.