"Периодически страницы сайта выдают 403 код статуса, я вижу это через Ahrefs, и иногда через Screaming Frog. Насколько это может мешать? Какой специалист должен заниматься этим вопросом?"
/ Татьяна /

403 код статуса в HTTP-заголовках страницы обозначает запрет доступа. Конечно же, в таком случае Google не сможет получить доступ к контенту страницы и, соответственно, проиндексировать или переиндексировать ее, а существующие страницы будут постепенно выпадать из индекса.

Однако, тут надо разобраться! Видит ли Google эти 403 статусы, или только вы? Это очень важно понять перед принятием дальнейшего решения. Ну и, конечно же, нужно разобраться, кто вообще управляет кодом статуса и может запрещать доступ.

Как узнать, какой код статуса отдается гуглу при сканировании им страниц? Для этого необходимо проанализировать серверные логи сайта. Если есть такой опыт, то можно делать это самостоятельно, в противном случае попросить сисадмина.

1. Качаем access_log сайта.
Это название текстового файла специального формата, где веб-сервер хранит всю информация по запросам к сайту. Иногда не хранит, это зависит от настроек веб-сервера. А доступ к файлу будет зависеть от используемого хостинга. Проще всего попросить у хостера предоставить серверные логи или указать, где их можно скачать (многие хостеры позволяют это сделать в панели управления). Либо попросить у сисадмина, если у него есть рутовый доступ к серверу.

2. Находим в файле строки, где к серверу обращался Google.
Тут надо изучить формат файла, чтобы понять, где там что. Анализировать логи можно через любой текстовый редактор (если файл небольшой), либо через сторонний сервис (лог анализаторы), но самый простой вариант — анализировать файл через консоль.

cat access_log | grep Googlebot | tail -n 100 

Команда выведет 100 последних строк, где встречается "Googlebot"

3. Анализируем коды статусов
Теперь ищем 403 коды, как часто они встречаются по сравнению с 200.

4. Тут уже будет понятно, что к чему
Если в логах гуглу отдаются только 200 коды статусов, то 403 видите только вы и, возможно, некоторые программы-анализаторы. Можно в логах сразу искать строки 403, отданные гуглу:

cat access_log | grep Googlebot | grep 403

Если в логах есть 403 ошибки для гугла, нужно узнать, как часто они отдаются. Отдаются всегда - это самый простой вариант. Отдаются периодически - тут все сложно, и нужен глубокий анализ проблемы.

И вот теперь нужно разобраться, откуда эти 403 возникают.
— Доступ к сайту может блокировать CMS. Тут надо покопаться в CMS и плагинах, чтобы это понять и найти. Достаточно сложная задача.
— Доступ к сайту может блокировать хостер при высоких нагрузках. Тут надо проанализировать нагрузку на сервер, в том числе когда вы сайт парсите фрогом. Возможно, просто слабый сервер и нужно выбрать что-то помощнее.
— Доступ к сайту может блокировать файерволл. Например, блокируются запросы из определенных стран, или приходящих с определенной частотой. Чаще это файерволл хостера/CDN, используется для блокировки подозрительного трафика. Нужно разобраться, где он настраивается, и настраивается ли вообще.
— Доступ к сайту может блокировать провайдер. Например, по запросу руководства страны. Проверить это несложно, прочекав сайт из разных локаций/стран.

Как видите, задача непростая, если раньше не сталкивались с логами и консолью, но вполне решаемая техническими специалистами.

Успехов с поиском проблемы!

Сколько вам нужно бюджета на SEO, чтобы увеличить текущий трафик сайта в 2 раза? И на что вы этот бюджет направите?

Plerdy провели опрос топ-экспертов разных мировых компаний и на основе этого сформировали инфографику
https://www.plerdy.com/seo-survey-2022/

— 89% считают, что E-A-T является важным фактором ранжирования
— Больше половины за работу с Core Web Vitals и доведение его до зеленой зоны
— 69% отказались от AMP
— 59% респондентов видят важность в LSI-фразах
— Практически все за создание контента, соответствующего поисковому интенту
— Самые эффективные типы ссылок: естественные, редакторские, гест-посты, с ревью-сайтов, пресс-релизов и инфографики. Наименее эффективные с комментов, форумов или из био автора статьи. PBN, кстати, тоже относят к слабоэффективным методам линкбилдинга. Всего лишь 8% респондентов считают PBN эффективным.
— 72% считают, что влияние качества контента на ранжирование сильно увеличилось по сравнению с 2021 годом.
— И много другой интересной статистики по ссылке.

Вебінар пройде тут у войсі https://t.me/collaborator_conf, бо Клаудфейр ліг і за ним весь інтернет)

Через 10 минут новый выпуск seo-подкаста. Обсудим новости рынка за последнюю неделю. Подключайтесь

https://www.youtube.com/watch?v=iju9JNI_VjE
https://www.youtube.com/watch?v=BHUGDPtK9Rc

Анекдот. Вечеринка в театре в полном разгаре, все веселятся. В коморке сидят комик с трагиком, единственных кого не пригласили. Трагик, выпивая рюмку, грустно произносит:
— Не пригласили... забыли...
Комик же весело:
— Да, не пригласили... по-о-омнят!

Когда часть страниц не в индексе, часто мы думаем, что робот о них еще не знает или забыл и пытаемся добавить через Search Console. Но проблема в том, что обычно как раз наоборот, робот о них многое знает. ) Поэтому и не приглашает к себе в индекс.

Дэн Шур в марте поделился кейсом, как они открыли скрытый контент во вкладках и получили буст трафика:
https://twitter.com/dan_shure/status/1499459153814818822

Эту тему подняли в гугловском подкасте и Гари Илш заявил, что на данный момент для гугла нет разницы, скрыт контент или нет. Главное чтобы он был в HTML:
https://www.seroundtable.com/google-not-visible-content-33630.html

Кому верить?

Верить нужно тому, что говорит выдача гугла, а не ее адвокатам. Подобные исследования проводились многократно. И всегда мы видим, что скрытый контент учитывается с дисконтом. Но стоит держать руку на пульсе и проводить собственные эксперименты.

Сегодня проходит конференция НаЗахід. Смотрите трансляцию по ссылке:
https://youtu.be/2Y8lGdIdVTM

Первый доклад от Димы Бондаря — советы по работе с командой.

— Ставьте цели (личные, цели компании, цели по людям/командам)
— Учите английский и нанимайте в команду англоязычных
— В людях важно честность и прозрачность
— Перемены это всегда больно, но хорошо. Требуется усиленная комуникация.
— Необходимо качественное пространство, локация, концентрация знаний
— Многие процессы нельзя прописать, но они очень важны

"Работаю в большой компании. За год хорошо вырос в SEO, за это хвалят, но зп за год подняли всего на 10%. Нужно ли валить оттуда?)"

Александр Белевец:
— Нужно разговаривать. Если ты хочешь там остаться, то пойди в какую-нибудь компанию, получи оффер на большую зп. И там будешь думать, оставаться или нет. К босу придешь и скажешь - у меня тут оффер на 500/1000$ больше. Вы готовы за меня платить тут также? Если компания готова вас оставить, то она оставит.

Виктор Карпенко:
— Все хотят зп, но это все бизнес. Нужно привязывать зп к конкрентому результату. И можно получать не одну зарплату за месяц, а три-пять, если ты сделаешь результат.

Александр Белевец:
— В большинстве компаний нет плана развития. И ты думаешь, что бы мне сделать, чтобы зп была х2? Сколько времени на это уйдет? Если такого в компании нет, предолжите им. "Почему у нас этого нет? Давайте сделаем."

Виктор Карпенко:
— Сто пудов!

Дима Сохач про дроп домены.

Нормальные дроп-домены просто так купить сложно. Обычно, хорошие продаются дорого на аукционах. Цена зависит от длины доменного имени, брендовости, трафика, наличия внешних ссылок и тематики. Одни из дорогих доменов - про крипту.

Основные параметры для выбора:
— Индекс, трафик, история ранжирования, нетиповые ключевые слова, внешние ссылки. Проверяем через Ahrefs.
— Использовался ли китайцами, ломался или использовался как PBN. Проверяем через веб-архив.
— Есть ли трейдмарк, были ли вирусы, история смены ns-серверов и пр.

namebio.com — классный сервис для проверки, за сколько домен был куплен и с какого аукциона, а также посмотреть проданные домены за определенный период.

spamzilla.io — еще один удобный инструмент для проверки истории домена.

Домены, где были установлены редиректы, также хорошо работают. Один из доменов с DR40, который был никому не нужен из-за редиректа, купили за $300, и сейчас он получает 20к трафика в месяц.

Популярные аукционы:
- 70% Godaddy
- 18% Dropcatch
- 6.5% Namejet
- 5% другие

AI-генерированные сайты быстро теряют позиции. Живут не долго.
Контент с ютуба (транскрибация) - работает норм.

Свежее видео от Артема Пилипца, как правильно настроить украиноязычную версию сайта, в соответствии с мовним законом
https://www.youtube.com/watch?v=JC7uXPs2kI4

В одном seo-чате вебмастер поделился информацией, что на сайт стал заходить новый бот под видом Apple.

Проверил логи своих сайтов. Действительно, по сайтам стал ходить Applebot. 8 июня они запустили свой поисковик и, видимо, сейчас собирают с сайтов информацию.
https://support.apple.com/ru-ru/HT204683

Мы обсуждали с Игорем Шулежко в подкастах новый поисковик. Как и предполагалось, пока что он используется в службах Siri и Spotlight. То есть, в экосистеме Apple. И не является конкурентом Google. По крайней мере каким мы это себе представляли. Посмотрим как будет в будущем, сейчас он уже умеет не только краулить, но и рендерить страницы.

Если вы хотите запретить доступ к роботу, это можно сделать в robots.txt, использую User-agent: Applebot. Но закрывать доступ ко всему сайту не рекомендую.

Факторы ранжирование в веб-поиске Apple (из их документации).
— агрегированное взаимодействие пользователей с результатами поиска;
— актуальность и соответствие поисковых терминов темам и содержанию веб-страницы;
— количество и качество ссылок с других страниц в сети;
— сигналы, основанные на местоположении пользователя (приблизительные данные);
— характеристики дизайна веб-страницы.

Подробнее по ссылке.

Як бізнесу прискорити результати в SEO за допомогою expired доменів?

Розкаже Дмитро Сохач на вебінарі Collaborator.
Дмитро в SEO с 2006 року, багато років займався клієнтськими проектами, а з 2017 року займається своїми проектами в Admix Global. Також Дмитро постійний доповідач на конференціях з SEO та інтернет-маркетингу, у світі SEO фігура відома та поважна.

Тези:
▪️ Як щодня знаходити тисячі доменів з історією та посиланнями
▪️ Як краще передавати link juice з доменів
▪️ Використання expired доменів на реальних прикладах

Вебінар пройде 5 липня о 10.00. Приєднуйтесь до прямого ефіру, щоб обговорити свої кейси та отримати відповіді від експерта.
Той з участників, хто поставе найцікавіше питання, отримає персональну консультацію від Дмитра.

👉Реєструйтеся, це безкоштовно

#партнеры

Через 30 минут присоединяйтесь к стриму seo-подкаста Devaka-Shmeo. Подготовили для вас свежие новости и материалы.

- Что новое тестирует и внедрил Google
- О чем говорят гуглоиды и seo-сообщество
- Новые исследования и кейсы

https://www.youtube.com/watch?v=aNR2V6MkAAY

Метрики Serpstat тепер доступні у Collaborator

Collaborator зробив офіційну інтеграцію з Serpstat — all-in-one SEO-інструмент для відстеження позицій сайту, аналізу посилань та ключових фраз, вивчення конкурентів.

У каталозі майданчиків додано:

• SDR (Serpstat Domain Rank)
• домени, що посилаються
• вхідні посилання
• IP-адреси
• вихідні домени
• запити в ТОПі

Зі зручними сортуваннями та фільтраціями.

Ігор Рудник у короткому відео показує, як усе працює
https://youtu.be/FGwNvIH7knI 👈

Чому це важливо:

З новою інтеграцією ви зможете працювати з даними Serpstat в інтерфейсі Collaborator, що зробить вашу роботу швидше, зручніше та продуктивніше. А при необхідності в один клік перейти до свого облікового запису Serpstat і переглянути детальний звіт.

У каталозі Collaborator є понад 8000 майданчиків. Щомісяця у системі з'являються сотні перевірених нових сайтів для розміщення рекламних статей.

Щоб подивитись майданчики, зареєструйтесь або увійдіть в акаунт Коллаборатора.

Метрики Serpstat вже доступні в каталозі та регулярно оновлюються🙂

#партнеры

Я обіцяв що ми зробимо доступним документ з нашої внутрішньої презентації щодо маркетингової стратегії для IT компаній, SAAS та взагалі Tech бізнесу.

Нарешті ми її опубліковали на окремому лендінгу

1. Комплексний підхід до маркетингу з етапами стратегічного планування, реалізації стратегії та масштабування результатів;
2. Огляд внутрішніх маркетинг-продуктів кожного з етапів — разом із шаблонами документів та прикладами контенту;
3. Обговорення доцільності та результативності елементів контент-маркетингу на базі наших кейсів*;
4. Знайомство з маркетинговою моделлю Сонячної системи;
5. Підхід до створення нового сайту з урахуванням маркетингової стратегії;
6. Огляд внутрішніх маркетинг-документів, що дозволяють забезпечувати безшовність процесів взаємодії різних відділів;
7. Часткове естімування наших маркетинг-робіт**.

Щоб скачати треба заповнити деяку інформацію про себе. Ніхто дзвонити і наскучувати вам не буде, але якщо ви вирішете замовити колись послуги Livepage, то якщо ви будете в базі то отримаєте 10% знижку на послуги.

Бо нам простіше працювати з тими хто розуміється в маркетингу та цікавиться нашим підходом і хоче умновно щоб ми зробили всю роботу, ніж кожен раз це пояснювати новим клієнтам.

Скачати відео: як робити справжній маркетинг для IT компаній

Google использует ссылки из разметки

На SEO Office Hours гуглу задали вопрос, краулит ли он ссылки, расположенные разметке структурных данных.

Ответ Мюллера:
"При анализе HTML, если мы видим что-то похожее на ссылку, мы не пройдем мимо. Это похоже на то, если мы найдем ссылку в JavaScript, мы попробуем ее использовать. То же самое с текстовыми файлами, мы будем пробовать краулить эту ссылку.

Но это не обычная ссылка. Если вы хотите, чтобы URL был просканирован, то ссылку нужно ставить в нормальном виде в HTML, с понятным анкором, дающим информацию о акцепторе.

Если же вы не хотите, чтобы урл краулил эти урлы, можно их заблокировать в robots.txt, или использовать на странице что-то вроде rel=canonical.

Не нужно полагаться на то, что если это микроразметка, то гугл не найдет эти ссылки. Но также не нужно полагаться на то, что если это микроразметка, то гугл найдет эти ссылки. Мы можем их найти, но это не точно.

Лучше сфокусироваться на том, что вы хотите, чтобы тут случилось. Если хотите, чтобы она воспринималась как ссылка, сделайте ее ссылкой."

Источник: https://youtu.be/-qhUhnBRe3Y?t=1404

P.S. Кстати, знаете ли вы, что гугл также краулит ссылки из видео? Похоже, он краулит все, до чего может добраться :) В этом плане, другим поисковикам конкурировать с ним сложно.

Основные пункты, которые стоит проверять при техническом анализе сайта:

1. Доступны ли важные страницы к индексации
- не закрыты в robots.txt, meta robots или x-robots-tag
- стабильно отдают 200 код статуса
- не используется CSR SPA (подгрузка основного контента яваскриптом)

2. Попадает ли в индекс что-то лишнее
- закрыты все технические страницы
- закрыты другие малоинформативные страницы
- отсутствуют дубли

3. Видят ли роботы тот же контент, что и пользователи
4. Достаточно ли хорошая производительность/скорость сайта
5. Удобен ли сайт для мобильных устройств (что показывают тесты)
6. Есть ли критические ошибки в HTML коде, на которые ругается W3C валидатор
7. Стабильный ли хостинг и выдерживает ли большую нагрузку
8. Используется ли hreflang для мульти-язычных/региональных сайтов
9. Имеются ли ошибки в микроразметке
10. Какие другие ошибки показывает Search Console, серверные логи или сторонние сервисы

Добавляйте свои пункты.