Актуальные методы накрутки ПФ и защиты сайтов от ботов и парсеров Артём Акулов Продвигаю собственные и клиентские проекты с 2014 года. Большая экспертиза в продвижении крупных интернет-магазинов, порталов и контентных сайтов. Автор методик по улучшению поведенческих факторов и защите сайтов от негативных ботов, спама и парсеров. Ретроспектива Крутили ПФ без прокачки профилей Не заморачивались с ТХ ботов Сайты заходили в топ без внутренней оптимизации и даже под фильтрами Сейч Без хорошей полной ас внутренней оптимизации нет смысла работать с ПФ Результат растянулся во времени Вырос порог входа Антифрод Яндекса Важные моменты Три независимые системы антифрода: Поиск, Директ, Метрика Яндекс ввёл понятие «Роботность»: не влияет на ранжирование Роботность можно снизить почти до нуля Яндекс.Вебмастер фиксирует клики хорошо прокаченных ботов На сайтах без трафика роботность всегда 100%, в Яндекс.Вебмастер антифрод легко определит ботов за 510 дней и перестанет учитывать клики Эффективный софт для накрутки ПФ Monstro, iBot, WebVisitor и многое другое - софт на базе BAS TermiDroidNetwork (TDN) – сеть компьютеров, объединенных через один сервер Шаблоны на базе ZennoPoster Важные параметр ы ботов Софт на базе BAS Прокачка cookies от 15 дней и формирование ДИ Fingerprint Canvas – генерация или используем Fingerprint Switcher Собираем отпечатки через CustomServers с своих сайтов Прогрев на отпечатках с генерацией, переходы на сайт с подменой отпечатка – экономия ресурсов Настраиваем частотность с которой фразы будут браться в работу – сутки, раз в 2 дня, 3 дня, 15 дней, и т.д. Matcher – часть «Крипты» Синхронизирует проверку Fingerprints с БД операторов связи Создаётся запрос в БД оператора с передачей Fingerprint’a Оператор связи получает отпечаток и пытается сопоставить его с пользователем в своей системе При удачном поиске оператор связи возвращает уникальный id в «Крипту» TDN В сервере должна стоять любая дискретная видеокарта Скоростные мобильные прокси с ротацией ip Закрытый алгоритм автоматической прокачки профилей В сети 100+ серверов, реальные отпечатки, большой пул ip Эксперименты и настройки Используем координаты широты и долготы для разбавки ГЕО – отличная рабочая настройка При прокачке профилей можно отключать загрузку картинок и не использовать прокси – результаты идентичны с обратными настройками При использовании ботов с прокачкой по ДИ и без – результаты идентичны во многих нишах и неконкурентных ГЕО, позиции растут одинаково Сайты для прокачки можно брать из PFBaza или БК Можно собрать базу сайтов вручную Берем рейтинг сайтов из Mutagen по видимости в поиске – около 7,5 млн доменов Или парсим ключи по тематикам, выгружаем семантику из Keyso или другого инструмента Парсим топ-50 по каждому ключу, чистим дубли Оставляем только те домены, у кого код 200, не пустой Title, и есть в коде Яндекс.Метрика и/или GTM Ищем коды аналитики в 2 клика Screaming Frog SEO Spider -> Configuration -> Custom -> Как делать накрутку ПФ эффективно Берем в работу фразы, которые уже есть в ТОП-30 По мере роста позиций подхватываем новые Считаем очень приблизительное к-во переходов в сутки и прорабатываем семантику Разбавляем ключи брендовыми запросами и переходами в SERP без клика по сайту Мониторим приблизительные частоты и корректируем Как делать накрутку ПФ эффективно Детально анализируем поведение реальных пользователей с разных источников трафика и в средних показателях по рынку Включаем переходы в соответствии с онлайном реальных пользователей Не удаляем профили после работы Настраиваем регулярный онлайн ботов, делаем возвраты Средние показатели по рынку Возвращаемость Динамика трафика Вовлеченность Нюансы Если сильно перекручивать CTR фраз, по которым нет и не может быть такого трафика, то можно встать в ТОП-1 и остаться без лидов и роста реального органического трафика В некоторых нишах не нужен ТОП-1, лидов больше из 38 позиций, это связано с прокруткой блока с быстрым ответом/рекламой/сервисами Яндекса, в Google ситуация иная – весь трафик в ТОП-1-3 Будьте осторожны с «быстротопом», очень вероятен откат позиций, падение трафика и прибыли сайта Нюансы Сайты с околонулевым трафиком вытягивать сложно, долго, и почти бесполезно Антифрод Яндекса давно умеет определять ботов до появления в SERP Не скупать массово прокси у одних и тех же продавцов Не пользоваться готовыми сборками, шаблонами и однотипным поведением Защита сайта от ботов и парсеров Блокируем популярных ботов и парсеры через .htaccess: 400+ готовых правил в моём Github (не защищает от поведенческих ботов) Переходим на NS Cloudflare и настраиваем WAF: оригинал правил в моей статье на vc.ru (не защищает от поведенческих ботов) Подключаем и настраиваем Antibot.Cloud: выбираем тип капчи, проверку по реферерам, заливаем индивидуальные правила и нужную логику работы Antibot.Cloud: статистика работы защиты Результаты настройки защиты Конкурентное преимущество – сайт сложно анализировать Защита от поведенческих и спам-ботов Защита от любых парсеров (прокси, http заголовки, useragent не имеют значения) Защита от фейк-ботов с user-agent как у официальных ботов поисковых систем Результаты настройки защиты Гибкая настройка алгоритмов защиты по абсолютно любому источнику трафика Защита от проксирования сайта дорвеями Значительное снижение нагрузки на web-сервер Маскировка сетки сайтов от сервисов и веб-мастеров Оборудование для накрутки ПФ Арендуем сервер или собираем свой Процессоры – AMD EPYC 24C 48T или Intel Xeon 22C 44T RAM от 128 Гб, скоростной NVMe SSD емкостью от 1 ТБ Оборудование для накрутки ПФ Рендеринг можно скинуть на видеокарту, тем самым снизить нагрузку на процессоры, GeForce RTX серии 20 с 8 Гб вполне достаточно Один сервер держит 200+ потоков в зависимости от задач по ПФ Сборка нового сервера Строим собственны е мобильные прокси Зачем? Полный контроль технических параметров Максимальная безопасность, мощность и скорость Количество капчи в поиске сокращается на порядки Легко масштабировать Лучшее соотношение цена/качество Как проверить качество прокси? Заходим на https://browserleaks.com/ip Usage Type: Cellular Network: сеть оператора IPv6 Leak Test: n/a WebRTC Leak Test: n/a DNS Leak Test: dns оператора Вариант №1: Kraken Proxy + USB-модемы. Плюсы: быстро, дёшево. Минусы: нестабильная работа, низкая скорость, много ошибок. Вариант №2: Kraken Proxy + AXR-5P + EP06-E. Плюсы: скорость до 95 мбит/сек, поддержка агрегации частот, стабильно держит много потоков, можно установить на мачту, балкон или улицу в гермобокс. Минусы: иногда сложно найти железо в продаже, большой спрос. Вариант №3: Кастомный софт + мощные одноплатные модемы 16 категории и выше. Плюсы: скорость 280+ мбит/сек, поддержка смены БС, полностью кастомное решение под свои задачи. Минусы: дорогое железо, не на всех БС работает агрегация частот, обычно есть ежемесячная абонентская плата за софт. Установка на Ubuntu Server за 15 минут Легко администрировать Классная админка Можно поставить на Mini PC Легко управлять портами Стабильная работа с нагрузкой AXR-5P + EP06-E в гермобоксе Готовая сборка нескольких роутеров Прокси-сервер: Ubuntu + Kraken Proxy 8 ГБ RAM NVMe M.2 256 ГБ SSD 2 гигабитных LANпорта Процессор Intel N5095 Бесшумная работа Спасибо за внимание! Связаться со мной можно по ссылке ниже или отсканировав QR-код https://t.me/akulov_pro
