Основные настройки Key Collector

В этой статье поговорим о самом главном – как правильно настроить Key Collector.

В последнее время Яндекс вслед за Гуглом заметно «подкрутил гайки» и усложнил сбор статистики выдачи. Возможно, здесь ситуация временная и связана с недавним АГС40, возможно, проблемы со съемом конкуренции сохранятся навсегда. Выход есть, я о нем расскажу. С Гугл традиционно все сложно, под настройками буду давать комментарии.

Начнем с подготовки необходимых аккаунтов

IP-адрес

Уточните, какой у Вас IP адрес – динамический или статический. При парсинге периодически может блокироваться IP. С динамическим «лечится» все просто – перезагрузкой модема. Статический – хуже, если не использовать специальные сервисы, блокировка может продлиться несколько дней.

Проверить IP можно при помощи сервиса “Интернетометр”. Запишите свой адрес, потом перезагрузите модем и зайдите повторно. Не забудьте очистить кэш браузера. Если цифры отличаются – все в порядке, если они одинаковые – IP статический. В этом случае я рекомендую использовать сервис VPN.

В последнее время Яндекс начал банить по подсетям. В этом случае не срабатывает и перезагрузка динамического адреса. Тут все от провайдера зависит, - какой адрес он Вам будет выдавать. Так что и на динамическом иногда приходится прибегать к услугам этого сервиса.

Аккаунты в Яндекс Директе

Зарегистрируйте 10 (рекомендую это количество) аккаунтов в Яндекс Директ. Регистрируйтесь именно по ссылке https://direct.yandex.ru. Выбираете логин, пароль, упрощенный интерфейс и обязательно нажимаете кнопку «начать пользоваться сервисом». Потом разлогиниваетесь и логинитесь повторно!!!! Появится предупреждение об отсутствующем телефоне. Жмите «продолжить», потом опять выберите страну и нажмите кнопку «Начать пользоваться сервисом». Потом разлогиниваетесь и регистрируете следующий аккаунт. Я регистрировал все аккаунты сразу, адрес не менял, куки не чистил. Все работает, как часы.

Довольно часто свежие аккаунты в Директе не запускаются с первого раза! Не надо паниковать, все можно поправить. Смотрите «журнал событий» в нижней части программы. Когда запустите парсинг частотностей вордстата через Директ, должны последовательно появиться надписи об авторизации в каждом из аккаунтов. Если это не происходит, а появляются записи, что не удалось авторизоваться – делаем так:

  • Останавливаем парсинг, идем в настройки→парсинг→Яндекс Директ и нажимаем большую кнопку «принудительно очистить данные об авторизации». Потом вручную, через браузер логинимся во всех зарегистрированных аккаунтах и опять жмем кнопку «начать пользоваться сервисом». Залогинились, нажали, разлогинились. И так во всех аккаунтах.
  • Потом опять запускаем сбор и смотрим – если запустились все аккаунты – ОК, работаем. Если этого опять не произошло – чистим данные об авторизации, логинимся вручную в браузере и создаем «фейковое» объявление. Вам все равно, пройдет оно модерацию или нет. Главное, чтобы при входе в аккаунт Вас отправляло не на страницу создания объявлений, а на страницу «мои объявления».

Аккаунты нельзя использовать для реальных рекламных кампаний!!!! Это технические учетные записи, которые могут быть заблокированы в любой момент!

 

Антигейт

Обязательно нужен аккаунт в antigate.com. Оттуда берем свой ключ и вводим в соответствующее окно в настройках→Антикапча. В последнее время в Антигейт разделена статистика для русских и английских капчей. Работников с кириллицей не хватает, но администрация сервиса заверила, что увеличит количество таких сотрудников и ставки по кириллическим капчам пойдут вниз.

Общее правило при работе: если какой-то процесс не работает, программа дает ошибки и принудительно его останавливает, чаще всего все лечится уменьшением количества потоков и увеличением задержек и таймаута.

Настройки на вкладках программы

После запуска на верхней панели нажимаем этот значок и заходим в настройки.

Настройки Key Collector
Настройки

Парсинг→Общие

Парсинг - общие
Парсинг→Общие

Ограничение по количеству слов целесообразно выставлять не более 7, более длинные могут вызвать ошибки в дальнейшей обработке. Таймаут не стесняемся задавать побольше от 30000-50000 мс. Режим сбора ставим “строки с неполученными данными”, чтобы заполнялись пустые таблицы и не перезаписывались уже имеющиеся данные. Это поможет сократить время сбора.

В фильтре символов можно расширить набор символов для замены на пробел. Ну тут, думаю, все понятно.

Парсинг→Вордстат

Wordstat
Wordstat
Парсинг→Вордстат

Остановимся на особо важных, назначение остальных вы можете прочитать, кликнув на значок вопроса в конце строки или на официальном сайте разработчика.

  1. Глубина парсинга задается, если вы желаете собрать ключи и потом, по каждому из собранных, спарсить еще порцию. (Если глубина стоит 1, то парсится слово, потом оно добавляется в список фраз и парсится снова и так чем больше число глубины, тем больше кругов ада пройдет программа). Это колоссально замедляет работу программы, поэтому ставим глубину 0.
  2. Следующий пункт «Добавлять в таблицу фразы с частотностью от»
    Если вас не интересуют базовые частотности меньше определенного значения или хотите выбрать ключи в узком диапазоне, то эти значения задаются в этой строке. Я обычно выставляю от 20-50 минимальную и до бесконечности максимальную, но все зависит от тематики, иногда бывает необходимо собрать все ключи, вплоть до частотности 5, а ниже уже будут пустышки.
  3. Если базовая частотность ниже заданного здесь порога, то при сборе фразовой("") и точной("!") такие слова будут пропускаться, что тоже ускоряет процесс работы.
  4. Чтобы не добавлять в список исходных фраз пустышк, при глубине парсинга больше 0, можно установить здесь ограничение.
  5. Ввиду ввода русской капчи, что делает ее разгадывание проблематичным для большинства сервисов, нужно не стесняясь ставить большие задержки, чтобы не пришлось доказывать яндексу, что Вы не робот и не схлопотать бан. Рекомендую выставлять значения в интервале от 5000-30000 мс.
  6. С количеством потоков нужно быть осторожным, ибо ПС не любят многопоточные сборы и сразу их жестко пресекают со всеми вытекающими санкциями. Обычно я снимаю данные в один поток. Да, долго, но зато безопасно. Если же вы работаете через прокси, то целесообразно выставлять до 10 потоков сбора.
  7. Таймауты ставим от 30-45 тыс. мс.

Частотности " " при анализе ключей я не использую. Если они Вам нужны, поставьте галочку на Собирать частотности вида " "

Обратите внимание на поле «Получать статистику через Yandex Direct»! Если Вы активируете эту функцию, то ключи с вордстата будут парситься не напрямую с сервиса, а при помощи инструмента «Подбор ключей» для рекламодателя в Директе. Таким образом, Вы получите те же ключи, но без риска бана со стороны вордстата за многопоточный сбор. Через Директ ключи снимаются без проблем даже после недавних изменений в выдаче.

Парсинг→Google Adwords


Парсинг→Google Adwords

В Гугл Эдвордс используем только одну учетную запись.

Запоминаем!

  1. Вбиваем логин:пароль без @gmail.com
  2. Для работы парсинга и сбора статистики Гугла должен быть установлен Интернет Эксплорер версии не ниже 10, система, соответственно, от Виста и выше.

При необходимости здесь так же можно задать глубину парсинга и задержки. Т.к. гугл очень щепетилен к парсерам и сразу отправляет все подозрительное в бан, то задержки рекомендую так же выставлять большие. Если работаете с основного IP, то от 10000-25000 мс.

Парсинг→Rambler Adstat

Adstat
Парсинг→Rambler Adstat

С Рамблера статистику я снимаю редко, да и сама ПС относится к таким как я достаточно лояльно и рада любым посещениям, даже роботов. =) Здесь все работает без проблем, поэтому нет смысла задавать большие задержки и парсинг страниц больше 5 (есть реальная возможность при большем значении нахватать мусора).

Парсинг→Социальные сети

Парсинг социальных сетей Key Collector
Парсинг→Социальные сети

Эта функция нужна для создания описания и названия групп ВК. При сборе ядра для сайтов ее я не использую.

Вкладки “Solomono”, “Рекомендации” и “Похожие поисковые запросы” оставим без изменений.

Парсинг→Поисковая выдача



Парсинг→Поисковая выдача

Вот эта функция сегодня самая проблемная.

Для начала разберемся, что такое Яндекс XML. Это специальный сервис, который дает возможность отправлять запросы к ПС и получать данные в формате XML. Для каждого сайта, в зависимости от количества траффика (в свете последних изменений) выдается определённый лимит этих запросов, который, можно при желании докупить на специальных биржах. Используя эту квоту, вы можете безболезненно заниматься парсингом, не опасаясь за бан.

По поводу капчи в Яндексе перепробовал кучу прокси сервисов – ничего не помогло. Единственный найденный мной выход – использование XML Яндекса. Если у Вас есть сайты, добавленные в панель вебмастера, вы можете узнать свой лимит тут: https://xml.yandex.ru/limit_info.xml.

Есть два типа настроек XML – yandex.ru и yandex.com. РЕЗУЛЬТАТЫ ВЫДАЧИ ОТЛИЧАЮТСЯ!!!!!

Правильные результаты с учетом региона получаются только при использовании yandex.ru!!!!!! Расхождение есть,  даже если задаем выдачу без региона!!!!

Вот результаты парсинга:
Смотрите – колонки конкуренция в яндексе, количество главных в яндексе и вхождений в заголовки. Ключи одни и те же.

По yandex.com


yandex.com

По yandex.ru


yandex.ru

Как видите, отличие большое.

С Yandex.com есть фокус – если выбрать эту выдачу и нажать «Сохранить», Вы получите лимит в 10000 запросов. Впрочем, этот лимит можно использовать, например, в плагине Винка для проверки индексации страниц, но никак не для корректного анализа поисковой выдачи.

На странице настроек выбираем «русский (yandex.ru)».

Полученный ключ вводим в соответствующее окно настроек. Отмечаем «Не предлагать к распознаванию капчу XML». В этом случае в пределах лимита запросов скорость 1-2 запроса в секунду в один поток. Вполне хватает.

Единственная проблема с XML от яндекс.ру в том, что здесь лимиты зависят от сайтов в панели вебмастера. Если у Вас нет своих сайтов или недостаточно лимитов, их можно купить. Лимиты поступят на ваш яндекс-аккаунт через сутки после зачисления. 3-5 тысяч запросов «без головной боли» в день обойдутся рублей 500 в месяц.

Обращаю Ваше внимание, что количество потоков в этой таблице относится не только к съему позиций, но и к съему конкуренции KEI и подбору релевантных страниц.

Непосредственно для оценки позиций я программу не использую. В этом случае рекомендую создать проект в Megaindex и вручную добавить ключи. Удобство Мегаиндекса в том, что сервис самостоятельно обновляет позиции с каждым аппом выдачи и можно наглядно отслеживать изменение запроса.

По Гуглу – с одного айпи рекомендую работать в один поток. Тут или медленно, но работать, или быстро – через 100-200 запросов бан. Либо пользоваться прокси. Но и они будут отлетать достаточно быстро, одна за другой.

Парсинг→Подсказки


Парсинг→Подсказки

Обращаю внимание – есть настройка региона. Если регион не нужен – ставим «0». Если нужен – выбираем из списка регионов яндекса https://hmxblog.ya.ru/replies.xml?item_no=2780

Парсинг→Яндекс Директ


Парсинг→Яндекс Директ

Рекомендую тут вбить около 10 аккаунтов директа и поставить около 8 потоков. Скорость ощутите сразу.

Парсинг→Рейтинг Mail.ru


Парсинг→Рейтинг Mail.ru

Новая функция, с этими настройками все работает. Не забываем снимать с мэйла, т.к. хоть и не большой, но траффик идет оттуда.

Сеть


Сеть

Настройки прокси, если используются. Обращаю внимание, что практически во всех вкладках есть настройки для прокси серверов. Недостаточно их включить только на этой вкладке. Дополнительное включение делается на вкладке Яндекс-Директ и KEI. Кроме того, есть настройки отсева некачественных прокси и «использовать основной IP». При подключении прокси советую основной IP отключать.

Интерфейс→Экспорт


Интерфейс→Экспорт

Эти настройки нужны, если Вы будете выгружать результаты работы списком. Я часто выгружаю в CSV, в принципе здесь все интуитивно понять, если не удается – жмем на вопросики справа в строках =)

Интерфейс→Прочее



Интерфейс→Прочее

С «защитой от дурака», думаю, сами разберетесь.

Активируйте опцию «Не обновлять содержимое таблицы после групповых операций». Это значительно ускоряет работу с большими проектами. В этом случае данные не обновляются автоматически. Их можно обновить при помощи стрелки внизу справа.

Интерфейс→Заголовки таблиц


Интерфейс→Заголовки таблиц

Тут уже все настраиваем под свой вкус и цвет. Заголовки таблиц можно переписать под себя. По умолчанию они крайне неинформативны, поэтому и сделали возможность обозвать их по вашему желанию, да и клиенту будет проще понять, что за цифры в колонке.

Антикапча→Автораспознавание капчи


Антикапча→Автораспознавание капчи

Вбиваем ключ от антигейт. С последними обновлениями программа научилась работать с множеством сервисов антикапчи. Смотря, какой используете, тот ключ и вводите, выбрав кнопочку используемой ниже. Чтобы пробовать распознавать русские головоломки (в антигейте не только индусы работают), снимаем галочку с пункта, который ниже задатчика ограничений.

Антикапча→MegaIndex API


Антикапча→MegaIndex API

Можно использовать API Мегаиндекса. Но это достаточно дорогое удовольствие – 5000 запросов стоят 100 рублей.

KEI


KEI

Данные формулы помогаю определить уровень конкуренции на основе полученных данных из ПС Яндекс и ссылочных агрегаторов.

Здесь вводим формулы. Абсолютно все равно, в какую ячейку их вобьете. Просто результаты расчета надо будет смотреть в соответствующей колонке.

Для удобства – формулы в текстовом варианте, можете их скопировать и добавить в программу:

Для оценки сезонных ключей:

  1. YandexWordstatAverageFreq/YandexWordstatBaseFreq*(YandexWordstatQuotePointFreq +1 )
  2. YandexWordstatAverageFreq/YandexWordstatBaseFreq*(YandexWordstatQuotePointFreq + 0.0001 )

Для оценки конкуренции и пустышек:

  1. AverageBudget/AverageTraffic + 0.0001
  2. YandexWordstatBaseFreq / ( YandexWordstatQuotePointFreq  + 0.0001 ) 

Вот и разобрались с настройками. В следующей статье поговорим об огромном функционале коллектора.

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Scroll Up
Adblock detector