Сегодня подробней разберем процесс сбора ключевых фраз или «парсинг». Из предыдущих статей вы получили достаточный багаж знаний, теперь настало время применить их на практике.
И так, у нас есть список исходных запросов, который мы не так давно составляли, изрядно напрягая мозги. Создаем новый проект в KeyCollector.
Для удобства, каждый запрос я распределю по вкладкам, поэтому для начала создадим их и зададим имена вкладок, соответствующие запросам.
Создаем вкладки
Открываем окно пакетного сбора из ПС Яндекс, распределяем запросы по вкладкам.
Не допускайте орфографических ошибок в написании запросов, иначе рискуете остаться без результата или получить неверные данные!
Нажимаем кнопку «Начать сбор» и ожидаем, пока программа закончит процесс сбора. По некоторым запросам можно спарсить десятки тысяч ключей, если таких запросов несколько, то ворочать этой грудой достаточно тяжело, программа начинает жутко тормозить. Чтобы избежать этого мы и распределили запросы по вкладкам, хотя в конкретном примере все можно было спокойно уместить в одну.
Далее проделываем такую операцию с пакетным сбором Гугла и Mail. Для тех, кому покажется мало – можете увеличить количество ключей, добавив Рамблер (мне всегда хватает первых трех).
Далее собираем поисковые подсказки, похожие запросы и расширения Руки. В зависимости от специфики работы, часто вполне хватает пакетного сбора ключей из популярных ПС и поисковых подсказок к ним. Все эти телодвижения призваны для того, чтобы как можно больше ключей собрать на первоначальном этапе, т.к. в дальнейшем, убрав пустышки, конкурентники и различный не тематичный мусор, их останется всего ничего.
Часто приходится сталкиваться с капчами при парсинге. Поэтому настоятельно рекомендую завести аккаунт в сервисе Antigate. К сожалению, с последними изменениями в Яндексе, этот сервис стал менее эффективным, чем ранее, ибо не все русскоязычные капчи разгадываются.
С остальными ПС таких проблем не наблюдается, кроме Google. Этот товарищ слишком щепетильно относится к различным автоматическим запросам и при малейшем подозрении отправляет Ваш IP в бан. Поэтому в настройках мы и задавали большие интервалы между запросами. Так хоть и дольше, но безопаснее. Других способов борьбы с ним нет, либо долго, либо никак.
Что же касается Яндекса, то тут есть 4 способа решения проблемы выскакивания капчи:
- Так же увеличить время между запросами (приходится слишком долго ждать, что не всегда нам подходит).
- Использовать прокси-сервера. Прокси лучше использовать несколько и желательно платные (чем больше, тем лучше). Но, как показывает практика, их тоже надолго не хватает и со временем прокси влетают в blacklist Yandex, как орехи в дупло белки. Поэтому этот способ я тоже редко пользую. Кстати, для Гугла он подходит очень неплохо, хотя тоже недолго играет.
- Использовать Yandex XML. Сейчас для разработчиков ПС выдает определенные «квоты» или «лимиты» на возможность безнаказанного использования автоматических запросов. Лимит зависит от показателей ваших сайтов, которые добавлены в яндекс.вебмастер и чем «круче» сайт, тем больше будет лимит. Подробнее об этом сервисе мы уже говорили в настройках.
В данном случае мы видим, что Яндекс дает право нам сделать 2700 запросов в сутки. Приносит нам эти драгоценные крохи один единственный сайт. Если бы их было несколько, то лимиты складываются. Их так же можно передавать другим разработчикам или же покупать на специализированных биржах. Способ хороший, но часто лимитов оказывается мало, и приходится их докупать. - Использовать Яндекс Директ. С последними обновлениями Кей коллектор научился снимать ключи не через Вордстат, а через Директ, причем Яндекс (во всяком случае, пока) не накладывает никаких санкций при работе через него. Капчи, если и появятся, то их будет совсем не много. Вот этот способ полностью подходит нам, без опасения попасть в бан. Как говорится, пользуемся, пока лавочку не прикрыли XD.
Не стесняйтесь пользоваться несколькими способами сразу или комбинируя их.
Не ставьте большое количество потоков! Лучше потихоньку снимать ключи, чем ломать голову над тем, как обойти бан от ПС, а они их сейчас очень щедро раздают на лево и на право =)
Поборов все проблемы, можно вернутся к процессу сбора.
В итоге работы мы получаем огромное количество ключевых фраз. Разных мастей и национальностей.
Результат
Теперь нам необходимо отфильтровать все бесполезные ключи, составить и прогнать по списку стоп-слов, получить дополнительные данные, определить конкурентность, и т.д. Но как это делается, мы будем рассматривать в следующей статье, посвященной работе с ключевыми фразами.