Как спарсить People also ask в выдаче Google by Netpeak Spider

2019-12-11

Стало скучно, решил найти инструменты как спарсить блок «People also ask» из выдачи Google.

Инструментов толком не нашел кроме serpapi.com. Прикольный ресурс, мне понравился, но платить не хочеться, так как понимаю что своими силами могу решить такую задачу.

Карочь, вспомнил что у Spider есть модуль парсера и решил свою задачу за 2 минуты.

1. Сформировать список запросов по шаблону https://www.google.com/search?q=KEYWORD&ion=0&num=10

2. Настроить парсинг XPath в Netpeak Spider

//div[@class='match-mod-horizontal-padding hide-focus-ring cbphWd']

3. Уменьшить шанс каптчи от Google: добавил чуть прокси, включил рендеринг JS и задал адекватное количество потоков — 10.

В итоге быстро получил список вопросов которые использовал в своих статьях, в блоках FAQ.

non sort

Как выгрузить ссылки на файлы в папке GoogleDrive

Ищу дроп-домены на yellowpages, нашел 390к

comments powered by Disqus