45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.
Парсер Google Places
Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.
Парсер prom.ua
Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.
Скачивание картинок
В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.
HTML::LinkExtractor добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
Shop::Yandex::Market
Check::RosKomNadzor добавлена возможность выбирать источник для проверки
Maps::Yandex переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
Rank::Alexa::API добавлена возможность получать название страны вместо ее кода
Rank::Ahrefs расширен перечень собираемых данных
SE::Seznam добавлена поддержка сессий и возможность разгадывать каптчи
SE::Google и 
SE::Yandex
Rank::MajesticSEO, связанных с постоянными изменениями в логике запроса и верстке страницы
SE::Yandex::SQI, 
SE::Yandex::Images
SE::Yandex::ByImage
SE::Yandex::Direct, 
SE::Ask, 
SE::Baidu, 
SE::Bing::Suggest, 
Rank::KeysSo, 
SE::Google::TrustCheck, 
SE::Google::ByImage, 
SE::MailRu, 
Rank::Ahrefs::KeywordDifficulty, 
Rank::Ahrefs::KeywordGenerator
SE::Youtube исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
SE::Google::KeywordPlanner исправлена авторизация
Util::ReCaptcha3
SE::DuckDuckGo актуализированы языки и регионы
SE::Google::Cache добавлена возможность использовать сервисы разгадывания рекаптч
DeepL::Translator
SE::Bing при обнаружении бана, прокси банится парсером вместо простой смены
Shop::Amazon обновлен юзер-агент, за счет чего выросла производительность
SE::Yandex::Translate
SE::MailRu::Position, 
SE::Google::Compromised, 
SecurityTrails::IP, 
Net::Whois, 
SE::Bing::Translator, 
Social::Instagram::Profile, 
Rank::Linkpad
Rank::MOZ исправлено отсутствие повторных попыток, а также изменена логика определения неудачных запросов
SE::Bing::Images