A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента

Список разделов Продвижение сайта / Поисковая оптимизация SEO

Описание: продвижение сайтов

Сообщение #101 A-Parser Support » 18 февраля 2021, 9:46

Сборник рецептов #45: парсеры Google Places и prom.ua, получение характеристик картинок "на лету"

45-й сборник рецептов, в который вошли парсер результатов поиска на Google Places, парсер для prom.ua и пример скачивания картинок с одновременным определением их характеристик.

Парсер Google Places

Парсер для поиска заведений по ключевым словам в Google Places. В отличие от парсера Google Maps здесь не нужно задавать координаты поиска, а достаточно вместе с ключевым словом написать нужный город.

Изображение

Парсер prom.ua

Парсинг товарных позиций для одной из крупнейших в Украине торговых площадок prom.ua. Кроме собственно названий товаров и их цен, позволяет собирать такие данные продавцов, как телефоны и электронные почты.

Изображение

Скачивание картинок

В этом примере показан способ решения задачи по скачиванию картинок и одновременному получению их характеристик, а именно размера и ориентации. Для получения характеристик используется NodeJS модуль.

Изображение

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Изображение Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 4 года 1 месяц



Сообщение #102 A-Parser Support » 3 марта 2021, 21:09

1.2.1148 - накопительное обновление встроенных парсеров и исправление Bypass Cloudflare

Изображение

Улучшения

  • В Изображение HTML::LinkExtractor добавлена опция Skip comment blocks, которая позволяет исключить из парсинга блоки html комментариев
  • Повышена производительность Изображение Shop::Yandex::Market
  • В Изображение Check::RosKomNadzor добавлена возможность выбирать источник для проверки
  • Изображение Maps::Yandex переписан на TypeScript, добавлена возможность подключения сервисов разгадывания каптч
  • В Изображение Rank::Alexa::API добавлена возможность получать название страны вместо ее кода
  • В Изображение Rank::Ahrefs расширен перечень собираемых данных
  • В Изображение SE::Seznam добавлена поддержка сессий и возможность разгадывать каптчи
  • Реализована возможность использовать прокси с одним IP:port, но с разными логинами


Исправления в связи с изменениями в выдаче

  • Множество различных адаптаций к изменениям в верстке страниц с результатами в Изображение SE::Google и Изображение SE::Yandex
  • Множество исправлений в Изображение Rank::MajesticSEO, связанных с постоянными изменениями в логике запроса и верстке страницы
  • В Изображение Rank::Alexa::API исправлено получение кода страны
    В Изображение Rank::Ahrefs исправлен парсинг рейтинга
  • Исправлена работа с каптчами в Изображение SE::Yandex, Изображение SE::Yandex::SQI, Изображение SE::Yandex::Images
  • Исправлен парсинг $keywords в Изображение SE::Yandex::ByImage
  • Исправлена работа Изображение SE::Yandex::Direct, Изображение SE::Ask, Изображение SE::Baidu, Изображение SE::Bing::Suggest, Изображение Rank::KeysSo, Изображение SE::Google::TrustCheck, Изображение SE::Google::ByImage, Изображение Check::RosKomNadzor, Изображение SE::Seznam, Изображение SE::MailRu, Изображение Rank::Ahrefs, Изображение Rank::Ahrefs::KeywordDifficulty, Изображение Rank::Ahrefs::KeywordGenerator


Исправления

  • Исправлен экспериментальный обход защиты Cloudflare с помощью Chrome
  • Исправлена ошибка в Изображение Maps::Yandex, из-за которой не собиралось больше 1 страницы, а также исправлена проблема с получением исходного кода страниц
  • В Изображение SE::Youtube исправлено игнорирование настроек поиска, проход по пагинации, а также в некоторых случаях не делались повторные попытки
  • В Изображение SE::Google::KeywordPlanner исправлена авторизация
  • Исправлена утечка памяти, которая проявлялась при долго работающих заданиях с большим числом запросов
  • Исправлена ошибка с Buffer, проблема появилась в одной из предыдущих версий

Изображение Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 4 года 1 месяц

Сообщение #103 A-Parser Support » 16 мая 2021, 13:49

Обновление документации и курс по заработку на PBN используя A-Parser

Обновленная документация

Мы не стоим на месте: постоянно совершенствуем наш продукт, расширяем его функционал, ориентируясь на сегодняшние потребности пользователей и на удобство использования A-Parser. В соответствии с этим мы полностью обновили нашу техническую документацию, в первую очередь изменили интерфейс, создали логичную структуру разделов, предусмотрели удобную навигацию и поиск.

Кроме дополнения и обновления существующей документации добавлены новые, ранее не публиковавшиеся разделы:
  • настройка и работа с Docker
  • новое API v2 для написания JS парсеров с использованием TypeScript
  • использование Chrome с прокси с помощью Puppeteer
  • взаимодействие с A-Parser черезRedis API
  • использование Node.js модулей
Также, для всех встроенных парсеров добавили блоки с примерами их использования. Вся документация сопровождается скриншотами и различными примерами, большинство из которых можно импортировать в свой А-Парсер и изучить.

Обновленная документация еще будет расширяться и дополняться, но Вы уже сейчас можете ознакомиться с ней, перейдя по ссылке: https://a-parser.com/docs/


Курс по заработку на PBN используя A-Parser(+включает лицензию)

Наш хороший друг Николай Кодий запускает второй набор на курсы по подбору дропов и построению качественных сеток PBN, с применением A-Parser в качестве одного из основных инструментов. Каждый из студентов бесплатно получает весь лицензионный софт (в том числе и A-Parser), необходимый для подбора дропов. Данный курс без "воды" — вы получите концентрат опыта и алгоритмы наработок, которые никто другой не показывает. Курс насыщен практикой на реальных задачах. Каждый выпускник сможет в дальнейшем сотрудничать с Николаем или получить рекомендацию от него и контакты компаний, которые часто ищут специалистов по PBN. Подробнее о курсе читайте в его телеграм-канале https://t.me/mypbn/1113
A-Parser Support
Автор темы
Репутация: 0
С нами: 4 года 1 месяц

Сообщение #104 A-Parser Support » 27 мая 2021, 16:21

Сборник рецептов #46: парсинг сообщений из Viber, корейский поисковик и сбор контактов организаций

46-й сборник рецептов, в который вошли парсер сообщений Viber, парсер корейского поисковика и пресет для сбора контактов организаций из каталога.

Парсер Viber - сбор сообщений из публичных групп вайбер
В А-Парсере уже довольно давно существует парсер для сбора сообщений из публичных групп в Telegram. Представляем аналогичное решение для не менее популярного мессенджера - Viber.
Изображение

Парсер корейского поисковика Daum.net
Еще один парсер поисковых систем, на этот раз корейской daum.net
Изображение

Парсинг контактов организаций из ua-region.info
Пресет для сбора телефонов, почт, сайтов, адресов и прочей информации из каталога организаций ua-region.info
Изображение


Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Изображение

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 4 года 1 месяц

Сообщение #105 A-Parser Support » 17 июня 2021, 9:22

1.2.1239 - обновление Node.js, поддержка ReCaptcha v3 и Smart captcha, исправление ошибок

Изображение

Улучшения
  • Node.js обновлен до версии 15.14.0
  • Добавлена возможность разгадывать Google ReCaptcha v3 в виде нового парсера Изображение Util::ReCaptcha3
  • В Изображение SE::Yandex, а также в некоторых других парсерах Яндекса реализована обработка новой Smart captcha
  • В Изображение Rank::MajesticSEO добавлен режим парсинга через Chrome
  • В Изображение SE::DuckDuckGo актуализированы языки и регионы
  • В Изображение SE::Google::Cache добавлена возможность использовать сервисы разгадывания рекаптч
  • В Изображение SE::YouTube добавлен сбор ссылок на канал
  • Актуализирован список языков в Изображение DeepL::Translator
  • Теперь в Изображение SE::Bing при обнаружении бана, прокси банится парсером вместо простой смены
  • В Изображение Shop::Amazon обновлен юзер-агент, за счет чего выросла производительность
Исправления в связи с изменениями в выдаче
  • Множество адаптаций Изображение SE::Google и Изображение SE::Yandex к изменениям в верстке страниц с выдачей
  • Исправлен постоянный бан запросов в Изображение SE::Google::Cache и Изображение SE::Bing
  • Исправлен проход по пагинации в Изображение SE::DuckDuckGo
  • В Изображение SE::Youtube исправлен подсчет кол-ва результатов и определение существования следующей страницы
  • Исправлена работа с каптчей в Изображение Shop::Amazon
  • Исправлена разбивка на блоки больших запросов в Изображение SE::Yandex::Translate
  • Исправлены Изображение SE::Bing, Изображение SE::MailRu, Изображение SE::MailRu::Position, Изображение SE::Google::Compromised, Изображение Rank::MajesticSEO, Изображение Rank::KeysSo, Изображение SE::Yandex::Direct, Изображение SecurityTrails::IP, Изображение Net::Whois, Изображение SE::Bing::Translator, Изображение SE::DuckDuckGo, Изображение Social::Instagram::Profile, Изображение Shop::Yandex::Market, Изображение Rank::Ahrefs::KeywordGenerator, Изображение Rank::Ahrefs::KeywordDifficulty, Изображение SE::Seznam, Изображение Shop::Amazon, Изображение Rank::Linkpad
Исправления
  • Исправлен баг в Изображение HTML::LinkExtractor, из-за которого парсинг по запросу останавливался с ошибкой
  • В Изображение Rank::MOZ исправлено отсутствие повторных попыток, а также изменена логика определения неудачных запросов
  • Исправлена ошибка проверки прокси, если в пароле был символ "*"
  • Исправлен баг, из-за которого при использовании шаблонизатора в Additional headers переставал работать Check content
  • Исправлена логика проверки результатов в Изображение SE::Bing::Images
  • Исправлена работа XPath
  • Исправлена утечка памяти: при длительной работе процесс node.js постепенно заполнял всю доступную оперативную память
  • Исправлена работа с прокси на некоторых сайтах, баг появился в одной из предыдущих бета-версий

Изображение
Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 4 года 1 месяц

Пред.

Вернуться в SEO

cron