A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента

[A-Parser Support]

Сборник рецептов #35: комментарии на Youtube, контакты на сайтах и японский Yahoo
35-й сборник результатов, где мы будем собирать комментарии из Youtube, искать контакты (телефоны и почты) на сайтах, а также парсить японскую выдачу Yahoo. Поехали!
Парсинг комментариев из Youtube
Представляем вашему вниманию JS парсер комментариев для видео на Youtube. С его помощью можно собирать тексты комментариев, а также информацию об авторах комментариев индивидуально для каждого видео. Также реализована возможность указывать количество страниц с комментарими, что позволяет при необходимости ограничить их сбор и тем самым увеличить скорость работы.


Извлекаем телефоны, начинающиеся на 3 с помощью HTML::EmailExtractor
Пресет, в котором показано, как с помощью HTML::EmailExtractor HTML::EmailExtractor собирать контакты со страниц сайтов. Данный пресет предназначен для сбора e-mail и телефонов, начинающихся с 3 (Украина), но при необходимости можно немного изменить регулярные выражения и собирать телефоны других стран.


SE::Yahoo::JP
JS парсер для парсинга японской выдачи Yahoo. Используется домен search.yahoo.co.jp. Собираются ссылки, анкоры и сниппеты, а также есть возможность задать количество страниц для парсинга.


Еще больше различных рецептов в нашем Каталоге!

Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

[A-Parser Support]

1.2.595 - новый парсер Ahrefs, инструмент для создания CSV и много других улучшений



Улучшения

• Добавлен новый парсер Rank::Ahrefs
• Добавлен инструмент $tools.CSVline для простого создания CSV файлов
• В связи с тестированием Гуглом новой верстки в поисковике, добавлена ее поддержка в SE::Google::Modern
• В SE::Google::Modern в массив $serp добавлена переменная $amp, которая показывает, поддерживает ли страница AMP
• В SE::Yandex в $serp.$i.label добавлена поддержка Турбо страниц, а также добавлен сбор типов меток сайтов
• В Net::HTTP улучшена работа с редиректами, добавлена опция Follow common redirects
• Теперь в Util::ReCaptcha2 можно указать хост для используемого сервиса разгадывания, а также в Provider url можно указывать адреса через запятую (актуально для XEvil и CapMonster), парсер будет использовать каждый из них в случайном порядке
• Увеличено количество результатов в парсерах Rank::Bukvarix::*
• Добавлена опция ограничения числа логов, с целью оптимизации использования дискового пространства
• JS парсеры: улучшена пакетная обработка запросов

Исправления в связи с изменениями в выдаче

• В Maps::Yandex исправлена ситуация, при которой для части результатов не собирались данные
• Исправлен SE::Rambler

Исправления

• Исправлена проблема с рядом парсеров, из-за которой они не работали, появилась в одной из предыдущих версий
• Исправлена ошибка в Rank::Alexa, из-за которой при отсутствующих значениях запрос завершался с ошибкой
• Исправлен баг в Rank::MajesticSEO, из-за которого в некоторых случаях запросы завершались с ошибкой
• Для парсеров Social::Instagram::Profile и Social::Instagram::Tag изменен перечень доступных переменных в связи с не совсем корректной работой в некоторых случаях

[A-Parser Support]

Видео урок: Парсинг Google Maps для сбора всех организаций в определенной местности

В этом видео уроке рассмотрен способ сбора данных об организациях в указанной местности из Google Maps, используя встроенный парсер Гугл карт. Также показано как определить необходимые координаты на карте и задать их в парсере.



В уроке рассмотрено:

• Парсинг карт Google с использованием Maps::Google
• Пример получения координат для использования в макросах подстановок
• Работа с макросами подстановок при наличии отрицательных чисел
• Импорт результата в Excel

Полезные ссылки:

• Готовый пресет в Каталоге
• Описание парсера Maps::Google
• Документация по макросам подстановок

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

[A-Parser Support]

Сборник статей #9: анализ страниц сайта, парсинг всех страниц сайта из индекса и проверка запросов

9-й сборник статей. В нем мы разберемся, как делать пресеты для анализа всех страниц сайта, научимся парсить все ссылки сайта из индекса ПС и будем проверять существование запросов. Поехали!

Создание пресета для анализа страниц сайта
Анализ страниц на сайте - это один из самых популярных кейсов использования А-Парсера. При этом можно собирать очень много различных параметров, начиная от проверки доступности и заканчивая поиском определенных слов на странице.
О том, как сделать простой анализатор сайта и пойдет речь в этой статье.


Парсинг разными способами максимум результатов из индекса поисковых систем
Парсинг из индекса поисковых систем всех страниц сайта - это еще один популярный кейс для A-Parser. ПС ограничивают кол-во результатов по одному запросу, поэтому нужно как-то обходить это ограничение. Как это сделать - описано в нашей статье.


Проверка существования запросов
Пресет из этого примера позволяет проверить базу ключевых слов и определить, был ли запрос одноразовым без постоянного спроса или нет. Тем самым появляется возможность отфильтровать семантику и оставить только "хорошие" запросы. Больше деталей, а также готовый пресет - по ссылке выше.



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей

• Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы
• Сборник статей #2: цикл статей-уроков по созданию JS парсеров
• Сборник статей #3: пагинация, переменные и БД SQLite
• Сборник статей #4: добавление товаров в OpenCart и парсинг JSON
• Сборник статей #5: собственный канал в Telegram и массовое добавление товаров в OpenCart
• Сборник статей #6: работа с API, сохранение в YML и мануал по подключению Node.js модулей
• Сборник статей #7: сохранение в xlsx, работа с API и обзор методов автоматизации
• Сборник статей #8: ссылки с GET параметрами, скачивание Google документов, очистка очереди через API

[A-Parser Support]

Видео урок: Парсинг сайта в глубину на основе парсера HTML::LinkExtractor

В этом видео уроке рассмотрен способ создания пресета для анализа сайта в глубину.



В уроке рассмотрено:

• Парсинг в глубину (уровень) сайта относительно страницы запроса при помощи функции "Парсить до уровня"
• Получение title (с очисткой от HTML сущностей)
• Получение таких параметров как:
  
  • кол-во предыдущих редиректов
  • код ответа сервера
  • кол-во внешних ссылок

Полезные ссылки:

• https://a-parser.com/resources/357/ - готовый пресет в Каталоге
• https://a-parser.com/resources/356/ - подробное описание по созданию настроек для парсинга в глубину сайта
• https://a-parser.com/wiki/advanced-options/#parse-all-results - документация по функции "Парсить до уровня"

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!

[A-Parser Support]

Сборник рецептов #36: уникальность текста, парсер GitHub, посещаемость сайтов, результаты розыгрыша

36-й сборник рецептов, в котором опубликованы парсер для проверки текстов на уникальность, парсер GitHub и парсер для получения информации о посещаемости сайтов. А также список обновленных пресетов из нашего Каталога.

Но, в первую очередь хотим поделиться результатами розыгрыша, который был проведен в связи с Черной пятницей. Мы разыграли 5 лицензий на А-Парсер среди всех новых участников нашего telegram чата, которые присоединились к нему в период проведения акции. Результаты розыгрыша в видео:





А теперь перейдем непосредственно к сборнику.

Проверка текста на уникальность
Задача проверки текстов на уникальность является одной из самых частых для копирайтеров. Возможность осуществлять такую проверку предоставляют много ресурсов. И парсер для одного из таких сервисов опубликован по ссылке выше.


Парсер Github
Согласно Википедии, GitHub - это крупнейший веб-сервис для хостинга IT-проектов и их совместной разработки. Поэтому мы не могли обойти его стороной и публикуем парсер данных о репозиториях при поиске по ключевому слову на данном ресурсе.


Парсинг количества трафика на сайтах
Этот парсер позволяет получать информацию о просмотрах и посещениях страниц за день, месяц и год. В качестве источника данных используется один из известных сервисов.


Кроме этого были обновлены:

• Парсинг базы телефонов из olx.ua
• Парсинг Авито
• Парсинг телефонов и email фрилансеров fl.ru
• Проверка блокировки РосКомНадзора через GitHub
• JS::MailValidator

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

[A-Parser Support]

1.2.713 - новые парсеры: Telegram и eBay, оптимизации во встроенных парсерах, новые инструменты



Улучшения

• Добавлен новый парсер Telegram::GroupScraper, который собирает из публичных групп в Telegram данные о сообщениях: текст, дата, автор, ссылки на фото и видео
• Добавлен новый парсер Shop::eBay, который позволяет парсить поисковую выдачу на ebay.com
• Изменения в парсерах Google:
  
  • Добавлена переменная $detected_geo, в которой содержится информация о геолокации
  • В связи с неактуальностью удалены опции:
    
    • Old desktop computer (IE6) в Device
    • Util::AntiGate preset
    • Use digit captcha
• В SE::Yandex увеличено максимальное значение Pages count до 25
• В SE::Google::Images добавлена поддержка новой верстки
• В Util::ReCaptcha2 добавлена поддержка capmonster.cloud
• Парсер SE::MailRu полностью переписан, добавлена поддержка каптч и сессий и добавлен сбор ссылок на кешированные страницы
• Парсер SE::Yandex::Direct полностью переписан, добавлен сбор тегов и дополнительных ссылок с анкорами
• Добавлен новый инструмент шаблонизатора tools.task, на данный момент он умеет возвращать id задания и число потоков
• JS парсеры: this.query.add теперь поддерживает передачу дополнительных параметров

Исправления в связи с изменениями в выдаче

• Множество исправлений в SE::Google, он теперь полностью дублирует SE::Google::Modern
• Исправлен парсинг $indexed в Rank::MajesticSEO
• В Net::Whois исправлена работа с доменной зоной .sex
• Исправлен парсинг $title в Shop::Yandex::Market
• Shop::Amazon, SE::Dogpile, Rank::Ahrefs, SE::Bing, Rank::SEMrush, SE::DuckDuckGo, SE::DuckDuckGo::Images, SE::Baidu

Исправления

• В парсерах Google исправлена ошибка, при которой собираемые ссылки были с переводчиком
• Исправлены проблемы с рандомизацией в некоторых случаях
• Исправлена ошибка в Social::Instagram::post при парсинге только массивов данных
• Исправлена проблема с проходом по пагинации, которая возникла в одной из предыдущих версий
• JS парсеры: исправлена работа с Node.js модулем socks

[A-Parser Support]

Сборник рецептов #37: парсинг Twitter, поиск и скачивание картинок, парсинг групп в Telegram

37-й сборник рецептов. В него вошли: парсер Twitter, который умеет собирать сообщения, их авторов и т.п.; JS парсер, в котором объединены поиск и скачивание картинок; а также 2 пресета для парсинга Telegram, которые демонстрируют возможности по сбору данных из публичных групп.

Парсер постов из Twitter
Публикуем парсер, который по ключевому слову парсит данные из сообщений в Twitter. Собираются имя и логин автора, текст сообщения, дата публикация, количество лайков, ответов и ретвитов. Есть возможность указать количество страниц для парсинга.


JS::ImagesFromSE
Ранее мы уже публиковали JavaScript парсер, в котором объединены парсинг выдачи ПС и парсинг текста со страниц. Теперь представляем вашему вниманию JS парсер, в котором объединены поиск и скачивание картинок.


Пресеты для парсинга публичных групп в Telegram
Начиная с версии 1.2.709 в А-Парсер был добавлен Telegram::GroupScraper. Для демонстрации его возможностей мы опубликовали в Каталоге 2 пресета:

• Парсинг пользователей публичных групп в Telegram
  
• Парсинг всех сообщений из публичных групп в Telegram

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

[A-Parser Support]

Сборник статей #10: отслеживание цен с уведомлением, парсинг характеристик товаров, редиректы

10-й сборник статей, в котором будет показано, как с помощью А-Парсера получать уведомления в Телеграм об изменении цен на товары, как парсить характеристики товаров и выводить их в виде удобной таблицы, а также подробно описана работа с редиректами.

Периодический мониторинг цен с уведомлением в Telegram
В этой статье пошагово описан процесс создания парсера, с помощью которого можно отслеживать изменение цен товаров. При этом парсер будет присылать уведомление в Телеграм, а также можно легко добавить поддержку других сайтов.



Сбор характеристик товара
Одной из частых задач для А-Парсера является сбор характеристик товаров в интернет-магазинах. И если сам парсинг совсем не проблема, то формирование итоговой таблицы, при условии, что характеристики должны быть распределены по отдельным столбцам, вызывает вопросы. Поэтому, в данной статье будет описан способ такого парсинга.


Всё о редиректах
Большая справочная статья, посвященная тематике редиректов.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей

• Сборник статей #1: A-Parser для маркетологов, SEO-специалистов и реальный опыт работы
• Сборник статей #2: цикл статей-уроков по созданию JS парсеров
• Сборник статей #3: пагинация, переменные и БД SQLite
• Сборник статей #4: добавление товаров в OpenCart и парсинг JSON
• Сборник статей #5: собственный канал в Telegram и массовое добавление товаров в OpenCart
• Сборник статей #6: работа с API, сохранение в YML и мануал по подключению Node.js модулей
• Сборник статей #7: сохранение в xlsx, работа с API и обзор методов автоматизации
• Сборник статей #8: ссылки с GET параметрами, скачивание Google документов, очистка очереди через API
• Сборник статей #9: анализ страниц сайта, парсинг всех страниц сайта из индекса и проверка запросов

[A-Parser Support]

Видео урок: Парсинг тематических доменов из Google и получение различных параметров по доменам

В этом видео уроке рассмотрен способ создания пресета для парсинга тематических доменов по ключевой фразе из поисковой выдачи Google, и получение для доменов различных параметров.



В уроке рассмотрено:

• Парсинг поисковой выдачи Google
• Вывод уникальных результатов в качестве главных доменов
• Получение таких параметров как:
  
  • зарегистрирован домен или нет
  • дата регистрации и дата окончания регистрации домена
  • язык сайта
  • title и description
  • индекс качества сайта
  • позицию в глобальном рейтинге Alexa
  • cтрану с наибольшим числом трафика по Alexa
  • позицию в рейтинге этой страны по Alexa

Полезные ссылки:

• https://a-parser.com/wiki/net-whois/ - парсер Net::Whois
• https://a-parser.com/wiki/html-textextractor-langdetect/ - парсер HTML::TextExtractor::LangDetect
• https://a-parser.com/wiki/se-yandex-sqi/ - парсер SE::Yandex::SQI

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!