A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента

Список разделов Продвижение сайта / Поисковая оптимизация SEO

Описание: продвижение сайтов

Сообщение #181 A-Parser Support » 12 марта 2024, 20:18

Сборник рецептов #62: проверка текстов, Markdown разметка, простой файловый сервер на базе A-Parser

62-й сборник рецептов, в котором содержатся: парсер сервиса zerogpt для проверки текстов, пример использования Markdown разметки для генерации HTML страниц и альтернативный метод получения файлов результатов работы А-Парсера.

ZeroGPT - проверка грамматики и орфографии, детектор искусственного интеллекта
Парсер сервиса zerogpt.com. Поддерживается выбор режима работы с текстом: проверка грамматики и орфографии или детект искусственного интеллекта, т.е. был ли проверяемый текст сгенерирован с помощью ИИ.

Изображение

Парсер перевода Markdown разметки в HTML
Парсер собирает выдачу Google встроенным парсером. Далее, используя заготовленный Markdown шаблон template.md, который можно легко редактировать по своему усмотрению, переводит Markdown разметку в HTML с учетом собранных результатов.

Изображение

Альтернативный метод получения файлов результатов
Реализация простого файлового сервера на базе A-Parser. Суть примера заключается в том, чтобы по запросу на заранее известный url получить любой файл из папки results.
В качестве кейсов применения можно рассматривать любые задачи, в которых требуется получать прямой доступ к файлам результатов и при этом имена файлов заранее известны. Например: с помощью Планировщика периодически запускаются несколько заданий, которые пишут результаты в файлы со статическими именами. И с помощью данного пресета можно легко и в любое время получить эти файлы.


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 7 лет

Сообщение #182 A-Parser Support » 22 марта 2024, 12:18

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсер корейского поисковика Daum.net
Парсер собирает данные (ссылки, анкоры, сниппеты и связанные ключевые слова) из поисковой выдачи корейской поисковой системы daum.net.
  • Парсер переписан на TypeScript (JS APIv2)
  • Обновлены регулярные выражения, исправлена работа в целом
  • Убран totalcount, т.е. его больше нету в выдаче
Парсер BuiltWith.com. История IP-адресов и взаимосвязи
Сбор истории IP-адресов по домену и других веб-сайтов, которые имеют общие IP-адреса с искомым доменом.
  • Убрана опция разгадывания капчи, т.к. теперь данные видны после авторизации и капчи там не видно
  • Добавлена авторизация по логину и паролю
Анализ ключевых слов на seranking.com
Парсер для анализа ключевых слов с помощью сервиса seranking.com. Собираемые данные: частотность, стоимость клика, конкуренция, сложность, списки похожих ключевых слов, связанных ключевых слов, вопросов и ссылок органического трафика. В настройках доступен выбор источника (страна и поисковая система).
  • Исправлена работа с каптчей
  • Добавлена проверка выбора пресета Util::ReCaptcha2
  • Небольшая оптимизация кода
Оценка страниц с использованием Lighthouse
Оценка производительности, доступности и оптимизации веб-страниц с использованием Lighthouse. В качестве источника используется сайт web.dev.
  • Адаптация к изменениям на источнике
Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

Изображение

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 7 лет

Сообщение #183 A-Parser Support » 3 апреля 2024, 8:20

1.2.2262 - новые опции во встроенных парсерах, адаптация к изменениям на источниках данных

Изображение

Улучшения

  • В Изображение SE::Google:
    • добавлен параметр Empty totalcount is error, детальнее тут
    • добавлен сбор тегов (массив $tags.$i.tag)
  • Изображение SE::Yandex - улучшен парсинг сниппета генеративного ответа
  • В парсере Изображение OpenAI::ChatGPT обновлены модели и добавлен параметр Another model name
  • В Изображение SE::Yandex::WordStat добавлена опция Wordstat 2 parse all table data, детальнее тут
  • В Изображение SE::YouTube::Video расширен перечень собираемых данных, детальнее тут
  • В Изображение SE::You добавлена возможность задавать кол-во страниц для парсинга ссылок
  • Следующие настройки перенесены из опций в параметры парсера:

Исправления в связи с изменениями в выдаче

  • В Изображение SE::Yandex исправлена работа с каптчами
  • Исправлен парсинг дат в Изображение SE::Google
  • Исправлен парсинг быстрых ответов в Изображение SE::Yandex
  • В Изображение SE::Yandex::WordStat исправлены ошибки в работе с WordStat 2
  • Исправлена работа Изображение Shop::Wildberries::ProductsList с некоторыми запросами
  • Исправлен сбор $related в Изображение SE::Yahoo
  • В Изображение SE::Yandex::Direct исправлен парсинг доменов для некоторых случаев
  • Исправлена ошибка Unexpected token в Изображение Social::TikTok::Profile
  • Исправлен сбор $views в Изображение SE::Bing::Video
  • В Изображение SE::You исправлен парсинг ссылок на превью
  • В Изображение Shop::Yandex::Market исправлен парсинг $products.$i.imagelink, $products.$i.rating, $products.$i.commentscount
  • Исправлена ошибка при парсинге больше 5-ти страниц в Изображение SE::Ask
  • Адаптация к изменениям на источниках: Изображение Shop::Amazon, Изображение Shop::AliExpress, Изображение Shop::Yandex::Market, Изображение SecurityTrails::IP

Исправления

  • Исправлена проблема с отображением сохраненных заданий
  • Исправлена работа опции Collect full region в Изображение Maps::Google

Изображение

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 7 лет

Сообщение #184 A-Parser Support » 15 апреля 2024, 11:25

Сборник рецептов #63: конвертация Youtube видео в статьи, парсер Шедеврум, парсер Pinterest Trends

63-й сборник рецептов, в котором содержатся: парсер для конвертации Youtube видео в полноценные HTML страницы с картинкой и текстовым описанием содержимого видео, парсер картинок из shedevrum.ai и парсер Pinterest Trends.

Конвертация Youtube видео в HTML страницы

Пример парсера, который, используя сервисы ИИ, создает полноценные HTML страницы, содержащие тематическую картинку и текст с разметкой, который дублирует содержание видео. На иллюстрации для примера показана статья, сгенерированная по нашему недавнему видео о Premium прокси.

Изображение

Парсер картинок с Шедеврум с дополнительными данными

Парсер картинок с дополнительными данными по ключевым словам из сервиса shedevrum.ai. Можно парсить ссылки на картинки, prompt'ы по которым генерировались эти картинки, описание и т.д.

Изображение

Парсер Pinterest Trends

Сбор данных о трендах в Pinterest по ключевым словам с возможностью выбора региона и даты. Собираются данные о популярности и демографии ключевого слова, а также связанные ключевые слова и популярные пины.

Изображение


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 7 лет

Сообщение #185 A-Parser Support » 24 апреля 2024, 13:11

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Генерация картинок ruDALL-E
Генерация картинок по текстовым запросам через нейросеть ruDALL-E. Присутствует возможность выбирать модель и стиль генерации.
  • Добавлена опция Save image, позволяет отключить сохранение изображения в файл, по-умолчанию включена
  • Изображение теперь доступно в переменной $data
Парсинг отзывов Google Play Market
Данный парсер собирает комментарии (ссылка на аватар, рейтинг и имя юзера, а также текст отзыва) к приложению в Google Play Market.
  • Исправлен парсинг
  • Парсер переписан на TS (API v2)
  • Добавлена возможность указания количества страниц парсинга
Naver Ads
Парсер рекламных объявлений из Naver по ключевым словам с возможностью указать количество страниц парсинга.
  • Исправлен сбор всех результатов
  • Адаптация к изменениям на источнике
JS::TextFromSE
Объединение парсера поисковой выдачи и парсера текста в одном JS парсере на примере решения задачи по парсингу текстов.
  • Парсер переписан на TypeScript API v2
Парсер Aliexpress товаров
Парсер, позволяющий получить информацию о товаре на Aliexpress, подавая на запрос ссылку на товар.
  • Адаптация к изменениям на источнике
  • $delivery теперь массив
  • $formattedQuery был удален
  • Вместо $html исходный код страницы сохраняется в $data
Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

Изображение

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 7 лет

Сообщение #186 A-Parser Support » 3 мая 2024, 12:39

Сборник статей #18: вывод в CSV, парсинг номеров телефонов, обзор Collect full region в Maps::Google

Представляем 18-й сборник статей, в который вошли статья о выводе результатов в CSV таблицы, статья об универсальном парсинге номеров телефонов и статья с обзором функции Collect full region парсера Google Maps.

Всё о выводе результатов в CSV (табличное представление результатов)
Табличное представление результатов - это очень популярный вид форматирования данных, собираемых А-Парсером. И чаще всего для этого используется именно формат CSV. В этой статье описаны все варианты и нюансы работы с CSV в контексте A-Parser. А также рассказано чем и как правильно обрабатывать CSV файлы.

Изображение

Универсальный парсер телефонов
Как известно, номера телефонов проблематично парсить из-за отсутствия единого формата их записи. В этой статье мы поделимся одним из методов универсального парсинга номеров телефонов, а также заодно покажем как можно использовать npm модули без написания JS парсеров.

Изображение

Детальный обзор Collect full region в Maps::Google
Детальное описание функции Collect full region в парсере Google Карт, варианты ее настройки, рекомендации для наибольшей производительности и сравнение скорости работы парсера на разных прокси.

Изображение

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

Изображение

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 7 лет

Сообщение #187 A-Parser Support » 14 мая 2024, 18:09

1.2.2306 - новый парсер подсказок Google Trends, новые опции в существующих парсерах, исправления

Изображение

Улучшения
  • Добавлен новый парсер Изображение SE::Google::Trends::Suggest - сбор подсказок Google Trends
  • Улучшена очистка ссылок в Изображение SE::Bing
  • В парсер Изображение DeepL::Write добавлен выбор стиля и тональности, а также возможность использовать режим исправления
  • В Изображение SE::Yandex добавлен вывод "пропущенных слов"
  • В Изображение Rank::MajesticSEO добавлен параметр Additional headers for requests without Chrome, который позволяет задать заголовки для запросов без без браузера
  • В Изображение SE::Yandex::WordStat::ByDate добавлена поддержка нового Wordstat 2
  • В Изображение SE::Yandex::Register добавлена новая опция OnlineSIM domain которая дает возможность указать домен который будет использоваться в API запросах к OnlineSIM
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлены падения парсера при использовании определенных запросов в HTML::EmailExtractor
  • Исправлена работа повторных попыток для получения robots.txt в Check::BackLink
  • Исправлен режим Bulk mode в парсерах SE::Google::KeywordPlanner::*
Изображение

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 7 лет

Сообщение #188 A-Parser Support » 25 мая 2024, 14:54

Видео урок: поиск Телеграм каналов через Google и их сортировка

2 новых видео урока по работе с A-Parser от DIM STUDIO в которых показан способ поиска Телеграм каналов через поиск в Google и сортировка собранных каналов.

Изображение

Изображение

Плейлист со всеми видео уроками от [B]DIM STUDIO[/B]

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

Изображение

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 7 лет

Сообщение #189 A-Parser Support » 4 июня 2024, 18:27

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Google Indexing API
Парсер для добавления или удаления страниц сайта в Google через Indexing API
  • Исправлена ошибка "Cannot init Parser: Error: EISDIR: illegal operation on a directory, read at Object.readSync"
  • Изменения в логике обработки запросов

JS::MailValidator
Проверка существования e-mail адресов
  • Исправлена проверка Icloud

Парсинг istio.com
Анализ текстов на сервисе istio.com (тошнота, водность, словари, тематика, статистика...)
  • Исправлено получение информации
  • Добавлена возможность выбора способа получения текста со страниц: Изображение HTML::TextExtractor или Изображение HTML::ArticleExtractor
  • Небольшая оптимизация кода

Парсер отзывов Wildberries Reviews
Сбор отзывов по товарам с wildberries.ru в csv таблицу
  • Обновление в связи с изменениями на ресурсе

Проверка категории сайтов через сервис cyren.com
Проверка категории сайтов через сервис https://www.cyren.com/

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!


Изображение

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 7 лет

Сообщение #190 A-Parser Support » Вчера, 18:51

Сборник рецептов #64: скачивание видео из Instagram, проверка e-mail и переводчик Libre Translate

64-й сборник рецептов, в котором представлены парсер для скачивания видео из Instagram, пресет для проверки e-mail в сервисе EmailRep и парсер переводчика Libre Translate.

Instagram Reels Downloader
Парсер для скачивания видео из Instagram. Работает на основе встроенного парсера Изображение Social::Instagram:: Post и в качестве запросов принимает ссылку на пост типа Video/Reel.
Изображение

Проверка e-mail адресов в сервисе EmailRep
EmailRep - это система парсеров, сканеров и дополнительных сервисов, которая собирает данные об адресах электронной почты, доменах и интернет-персонах. Сервис использует сотни точек данных из профилей социальных сетей, профессиональных сетевых сайтов, утечек учетных данных в Darknet, утечек данных, наборов для фишинга, фишинговых писем, списков спама, открытых почтовых ретрансляторов, спам-ловушек, возраста и репутации домена, доставляемости и многого другого для оценки адреса электронной почты.
Изображение

Парсер переводчика Libre Translate
Бесплатный API машинного перевода с открытым исходным кодом. В отличие от других API, он не полагается на проприетарных поставщиков, таких как Google или Azure. Вместо этого его механизм перевода основан на библиотеке Argos Translate с открытым исходным кодом.
Изображение


Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

Изображение

Изображение
A-Parser Support
Автор темы
Репутация: 0
С нами: 7 лет

Пред.

Вернуться в SEO

cron