A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента

[A-Parser Support]

Видео урок: Telegram канал - агрегатор сообщений из других каналов

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ создания телеграм канала агрегатора постов с других каналов.


Оригинальный парсер в Каталоге: https://a-parser.com/resources/477/
Плейлист со всеми видео уроками от [b]DIM STUDIO[/b]
Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

[A-Parser Support]

1.2.2014 - множество улучшений и исправлений во встроенных парсерах



Улучшения

• В SE::Yandex добавлена поддержка новой каптчи Яндекса
• Net::Whois - обновлены whois сервера, добавлены новые опции, реализована обработка статуса "Rate Limited"
• Rank::KeysSo - обновлен список регионов
• Shop::Yandex::Market - добавлена поддержка редиректа с cvredirect=1
• Maps::Google - улучшение Collect full region, добавлена опция OSM Mode и парсинг точки, добавлен новый собираемый результат $timestatus
• В SE::Yahoo добавлена возможность парсить рекламную выдачу
• Добавлена переменная $data в Telegram::GroupScraper
• SE::Bing - обновлены регионы и языки
• JS парсеры: добавлена возможность делать запросы к другим парсерам в пакетном режиме

Исправления в связи с изменениями в выдаче

• В SE::Google исправлен сбор $corrected и $misspell
• Частично исправлена работа SE::Bing, на данный момент все еще могут наблюдаться проблемы в некоторых случаях
• Исправлена работа всех парсеров Ahrefs
• Исправлена регистрация Яндекс аккаунтов через Chrome ( SE::Yandex::Register)
• В парсерах SE::Google::KeywordPlanner::* исправлена авторизация по cookie
• Shop::Yandex::Market, SE::Ask, Check::RosKomNadzor, Shop::Wildberries:: ProductInfo

Исправления

• Исправлена ошибка при объявлении JS модуля в $tools.js

[A-Parser Support]

Скидка 10% на покупки с оплатой USDT TRC20

При оплате A-Parser и других продуктов или услуг у нас, вы получаете возможность приобрести их со скидкой 10% – оплачивая через USDT TRC20!

Переходите на сайт A-Parser
Выбирайте подходящий продукт или услугу
Оплачивайте через USDT TRC20 и получите 10% скидку

Предложение действует ограниченное время!

Если у вас возникли вопросы или вам нужна дополнительная информация, наша команда поддержки всегда готова помочь. Свяжитесь с нами для получения консультации.

Сборник рецептов #58: обработка текстов с помощью ИИ, цены на крипту, поиск сообщений в ТГ-каналах

58-й сборник рецептов, в котором собраны: парсер для сервиса по обработке текстов с помощью ИИ (перефразирование, резюмирование...), парсер для проверки цен на криптовалюты с возможностью выбора из 5 бирж, а также парсер для поиска сообщений по ключевым словам в Telegram каналах.

NeuralWriter - перефразирование, генератор промптов, резюмирование

Парсер сервиса neuralwriter.com. С его помощью можно перефразировать текст (включая перевод на нужный язык), сформировать краткое резюме для большого текста, а также генерировать промпты для моделей ChatGPT и GPT. Парсер имеет возможность читать тексты из файлов.



CryptoExchanges - одновременная проверка цены на криптовалюту на нескольких биржах

Парсер, позволяющий одновременно проверить цену на нескольких крипто биржах по тикеру. Поддерживается 5 бирж.



Парсер поиска Телеграм постов по ключевым словам с tgdev.io/tme

Возможность парсить сообщения из Telegram каналов по ключевым словам. Собираются дата поста, ссылка на пост и его текст.




Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

[A-Parser Support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Парсинг вопросов и ответов из выдачи Bing

Пресет для сбора вопросов и ответов из поисковой выдачи Bing. Используется стандартный парсер SE::Bing, в результат выводятся вопросы и ответы на них.

• Обновлено регулярное выражение в связи с изменениями в выдаче

Парсим Google новости с датой и преобразуем ее

Пример парсинга Google новостей с датой и преобразованием ее к одному формату

• Обновление в связи с изменениями в выдаче

Периодический мониторинг цен с уведомлением в Telegram

В качестве запросов принимаются ссылки на товары, а в результате формируется таблица и отправляются сообщения в подключенный чат Telegram. Детальное описание в статье: https://a-parser.com/resources/367/

• Обновлены сайты примеров

Парсер подсказок Яндекс.Маркет

Парсинг подсказок Яндекс.Маркет с частотой и категориями

• Парсер переписан на JS API v2
• Исправлена работа с каптчами (полностью наследуется из SE::Yandex)
• Исправлено регулярное выражение для хлебных крошек

Скачивание картинок

Пример скачивания картинок с определением их размеров

• Парсер переписан на JS API v2
• Оптимизированы импорты
• Добавлена возможность сортировать картинки по каталогам в зависимости от ориентации
• Добавлена возможность фильтровать картинки по размеру файла

Парсер Github

Парсер поиска по репозиториям на Github по ключевому слову

• Парсер полностью переписан с использованием JS API v2 и адаптацией к изменениям на источнике

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

[A-Parser Support]

Видео урок: Сбор WordPress сайтов

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан один из вариантов сбора сайтов на движке Wordpress.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

[A-Parser Support]

1.2.2062 - парсер профилей Tiktok, поддержка click каптч Яндекса, улучшения и исправления



Улучшения

• Добавлен парсер Social::TikTok::Profile
• SE::Yandex - добавлен парсинг быстрых ответов
• Добавлена поддержка новых каптч Яндекса (click captcha) в парсерах SE::Yandex::ByImage, SE::Yandex::Images, SE::Yandex::SQI, Shop::Yandex::Market
• В Util::AntiGate изменился набор доступных опций, подробнее здесь
• В SE::Yandex добавлена опция AntiGate preset for old captcha. С ее помощью можно выбрать пресет антигейта для обычных (старых, в виде одной картинки) каптч. Рекомендации по парсингу Яндекса описаны тут.
• В SE::Yandex::Translate добавлена возможность подключать разгадывание каптч
• В SE::Bing улучшена скорость, уменьшено количество ошибок Short output, добавлены сессии
• В SE::YouTube добавлена опция Advanced filters (param sp=), с помощью которой можно указать сложные комбинации фильтров
• Rank::KeysSo - добавлена возможность парсить с авторизацией, актуализированы собираемые данные
• В парсерах OpenAI добавлена возможность указывать несколько API ключей
• Парсеры WordStat: адаптация к изменениям в авторизации, максимальное кол-во страниц увеличено до 50
• JS парсеры: добавлена опция skipProxySettingsInheritance для parser.request()

Исправления в связи с изменениями в выдаче

• SE::Google - исправлен парсинг PAA, парсинг выдачи адаптирован к изменениям в верстке
• SE::Yandex - адаптация к изменениям в верстке
• Исправлен Safe search в SE::Google::Images, SE::Google
• Исправлено авторазгадывание Turnstile (опция Provider=Auto (using Chrome) в Util::Turnstile)
• Исправлен проход по страницам в SE::Yahoo
• В SE::YouTube исправлена работа всех фильтров, исправлен парсинг мобильной выдачи
• Maps::Google, SE::YouTube, SE::Yahoo - исправлен обход соглашения с политикой кук
• SE::Google::ByImage, SE::Dogpile, SE::DuckDuckGo

Исправления

• Исправлена работа HTML::EmailExtractor в некоторых случаях
• Исправлен обход CF в Net::HTTP при Engine=HTTP
• Исправлена работа SE::Google::Translate при Device=Desktop
• Исправлены ошибки в работе SecurityTrails::Domain, Cloudflare::Radar, Rank::MOZ, Rank::CMS, Net::Whois
• Устранены падения при использовании прокси из отключенного проксичекера

[A-Parser Support]

Сборник рецептов #59: дни рождения из FB в Google Calendar, парсер Checktrust и Yahoo Finance

59-й сборник рецептов, в котором собраны парсер для экспорта дней рождений друзей в Google календарь; парсер сервиса проверки качества сайтов Checktrust; парсер Yahoo Finance.

Экспорт дней рождений из Facebook в Google календарь
Данный парсер позволяет спарсить список дней рождения своих друзей на Facebook и сгенерировать файл, готовый для импорта в Google Calendar.


Yahoo Finance
Yahoo Finance - фондовый рынок в реальном времени, котировки.


Парсер checktrust.ru
Парсер сервиса проверки качества сайтов Checktrust. Позволяет собрать все возвращаемые показатели, для примера реализован вывод данных в 3-х различных форматах.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов

[A-Parser Support]

Видео урок: Поиск статей внутри сайта

Новый видео урок по работе с A-Parser от DIM STUDIO в котором показан способ поиска статей внутри сайта с использованием 2-х встроенных парсеров.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

[A-Parser Support]

Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Валидатор емайлов
Проверка существования e-mail адресов

• Добавлена поддержка protonmail (proton.me, protonmail.com)
• Добавлена поддержка tutanota (tutanota.com, tutanota.de, tutamail.com, tuta.io, keemail.me)
  
• Парсер переписан на JS API v2

JS::Yandex::LangDetect
Определение языка страницы через Яндекс Переводчик

• Парсер переписан на JS API v2 (TypeScript)
• Добавлена поддержка каптч (наследуется от SE::Yandex)
• Добавлен выбор пресета настроек HTML::TextExtractor
• Адаптация к изменениям на источнике

JS::Yandex::LangDetect::Key
Определение языка ключевого слова через Яндекс Переводчик

• Парсер переписан на JS API v2 (TypeScript)
• Парсер наследует JS::Yandex::LangDetect

Core Web Vitals
Отчет о скорости сайта

• Обновление в связи с изменениями в выдаче

Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!

[A-Parser Support]

1.2.2106 - обновленный SE::Rambler, лимит при парсинге в глубину в LinkExtractor и другие улучшения



Улучшения

• В HTML::LinkExtractor добавлена возможность указания лимита количества ссылок при парсинге в глубину
  
• В Util::AntiGate добавлена поддержка Capsola, capmonster.cloud
  
• В Util::Turnstile добавлена поддержка captcha.guru
  
• В Rank::MajesticSEO добавлена возможность указывать собственные юзер-агенты для повышения успешности парсинга
• В парсерах Rank::Ahrefs::* добавлена экспериментальная опция Do not search for sitekey, которая отключает поиск sitekey, что в свою очередь ускоряет запуск задания
  
• SE::Rambler полностью переписан:
  • обновлен список языков
  • добавлена возможность указывать регион
  • добавлен выбор десктопной или мобильной выдачи
  • обновлена работа с каптчами
• JS парсеры: добавлена поддержка тегов для сессий

Исправления в связи с изменениями в выдаче

• SE::Bing - уменьшено кол-во ошибок Short output detected
  
• Адаптация к изменениям в верстке для SE::Google и SE::Yandex
• Исправлен сбор flat переменных в Social::Instagram::post
• Исправлен сбор $location в Social::Instagram::profile
  
• Исправлен поиск sitekey в Rank::Ahrefs::*
• Исправлена работа SE::YouTube при Result type = Movie
  
• Исправлен сбор $author_link в GooglePlay::Apps
• SE::Bing::position, SE::Google::ByImage, SE::DuckDuckGo, SE::Google::Images, Shop::Wildberries::productInfo

Исправления

• Исправлены ошибка в Rank::CMS, из-за которой в некоторых случаях он не работал
• Исправлена ошибка использования SE::Yahoo через Redis API
  
• Исправлена работа SE::YouTube при запросах из JS парсеров
  
• Исправлена работа Net::Whois с доменами .se
• Исправлено ошибочное определение запроса неудачным в Shop::eBay
  
• Исправлено заполнение результатов в Rank::KeysSo