A-Parser 1.1 - продвинутый парсер ПС, кейвордов, контента

Список разделов Продвижение сайта / Поисковая оптимизация SEO

Описание: продвижение сайтов

Сообщение #31 A-Parser Support » 3 июля 2018, 10:18

1.2.246 - обновление базы Rank::CMS и новые функции в парсерах Baidu и MajesticSEO

Изображение
Улучшения
  • В Изображение Rank::CMS обновлена база определяемых движков, теперь поддерживается одновременно старый и новый формат apps.json (при обновлении рекомендуется также обновить apps.json)
  • Изображение SE::Baidu полностью переписан:
    • добавлен парсинг related keywords
    • убран $cachedate из $serp, т.к. его похоже больше нет в выдаче
    • добавлена опция Get full link, преобразующая обрезанные ссылки в полные
    • исправлены некоторые регулярные выражения и баг с двойным http в ссылках
  • Изменения в Изображение Rank::MajesticSEO:
    • Добавлен параметр Check type, позволяет выбрать тип проверки: Root Domain/Subdomin/URL
    • Убран параметр Extract domain
    • Исправлена работа в некоторых случаях
  • Улучшена отзывчивость в редакторе JavaScript парсеров
  • Улучшена работа Изображение HTML::EmailExtractor, устранены зависания, которые возникали на определенных страницах
  • Обновлен список регионов в парсерах Яндекс
  • Пустой результат в Изображение SE::Google::Trends больше не считается неудачным запросом
  • Улучшена работа с сессиями в Изображение SE::Yandex::WordStat
Исправления в связи с изменениями в выдаче
  • Исправлен парсинг рекламы в Изображение SE::Yandex
  • Исправлена работа, а также улучшен алгоритм парсинга в Изображение SE::DuckDuckGo
  • Исправлено указание региона в парсерах Яндекс
  • Исправлен парсинг $ads.$i.visiblelink в Изображение SE::Google::Modern
  • Исправлен парсинг $totalcount в Изображение SE::Yandex::Direct
Исправления
  • Исправлена ошибка, из-за которой процент обработанных запросов мог быть больше 100
  • Исправлены ошибки, из-за которых парсинг мог зависать при снятии с паузы, а также сбивался перебор в макросах подстановок
  • Исправлено отображение кириллицы в $headers в Изображение Net::HTTP
  • Исправлена ошибка в Конструкторе результатов, из-за которой в редких случаях парсер мог падать
  • Устранена проблема с кодировкой при работе с SQLite
  • Исправлена ошибка со сменой прокси в JavaScript парсерах
A-Parser Support
Автор темы
Репутация: 0
С нами: 6 лет 9 месяцев

Сообщение #32 A-Parser Support » 13 июля 2018, 10:20

Сборник статей #4: добавление товаров в OpenCart и парсинг JSON

В 4-м сборнике статей будет рассмотрено добавление товаров в OpenCart, а также описано создание универсального парсера JSON. В каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

Работаем с OpenCart. Часть 1. Вступление.

Данная статья начинает цикл об одной из наиболее часто запрашиваемых возможностей - заливке товаров в интернет-магазин. A-Parser - это универсальный инструмент, который кроме прочего может решать и такие задачи. Для тестов выбран движок OpenCart, в 1-й статье будет рассмотрена авторизация, получение списка товаров и добавление товара. Подробности, а также пример парсера - по ссылке выше.

Изображение

Парсинг JSON ответов и работа с их содержимым

JSON - это довольно популярный способ предоставления данных, который, например, часто используется при работе с API различных сервисов. В А-Парсере есть встроенные инструменты для работы с ним, но не всегда их применение может быть простым, иногда требуется дополнительно писать сложные шаблоны, используя шаблонизатор. Поэтому в статье по ссылке выше будет рассказано, как написать простой универсальный парсер JSON.

Изображение

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей
A-Parser Support
Автор темы
Репутация: 0
С нами: 6 лет 9 месяцев

Сообщение #33 A-Parser Support » 24 июля 2018, 10:19

Видео урок: Создание JS парсеров. Работа с SQLite

Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео показано, как работать с базой данных SQLite в JS парсере.

Изображение

В этом уроке рассмотрены:
- Знакомство с языком запросов SQL
- Создание простейшей базы данных SQLite при работе с JS-парсером
- Получение и запись данных в базу SQLite при работе с JS-парсером

Ссылки:
- http://www.sql-tutorial.ru/ru/content.html - учебник по SQL
- http://samoychiteli.ru/document29118.html - тоже учебник по SQL
- https://finance.i.ua/converter/ - сайт, который использовался в качестве примера
- https://a-parser.com/resources/276/ - статья и готовый парсер

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
A-Parser Support
Автор темы
Репутация: 0
С нами: 6 лет 9 месяцев

Сообщение #34 A-Parser Support » 3 августа 2018, 10:09

1.2.270 - новый парсер Rank::Curlie, множество доработок в Node.js функционале

Изображение

Улучшения
  • Добавлен новый парсер Изображение Rank::Curlie
  • В Изображение HTML::LinkExtractor улучшена обработка портов по умолчанию, теперь ссылки с портом приводятся к каноническому виду
  • Оптимизирована работа Изображение SE::Yandex::WordStat
  • Улучшена работа с сессиями в Изображение SE::Yandex
  • Улучшена обработка некорректных ответов в Изображение SE::Yandex Изображение SE::Google::Suggest
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена проблема с запуском на некоторых linux дистрибутивах
  • Исправлена загрузка node.js модулей в редких случаях на Windows
  • JS парсеры: добавлена поддержка dns.lookup и улучшена совместимость с модулем mysql2
  • JS парсеры: исправлен util.promisify
  • Исправлена работа некоторых Node.js модулей
  • В Изображение SE::Google::Modern и Изображение SE::Bing $totalcount при 0 результатов теперь возвращает 0
  • Исправлено логгирование в режиме foreground
A-Parser Support
Автор темы
Репутация: 0
С нами: 6 лет 9 месяцев

25-й сборник рецептов

Сообщение #35 A-Parser Support » 14 августа 2018, 8:11

25-й сборник рецептов
25-й сборник рецептов. В нем будет показан способ периодического парсинга с дозаписью результатов в таблицу, рассмотрен парсинг с помощью Node.js модуля Cheerio без использования регулярных выражений, а также показан парсер первой мобильной поисковой системы в Китае - Shenma. Поехали!

Периодическая проверка обратных ссылок с дозаписью результатов в таблицу
Пример решения одной из наиболее запрашиваемых задач - дозапись периодически получаемых результатов в одну и ту же таблицу. В качестве хранилища данных используется SQLite, при каждом запуске данные добавляются и выводятся в таблицу. Готовый пресет с комментариями - по ссылке выше.
Изображение

Парсер поисковой системы Haosou
Как известно, в основе почти любого парсера используются регулярные выражения, реже - XPath. Работа с этими методами требует определенных знаний, что в свою очередь может вызывать некоторые сложности. Поэтому существуют и другие методы. Использование одного из них на примере парсинга популярного в Китае поисковика Haosou, показано по ссылке выше.
Изображение

Парсер китайского поисковика Shenma
Еще один китайский поисковик в этом сборнике - Shenma. Это первая мобильная поисковая система в Китае, ориентирована в первую очередь на мобильные сайты. Пресет - по ссылке выше.
Изображение

Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники рецептов:
A-Parser Support
Автор темы
Репутация: 0
С нами: 6 лет 9 месяцев

Сообщение #36 A-Parser Support » 24 августа 2018, 11:59

Видео урок: Создание JS парсеров. Реализация подстановки запросов и их многопоточной обработки.
Продолжение цикла уроков по созданию JavaScript парсеров. В этом видео будет показано, как "на лету" добавлять запросы в задание и многопоточно их обрабатывать.
[url="http://https://www.youtube.com/watch?v=X5EDrAdMSRk&feature=youtu.be"]Изображение[/url]
В одной из наших статеймы рассмотрели способ разработки парсера, который собирает ТОП 10 из выдачи поисковика, а затем по очереди парсит нужные данные по полученным ссылкам. Вроде все неплохо, но если у вас не 10 запросов, несколько тысяч? Задание будет выполняться очень долго, а время это самый драгоценный и не восполняемый ресурс.
К счастью в A-Parser есть такая замечательная вещь, как многоуровневый парсинг, который позволяет многократно увеличить скорость парсинга, и в этом видео мы рассмотрим как этой возможностью пользоваться.

В этом уроке рассмотрено:
  • Реализация раздельных процедур парсинга в зависимости от внешних условий, а именно - уровня парсинга
  • Подстановка запросов в задание "на лету"
  • Использование стандартных парсеров в кастомных JavaScript парсерах
Ссылки:
Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
A-Parser Support
Автор темы
Репутация: 0
С нами: 6 лет 9 месяцев

Сообщение #37 A-Parser Support » 4 сентября 2018, 14:36

1.2.292 - новый парсер Яндекс ИКС, улучшения в работе с кодировками, оптимизации встроенных парсеров
Изображение
Улучшения
  • Добавлен парсер ИзображениеSE::Yandex::SQI - парсер Индекса качества сайта (Яндекс ИКС)
  • Оптимизирована работа Очереди заданий
  • Добавлена поддержка множества экзотических кодировок китайского языка
  • Добавлена опция Save as UTF-8 with BOM, которая решает проблему определения кодировки при открытии сформированного CSV в Excel
  • ИзображениеSE::Youtube полностью переписан с использованием современного юзерагента
  • ИзображениеSE::AOL::Suggest оптимизирован и переписан на JavaScript
  • Улучшена работа ИзображениеSE::Google,ИзображениеSE::Google::Modern, ИзображениеRank::MajesticSEO,ИзображениеSE::Bing,ИзображениеShop::Amazon
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа ИзображениеNet::Whois для некоторых доменных зон
  • Исправлена ошибка, при которой не импортировался пресет, если не установлены модули, используемые в нем
  • Исправлена кодировка при использовании fs.readdirSync в JS парсерах
A-Parser Support
Автор темы
Репутация: 0
С нами: 6 лет 9 месяцев

Сообщение #38 A-Parser Support » 14 сентября 2018, 12:14

Сборник статей #5: собственный канал в Telegram и массовое добавление товаров в OpenCart
В 5-м сборнике статей на реальном примере будет показано, как создать свой канал в Телеграме и полностью автоматизировать его наполнение контентом. Также мы продолжаем цикл статей по работе с OpenCart и во 2-й части будет рассмотрен вопрос массового добавления товаров. Как обычно, в каждой статье приложены готовые JS парсеры, используя которые, можно на реальных примерах изучить описанные методы и поэксперементировать с ними. Поехали!

Полноценный Telegram канал на базе A-Parser
В этой статье будет описан способ создания полноценного канала в Telegram c автоматизированным сбором контента и постингом сообщений через заданные интервалы. И конечно, все это на базе A-Parser. Все подробности, а также готовые пресеты - по ссылке выше.
Изображение

Работаем с OpenCart. Часть 2. Массовое добавление товаров
Мы продолжаем цикл статей о заливке товаров в интернет-магазин на базе OpenCart. Во второй части будет рассмотрено массовое добавление товара. Подробности, а также пример готового парсера - по ссылке выше.
Изображение

Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки :) ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Предыдущие сборники статей
A-Parser Support
Автор темы
Репутация: 0
С нами: 6 лет 9 месяцев

Сообщение #39 A-Parser Support » 25 сентября 2018, 12:50

Видео урок: Массовое добавление товаров в OpenCart
Данный парсер является примером для разработки парсера работающего с OpenCart. Решение демонстрирует возможность сбора данных о товарах из стороннего сайта и заливку их на собственный сайт на базе OpenCart через API.
Изображение
В этом уроке рассмотрены:
  • парсинг товаров из интернет-магазина
  • авторизация в OpenCart
  • работа с API OpenCart для публикации товаров

Статья и готовый пресет опубликованы в нашем Каталоге: https://a-parser.com/resources/302/

Оставляйте комментарии и подписывайтесь на наш канал на YouTube!
A-Parser Support
Автор темы
Репутация: 0
С нами: 6 лет 9 месяцев

Сообщение #40 A-Parser Support » 5 октября 2018, 17:15

1.2.319 - новый парсер подсказок Youtube, поддержка модуля MySQL2, множество улучшений и оптимизаций
Изображение
Улучшения
  • Добавлен новый парсер ИзображениеSE::Youtube::Suggest
  • Добавлена совместимость с модулем mysql2 в JavaScript парсерах
  • В ИзображениеUtil::ReCaptcha2 добавлена поддержка сервиса R.I.P.captcha
  • В ИзображениеSE::Bing::Suggest добавлена возможность выбора страны
  • Уменьшено потребление оперативной памяти, а также оптимизирована начальная загрузка, интерфейс теперь открывается быстрее
  • База регионов в ИзображениеSE::Yandex обновлена и значительно увеличена
  • Для всех стандартных парсеров, кроме тех, которые работают на основе ИзображениеNet::HTTP, из настроек убраны Max body size и Use gzip
  • Улучшен ИзображениеShop::Amazon
Исправления в связи с изменениями в выдаче
Исправления
  • Исправлена работа с прокси при получении каптчи в ИзображениеSE::Yandex::Register
  • В очень редких случаях в ИзображениеSE::Yandex могла возникать ошибка Content mismatch
  • Исправлен ИзображениеNet::Whois при работе с .eu доменами
A-Parser Support
Автор темы
Репутация: 0
С нами: 6 лет 9 месяцев

Пред.След.

Вернуться в SEO