ZebroidФорумПубличный разделПредложениязамена юзерагента для RSS импорта

замена юзерагента для RSS импорта

05 августа 2018, 17:50
Зарегистрирован: 02 сентября 2016, 16:26
При RSS импорте возникают проблемы. Блокировка по IP — это понятно, но некоторые сайты блокируют по useragent. Частично спасает перевод редактора в IE, но это полумера и через некоторое время закрывается и эта дверца. Предлагаю рассмотреть добавление возможности рандомной замены юзерагента из списка при парсинге.

06 августа 2018, 19:23
Зарегистрирован: 10 апреля 2012, 00:00
Блокировка по IP — это понятно, но некоторые сайты блокируют по useragent
Не знаю откуда у вас такая информация, никогда не слышал, чтобы это была сильно распространенная практика. Но в любом случае Зеброид и так меняет UserAgent при каждом запросе

Частично спасает перевод редактора в IE, но это полумера и через некоторое время закрывается и эта дверца
Движок визуального редактора вообще никак не связан с парсингом RSS (да и вообще ни с чем он в программе не связан, кроме как с самим визуальным редактором).

06 августа 2018, 23:47
Зарегистрирован: 02 сентября 2016, 16:26
Увы, при парсинге первой десятки выдачи, эта практика весьма распространена. Могу сказать, что и я на своих ресурсах фильтрую UserAgent. Если все так, как вы описали, то как смена движка могла отразиться на парсинге? Chromium выдает ошибку получения полной новости (он просто не может перейти по ссылке), а IE ее получает. Может быть вшитый список юзерагентов спалился — это обычная проблема при автоматизации работы, к примеру, в соцсетях.

07 августа 2018, 19:02
Зарегистрирован: 10 апреля 2012, 00:00
Увы, при парсинге первой десятки выдачи, эта практика весьма распространена. Могу сказать, что и я на своих ресурсах фильтрую UserAgent.
Странная практика учитывая, что большинство использует Chrome который автоматически обновляется, а значит у большинства идентичный User agent. И это подтверждает статистика моего сайта.

Если все так, как вы описали, то как смена движка могла отразиться на парсинге?
Абсолютно никак

Chromium выдает ошибку получения полной новости (он просто не может перейти по ссылке), а IE ее получает.
Зеброид не парсит RSS с помощью браузеров. Используются обычные HTTP запросы.

Может быть вшитый список юзерагентов спалился — это обычная проблема при автоматизации работы, к примеру, в соцсетях.
Может, но если и так, то в 6 версии решена эта проблема, так как список динамически обновляется из списка самых популярных на данный момент