ZebroidДокументацияНастройкиПарсинг и проверка прокси

Парсинг и проверка прокси

В программе: Файл → Парсинг и проверка прокси
Этот инструмент используется для парсинга публичных списков прокси, а так же проверки их качества. Рекомендуется использовать каждый раз перед запуском инструментов требующих прокси, если вы не уверены в их качестве.

Окно парсинга и проверки прокси

Окно парсинга и проверки прокси


Поддерживается 3 режима работы: парсинг, проверка, а так же парсинг вместе с проверкой (о которых речь пойдет ниже).

ВНИМАНИЕ: не нужно проверять покупные прокси, достаточно их просто добавить и выставить нужный тип. Большинство купленных прокси не отвечают на команду пинга из-за чего чекер считает их нерабочими, но это абсолютно никак не влияет на их работоспособность. Чекер нужен для проверки только паблик списков прокси, а их пинг позволяет быстрее отсеять заведомо нерабочие сервера.

Во время закрытия окна, программа сохраняет все записи, на против которых установлена галочка (по-умолчанию она всегда устанавливается, деактивация записи происходит во время проверки прокси в случае, если она не удовлетворяет требованиям).

Ручное добавление списков прокси






Парсинг прокси


Этот режим позволяет парсить публичный (и не только) списки прокси. Всё что требуется от пользователя, это выбрать профили парсинга (окошко в верхнем левом углу), указать необходимые настройки (нужно ли очищать список перед парсингом, количество потоков) и запустить процесс. Программа сама скачает необходимые страницы сайтов и вытянет из них списки прокси. О том, как создавать свои профили парсинга читайте ниже.

В случаях, когда вам не хочется работать со списками прокси плохого качества (а публичные прокси именно такие), рекомендуется покупать качественные и долгоживущие прокси.




Проверка прокси


Проверка прокси более сложный процесс, чем парсинг и предоставляет пользователю большой выбор настроек:

  • Тип проверки — это основной параметр, который отвечает за то, что именно должна программа делать. Существуют следующие варианты:
    • Только ping — самый быстрый, но малоэффективный способ проверить прокси. Всё что программа делает, это посылает серверу ping и если он не отвечает (а это значит, что он гарантированно не рабочий), тогда программа записывает прокси как не рабочий
    • Проверка на живость — этот тип проверки определяет рабочие и нерабочие прокси, но не определяет их уровень анонимности. Дополнительно необходимо указать адрес страницы, на который программа будет пытаться зайти через прокси (страница должна быть рабочей на момент проверки) и, по желанию текст, который нужно искать на этой странице, чтобы убедится в том, что прокси отправило верный ответ. Записывать адрес и искомый текст нужно в поле URL страницы в формате URL|ИСКОМЫЙ_ТЕКСТ, например www.google.com | Google+. Плюсом данного метода есть то, что он эффективный и очень быстрый (вы можете использовать до 1000 потоков при проверке), а минусом то, что он не проверяет уровень анонимности и в случае если у вас в списке много прозрачных прокси, то сервер, с помощью которого вы проверяете может забанить ваш IP. Потому рекомендуется проверять указав адресс на свой сайт (если, конечно, он не расположен на виртуальном сервере)
    • Полная проверка (HideME.ru) — это самая эффективная проверка. Проверка осуществляется на стороне сервиса HideME.ru, что позволяет обезопасить ваш IP, а так же точно определить уровень анонимности прокси. Единственным минусом есть то, что при отсутствии премиум аккаунта этого сервиса, проверка для каждого пользователя делается в 32 потока
  • Потоков — количество потоков для парсинга и проверки прокси
  • Таймаут — время ожидания ответа от прокси
  • Тип прокси — тип прокси по-умолчанию. Может быть следующим
    • Автоопределение точное (медленно) — программа сама определит тип прокси, но это требует времени, так как проверка осуществляется методом перебора
    • Автоопределение быстрое — программа попытается угадать тип прокси по характерным признакам. Это вариант рекомендуется, так как обладает самым оптимальным соотношением скорость/точность
    • HTTP — в этом случае все прокси будут считаться HTTP, без лишних проверок
    • SOCKS4 — в этом случае все прокси будут считаться SOCKS4, без лишних проверок
    • SOCKS5 — в этом случае все прокси будут считаться SOCKS5, без лишних проверок

Стоит так же отметить, что SOCKS прокси всегда проверяются только программой (даже в случае детальной проверки), так как это быстрее (ограничение на количество потоков в Зеброиде выше чем в HideME.ru), точнее (иногда прокси может нормально пройти проверку в HideME.ru, но не запустится через программу) и безопасно (если прокси действительно SOCKS, тогда он гарантировано анонимный, а если же нет, тогда программа не сможет им воспользоваться).

После проверки программа определяет какие прокси оставить, а какие выкинуть. Делается это исходя из параметров во вкладке «Автоматический выбор»:

  • Тип прокси — какого типа прокси должна оставлять для использования программа. В случае, если используется не детальная проверка, то программа будет выкидывать только мертвые прокси
  • Пинг не дольше — минимальное значение пинга
  • Ответ не дольше — минимальное значение скорости ответа прокси на запрос. Стоит так же учитывать, что скорость ответа может зависеть не только от прокси, но и от сервера, к которому она обращается




Взаимодействие с другими инструментами


В каждом инструменте, который использует прокси, на против галочки активации прокси, есть выпадающий список настроек «Парсинг и проверка прокси». При выборе этих настроек, перед использование текущего инструмента, будет запускаться (в зависимости от настроек) парсинг и/или проверка прокси. Это очень удобно, так как позволяет получать новые прокси непосредственно перед их использованием, либо проверять текущие и откидывать заведомо не рабочие.

Так же есть возможность выбрать первый пункт (пустой), который позволяет не запускать инструмент, а просто использовать те прокси, что есть на данный момент в файле.




Создание своих профилей парсинга