Короткие ответы
Что Portproof предоставляет для парсинга?
Прокси-трафик с оплатой за ГБ в общих мобильном и резидентском пулах. Загрузку, выполнение JavaScript, разбор страниц, расписание и хранение данных обеспечивает ваше приложение. Готовый сборщик или набор данных в покупку трафика не входит.
Выбрать мобильный или резидентский пул?
Выберите тип сети, который нужен разрешённой задаче, и доступную в этом пуле страну. Если подходят оба, сравните контролируемые выборки. Ни один пул не гарантирует нужный ответ любого назначения.
Как сравнивать стоимость сбора?
Считайте весь переданный трафик, включая ошибки и повторы, и отдельно — уникальные пригодные записи. Число отправленных запросов и число корректных записей не взаимозаменяемы. Сначала проверьте качество, затем рассчитывайте заказ.
Что делать после 429 или отказа доступа?
Уменьшите нагрузку и соблюдайте указанный Retry-After, если он есть. При повторном отказе остановите задачу и пересмотрите разрешение и метод. Новый адрес не заменяет согласование доступа или исправление ошибки.
Опишите запись, которую хотите получить
Для разрешённого мониторинга цен нужна сопоставимая оферта, а не отдельное число со страницы. Зафиксируйте товар и вариант, рынок, валюту, единицу продажи, условия доставки и момент наблюдения. Отсутствующая цена остаётся неизвестной: превращение её в ноль создаст ложное снижение. Дата на странице и время вашего сбора — разные поля.
Если разрешённый API или выгрузка уже дают нужные сведения, начните с них. Для QA своего магазина заранее определите ожидаемые поля и проверки. Не включайте персональные данные только потому, что они доступны в ответе: собирайте необходимое для разрешённой задачи.
| Решение | Что записать |
|---|---|
| Источник | Разрешённые адреса, область работы и расписание |
| Рынок | Страна, витрина, язык, регион доставки и состояние входа |
| Пригодная запись | Обязательные поля, допустимая давность и ключ удаления дублей |
| Сравнимость цены | Один товар и вариант, валюта, единица, налоги и доставка |
| Границы | Параллельность для домена, общий срок, размер ответа и число попыток |
HTTP 200 может содержать пустой шаблон, другой вариант товара или страницу согласия. Проверяйте содержимое до подсчёта результата. Сохраняйте причину непригодности: пустое поле, дубль, неверная валюта и ошибка доступа требуют разных исправлений.
Выберите клиент по источнику данных
Посмотрите разрешённый ответ обычного HTTP-клиента. Если нужные поля уже в нём, браузер может быть лишним. Документация Scrapy предлагает сначала найти источник динамических данных; браузер нужен, когда задача зависит от отрисованного содержимого, взаимодействия или скриншота.
Для HTTP-приложения есть русская настройка HTTPX, для визуальной проверки — Playwright. Проверяйте именно рабочий клиент. Echo-запрос подтверждает наблюдение своего соединения, но не работу парсера, браузерных ресурсов или другого сайта.
Браузер загружает скрипты, изображения и фоновые запросы. Удаляйте ресурс только после проверки сохранённого результата. Не отключайте проверку сертификатов ради проходящего теста. Закрывайте ответы, браузерные контексты и соединения после завершения работы.
Свяжите сессию с одним наблюдением
Независимые наблюдения могут использовать ротацию по подключениям. Переиспользование соединения означает, что новый запрос приложения не обязательно открывает новое соединение прокси. Для нескольких связанных шагов может понадобиться sticky-сессия вместе с собственными cookies и состоянием приложения.
Sticky сохраняет устройство, пока оно доступно; IP всё равно может измениться. Это общий пул, а не аренда устройства. Смотрите разницу ротации и sticky. Страну маршрута, регион витрины и язык браузера задавайте отдельно и фиксируйте до сравнения.
Ограничьте бесполезные попытки
- Начните с небольшой параллельности в пределах правил источника. Установите общий срок задания, предел ответа и конечное число попыток.
- Для диагностики отключите автоматические повторы: одна ошибка должна оставаться одним наблюдением.
- Разберите авторизацию прокси, TLS, ответ назначения и разбор данных по отдельности.
- Для 429 учитывайте Retry-After и оставшееся время задачи. Если ожидание не помещается в срок, перенесите работу.
- При повторном отказе остановитесь. Сохраняйте связь попыток с исходной задачей и удаляйте дубли результатов.
RFC 6585 определяет 429 как слишком много запросов; ответ может содержать Retry-After. RFC 9110 допускает для него секунды или HTTP-дату. Повторяйте только операции, которые безопасно повторить: повтор запроса с побочным эффектом может создать ещё одно действие.
Считайте задачи и пригодные записи отдельно
Следующая таблица — вымышленный пример арифметики. В нём на одну задачу планируется одна запись, а трафик включает все попытки и ошибки. Это не измерение Portproof и не прогноз успешности вашего источника.
| Показатель | Пример |
|---|---|
| Исходные задачи | 100 |
| Все попытки с повторами | 110 |
| Уникальные пригодные записи | 90 |
| Весь переданный объём | 60 000 000 байт, или 60 десятичных МБ |
| Расход на исходную задачу | 600 000 байт |
| Расход на пригодную запись | Около 666 667 байт |
При сохранении такой смеси 10 000 исходных задач дали бы оценку 6 ГБ и около 9 000 пригодных записей. Ни один результат не гарантирован. Если нужно 10 000 пригодных записей, этот план недостаточен: сначала найдите причины потерь и повторите выборку. При нуле пригодных записей расход на запись не определён, а не равен нулю.
Повторы в таблице уже учтены; дополнительный множитель повторов посчитает их дважды. Расчёт ГБ объясняет единицы и сверку с кабинетом. Выбирайте запас по изменчивости наблюдений, сохраняя неподходящие результаты в отдельном счётчике.
Выбирайте объём после проверки качества
Сверьте актуальные локации · English, нужный пул и условия платного пробного пакета · English. Небольшая покупка проверяет ваш сценарий, а не гарантирует работу каждого назначения. Оформление и кабинет доступны на английском.
Перепроверьте выборку после изменения источника, парсера, ресурсов или расписания. Актуальная стоимость заказа — на странице цен. Методика сверена 31 октября 2026 года; новый сетевой сбор, тест шлюза или платёж для статьи не выполнялись.
Допустимое использование
Собирайте данные только с разрешения, соблюдая условия источника, robots.txt, ограничения запросов и политику допустимого использования · English. При отказе остановитесь; не публикуйте секреты и лишние персональные данные.