Содержание статьи
Это значит, что устройство стало агентом в сети резидентных прокси. Операторы таких сетей давно выстроили целую индустрию, но широко о ней заговорили после недавнего скандала со смарт‑телевизорами Samsung: исследователи обнаружили, что приложения из раздела «Выбор редакции» тайно пропускали через телевизоры трафик клиентов резидентных прокси.

Чем резидентные прокси отличаются от остальных? Все дело в том, откуда берутся IP-адреса. Давай рассмотрим основные источники.
- Дата‑центровые прокси — это серверы в стойках хостинг‑провайдера. Их IP-адреса принадлежат автономной системе, связанной с инфраструктурой хостера или облачной платформы. Такие прокси легко распознать, поэтому они часто попадают под фильтры антибот‑систем.
- Прокси ISP — промежуточный вариант между резидентными и дата‑центровыми прокси. Физически они работают на той же серверной инфраструктуре, что и дата‑центровые, но их IP-адреса зарегистрированы у интернет‑провайдера и относятся к его абонентскому диапазону. Для внешнего наблюдателя такой адрес больше похож на домашний, чем на серверный, поэтому антибот‑системы реже его фильтруют.
- Резидентные прокси направляют трафик через реальное устройство конечного пользователя, подключенное к сети домашнего интернет‑провайдера. Например, через смартфон, ноутбук или даже ТВ‑приставку. IP-адрес такого узла принадлежит пулу интернет‑провайдера и выглядит как адрес обычного абонента, который смотрит видео или работает из дома. Благодаря этому резидентные прокси сложнее распознать антибот‑системам, что делает их привлекательными для коммерческого использования.
Проверить, к какой категории относится конкретный IP-адрес, можно с помощью сервисов геолокации, например IP-API. В ответ на запрос сервис отдает JSON с набором ключей, среди которых нас интересуют три: hosting, proxy и mobile. По их значениям можно понять, связан ли адрес с инфраструктурой хостинг‑провайдера, прокси или мобильной сетью. Но сами по себе эти признаки не гарантируют, что IP принадлежит абоненту домашнего провайдера.

Прокси‑компоненты могут попадать на устройства пользователей разными путями. Разберем три основных способа.
Первый — официальные приложения: пользователь осознанно устанавливает клиент и соглашается участвовать в сети в обмен на небольшое вознаграждение. Среди известных примеров — EarnApp, Honeygain и Pawns.app, показанные ниже.

Второй — библиотеки SDK, встроенные в сторонние приложения. Монетизация трафика в них — часть бизнес‑модели разработчика, о которой ты можешь и не подозревать. Например, если примешь многостраничное пользовательское соглашение не глядя. Этот способ доставки можно считать основным каналом распространения агентов прокси‑сетей.

Такая модель распространения хорошо вписывается в региональный контекст. Все больше пользователей в России устанавливают бесплатные приложения VPN. Многие из этих приложений окупаются за счет того, что устройство пользователя становится узлом сети резидентных прокси. Устанавливая такой VPN, ты фактически соглашаешься делиться пропускной способностью своего канала и отдавать домашний IP-адрес в чужой пул, зачастую не понимая, что за этим стоит.

Третий способ — доставка через нежелательное или явно вредоносное ПО. Особенно часто так бывает в ботнетах: прокси‑компонент подтягивается на уже зараженное устройство как один из пейлоадов.
Провайдеров описанных выше приложений и SDK очень много, и то, как они взаимодействуют друг с другом, заслуживает отдельного внимания. Пулы адресов не всегда изолированы или закреплены за одним провайдером: на рынке распространены партнерские программы, перепродажа адресов и общая инфраструктура для разных брендов. Один и тот же узел — смартфон с установленным приложением или ноутбук с бесплатным VPN — может одновременно обслуживать запросы клиентов нескольких провайдеров. Владелец приложения может сотрудничать сразу с несколькими поставщиками SDK, а те — перепродавать адреса друг другу, создавая общий пул. В результате границы между отдельными игроками рынка куда более размыты, чем можно судить по их публичным заявлениям.
С экономической точки зрения такая схема привлекательна для всех участников. Конечный пользователь получает небольшие выплаты, бесплатное приложение или премиальные функции. Разработчик — стабильный источник дохода, который не зависит от рекламных показов. Операторы прокси наращивают число адресов в пуле и расширяют его географию, что напрямую влияет на рыночную стоимость услуги. Реселлеры и партнеры зарабатывают на марже, продавая доступ к чужой инфраструктуре под собственной вывеской.
А покупатели получают IP-адреса, которые позволяют выдавать автоматизированные запросы за трафик реальных пользователей. Можно применять для скрейпинга, проверки рекламы, конкурентной разведки, обхода геоблокировок и автоматизации действий, которые целевые платформы стараются детектировать и блокировать.
Дальше мы разберем сетевые протоколы, которые используют основные игроки на рынке резидентных прокси, и посмотрим, как отличается трафик официальных приложений от сторонних со встроенными SDK провайдеров.
Популярные провайдеры
Сначала несколько примеров. Они были выбраны не по размеру пула или узнаваемости бренда, а по тому, насколько по‑разному их агенты ведут себя в сети и насколько хорошо эти различия демонстрируют внутреннюю логику всей экосистемы.
Мы рассмотрим провайдеров Bright Data, IPRoyal и Byteconnect. Первый интересен тем, что официальное приложение и SDK используют одну и ту же инфраструктуру и сетевые протоколы, но при этом дают принципиально разную нагрузку на устройство пользователя. IPRoyal показателен тем, что при переходе от официального приложения к SDK меняется уже не только интенсивность работы, но и сам протокол взаимодействия. Byteconnect SDK, в свою очередь, интересен как пример сценария, в котором proxy-компонент в основном появляется на устройстве не в результате осознанной установки пользователем, а как часть более сложной цепочки доставки через вредоносное ПО.
Bright Data (Luminati)
Bright Data, ранее известный под брендом Luminati, — один из наиболее заметных провайдеров на рынке резидентных прокси.
Продолжение доступно только участникам
Материалы из последних выпусков становятся доступны по отдельности только через два месяца после публикации. Чтобы продолжить чтение, необходимо стать участником сообщества «Xakep.ru».
Присоединяйся к сообществу «Xakep.ru»!
Членство в сообществе в течение указанного срока откроет тебе доступ ко ВСЕМ материалам «Хакера», позволит скачивать выпуски в PDF, отключит рекламу на сайте и увеличит личную накопительную скидку! Подробнее
