Главная/Парсинг
VPS для парсинга
VPS для парсинга берут не из-за мощности, а из-за постоянной работы и отдельного адреса: скрипт должен работать круглосуточно и не зависеть от домашнего интернета. Требования к железу скромные, пока не появляется управляемый браузер.
Ответ за 30 секунд
Запросы с разбором HTML живут на самом дешёвом тарифе, управляемый браузер требует от 300 МБ на экземпляр. Правила источника и закон проверяются до написания скрипта: часть данных собирать нельзя независимо от технической возможности.
Машина создаётся за пару минут, подходит для разовых задач сбора данных и удаляется после работы.
Какая конфигурация нужна под сбор данных300 МБна экземпляр браузера
1 ГБхватает для запросов
robots.txtчитается до запуска
01 · 1 мин
На что уходят ресурсы при сборе данных#
Два способа чтения страниц отличаются по требованиям на порядок.
| Способ | Память | Процессор |
|---|---|---|
| Запрос и разбор HTML | Десятки мегабайт на поток | Почти не нагружает |
| Управляемый браузер | 300 МБ и выше на экземпляр | Отрисовка страницы грузит ядро |
| Запись результата в базу | Зависит от базы | Диск важнее процессора |
Отсюда правило планирования: сначала выясните, отдаёт ли источник данные в разметке, или они подгружаются скриптами. В первом случае хватит минимального тарифа, во втором память считается по числу одновременных экземпляров браузера. Расчёт памяти в целом разобран в памяти VPS, а запуск процессов в Python на VPS.
02 · 1 мин
Почему адрес сервера перестаёт работать#
Самая частая техническая проблема в этой задаче это не ресурсы, а отказы источника. Причины по порядку:
- Частота запросов. Десятки запросов в секунду с одного адреса выглядят как нагрузочный тест. Пауза между запросами решает больше, чем смена адреса.
- Адреса дата-центров. Источники отличают серверные сети от домашних и применяют к ним более строгие правила.
- Отсутствие нормальных заголовков. Запрос без имени клиента и без контакта выглядит как неизвестный робот.
- Параллельные потоки без ограничения. Сотня одновременных соединений с одного адреса это нагрузка на чужой сервер.
Технически вежливый сбор выглядит так: пауза между запросами, ограничение одновременных соединений, своё имя в заголовке с контактом, уважение к файлу правил источника. Это заметно снижает число отказов и одновременно снимает большую часть претензий к вам. Выделенный адрес и его свойства описаны в IP-адресе.
Инструмент · 1 мин
Какая конфигурация нужна под сбор данных#
Ответьте на три вопроса, и получится отправная точка по ресурсам.
Какая конфигурация нужна под сбор данных
Нагрузка зависит от того, как вы читаете страницы: запросами или браузером. Три вопроса
04 · 1 мин
Что проверить до написания скрипта#
Техническая возможность забрать страницу не означает права это делать. Проверка занимает полчаса и экономит гораздо больше.
- Правила источника. Пользовательское соглашение и файл robots.txt прямо говорят, что разрешено автоматическим клиентам.
- Характер данных. Персональные данные людей собирать и хранить без законного основания нельзя, и сервер в другой стране этого не меняет: см. требования 152-ФЗ.
- Нагрузка на источник. Сбор, который мешает работе чужого сайта, это уже не сбор данных, и отвечать за него придётся вам.
- Правила провайдера. В договоре обычно есть пункт о запрете действий, создающих нагрузку на третьи стороны. Жалоба источника доходит до провайдера, а не до вас.
- Открытый интерфейс. Если у источника есть API, он почти всегда и дешевле, и стабильнее разбора HTML.
Храните результат не на том же диске
Исторические срезы растут быстрее самих данных: один и тот же каталог за год это десятки копий. Архивы выносят во внешнее хранилище, иначе диск сервера кончится в самый неподходящий момент, см. резервные копии.
Если сбор идёт постоянно, поставьте внешний контроль задания: молчащий скрипт выглядит так же, как работающий. Способы в мониторинге.
05 · 1 мин
Вопросы о сервере под сбор данных#
Какой тариф нужен для парсинга?
Для запросов с разбором HTML хватает одного ядра и гигабайта памяти. Управляемый браузер требует от 300 МБ на каждый одновременный экземпляр.
Почему источник блокирует сервер, а домашний компьютер нет?
Сети дата-центров распознаются, и к ним применяют строгие правила. Помогает снижение частоты запросов и корректные заголовки, а не только смена адреса.
Законно ли собирать данные с чужого сайта?
Зависит от данных и от правил источника. Персональные данные без основания собирать нельзя, а соглашение сайта может прямо запрещать автоматический сбор.
Сколько диска закладывать под собранные данные?
Считайте не по объёму одного среза, а по числу срезов за год. Диск увеличить можно, уменьшить обратно почти нигде нельзя.
Почему этому можно верить
Как мы проверяли
Источники цифр на этой странице: VPS и VDS серверы Таймвеб Клауд, timeweb.cloud/services/vds-vps, проверено 14 октября 2026.
Проверьте сервер на деле
При почасовой оплате сутки теста стоят десятки рублей, а не месячный тариф.
- Оплата по часам, а не только за месяц
- NVMe-диски во всех конфигурациях
- Дата-центры в России и за рубежом
- Создание сервера за пару минут