Цель работы
- Парсим сайт, используя прокси-сервера.
- Сохраняем данные в формате CSV.
- Пишем поисковик по найденным данным.
- Строим интерфейс.
Использовать будем язык программирования Python. Сайт, с которого мы будем качать данные — www.weblancer.net (парсинг старой версии этого сайта был размещен здесь), в нем есть предложения работы по адресу www.weblancer.net/jobs. С него мы и будем получать данные — это название, цена, количество заявок, категория, краткое описание предлагаемой работы.
Вход с использованием прокси означает — вход на сайт под ненастоящим адресом. Пригодится для парсинга сайта с защитой бана по IP адресу (то есть, если вы слишком часто, за короткий отрезок времени, входите на сайт). Читать дальше →
Парсим weblancer используя PROXY
Source: habrahabr