Задачи на поэтапный парсинг и метод паука

Зайдите на следующую страницу: перейдите по ссылке.

Сделайте парсер, который заберет все ссылки из главного меню, затем перейдет по каждой из них, спарсит содержимое контента страниц и сохранит в базу данных контент страницы, тайтл страницы, url страницы.

Зайдите на следующую страницу: перейдите по ссылке.

Сделайте парсер, который заберет все ссылки из пагинации, затем перейдет по каждой из них, заберет все ссылки на статьи, а затем зайдет на каждую из статей.

Сохраните в базу данных страницы со статьями (промежуточные не нужны). А именно: контент страницы, тайтл страницы, url страницы.

Зайдите на следующую страницу: перейдите по ссылке (это тот же сайт, что и в предыдущей задаче).

Спарсите этот сайт методом паука. Страницы, которые следует сохранять в базу легко отделить по урлу.

Зайдите на следующую страницу planetolog.ru и спарсите ссылки на все страны мира, зайдите в каждую страну, спарсите ее города, зайдите в каждый город и спарсите описание этого города.

Сохраните описание городов в базу данных. Страны для этих городов храните в отдельной таблице.

Спарсите названия всех фильмов из определенного раздела сайта kinogo.by.

Сохраните эти названия в базу данных.

Спарсите все анекдоты из определенного раздела сайта anekdoty.ru.

Сохраните их в базу данных. При сохранении очистите их от лишних тегов.

Спарсите все статьи с сайта plotva.by. Обратите внимание на интересную пагинацию.

Решите задачу вначале поэтапным парсингом, а потом методом паука.

Спарсите все статьи с сайта ribalovu.ru.

Сохраните в базу данных контент страницы, тайтл, ссылку на главную картинку с этой страницы.

Решите задачу вначале поэтапным парсингом, а потом методом паука.