Пишем парсеры на Python

На этой страничке собраны различные парсеры на питоне. Я очень старался оформлять каждый из них как полноценный учебный материал, по которому можно пройтись и многое понять. Многие из них я не доделал в силу нехватки времени. Многие из них кривые. Сори. Когда-нибудь эта страничка заблистает новыми красками.

Ссылки

• Свалка разных файлов
• Прикольная книжка про парсинг
• Прикольная книжка про Python

• Околочасовое видео с секции по парсерам на датафесте.

• Лекция с 9 неделеи (РАНХ 2019)

Логи семинаров 2017 (РАНХ)

• Блокнот с изучением питоньего синтаксиса

Грабим и исследуем ЦИАН:

• Примечание: ЦИАН ввёл капчу. Рано или поздно она выскакивает и приходится её обходить. Из-за этого эти блокноты не очень работают. Но текст в них хороший.
• Блокнот с грабежом и разбоем ЦИАН
• Подключаемся к Google-maps и берём себе данные!
• Немножечко распараллеливаем наш парсер.
• Отмываем данные от грязи

Учимся обходить блокировки

• Наша с Димой статья по основам парсигна, обходу блокировок и сбору мемов в Python на Хабре.
• Димина презентация с Датафеста
• Как сделать так, чтобы вас не вычислили по ip видео с датафеста от Димы <3
• Димин репозиторий с проектом по мемам

Грабим и исследуем контакт:

• Качаем данные из контакта, проверям гипотезы о группах, смотрим на лайки и рисуем графы

Учимя использовать Selenium

• Пишем на Selenium небольшого спамера и качаем статистику о поисковых запросах.

Ещё немного парсеров (некоторые не окончены)

• ЦИК и выборы
• Google-maps
• Google-trends
• Разные СМИ и их лемматизация

Лицензия

Созданные для данного курса материалы распространяются по лицензии Do What The Fuck You Want To Public License (WTFPL)