WeChatUrlCrawler是一个专门爬取公众号文章url的爬虫，将爬到的url保存在文件或者数据库中 下载地址

25个爬虫示例程序

还有模拟登陆程序，模拟登陆基于selenium，有些模拟登录基于js逆向。GitHub13K+的点赞，所有程序都是使用 Python3 编写的。

Kr1s77/awesome-python-login-model: 😮python模拟登陆一些大型网站，还有一些简单的爬虫，希望对你们有所帮助❤️，如果喜欢记得给个star哦🌟 (github.com)

Python爬虫爬取百度贴吧帖子

1、获取帖子标题、总页数、评论、图片

2、图片写入文件并保存

3、将各种信息实现打印（也算测试追踪）

4、输入帖子号便能实现以上操作（即亦适用于其它帖子）

you-get

you-get是GitHub上的一个非常火爆的爬虫项目，作者提供了近80个国内外网站的视频图片的抓取，收获了40900个赞！

对于you-get的安装，可以通过pip install you-get的命令进行安装。

Python爬虫模拟登录淘宝并获取所有订单

1. python模拟登录淘宝网页

2. 获取登录用户的所有订单详情

3. 学会应对出现验证码的情况

4. 体会一下复杂的模拟登录机制

Python爬虫抓取淘宝MM照片

1.抓取淘宝MM的姓名，头像，年龄

2.抓取每一个MM的资料简介以及写真图片

3.把每一个MM的写真图片按照文件夹保存到本地

4.熟悉文件保存的过程

Python爬取百度图片及py文件转换exe

Python爬取下载百度图片，并将py文件转换为exe文件。

Python爬虫聊聊淘宝上的飞机杯

爬取淘宝上关键词为“飞机杯”的商品数据，和销量前十的所有评论。

Python爬虫实战：爬取今日头条美女图片

爬取头条街拍，看头条一道道靓丽的风景线。

Python爬虫之九派新闻

python动态爬取九派新闻网站

python爬虫8.7万条豆瓣电影数据分析

1、获取豆瓣电影信息

2、豆瓣电影简要分析

Python爬取链家北京二手房数据

本次分享分为两部分，第一部分介绍如何使用scrapy抓取二手房数据，第二部分我将抓下来的数据进行了一些简单的分析和可视化。

Python实战Scrapy豌豆荚应用市场爬虫

对于给定的大量APP，如何爬取与之对应的（应用市场）分类、描述的信息

爬取了中文网站，可以用google翻译成英文，加adsense广告，发布到wordpress做英文网站。

同理，爬取了英文网站， 可以用google翻译成中文，加adsense广告，发布到wordpress做中文网站。 参考教程