什么是爬虫？

实质是一种计算机程序，通过计算机语言开发而来，它的行为看起来就一只蜘蛛在网上面爬行工作一样，蜘蛛的英文单词：spider-爬虫的别名。

百度蜘蛛，Google蜘蛛实质就是一个或一套爬虫程序。

爬虫就是进行数据爬取，并可以进行简单的数据处理（数据清洗）操作的特殊应用程序。

爬取来源：一般是通过互联网展开而来

python爬虫是干嘛的？好学吗？

爬虫可以做什么？

1：收集数据

最直接，最常用的使用方法

2：尽职调查

是否在尽职的工作，很多时间，我们讲的话，写的内容，或多或少都会有一定的水份，数据是不会说谎的，可以通过“爬虫”来对发生的数据进行获取，并最终形成结果，以验证过程是否如数据所言。

3：刷流量和秒杀

爬虫的开发技术？

爬虫的开发一般有两个层面

1：“技”：通过各程语言和框架的使用来完成这个功能，这个层面更像是软件文档，目前市面上的教程大多停留在这个只教你如果通过技术来实现爬虫

2：“术”：就是方法，比如遇到反爬虫的问题，遇到一些特殊情况时，技只是支撑实现功能的基础，而术就是提供解决这些问题的思路，所以术更强调思想，流程调度。

目前要实现爬虫的语言很多，java,php,c#,python……都能够实现爬虫，为什么多采用Python实现？原因是语法相对与其他语言简单，相对于其他语言够直接，语法简单，入门容易，有强大的库支持

两个重要的库：requests、scrapy