大数据

Python基础总结(十一)(元组、集合、字典)

一、元组 元组跟列表相似,但是元组用的元素是固定的。也就是说元组被创建以后就不能对元组中的元素进行添加、删除、替换或重新排列。如果在应用中不应该对列表中的内容进行修改,可以使用元组来防止元素被意外添加、删除或替换。由于Python的实现,元组比列表的效率更高。 可以使用下面的语法创建一个元组: t1…

大数据

一个实现批量抓取淘女郎写真图片的爬虫

淘女郎,也被很多人称作“网络模特”,就是专门给淘宝、天猫等线上商家拍摄图片的平面模特。 我们将用Python3和Selenium Webdriver抓取每一个美眉的个人主页内的写真图片,把每一个美眉的写真图片按照文件夹保存到本地。 先说一下网页爬取的一般步骤: 1.查看目标网站页面的源代码,找到需要…

大数据

新手向爬虫(二)站点分析

在新手向爬虫(一)利用工具轻松爬取简书并分析中我们初步接触了爬虫,关键在于: 通过工具获取网页内容选择器 分析页面元素,是否包含隐藏信息 利用浏览器的开发者工具分析网络请求 现在让我们对简书站点做一定的分析: Robots.txt 首先,网站自身的robots.txt会为我们提供一定信息。大多数网站…