大数据

Python 强化训练:第四篇

强化训练:第四篇 问题来源 面向对象的语言的重要特性是存在类的概念 内容 新式类和旧式类 定义类的属性和“访问权限” 类的方法 继承:代码复用 特殊方法定制类 1. 新式和旧式类:python2中存在差异,python3中无差异 class OldStyle: name = “OldStyle” c…

大数据

Python 强化训练:第三篇

强化训练:第三篇 问题来源 pythoner面试经常会问到迭代器和生成器的区别 内容 可迭代对象 迭代器:正向迭代, 反向迭代 生成器: 1. 可迭代对象/ 迭代器 for 语句对对象调用了 iter()方法, 使用next()方法 内置函数:iter()可以获取迭代器对象,使用迭代器的next()…

大数据

Python 强化训练:第二篇

强化训练:第二篇 摘要:心好累. 问题来源 爬虫中会经常会遇到字符串的处理 主要内容 拆分字符串 字符串开头结尾 调整字符串格式 拼接字符串 字符串对齐 出掉不需要的字符 匹配字符 搜索字符 1. 拆分字符串 内置str.split(): 只能分割一个 re.split(): 按模式进行分割 imp…

大数据

爬虫之scrapy-splash——scrapy+js渲染容器

简介 scrapy作为爬虫利器,我就不多说了。常见的结合js的爬虫,一般用来扒取网页动态内容,就是通过操作js获取渲染的内容。现在大部分网站都是ajax+json获取数据的方式,所以,大家习惯性一上来爬虫,第一件事就是抓包,然后找规律抓数据。当然有时候,接口加密算法很复杂,短时间内很难破解,通过js…

大数据

关于python编码,你真的明白了吗

计算机存储的几个概念 想要彻底搞清楚编码问题,我们必须要先搞清楚计算机是怎么存储数据的,这就涉及到了计算机基础的几个概念了,开篇我们就先来捋捋这几个容易混淆的概念。 bit 二进制位, 是计算机内部数据储存的最小单位,11010100是一个8位二进制数。一个二进制位只可以表示0和1两种状态(2^1)…

大数据

python学习工具-Learn Python

首先声明,这不是广告,纯粹有感而发。 学习语言的方法有很多种,找到适合自己的才是最重要的。 最近,由于要做大数据方面的一些研发工作,需要写代码,而我自己擅长的是C/C++/Golang/JS等语言,对于前三种而言,用起来太重,而JS重点则在网页、服务器端程序设计,也缺乏足够的数据挖掘、机器学习类的库…

大数据

Python设计模式 – 责任链模式

1 什么是责任链模式? 现在模拟一个场景:你是个高中生,有4个小弟A、B、C、D,分别擅长语文、数学、英语、物理,在每次考试中,他们都正好坐在你后面一排,你根据不同的科目把试卷传给相应的小弟,他就会帮你答题,就像下面这样: 这种方式的特点是:(1) 你得记住每个小弟擅长哪一科;(2)你和每个小弟都得…