Python总结

2024-09-23 · · 原创 · · 本文共 6,287个字,预计阅读需要 21分钟。

1. python相关介绍说明

​ python是一种广泛使用的解释型,高级编程,通用型编程语言,由吉多范罗苏姆创造,第一次发布与1991年,它的设计哲学强调代码可读下和简洁性。使用空格缩进进行划分代码块。

编译型语言:源代码一次编译为机器码,多次执行后输出,例如:c,c++等语言

解释型语言:源代码要通过代码解析器解释为机器语言,再执行输出;例如:python, javascript等

python特点:

  1. 优点: 简单易上手,代码风格简,免费开源,完善的基础代码库,众多的第三方库,代码可读性高,程序可移植
  2. 缺点:相对于编译型语言速度会慢点,代码不能加密

python的主要应用场景:网络爬虫,数据处理,web编程,人工智能,机器学习,自动化运维,数据处理,数据挖掘,大数据领域,自动化测试

2.python数据类型

python的数字类型(三种)

整数(int):可正可负。python3中不限大小

浮点型(float): 可正可负。可使用科学计数法表示:1.1e2 = 1.1x10^2 =110.0

复数: 由实数和虚数部分构成。12 +3j,或者complex(12,3)

方法介绍:

type(xx) : 返回xx的类型

id(xx): 返回xx指向的地址id

举例: a=1 b=1 —->此时id(a)是等于id(b)的,因为他们指向的地址是相同的

进制的默认表示:

二进制: 0b+二进制的数: 0b1010 =10

八进制:0o+八进制的数: 0o12 =10

十六进制: 0x+十六进制的数:0x11 =17

方法介绍:

bin(xx) : 其他进制转换为二进制:bin(0o12) = 0b1010

oct(xx): 其他进制转八进制: oct(0b1010) = 0o12

int(‘xx’,x) : 其他进制转十进制: int(‘0b1010’,2) =10, int(‘0o12’,8) =10

hex(xx): 其他进制转十六进制进制:hex(0b1010) = 0xa

python的布尔类型(True,False)

方法介绍:

isinstance(xx,x): 判断xx是否是x类型,返回布尔类型:isinstance(12,int) =True

bool(xx): 布尔类型: bool(0) =False bool(1) =True

python的字符串类型(‘xx’ “xx” ‘’’xxx ‘’’)

在字符串中存在''或者""或者'''的时候,使用反斜杠转义\: ‘I\’m yuan’ = I’m yuan
‘’’中的的字符串中存在换行的,返回的数据也是换行的:

  1. '''你好
  2. 吗''' ==> 你好

''或者""中换行使用\n来进行换行操作

特殊符号的转义字符:

  1. \a 发出系统铃声 \' 单引号 \n 换行 \\ 反斜杠
  2. \" 双引号 \b 退格 \t 纵向制表符 \v 横向制表符
  3. \t 回车 \f 换页

方法介绍:

a[x] : 获取a的下标为x(为负时,是从右到左)的字符: a=”qwerty” a[1]=w a[-1]=y

a[x:xx]: 获取从下标x到下标xx的字符串(不包括xx) a[0:2] = qw a[-3:-1]=rt

a[x:]: 获取从下标x到字符串结尾 a[2:] =erty

a[:xx]: 获取字符串从o位到下标xx的字符串(不包括xx) a[:3] =qwe

占位符: %c字符 %s字符串 %d整数 %f浮点数
  1. a="my name is %s,l\'m from %s" %("yuan","sichuan")
  2. print(a) = my name is yuan,l'm from sichuan
  3. b="my name is yuan","l\'m from sichuan"
  4. print(b) = ('my name is yuan', "l'm from sichuan")

3.python运算

算术运算符: + - / % // * 对应 加 减 乘 除 取余 取整 取幂

比较运算符:> < == >= <= != <>(低版本存在,为不等于,python3已废弃)

赋值运算符:= += -= = /= //= %= *=

位运算符: & | << >> ~ ^ 按位与 按位或 左移动 右移动 按位取反 按位异或

逻辑运算符:and or not 与 或 非

成员运算符:in not in 在xx里面 不在xx里面

身份运算符: is is not 是xx 不是xx

  1. 10//3 =3 2**3 =8
  2. a=3 a**=2=a**2 =9
  3. a=1 b=2 (a=1 and b=2) (not a=1)
  4. a="123" b="12" b in a =>True
  5. a="123" b="123" a is b =>True

is与==的区别:is用于判断两个变量引用的对象是否是同一个, ==用于判断引用的变量的值是否相等

  1. a=[1,2,3] b=a[:] (a is b)=False (a==b)=True

运算符的优先级:(优先级越大的越优先)

运算符说明 Python运算符 优先级
小括号 () 20
索引运算符 x[index] 或 x[index:index2[:index3]] 18、19
属性访问 x.attrbute 17
乘方 ** 16
按位取反 ~ 15
符号运算符 +(正号)或 -(负号) 14
乘、除 *、/、//、% 13
加、减 +、- 12
位移 >>、<< 11
按位与 & 10
按位异或 ^ 9
按位或 \ 8
比较运算符 ==、!=、>、>=、<、<= 7
is 运算符 is、is not 6
in 运算符 in、not in 5
逻辑非 not 4
逻辑与 and 3
逻辑或 or 2

4.python流程控制语句

条件控制
  1. if 条件:
  2. 处理
  3. elif 条件2:
  4. 处理
  5. else:
  6. 处理

三元表达式: 条件为真的结果 if 条件判断 else 条件为假的结果

  1. a=1 b=2 a if a>b else b # a = a > b?a:b
  2. c=a if a>b else b # c = a > b?a:b
for循环
  1. for variable in sequence:
  2. do something
  3. else:
  4. do something

举例:

  1. result=0
  2. for i in range(101):
  3. result+=i
  4. else:
  5. print('i的值大于100')
  6. print('最后的结果是:%d'%(result))

方法介绍:

range[xx]: 生成序列(最后一位不包含xx) : for i in range(101):

end=”” : 不换行

  1. print('12',end='')
  2. print('13')

多层嵌套:

  1. for i in range(101):
  2. for j in range(2):
  3. xxx
  4. xxx
while循环
  1. while condition: # 开发中避免生成死循环(while True:xx)
  2. do something

举例:

  1. i=1
  2. result=0
  3. while i<=100:
  4. result+=i
  5. i+=1
  6. else:
  7. print("条件不满足")
  8. print("最后的结果:%d" %result)
python中替代switch

方式一: 字典的方式

  1. def A():
  2. xx;
  3. def B():
  4. xx
  5. def default():
  6. xx
  7. switch = {'A': case1,'B': case2}
  8. choice = 'A' # 获取选择
  9. switch.get(choice, default)() # 执行对应的函数,如果没有就执行默认的函数

方式二: lambda表达式

  1. result = {
  2. 'A': lambda x: x * 5,
  3. 'B': lambda x: x + 7
  4. }[value](x)
break(跳出)与continute(继续)

break跳出循环(只是最近的循环,外侧的不会跳出),此层的for循环会跳出,不在执行

continute继续,在for循环中满足此条件的不在执行,接着相信执行

  1. for i in range(2):
  2. for j in range(5):
  3. if j==2:
  4. break
  5. else
  6. print(j) #当j==2时会跳出j层的循环,但是不会跳出i层的循环
  7. for i in range(6):
  8. if i==5:
  9. break
  10. xxx #当i==5时,不执行xxx,其他的还是继续执行xxx

5.python的数据结构

列表(list)

一种数据构成的有效序列(有序,成员可重复出现),一定的线性序列排列而成的数据项集合,适合对元素查询,插入和删除.

方法介绍:

创建list: a=[1,2,4] a=[] a=list()

添加元素: i.append(5) ==>i=[1,2,4,5]

删除元素:del i[1] ==> i=[1,4]

获取长度 len(i) ==>3

获取某个下标的元素 i[1]==>2 i[-1] ==>4

获取某个元素对应的下标:i.index(2) ==>1 ==>元素不存在会报错

将某个元素插入到某个下标下:i.insert(1,6)==>[1,6,2,4]

拿出某个下标元素,使其元列表减少此元素: pop =i.pop(2)=4 i=[1,2]

集合(set)

创建set: a= {1,2,3} 或者 s= set(), 不能设置为: a ={}, 此处a为字典dict了

添加元素:s.add(1)

添加集合(相同元素不再添加):s.update([1,2,3])

移除某个元素(不存在报错): s.remove(2)

移除某个元素(不存在不报错): s.discard(6)

随机取出一个元素并删除:s.pop()

获取集合长度:len(s)

清空集合: s.clear()

两集合取并集:s.union(d)

  1. s =set()
  2. s.add(2) # {2}
  3. s.update({2,4,5})
  4. s.update([2,4,5]) #{2,4,5}
  5. s.remove(2) #{4,5}
  6. s.discard(6) #{4,5}
  7. a=a.pop() #返回一个随机元素,并将s中此元素删除
  8. d={4,7,9}
  9. s.union(d) #{4,5,7,9}
元组(tuple)

形式: ()或者 tuple()

注意:当元组中只有一个元素时,要加,来区分:s=(1,)

​ 元组的整个内容不能新增,修改,删除等变动操作,可以去取元素:s[xx] 或者 s[x:xx]

​ 当元组中的是列表或者集合,可以修改对应的某个列表或者集合元素.

  1. s =(1,2,4,["111","222","333"])
  2. s[-1][1]="666" # s[-1] = ["111","222","333"]
  3. print(s) ==>(1,2,4,["111","666","333"])
字典(dict)

形式:s= {key:vaule,key2:vaule2} 或者 s={} 或者 s = dict()

key是不能重复的,如果放入相同的key,后者会覆盖前者;字典中的key必须是不可变

添加元素: s.update({key:vaule})

删除字典中key对应的数据以及整个字典: del s[key] del s

获取字典中key的值:s[key]

修改key的值:s[key]=xxx

获取字典的大小:len(s)

注意: d={[‘2’]:’we’} ==>错误,典中的key必须是不可变

range类型

range转list: a = range(5) print(list(a)) ==>[0, 1, 2, 3, 4]

range(start,stop,step) =>start开始值,stop结束值,step步长

  1. a =range(1,10,2) print(list(a)) #[1, 3, 5, 7, 9]
  2. a = range(1,-10,-3) print(list(a)) #[1, -2, -5, -8]
可变与不可变

可变类型:列表,字典

不可变类型:数字,字符串,元组

6.python高级特性

切片

可切片的对象:字符串,列表,元组。集合与字典是不可切片

  1. a=[1,2,3,4,5,6,7,8,9]
  2. a[1:3] #[2, 3]
  3. a[::5] #[1, 6] =>从下标为1的开始,每5个切片
列表生成式

[expr for iter_var in iterable]
[expr for iter_var in iterable if cond_expr]

  1. range_ =[x*2 for x in range(1,5)] #[2, 4, 6, 8]

​ 说明:range(1,5)的数按照各自的2倍生成列表

  1. range_ =[x for x in range(1,5) if x%2==0] #[2, 4]

​ 说明:range(1,5)的数能被2整除的数生成列表

  1. range_=[[x,y] for x in range(1,3) for y in range(6)]
  2. #[[1, 0], [1, 1], [1, 2], [1, 3], [1, 4], [1, 5], [2, 0], [2, 1], [2, 2], [2, 3], [2, 4], [2, 5]]
迭代

判断一个对象是否是可迭代,再进行迭代处理.同时要先引入依赖包

  1. from collections.abc import Iterable
  2. a = "123"
  3. print(isinstance(a, Iterable)) # Ture
  4. for i in a:
  5. print(i)

多个参数迭代:

  1. i = [[1, 2, 3], [2, 3, 4], [4, 5, 6]]
  2. for x, y, z in i:
  3. print("x+y+z=", x + y + z)
  1. x+y+z= 6
  2. x+y+z= 9
  3. x+y+z= 15
生成器(generator)

生成器与生成式的区别在于最外层是(),是一种一边循环一边计算的机制,可以节约内存空间

  1. generator = (x * 2 for x in range(1, 8))
  2. print(next(generator)) # 2
  3. print(next(generator)) #4
  4. for i in generator:
  5. print(i)

7.python函数

形式:

  1. def 函数名(入参):
  2. 业务逻辑
  3. return

举例:

  1. def circle_area(r):
  2. result =3.14*r*2
  3. return result

定义一个空函数:

  1. def 函数名(入参):
  2. pass

注意: 函数返回多个值时用逗号隔开,此时返回的类型是元组()

递归

递归说到底,就是自己调用自己。需要特别注意的点:当自己写递归函数时,首要步骤是要先写函数的最终结束条件.

  1. def factorial(n):
  2. if n == 1:
  3. return 1
  4. else:
  5. return n * factorial(n-1)

8.python参数

形参: def fn(a,b): xxx

实参: fn(2,3)

位置参数

默认参数:def fn(a,b=3): xx

注意要在最后一个参数或者都有一个默认值,此时调用可以:fn(3)或者fn(3,4)

必需要的参数在前,默认参数在后,否则会报错

  1. def test(a=1,b=2,c=3):xx # test(b=4)

注意: 编写默认参数时,默认参数必须指向不可变的对象: def t(l=[]):xx ==>这种是可变参数,存在问题

可变参数

形式:

  1. def fn(*numbers):xxx

可变参数是在参数前加*,调用可传入多个参数,使用逗号隔开:fn(1,2)

命名关键字参数

形式:

  1. def persion(name,*,sex):xx

命名关键字使用*做分隔,*之前的参数,基于位置参数,*后面的参数,在调用的时候必需指定其参数名. sex是命名关键字,调用要命名:persion(“元”,sex=’男’)

关键字参数

形式:

  1. def persion(name, **keys):
  2. print('name:', name, 'other:', keys)
  3. persion("swer", age=12, where="xx") # name: swer other: {'age': 12, 'where': 'xx'}
  4. other_info = {"pet": "cat"}
  5. persion("swer", **other_info) # name: swer other: {'pet': 'cat'}

改变的只是内部,将info拷贝一份用于调用,不影响外部的

定义参数的顺序:形参,默认,可变,命名关键字参数,关键字参数

在关键字参数前必定是一个命名关键字参数,所以前面的命名关键字参数的*,可以去掉:

def persion(name,sex="男",*num,pet_name,**info)

9.python函数式编程

查询python函数用法: help(要查询的函数):eg: help(filter)

高阶函数之lambda表达式

lambda表达式的使用场景:

一般适用于创建一些临时性的,小巧的函数。使用 lambda 来创建会显得很简洁,尤其是在高阶函数的使用中

lambda表达式:

  1. power = lambda x:x**2
  2. power = lambda x,n:x**n #两个入参 print(power(2,3)) = 8

定义一个函数,传入一个list,将list每个元素的值加1:

  1. def add(l = []):
  2. return [x +1 for x in l]
  3. print(add([1,2,3])) #[2, 3, 4]

值加2呢? 使用lambda

  1. def add(func, l=[]):
  2. return [func(x) for x in l]
  3. print(add(lambda x: x + 2, [1, 2, 3]))
高阶函数之map

map的基本格式

  1. map(func, *iterables) #map(lambda表达式(或者方法),可变参数)

map()函数接收两个以上的参数,开头一个是函数,剩下的是序列,将传入的函数依次作用到序列

的每个元素,并把结果作为新的序列返回。也就是类似map(func,[1,2,3])

  1. result =map(lambda x:x+1,[1,2,3])
  2. type(result) # map
  3. list(result) #[2,3,4]

多个参数: 当参数个数不对应或者不一致时,以少的为准.

  1. result2 =map(lambda x,y:x+y,[1,2,3],[4,5,6])
  2. list(result2) #[5,7,9]
  3. result3=map(lambda x,y:x+y,[1,2,3],[4,5])
  4. list(result3) #[5,7]
高阶函数之reduce累积

reduce函数的基本格式

  1. reduce(function, sequence, initial=None) #函数,序列,初始值)

reduce把一个函数作用在一个序列上,这个函数必须接收两个参数,reduce函数把结果继续和序列的

下一个元素做累积计算,跟递归有点类似,reduce函数会被上一个计算结果应用到本次计算中.

reduce(func, [1,2,3]) = func(func(1, 2), 3)

先要引入包:from functools import reduce

  1. result = reduce(lambda x,y:x*y,[1,2,3,4]) # 24=1*2*3*4
  2. result =reduce(lambda x,y:x*y,[1,2,3,4],2) # 48=2*1*2*3*4
高阶函数之filter过滤

filter函数的基本格式

  1. filter(function_or_None, iterable)

filter()接收一个函数和一个序列。把传入的函数依次作用于每个元素,然后根据返回值是True还是False决定保留还是丢弃该元素。

  1. def my_fun(x): # 筛选出my_fun返回True的参数
  2. return x%2==0
  3. result = filter(my_fun,[1,2,3,4,5])
  4. type(result) # <class 'filter'>
  5. list(result) # [2,4]
高阶函数之sorted排序

sorted的基本格式

  1. sorted(iterable, key=None, reverse=False)

说明: iterable — 可迭代对象。

key— 主要是用来进行比较的元素,只有一个参数,具体的函数的参数就是取自于可迭代对象中,指 定可迭代对象中的一个元素来进行排序。

reverse — 排序规则,reverse = True 降序 , reverse = False 升序(默认)。

  1. sorted([1,2,6,88,23,67,45]) #[1, 2, 6, 23, 45, 67, 88]
  2. sorted([1, 2, 6, 88, 23, 67, 45], reverse=True) #[88, 67, 45, 23, 6, 2, 1]
对元组中某个下标数进行排序
  1. data = [['python', 89], ['c', 45], ['java', 120], ['javascript', 67]]
  2. data2 = sorted(data, key=lambda x: x[1]) #对第二元素排序(默认升序)
闭包-nonlocal

在python中支持函数中调用函数并返回里面的函数

  1. def my_power():
  2. n = 2
  3. def power(x):
  4. return x ** n
  5. return power #注意:这里返回不要加(),eg:power()
  6. n = 3
  7. print(my_power()(4)) # 16 闭包
  8. n = 2
  9. def my_power():
  10. def power(x):
  11. return x ** n
  12. return power #注意:这里返回不要加(),eg:power()
  13. n = 3
  14. print(my_power()(4)) # 64 非闭包

my_power函数在返回的时候,将其引用的值n一同带回,n的值被新的函数所使用,这种情况我们称之为闭包。同时在调用这个函数前设置n=2是不会在函数中使用此值的

内层函数没有n值的时候,会使用外层最后的n设置的值,这种的不是闭包

使用mypower()._closure方法会返回闭包带的环境变量的值,也就说明是闭包在函数中的函数是不能改变外层函数的值的,如果要改变,要使用nonlocal关键字

  1. def my_power():
  2. n = 2
  3. def power(x):
  4. nonlocal n
  5. n += 1
  6. return x ** n
  7. return power
  8. print(my_power()(3))
装饰器-@

使用@来处理:

装饰器模式(Decorator Pattern)允许向一个现有的对象添加新的功能,同时又不改变其结构。这种类型的设计模式属于结构型模式,它是作为现有的类的一个包装。

这种模式创建了一个装饰类,用来包装原有的类,并在保持类方法签名完整性的前提下,提供了额外的功能。

​ 添加要装饰的功能方法:

  1. def change_func(func): # 装饰后的函数
  2. def test():
  3. print("交易前处理")
  4. func()
  5. print("交易后处理")
  6. return test

原函数添加@装饰:

  1. @change_func
  2. def my_func():
  3. print("这是交易处理")
  4. my_func()

10.python之核心

工程结构包,模块等

包 > 模块 > 类 >方法

包与目录的区别是在此目录下是否有__init__.py文件,有就是包

.py后缀的文件就称之为模块

命名空间-global/globals()/locals()

命名空间是变量到对象的映射集合。一般都是通过字典来实现的。主要可以分为三类:

  1. 每个函数都有着自己的命名空间,叫局部命名空间,它记录了函数的变量,包括函数的参数和局部定义的变量。
  2. 每个模块拥有它自建的命名空间,叫全局命名空间,它记录了模块的变量,包括函数、类、其它导入的模块、模块级的变量和常量。
  3. 还有就是内置命名空间任何模块均可访问它,它存放着内置的函数和异常。

命名空间的查找顺序: 局部命名空间,全局命名空间,内置命名空间,最后都没有找到就会报NameError错

当函数嵌套时的查找规则:

先在当前 (嵌套的或 lambda) 函数的命名空间中搜索

然后是在父函数的命名空间中搜索

接着是模块命名空间中搜索

最后在内置命名空间中搜索

  1. def my_func():
  2. name = " wiggin "
  3. def func_son():
  4. name = "xdclass "
  5. print(name) # xdclass
  6. func_son()
  7. print(name) # wiggin
  8. my_func()
  9. print(name) # msg

命名空间的生命周期:

内置命名空间在 Python 解释器启动时创建,会一直保留,不被删除。

模块的全局命名空间在模块定义被读入时创建,通常模块命名空间也会一直保存到解释器退出。

当函数被调用时创建一个局部命名空间,当函数返回结果 或 抛出异常时,被删除。每一个递归调用的函数都拥有自己的命名空间

在python的函数中和全局同名的变量,如果你有修改变量的值就会变成局部变量,在修改之前对该变量的引用自然就会出现没定义这样的错误了,如果确定要引用全局变量,并且要对它修改,必须加上global关键字

  1. a = 1
  2. def my_func(str):
  3. global a # 必须要定义a,否则要报
  4. if a == 1:
  5. print(str)
  6. print(a) # 1
  7. a = 24
  8. my_func("file")
  9. print(a) # 24 此时对a值进行了修改

命名空间的访问:

  1. 局部命名空间的访问: 使用 locals()

locals 返回一个名字/值对的 dictionary。这个 dictionary 的键是字符串形式的变量名字,

dictionary 的值是变量的实际值。

  1. def my_func():
  2. a = 1
  3. b = 2
  4. print(locals())
  5. my_func() # {'a': 1, 'b': 2}

2.全局命名空间的访问-通过globals()

  1. a = 1
  2. b = 2
  3. print(globals())
  1. {
  2. '__name__': '__main__',
  3. '__doc__': None,
  4. '__package__': None,
  5. '__loader__': <_frozen_importlib_external.SourceFileLoader object at 0x0000013D66AD6CD0>,
  6. '__spec__': None,
  7. '__annotations__': {},
  8. '__builtins__': <module 'builtins' (built-in)>,
  9. '__file__': 'E:\\py_workspace\\start_project\\sf.py',
  10. '__cached__': None,
  11. 'my_func': <function my_func at 0x0000013D66B1F040>,
  12. 'a': 1,
  13. 'b': 2
  14. }

locals 与 globals 之间的区别: locals 是只读的,但globals是可读写

  1. def my_func():
  2. x = 123
  3. print(locals()) #{'x': 123}
  4. locals()["x"] = 456
  5. print("x=", x) #x= 123
  6. y = 123
  7. my_func()
  8. globals()["y"] = 111
  9. print("y=", y) #y= 111
导入模块-import/as/from

使用import 关键字进行模块的导入

  1. import xxx

导入模块并重命名as

  1. import xxx as xd

特别注意:当模块首次被导入时,会执行模块里面的代码

使用xx(importlib)模块进行模块的导入:

  1. import importlib
  2. module = importlib.import_module("xdclass_python_chapter12_class3")

导入一个包中的模块from

  1. from package import module

导入多层包中的模块

  1. from x.xx import module

要一次性导入包中所有的模块,可以使用通配符*。但是要配合__init__.py

导入变量

样式:from 模块名字 import 变量名字 as 本模块命名此变量名

导入一个变量:

  1. from class3 import a

导入多个变量:

  1. from class3 import a, b

导入的变量非常多,可以使用*

  1. from class3 import *
导包机制

from class5_import import a:

  1. sys.modules中查找符号”class5_import”

  2. 如果符号存在,则获得符号class5_import对应的module对象<module class5_import>

  • <module class5_import>dict中获得符号”a”对应的对象,如果”a”不存在,则抛出异常
  1. 如果符号class5_import不存在,则创建一个新的module对象,注意,这时,module对象的dict为空

  2. 执行class5_import.py中的表达式,填充dict

  3. dict中获得”a”对应的对象,如果”a”不存在,则抛出异常
init .py的作用及用法

__init__.py 文件是模块的入口它告诉使用者那些功能会被导出和使用。

作用:

  1. 标志所在目录是一个模块包,本身也是一模块
  2. 可用于定义模糊导入的时候要导入的内容
  3. 导入包的时候,会执行init.py里的内容
  4. 可用于批量导入模块

举例:

在yuan目录下存在:__init__.py,bread.py,coffee.py文件

bread.py

  1. def get_bread():
  2. print('A bread.')
  3. def test():
  4. print('TEST')

coffee.py:

  1. def get_coffee():
  2. print('A cup of coffee.')
  3. def test2():
  4. print('TEST2')

如果配置__init__.py为:

  1. from .bread import *
  2. from .coffee import *

在其他模块可调用:

  1. import yuan
  2. yuan.test() #TEST

如果配置__init__.py为:

  1. from .bread import get_bread
  2. from .coffee import get_coffee

在其他模块可调用:

  1. import yuan
  2. yuan.get_bread() #A bread. 无法调用test()

__ all__用法:某些模块高频使用场景

如果配置__init__.py为:

  1. __all__ =['bread']

在其他模块可调用:

  1. from yuan import *
  2. bread.get_bread() # coffee未导入,此处无法调用coffee.get_coffee()
all name的作用及用法

__all__是list结构,放在ini里,可以标志模糊导入时的模块。放在普通的模块下。标志一个模块中,允许那些属性被导入到其他模块.

同一目录下的两个模块:model1.py, model2.py

model1.py

  1. __all__ = ['getName']
  2. def getName():
  3. print('name')
  4. def getSex():
  5. print('sex')

model2.py直接调用model1中的方法:

  1. from model1 import *
  2. getName() #getSex没有加入__all__中,所以只能调用getName()

__name__的作用及其用法

  1. __name__这个系统变量显示了当前模块执行过程中的名称,如果当前程序运行在这个模块中,__name__ 的名称就是__main__如果不是,则为这个模块的名称。

  2. __main__一般作为函数的入口,类似于C语言,尤其在大型工程中,常常有if __name__ =="__main__“: 来表明整个工程开始运行的入口

定义模块 test.py

  1. def my_fun():
  2. if __name__=="__main__":
  3. print("this is main") ##此方法在本模块中执行结果为这个:__name__ = __main__
  4. else:
  5. print(__name__) #此方法在其他模块中执行结果为: __name__ = test

单元测试会经常使用__name__

11.python的错误处理

异常捕获与处理

错误SyntaxError :还没运行,在语法解析的时候,就发现语法存在问题。

异常ZeroDivisionError:运行的时候,会发生错误

警告DeprecationWarning

  1. import warnings
  2. def fxn():
  3. warnings.warn("deprecated", DeprecationWarning)

异常的处理形式:

  1. try:
  2. 做想做的事
  3. except 可能发生的异常:
  4. except 可能发生的异常2:
  5. finally:

举例:

  1. try:
  2. print(10 / 0)
  3. except ZeroDivisionError:
  4. print("除数不能为0")
  5. raise #抛出异常
  6. finally:
  7. print("finally结果")

还有一种异常处理:python提供的语法,叫预处理,预定义清理, 来避免因为异常而导致程序奔溃,比如在进行IO操作的时候,可以使用。一旦运行时发生异常,程序会自动帮你关闭文件,避免整个程序奔溃

  1. with open("myfile.txt") as f:
  2. for line in f:
  3. print(line,end="")
异常的抛出及自定义异常
  1. class MyException(Exception):
  2. def __init__(self,parameter):
  3. err="非法入参{0},分母不能为0",format(parameter)
  4. Exception.__init__(self,err)
  5. self.parameter=parameter
  6. def my_func(x):
  7. if x==0:
  8. raise MyException(x)
  9. else:
  10. print(10/x)
  11. my_func(0)
debug分析问题

第一步从日志中最下面分析异常跟java的debug一样,不同与快捷键:F7是下一步
设置断点 在行号后单击(双击取消)
F8 跳过
Alt + Shift + F9 运行debug模式
参考资料:cnblogs.com/lijunjiang2015/p/7689822.html

单元测试

单元测试(Unit Testing):又称模块测试,是针对程序模块来进行正确性检查的测试工作

编写测试类:

先进入要测试的方法中:双击要测试的方法 ->右键 Go TO到Test(或者ctrl+shift+t) ->create new test

要测试的方法:

  1. class MyTest:
  2. def my_func(x):
  3. return 10/x

测试类:

  1. import unittest
  2. from unittest import TestCase
  3. from Test01 import MyTest
  4. class TestMy_func(TestCase):
  5. def my_func(self):
  6. test = MyTest()
  7. self.assertEqual(test.my_func(2),5) #10/2=5 所以返回的是OK
  8. if __name__=='__main__':
  9. unittest.main()

12.IO操作

输入输出流
  1. print("请输入内容,按回车健结束:")
  2. str =input()
  3. print("你输入的内容是:",str)
文件读取open

形式:

  1. open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None,closefd=True, opener=None)

参数说明:

  1. x 写模式,新建一个文件,二u给文件已存在会报错
  2. b 二进制模式
  3. + 打开一个文件进行跟新(可读可写)
  4. r 以只读方式打开文件。文件的指针将会放在文件的开头。这是默认模式。
  5. rb 以二进制格式打开一个文件用于只读。文件指针将会放在文件的开头。这是默认模式。一般用于非文本文件如图片等
  6. r+ 打开一个文件用于读写。文件指针将会放在文件的开头。
  7. rb+ 以二进制格式打开文件用于读写。文件指针将会放在文件的开头。这是默认模式。一般用于非文本文件如图片等
  8. w 打开一个文件只用于写入。如果该文件已存在则打开文件,并从头开始编辑,即原有内容会被删除。如果文件不存在则创建文件。
  9. wb 以二进制格式打开一个文件只用于写入。如果该文件已存在则打开文件.并从头开始编辑,即原有内容会被删除。如果文件不存在则创建文件。一般用于非文本如图片等
  10. w+ 打开一个文件用于读写。如果该文件已存在则打开文件.并从头开始编辑,即原有内容会被删除。如果文件不存在则创建文件。
  11. wb+ 以二进制格式打开一个文件用于读写。如果该文件已存在则打开文件.并从头开始编辑,即原有内容会被删除。如果文件不存在则创建文件。一般用于非文本如图片等
  12. a 打开一个文件用于追加。如果该文件已存在,文件指针将会放到文件结尾。也就是说,新的内容会写在原有内容之后。 如果文件不存在,创建文件用于读写入
  13. ab+ 以二进制格式打开一个文件用于追加。如果该文件已存在,文件指针将会放到文件结尾。 如果文件不存在,创建文件用于读写入

写法一:

  1. try:
  2. file_path="C:\\Users\\DELL\\Desktop\\python\\python笔记.md"
  3. file =open(file_path,"r",encoding="utf-8")
  4. #content =file.readline() 读取第一行
  5. #content = file.read() 一次性读取所有
  6. content = file.readlines() 每行数据放入list中返回
  7. print(content)
  8. finally:
  9. file.close()

写法二

  1. file_path="C:\\Users\\DELL\\Desktop\\python\\python笔记.md"
  2. with open(file_path,"r",encoding="utf-8") as file:
  3. #content =file.readline()
  4. #content = file.read()
  5. content = file.readlines()
  6. print(content)
文件写入write

写入文件内容时,需要些使用open打开文件,再使用write写入:

  1. w - 写入,每次写入都会覆盖前面的
  2. a - 追加(示append) ,保留前面的
  1. file_path = "D:\we.txt"
  2. with open(file_path, "w", encoding="utf-8") as file:
  3. file.write('好好学习')
文件夹操作

创建文件夹: 以使用os.mkdir(dir_name)来在当前目录下创建一个目录

  1. import os
  2. os.mkdir("test") #当前目录下创建test文件夹

创建多级文件夹os.makedirs

  1. import os
  2. os.makedirs("test\\my") #当前目录下创建test/my多层文件夹 == >相对路径
  3. os.makedirs("D:\\wer\\yrt") #D盘下创建wer/yrt多次文件夹 == >绝对路径

获取当前所在目录os.getcwd

  1. import os
  2. print(os.getcwd()) #E:\py_workspace\model #只获取到了文件所在的文件夹路径

改变当前的工作目录chdir: 进入子目录

  1. import os
  2. os.chdir("test") #进入当前目录下中的test目录
  3. print(os.getcwd()) #E:\py_workspace\model\test

删除空文件夹os.rmdir

  1. import os
  2. os.rmdir("test")

删除多层空文件夹os.removedirs

  1. import os
  2. os.removedirs("test\\my")

判断一个路径是否是文件夹os.path.isdir(dir)

  1. import os
  2. os.path.isdir("test\\my") # False

获取一个路径下所有的文件和目录名os.listdir(path)

  1. import os
  2. print(os.listdir("test")) #['we']

删除文件夹下所有子文件夹: shutil.rmtree

  1. import shutil
  2. shutil.rmtree("D:\cache")
StringIO与BytesIO

使用场景

在某些场景下,我们只是要缓存相应的文本内容,方便后续处理,此时,我并不需要往新建文件并写入,我

只想直接在内存中缓存这些文本。

StringIOByteIo的区别在于前者写入字符串,后者写入二进制

赋值StringIO,读取readline

  1. from io import StringIO
  2. str_io = StringIO("hello world")
  3. print(str_io.readline())
  4. str_io.close()

写入write,读取getvalue

  1. from io import StringIO
  2. str_io = StringIO()
  3. str_io.write("hello")
  4. str_io.write("world")
  5. print(str_io.getvalue())
  6. str_io.close()

可使用with语法自动关闭

  1. from io import StringIO
  2. with StringIO() as str_io:
  3. str_io.write("hello")
  4. str_io.write("world")
  5. print(str_io.getvalue())

13.面向对象编程

面向对象及其三大特性

并不是我们要说的面向对象,在这里,没有对象也可以进行面向对象编程

面向对象的三大特性分别为封装、继承和多态

多态:python中的多态,本质也是通过继承获得多态的能力。(不同的 子类对象调用 相同的 父类

方法,产生 不同的 执行结果,可以增加代码的外部 调用灵活度)

类的定义class及实例化

类中所有类方法,无论是否要用到,都必须有self参数

定义类class

  1. # 定义person类
  2. class Person():
  3. # 所有类方法,无论是否要用到,都必须有self参数
  4. def method_self(self):
  5. print("method_self")

实例化: 使用类名(),即可完成实例化

  1. persion = Person();

注意:定义类的时候,类名需使用驼峰的命名方式(即单词首字母大写,如果类名由多个单词组成,同样每个单词的首字母都大写)

实例化多个对象 它们之间是不相等的,因为他们的id不同:

  1. p1 = Person();
  2. p2 = Person();
  3. # 通过id函数证明实例化出来的两个对象都是不同的
  4. print(id(p1))
  5. print(id(p2))
类的构造函数def __init__()

主要用来在创建对象的时候去初始化对象。

python中不支持多个构造函数

  1. class Person():
  2. #自定义构造函数
  3. def __init__(self, name, age):
  4. self.name = name
  5. self.age = age
  6. def print(self):
  7. print('name = %s, age = %s' % (self.name, self.age))
  8. p1 = Person('张三', '35');
  9. p1.print()

使用了构造函数,且构造函数式带参的且无默认参数,此时,实例化对象的时候,必须显式入参,否则会报错。若要避免错误,可以在构造函数使用默认参数

类变量与实例变量self.__class__/__dict__

类变量(属于类的): 在类中且在函数体之外。类变量通常不作为实例变量使用。类变量在整个实例化的对象中是公用的。

实例变量(属于实例化之后的变量的):定义在方法中的变量,用 self 绑定到实例上,只作用于当前实例的类

定义及访问

访问实例变量可以使用对象名.属性,访问类变量可以使用类名.属性 , 类似与java中的静态变量,但是它可变

  1. class Person():
  2. num = 0
  3. def __init__(self, name, age):
  4. self.name = name
  5. self.age = age
  6. p1 = Person('张三', '35');
  7. # 访问实例变量
  8. print(p1.name)
  9. # #访问类变量
  10. print(Person.num)

修改实例变量与类变量的值

  1. 如果要修改实例变量的值,可以使用对象名.属性=新值的方式进行赋值

  2. 如果要修改类变量的值,可以使用类名.属性=新值的方式进行赋值,在实例方法里,可以使用self.__class__

  1. p1.name = '里斯'
  2. Person.num = 24
  1. class Person():
  2. num = 0
  3. def __init__(self, name, age):
  4. self.__class__.num = 23 #实例方法中修改类变量
  5. self.name = name
  6. self.age = age

实例变量查找规则

先从实例变量里面找,找不到,看看类变量有没有,没有的话,去父类找,还是找不到报错在对象里面,有一个__dict__对象,存储着对象相关的属性。 类也有对应的__dict__,存储着与类相关的信息

  1. print(p1.__dict__) #{'name': '里斯', 'age': '35'}
  2. print(Person.__dict__) # {'__module__': '__main__', 'num': 23, '__init__': <function Person.__init__ at 0x00000225126DC430>, '__dict__': <attribute '__dict__' of 'Person' objects>, '__weakref__': <attribute '__weakref__' of 'Person' objects>, '__doc__': None}
self关键字

作用: self指向实例本身,我们在实例方法中要访问实例变量,必须使用self.变量名的形式。

self名称不是必须的,在python中self不是关键词,你可以定义成a或b或其它名字都可以,但是约定成俗(为了和其他编程语言统一,减少理解难度)

  1. def __init__(aa,name):
  2. aa.name = name

在实例方法中,如果不使用self.属性名的方式去访问对应的属性会报错

如果直接使用类名.实例方法名也会报错

  1. class Person():
  2. # 自定义构造函数
  3. def __init__(self, na):
  4. self.name = na
  5. print(name) # 编译时就报错
  6. def print(self):
  7. print('name = %s' % self.name)
  8. p1 = Person('张三', '35');
  9. print(Person.print()) # 执行时报错
类方法@classmethod与静态方法@staticmethod

类方法: 使用装饰器@classmethod第一个参数必须是当前类对象,该参数名一般约定为“cls”(不是cls也没关系,但是,约定俗成的东西不建议变动),通过它来传递类的属性和方法(不能传实例的属性和方法);其调用对象可以是实例对象和类

虽然能对象能访问类方法,但是不建议这么用

  1. class Person():
  2. num = 0
  3. @classmethod
  4. def change_num(cls, change):
  5. cls.num = change
  6. print(cls.num)
  7. Person.change_num(34) # 通常使用方式
  8. p1 = Person();
  9. p1.change_num(23) #不建议这样使用

静态方法:使用装饰器@staticmethod参数随意,没有“self”和“cls”参数,但是方法体中不能使用类或实例的任何属性和方法

静态方法是类中的函数,不需要实例。静态方法主要是用来存放逻辑性的代码,逻辑上属于类,但是和类本身没有关系,也就是说在静态方法中,不会涉及到类中的属性和方法的操作。可以理解为,静态方法是个独立的、单纯的函数,它仅仅托管于某个类的名称空间中,便于使用和维护

  1. @staticmethod
  2. def print_hello():
  3. print("hello world")
访问限制(属性字段前加__定义为私有变量)

定义私有变量 :当我们不希望外部可以随意更改类内部的数据,可以将变量定义为私有变量,并提供相应的操作方法为了保证外部不可以随意更改实例内部的数据,可以在构造函数中,在属性的名称前加上两个下划线__,这样改属性就变成了一个私有变量,只有内部可以访问,外部不能访问

方法私有化,同样也是在方法名前面加上__

  1. class Person():
  2. # 自定义构造函数
  3. def __init__(self, name):
  4. self.__name = name
  5. def __change(self, name):
  6. self.__name = name
  7. person = Person("xx")
  8. print(person.name) #运行报错,name为私有变量,外部不可访问
  9. person.__change('we') # 运行报错,change为私有方法,外部不可访问
打破访问限制(__xx__/_类_属性/方法)

在python中,仅属性或方法前面加上__时,表示私有,如果后面再加上__,此时含义就发生改

变,变成了普通的属性或方法。

  1. class Person():
  2. # 自定义构造函数
  3. def __init__(self, name):
  4. self.__name__ = name
  5. def __change__(self, name):
  6. self.__name = name
  7. person = Person("xx")
  8. print(person.__name__) # xx
  9. person.__change__('we') # 此时name变为了we

通过对象的__dict__来查看上面的访问限制中的例子:

发现多出了_类_属性/方法,因此可以根据这种方式来访问类的私有属性。

  1. class Person():
  2. # 自定义构造函数
  3. def __init__(self, name):
  4. self.__name = name
  5. def __change(self, name):
  6. self.__name = name
  7. person = Person("xx")
  8. print(person.__dict__) # {'_Person__name': 'xx'}
  9. print(Person.__dict__) # { '_Person__change': ...}
  10. # 打破访问限制
  11. print(person._Person__name) # xx
  12. # 打破访问限制
  13. person._Person__change('we')
  14. print(person._Person__name) # we

14.面向对象高级特性

继承(子类(父类))

在定义类的时候,类名后有个括号,当括号里写着另外一个类的名字时,表示该类继承于另外一个类

  1. 通过继承,调用子类方法
  1. class Person():
  2. # 自定义构造函数
  3. def __init__(self, name):
  4. self.name = name
  5. def change(self, name):
  6. self.name = name
  7. # People继承
  8. class People(Person):
  9. pass
  10. p = People('人类')
  11. print(p.name) # 人类
  12. p.change('f')
  13. print(p.name) # f
  1. 子类可以有自己的属性与方法
  1. class People(Person):
  2. def work(self):
  3. print('work')
  4. p = People('人类')
  5. print(p.work())
  1. 子类具备父类所有的属性与功能,但是父类并不具备子类的属性与功能

  2. 当子类有自己的构造方法时,将会覆盖父类的构造方法

  1. # People继承
  2. class People(Person):
  3. def __init__(self):
  4. print('People')
  5. p = People() #People
  1. 子类重写父类方法

特别注意:

  1. 当且仅当子类方法与父类同名入参相同,才可称之为重写父类的方法

  2. 不要为了获得某些属性或功能而继承

  1. class Person():
  2. # 自定义构造函数
  3. def __init__(self, name):
  4. self.name = name
  5. def change(self, name):
  6. self.name = name
  7. # People继承
  8. class People(Person):
  9. def __init__(self):
  10. print('People')
  11. def change(self, name): # 重写
  12. print('name is %s' % name)
  13. p = People() #People
  14. p.change('qq') # name is qq
super作用及用法

子类自己写了init方法,程序运行的时候就不会去调用父类的构造

当子类不创建(或者没有)父类中的属性时,此时通过子类.父类属性会报错。怎样处理?

方式一:直接通过类名去调用,但是这种方式通常不建议

  1. class People(Person):
  2. def __init__(self, name):
  3. Person.__init__(self, name)
  4. p = People('wangwu')
  5. print(p.name)

方式二: 通过super去进行调用

  1. class People(Person):
  2. def __init__(self, name):
  3. super(People, self).__init__(name)
  4. p = People('wangwu')
  5. print(p.name)

super() 函数是用于调用父类(超类)的一个方法。一般是用来解决多重继承问题的,直接用类名调用父类方法在使用单继承的时候没问题,但是如果使用多继承,会涉及到查找顺序(MRO)、重复调用(钻石继承)等种种问题。

super函数的基本语法

  1. super(类名,self)

在python3中,可以直接使用super()而无需任何参数来调用父类

抽象方法(abc/@abstractmethod/ABCMeta )与多态

抽象方法指一些只有方法声明,而没有具体方法体的方法。抽象方法一般存在于抽象类或接口中。抽象类的一个特点是它不能直接被实例化,子类要么是抽象类,要么,必须实现父类抽象类里定义的抽象方法

抽象类的子类必须实现抽象类中所定义的所有方法,否则,程序不能正确运行

在python3中可以通过使用abc模块轻松的定义抽象类

  1. from abc import ABCMeta, abstractmethod
  2. # 定义抽象类时,使用metaclass=ABCMeta
  3. class Person(metaclass=ABCMeta):
  4. @abstractmethod
  5. def do(self):
  6. pass
  7. # 子类实现抽象父类方法
  8. class P(Person):
  9. def do(self):
  10. print('do something')
  11. p = P()
  12. p.do() # do something

多态: 不同的 子类对象调用 相同的 父类方法,产生 不同的 执行结果,可以增加代码的外部 调用灵活度

多态的好处: 增加了程序的灵活性;增加了程序额可扩展性

  1. # 定义animal类
  2. from abc import ABCMeta, abstractmethod
  3. # 定义抽象类时,使用metaclass=ABCMeta
  4. class Animal(metaclass=ABCMeta):
  5. @abstractmethod
  6. def eat(self):
  7. pass
  8. @abstractmethod
  9. def run(seft):
  10. pass
  11. def activity(self):
  12. self.eat()
  13. self.run()
  14. class Dog(Animal):
  15. def eat(self):
  16. print("Dog is eating")
  17. def run(self):
  18. print("dog is running")
  19. class Cat(Animal):
  20. def eat(self):
  21. print("cat is eating")
  22. def run(self):
  23. print("cat is running")
  24. # 不同的子类对象,调用父类的activity方法,产生不同的执行结果
  25. dog = Dog()
  26. cat = Cat()
  27. dog.activity()
  28. cat.activity()
多重继承

如果使用多继承来表达,肯定也是同时继承两个类

表达式 :子类(父类1,父类2)

当继承多个父类时,如果父类中有相同的方法,那么子类会优先使用最先被继承的方法

  1. class Person():
  2. def A(self):
  3. print('A')
  4. def C(self):
  5. print('Person- C')
  6. class Man():
  7. def B(self):
  8. print('B')
  9. def C(self):
  10. print('Man-C')
  11. class People(Person,Man):
  12. pass
  13. p = People()
  14. p.A()
  15. p.B()
  16. p.C() # Person- C Person在前,优先继承
多重继承问题(菱形继承(super().__init__())、查找的优先级)

新式类与旧式类

  1. 新式类都从object继承(python3中,默认都继承自object),经典类不需要。

  2. 新式类的MRO(method resolution order 基类搜索顺序)算法采用C3算法广度优先搜索,而旧式类的MRO算法是采用深度优先搜索

  3. 新式类相同父类只执行一次构造函数,经典类重复执行多次。

菱形继承(钻石继承)

要执行父类构造有两种方式,一种是直接使用父类名字调用构造,一种是使用super(),

  1. class A():
  2. def __init__(self):
  3. print('A')
  4. class B1(A):
  5. def __init__(self):
  6. A.__init__(self)
  7. class B2(A):
  8. def __init__(self):
  9. A.__init__(self)
  10. class C(B1, B2):
  11. def __init__(self):
  12. B1.__init__(self) # A
  13. B2.__init__(self) # A
  14. c = C()

解决菱形继承多次调用构造的问题 : 使用super()

  1. class A():
  2. def __init__(self):
  3. print('A')
  4. class B1(A):
  5. def __init__(self):
  6. super().__init__()
  7. class B2(A):
  8. def __init__(self):
  9. super().__init__()
  10. class C(B1, B2):
  11. def __init__(self):
  12. super().__init__() # A
  13. c = C()
枚举类Enum/name/value/@unique

定义:在数学和计算机科学理论中,一个集的枚举是列出某些有穷序列集的所有成员的程序,或者是一种特定类型对象的计数。这两种类型经常(但不总是)重叠

创建枚举类:

  1. from enum import Enum, unique
  2. # 创建 Enum
  3. class MyEn(Enum):
  4. A = 1
  5. B = 2
  6. C = 3
  7. # 使用 Enum
  8. x = MyEn.B
  9. if x == MyEn.A or x == MyEn.B:
  10. print('into enum')
  11. print(MyEn.B.name) #B
  12. print(MyEn.B.value) #2
  13. print(MyEn(3)) #MyEn.C

通过名字获取枚举成员 MyEn.B

通过枚举成员获取名字(Cls.X.name)以及值(Cls.X.value): MyEn.B.name /MyEn.B.value

通过值(value)获取枚举成员 : Cls(value) MyEn(3)

特性:

  1. 定义枚举时,其枚举成员的名称(name)不允许相同

  2. 默认情况下,不同的成员值允许相同。但是两个相同值的成员,其第二个成员名称是第一个成员名称的别名;因此在访问枚举成员时,只能获取第一个成员

  3. 如果要限定枚举里面所有的值必须唯一,可以在定义枚举类时,加上@unique

  1. from enum import Enum, unique
  2. class MyEn(Enum):
  3. A = 1
  4. B = 1
  5. print(MyEn(1)) # MyEn.A
  1. from enum import Enum, unique
  2. @unique
  3. class MyEn(Enum):
  4. A = 1
  5. B = 1
  6. print(MyEn(1)) #加了@unique,表示枚举唯一,此时存在相同的值,不唯一,所以执行会报错
  1. 枚举成员的比较(Cls.X.value == xx)

注意:枚举的比较,只能是成员与成员,或者值与值,不能成员与值比较

  1. from enum import Enum
  2. class MyEn(Enum):
  3. A = 1
  4. B = 2
  5. print(MyEn.A == 1) # False
  6. print(MyEn.A.value == 1) # True
  7. print(MyEn.A.value is 1) # True

15.网络编程

socket

套接字(socket)是一个抽象层,应用程序可以通过它发送或接收数据,可对其进行像对文件一样的打开、读写和关闭等操作。套接字允许应用程序将I/O插入到网络中,并与网络中的其他应用程序进行通信。网络套接字是IP地址与端口的组合.

socket是一个接口,在用户进程与TCP/IP协议之间充当中间人,完成TCP/IP协议的书写,用户只需理解接口即可

在python里面,提供了两个级别访问的网络服务:

  1. 低级别的网络服务支持基本的 Socket,它提供了标准的 BSD Sockets API,可以访问底层操作系统Socket接口的全部方法。
  2. 高级别的网络服务模块 SocketServer, 它提供了服务器中心类,可以简化网络服务器的开发。

通信协议可分为TCP、UDP:

  1. TCP(Transmission Control Protocol传输控制协议)是一种面向连接的,可靠的,基于字节流的传输通信协议。
  2. UDP(User Data Protocol,用户数据报协议)是无连接的,即发送数据之前不需要建立连接,UDP尽最大努力交付,即不保证可靠交付(类似于发短信,我只管发,能不能接受到跟我关系不大)

Google QUIC正式更名 HTTP/3 协议 https://cloud.tencent.com/developer/news/355488

UDP实现通信

使用socket开发的基本格式:

  1. socket.socket(family,type,proto)
  1. family: 套接字家族可以使AF_UNIX或者AF_INET

  2. type: 套接字类型可以根据是面向连接(TCP)的还是非连接分(UDP)为SOCK_STREAMSOCK_DGRAM

  3. protocol: 一般不填默认为0

  4. AF_INET: AF_UNIX需经过多个协议层的编解码,消耗系统cpu,并且数据传输需要经过网卡,受到网卡带宽的限制。AF_UNIX数据到达内核缓冲区后,由内核根据指定路径名找到接收方socket对应的内核缓冲区,直接将数据拷贝过去,不经过协议层编解码,节省系统cpu,并且不经过网卡,因此不受网卡带宽的限制。

  5. AF_UNIX: AF_UNIX的传输速率远远大于AF_INET

  6. AF_INET不仅可以用作本机的跨进程通信,同样的可以用于不同机器之间的通信,其就是为了在不同机器之间进行网络互联传递数据而生。而AF_UNIX则只能用于本机内进程之间的通信。

    服务端:

  1. import socket
  2. server = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
  3. server.bind(("127.0.0.1", 8888))
  4. print("UDP 服务端启动")
  5. # 开机之后一直等着我跟他通信
  6. while True:
  7. # 接收到信息,信息里面包括客户端发送的内容以及客户端的信息(ip,端口)
  8. data, client = server.recvfrom(1024)
  9. print("接受到客户端发来的消息:", data.decode('utf-8'))
  10. server.sendto("您好,这是服务端".encode("utf-8"), client)

客户端

  1. import socket
  2. client = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
  3. # 有服务端(ip,端口)
  4. client.sendto("您好,我是客户端".encode('utf-8'), ("127.0.0.1", 8888))
  5. # 接受服务端的消息
  6. data, server = client.recvfrom(1024)
  7. print(data.decode("utf-8"))
  8. client.close()
TCP实现通信

服务端

  1. import socket
  2. server = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
  3. server.bind(("127.0.0.1", 9999))
  4. # 同一时刻 ,允许多少客户端跟我通信
  5. server.listen(5)
  6. print("服务端已启动,等待客户端连接=======》")
  7. client, address = server.accept()
  8. print("客户端已经连接")
  9. while True:
  10. recv = client.recv(1024)
  11. msg = recv.decode("utf-8")
  12. if msg == "close":
  13. print("服务端关闭=======》")
  14. server.close()
  15. break
  16. print("客户端发送的内容:", msg)
  17. print("请输入回复内容:")
  18. client.send(input().encode("utf-8"))

客户端

  1. import socket
  2. client = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
  3. # 拨打电话
  4. client.connect(("127.0.0.1", 9999))
  5. # 通话
  6. while True:
  7. print("请输入内容:")
  8. send_data = input()
  9. client.send(send_data.encode("utf-8"))
  10. if send_data == "close":
  11. client.close()
  12. print("关闭连接")
  13. break
  14. data = client.recv(1024).decode("utf-8")
  15. print("接受到服务端响应:", data)
requests模块发送http请求

安装requests模块

  1. import requests
  2. result = requests.get("xx")
  3. text = result.content
  4. print(text.decode('utf-8'))

16.多线程

线程与进程的区别

进程:是系统进行分配和管理资源的基本单位

线程:进程的一个执行单元,是进程内调度的实体、是CPU调度和分派的基本单位,是比进程更小的独立运行的基本单位。线程也被称为轻量级进程,线程是程序执行的最小单位。

Python中的多线程

在python3之前的版本,可以使用thread、threading 两个模块新建线程

在python3中,可以可以使用_thread、threading两个模块新建线程。thread 模块已被废弃。为了兼容性,Python3 将 thread 重命名为 “_thread“。

threading是高级模块,对_thread进行了封装。所以在平常的开发中,更加推荐使用threading模块

  1. 使用_thread模块创建线程

    基本语法:

  1. _thread.start_new_thread(函数, 函数入参)
  1. import _thread
  2. import time
  3. # 为线程定义一个函数
  4. def print_name(thread_name):
  5. count = 0
  6. while count < 5:
  7. time.sleep(1)
  8. count += 1
  9. print(thread_name)
  10. _thread.start_new_thread(print_name, ("Thread-1",))
  11. _thread.start_new_thread(print_name, ("Thread-2",))
  12. while 1:
  13. pass
  1. 使用threading创建线程 - 方式1

    基本语法:

  1. threading.Thread(group=None, target=None, name=None, args=(), kwargs=None, *, daemon=None)

参数说明:

  1. group:在当前的版本保持为None,不要进行修改
  2. target: 这个线程要干的活(函数)
  3. name: 线程名
  4. args: 上面target参数的入参(),tuple类型,对应taget参数中的可变参数
  5. kwargs:上面target参数的入参,dict类型,对应taget参数中的关键字参数
  1. import threading
  2. def my_fun():
  3. print("Hello world")
  4. threading.Thread(target=my_fun).start()
  1. 使用threading创建线程 (直接通过继承
  1. import threading
  2. class MyThread(threading.Thread):
  3. def run(self):
  4. print("hello world")
  5. thread = MyThread()
  6. thread.start()
线程的状态及其转换

NEW: Thead.start() => RANNABLE

RANNABLE : 获取到相应的锁 => BLOCKED

RANNABLE : 运行结束 => TERMINATED

BLOCKED: 等待获取锁 => RANNABLE

WAITING: 被唤醒 => RANNABLE

TIME_WAITING: 时间到了被唤醒 => RANNABLE

RANNABLE : thearding.Event().waiit()=> WAITING

RANNABLE : thearding.Event().waiit(3) => TIME_WAITING

线程安全性问题

线程安全性问题的三要素:

1 多线程环境下

2 共享变量

3 并发对共享变量进行修改

如何解决线程安全性问题?

1 单线程化

2 不要共享变量

3 对共享变量的操作串行化

使用到锁threading.Lock()

  1. import threading
  2. class MyThread(threading.Thread):
  3. sum = 0
  4. lock = threading.Lock()
  5. def run(self):
  6. with MyThread.lock:
  7. for i in range(1000000):
  8. MyThread.sum += 1
  9. thread = MyThread()
  10. thread2 = MyThread()
  11. thread3 = MyThread()
  12. thread.start()
  13. thread2.start()
  14. thread3.start()
  15. thread.join()
  16. thread2.join()
  17. thread3.join()
  18. print(MyThread.sum)
多进程以及GIL机制

在Cpython解释器中,同一个进程下开启的多线程,同一时刻只能有一个线程执行,无法利用多核优势。

延伸阅读: python中的GIL详解: https://www.cnblogs.com/SuKiWX/p/8804974.html

既然同一时刻只有一个线程在运行,那为什么还会有线程安全性问题?

延伸阅读: https://segmentfault.com/q/1010000008235951

https://www.cnblogs.com/hwlong/p/8952510.html#_label5

多进程使用Multiprocessing 模块,总体的使用跟多线程差不多

  1. # 为线程定义一个函数
  2. import multiprocessing
  3. import time
  4. def print_name(thread_name):
  5. count = 0
  6. while count < 5:
  7. time.sleep(1)
  8. count += 1
  9. print(thread_name)
  10. if __name__ == "__main__":
  11. process = multiprocessing.Process(target=print_name, args=("多进程",))
  12. process.start()
  13. process.join()

17.正则表达式

作用: 使用单个字符串来描述、匹配一系列符合某个句法规则的字符串。在很多文本编辑器里,正则表达式通常被用来检索、替换那些符合某个模式的文本

特点:

  1. 灵活性、逻辑性和功能性非常强

  2. 可以迅速地用极简单的方式达到字符串的复杂控制

使用: findall方法, 需要导入re模块

  1. re.findall(pattern, string, flags=0)

参数说明

  1. pattern:匹配的正则表达式

  2. string:要匹配的字符串

  3. flags :标志位,用于控制正则表达式的匹配方式,如:是否区分大小写,多行匹配等。

flags可选值:

  1. re.I :使匹配对大小写不敏感
  2. re.L :做本地化识别(locale-aware)匹配
  3. re.M :多行匹配,影响^$
  4. re.S :使.匹配包括换行在内的所有字符
  5. re.U :根据Unicode字符集解析字符。这个标志影响\w, \W, \b, \B.
  6. re.X :该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解。
  1. import re
  2. str = 'how old are you?'
  3. result = re.findall('you',str)
  4. print(result) # ['you'] ,当匹配不到时,返回 [] ,当匹配多个时,返回['xx','xx'...]

match方法

re.match尝试从字符串的起始位置匹配一个模式,如果不是起始位置匹配成功的话,match()就返回none。要获取匹配的结果,可以使用group(n),匹配结果又多个的时候,n从0开始递增。当匹配结果有多个的时候,也可以使用groups()一次性获取所有匹配的结果

  1. import re
  2. str = 'howh old are you?'
  3. result = re.match('how', str)
  4. print(result.group(0)) #how

search方法

re.search 扫描整个字符串并返回第一个成功的匹配

  1. import re
  2. str = 'how old are you?'
  3. result = re.search('how', str)
  4. print(result.group(0)) #how
元字符

正则表达式语言由两种基本字符类型组成:原义(正常)文本字符和元字符。元字符使正则表达式具有处理能力。所谓元字符就是指那些在正则表达式中具有特殊意义的专用字符,可以用来规定其前导字符(即位于元字符前面的字符)在目标对象中的出现模式

元字符参考

  1. \d 匹配一个数字字符。等价于[0-9]grep 要加上-Pperl正则支持

  2. \D 匹配一个非数字字符。等价于[^0-9]。grep要加上-P,perl正则支持

  3. \f 匹配一个换页符。等价于\x0c和\cL

  4. \n 匹配一个换行符。等价于\x0a和\cJ

  5. \r 匹配一个回车符。等价于\x0d和\cM。

  6. \s 匹配任何不可见字符,包括空格、制表符、换页符等等。等价于[ \f\n\r\t\v]

  7. \S 匹配任何可见字符。等价于[^ \f\n\r\t\v]

  8. \t 匹配一个制表符。等价于\x09和\cI。

  9. \v 匹配一个垂直制表符。等价于\x0b和\cK。

  10. \w 匹配包括下划线的任何单词字符。类似但不等价于“[A-Za-z0-9_]”,这里的”单词”字符使用Unicode字符集。

  11. \W 匹配任何非单词字符。等价于“[^A-Za-z0-9_]”。

  12. \ 将下一个字符标记符、或一个向后引用、或一个八进制转义符。例如,“\\n”匹配\n。“\n”匹配换行符。序列“\”匹配“\”而“(”则匹配“(”。即相当于多种编程语言中都有的“转义字符”的概念。

  13. ^ 匹配输入字行首。如果设置了RegExp对象的Multiline属性,^也匹配“\n”或“\r”之后的位置。

    ….

匹配单一字符

匹配字符串中所有的数字

  1. import re
  2. str = "hel0,234 5 6nme sd"
  3. result = re.findall("\d", str)
  4. print(result) #['0', '2', '3', '4', '5', '6']

匹配字所有非数字(包括空格等字符)

  1. result = re.findall("\D", str)
  2. #['h', 'e', 'l', ',', ' ', ' ', 'n', 'm', 'e', ' ', 's', 'd']

正则匹配换页符 - \f

匹配换行符 - \n

匹配回车符 - \r

重复出现数量匹配
匹配字符集
边界匹配
表达式之组
贪婪与非贪婪

贪婪就是想要的东西越多越好,非贪婪就是拿到自己想要的.

Python里数量词默认是贪婪的,总是尝试匹配尽可能多的字符 ,如果需要正则进行非贪婪的匹配,这个时候,就需要在正则表达式后面加个问号?

18.爬虫

robots协议

什么是robots协议

Robots协议是国际互联网界通行的道德规范,基于以下原则建立:

1、搜索技术应服务于人类,同时尊重信息提供者的意愿,并维护其隐私权;

2、网站有义务保护其使用者的个人信息和隐私不被侵犯。

robots协议的主要功能

Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。

robots协议的写法

较为常见的有:

User-agent:指定对哪些爬虫生效

Disallow:指定要屏蔽的网址

https://blog.csdn.net/qq_40491569/article/details/83473703

19.Python开发规范

https://zh-google-styleguide.readthedocs.io/en/latest/google-python-styleguide/python_style_rules/

  1. from pathlib import Path
  2. folder_path = Path('C:\\Users\\XC-YJS\\Desktop\\文档\\')
  3. file_list = folder_path.glob('*.xls*')
  4. lists = []
  5. for i in file_list:
  6. file_name = i.name
  7. lists.append(file_name)
  8. print(i.parent)
  9. print(i.suffix)
  10. print(i.stem)
  11. print(lists)