diff --git a/01.基础语法/10.常用模块.md b/01.基础语法/10.常用模块.md index 7a4a104..f748697 100644 --- a/01.基础语法/10.常用模块.md +++ b/01.基础语法/10.常用模块.md @@ -992,7 +992,9 @@ print(v_code()) os模块是与操作系统交互的一个接口 -当前执行这个python文件的工作目录相关的**工作路径** +当前执行这个python文件的工作目录相关的 + +**工作路径** | 方法 | 描述 | | :------------------ | :----------------------------------------------- | @@ -1093,30 +1095,30 @@ sys模块是与python解释器交互的一个接口 正则就是用一些具有特殊含义的符号组合到一起(称为正则表达式)来描述字符或者字符串的方法。或者说:正则就是用来描述一类事物的规则。(在Python中)它内嵌在Python中,并通过 re 模块实现。正则表达式模式被编译成一系列的字节码,然后由用 C 编写的匹配引擎执行。 -| 元字符 | 匹配内容 | -| :----- | :----------------------------------------------------------- | -| \w | 匹配字母(包含中文)或数字或下划线 | -| \W | 匹配非字母(包含中文)或数字或下划线 | -| \s | 匹配任意的空白符 | -| \S | 匹配任意非空白符 | -| \d | 匹配数字 | -| \D | 匹配非数字 | -| \A | 从字符串开头匹配 | -| \z | 匹配字符串的结束,如果是换行,只匹配到换行前的结果 | -| \n | 匹配一个换行符 | -| \t | 匹配一个制表符 | -| ^ | 匹配字符串的开始 | -| $ | 匹配字符串的结尾 | -| . | 匹配任意字符,除了换行符,当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符。 | -| [...] | 匹配字符组中的字符 | -| [^...] | 匹配除了字符组中的字符的所有字符 | -| * | 匹配0个或者多个左边的字符。 | -| + | 匹配一个或者多个左边的字符。 | -| ? | 匹配0个或者1个左边的字符,非贪婪方式。 | -| {n} | 精准匹配n个前面的表达式。 | -| {n,m} | 匹配n到m次由前面的正则表达式定义的片段,贪婪方式 | -| a | b | -| () | 匹配括号内的表达式,也表示一个组 | +| 元字符 | 匹配内容 | +| :-------- | :----------------------------------------------------------- | +| \w | 匹配字母(包含中文)或数字或下划线 | +| \W | 匹配非字母(包含中文)或数字或下划线 | +| \s | 匹配任意的空白符 | +| \S | 匹配任意非空白符 | +| \d | 匹配数字 | +| \D | 匹配非数字 | +| \A | 从字符串开头匹配 | +| \z | 匹配字符串的结束,如果是换行,只匹配到换行前的结果 | +| \n | 匹配一个换行符 | +| \t | 匹配一个制表符 | +| ^ | 匹配字符串的开始 | +| $ | 匹配字符串的结尾 | +| . | 匹配任意字符,除了换行符,当re.DOTALL标记被指定时,则可以匹配包括换行符的任意字符。 | +| [...] | 匹配字符组中的字符 | +| [^...] | 匹配除了字符组中的字符的所有字符 | +| * | 匹配0个或者多个左边的字符。 | +| + | 匹配一个或者多个左边的字符。 | +| ? | 匹配0个或者1个左边的字符,非贪婪方式。 | +| {n} | 精准匹配n个前面的表达式。 | +| {n,m} | 匹配n到m次由前面的正则表达式定义的片段,贪婪方式 | +| 出现次数? | 非贪婪模式,默认的贪婪模式,会尽可能多的匹配字符,非贪婪模式只会尽少匹配字符 | +| () | 匹配括号内的表达式,也表示一个组 | #### 单字符匹配 @@ -1240,6 +1242,84 @@ print(ret.group(1)) print(ret.group()) ``` +### 图片爬虫 + +- 该网站主页是缩略图,点进去才是高清图,所以先解析高清图的地址,然后再下载高清图 + +```python +from urllib.request import urlopen, Request, build_opener, install_opener, HTTPSHandler +import re, os + + +def get_img(url): + # 下载点开地址后的高清图 + req = Request(url, headers={'User-Agent': user_agent}) + try: + content = urlopen(req).read().decode('utf-8') + except : + return + link = re.findall('(.*?)', + content) + tmp.extend(link) + print(f"{link[-1]}地址解析成功") + + +def download_img(img_url, img_name): + img_name = img_name.replace(' ', '_') + # 创建下载图片的文件夹 + path = os.getcwd() + os.sep + 'images' + if not os.path.isdir(path): + os.makedirs(path) + req = Request(img_url, headers={'User-Agent': user_agent}) + try: + data = urlopen(req).read() + except: + return + if re.search('.jpg', img_url): + file_ext = ".jpg" + elif re.search('.png', img_url): + file_ext = ".png" + elif re.search('.gif', img_url): + file_ext = ".gif" + else: + return "当前图片格式不正确" + with open(f'{path}{os.sep}{img_name}{file_ext}', 'wb') as f: + f.write(data) + print(img_name, "已下载") + +img_page_url = [] +tmp = [] +user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36' + +pages = input("你要下载多少页:") +if pages.isdigit(): + pages = int(pages) +else: + raise "你输入不是数字!" +for i in range(1, pages + 1): + url = f'https://www.bizhihui.com/dongman/{i}/?order=time' + req = Request(url, headers={'User-Agent': user_agent}) + try: + content = urlopen(req).read().decode('utf-8') + except: + continue + link = re.findall('', content) + img_page_url.extend(link) + print(img_page_url) + for i in img_page_url: + get_img(i) + print(tmp) + for j in tmp: + if j: + download_img(j[0], j[-1]) + else: + continue +input("下载完成,按回车结束....") + +``` + + + ## shutil模块 高级的 文件、文件夹、压缩包 处理模块