09-12-周五_14-46-35

01.基础语法/10.常用模块.md

@@ -992,7 +992,9 @@ print(v_code())
 
 os模块是与操作系统交互的一个接口
 
-当前执行这个python文件的工作目录相关的**工作路径**
+当前执行这个python文件的工作目录相关的
+
+**工作路径**
 
 | 方法                | 描述                                             |
 | :------------------ | :----------------------------------------------- |
@@ -1093,30 +1095,30 @@ sys模块是与python解释器交互的一个接口
 
 正则就是用一些具有特殊含义的符号组合到一起（称为正则表达式）来描述字符或者字符串的方法。或者说：正则就是用来描述一类事物的规则。（在Python中）它内嵌在Python中，并通过 re 模块实现。正则表达式模式被编译成一系列的字节码，然后由用 C 编写的匹配引擎执行。
 
-| 元字符 | 匹配内容                                                     |
-| :----- | :----------------------------------------------------------- |
-| \w     | 匹配字母（包含中文）或数字或下划线                           |
-| \W     | 匹配非字母（包含中文）或数字或下划线                         |
-| \s     | 匹配任意的空白符                                             |
-| \S     | 匹配任意非空白符                                             |
-| \d     | 匹配数字                                                     |
-| \D     | 匹配非数字                                                   |
-| \A     | 从字符串开头匹配                                             |
-| \z     | 匹配字符串的结束，如果是换行，只匹配到换行前的结果           |
-| \n     | 匹配一个换行符                                               |
-| \t     | 匹配一个制表符                                               |
-| ^      | 匹配字符串的开始                                             |
-| $      | 匹配字符串的结尾                                             |
-| .      | 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。 |
-| [...]  | 匹配字符组中的字符                                           |
-| [^...] | 匹配除了字符组中的字符的所有字符                             |
-| *      | 匹配0个或者多个左边的字符。                                  |
-| +      | 匹配一个或者多个左边的字符。                                 |
-| ？     | 匹配0个或者1个左边的字符，非贪婪方式。                       |
-| {n}    | 精准匹配n个前面的表达式。                                    |
-| {n,m}  | 匹配n到m次由前面的正则表达式定义的片段，贪婪方式             |
-| a      | b                                                            |
-| ()     | 匹配括号内的表达式，也表示一个组                             |
+| 元字符    | 匹配内容                                                     |
+| :-------- | :----------------------------------------------------------- |
+| \w        | 匹配字母（包含中文）或数字或下划线                           |
+| \W        | 匹配非字母（包含中文）或数字或下划线                         |
+| \s        | 匹配任意的空白符                                             |
+| \S        | 匹配任意非空白符                                             |
+| \d        | 匹配数字                                                     |
+| \D        | 匹配非数字                                                   |
+| \A        | 从字符串开头匹配                                             |
+| \z        | 匹配字符串的结束，如果是换行，只匹配到换行前的结果           |
+| \n        | 匹配一个换行符                                               |
+| \t        | 匹配一个制表符                                               |
+| ^         | 匹配字符串的开始                                             |
+| $         | 匹配字符串的结尾                                             |
+| .         | 匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符。 |
+| [...]     | 匹配字符组中的字符                                           |
+| [^...]    | 匹配除了字符组中的字符的所有字符                             |
+| *         | 匹配0个或者多个左边的字符。                                  |
+| +         | 匹配一个或者多个左边的字符。                                 |
+| ？        | 匹配0个或者1个左边的字符，非贪婪方式。                       |
+| {n}       | 精准匹配n个前面的表达式。                                    |
+| {n,m}     | 匹配n到m次由前面的正则表达式定义的片段，贪婪方式             |
+| 出现次数? | 非贪婪模式，默认的贪婪模式，会尽可能多的匹配字符，非贪婪模式只会尽少匹配字符 |
+| ()        | 匹配括号内的表达式，也表示一个组                             |
 
 #### 单字符匹配
 
@@ -1240,6 +1242,84 @@ print(ret.group(1))
 print(ret.group())
 ```
 
+### 图片爬虫
+
+- 该网站主页是缩略图，点进去才是高清图，所以先解析高清图的地址，然后再下载高清图
+
+```python
+from urllib.request import urlopen, Request, build_opener, install_opener, HTTPSHandler
+import re, os
+
+
+def get_img(url):
+    # 下载点开地址后的高清图
+    req = Request(url, headers={'User-Agent': user_agent})
+    try:
+        content = urlopen(req).read().decode('utf-8')
+    except :
+        return
+    link = re.findall('<img class="img-lightbox img-zoom-in" src="(.*?)" alt="(.*?)" width="\d+?" height="\d+?">',
+                      content)
+    tmp.extend(link)
+    print(f"{link[-1]}地址解析成功")
+
+
+def download_img(img_url, img_name):
+    img_name = img_name.replace(' ', '_')
+    # 创建下载图片的文件夹
+    path = os.getcwd() + os.sep + 'images'
+    if not os.path.isdir(path):
+        os.makedirs(path)
+    req = Request(img_url, headers={'User-Agent': user_agent})
+    try:
+        data = urlopen(req).read()
+    except:
+        return
+    if re.search('.jpg', img_url):
+        file_ext = ".jpg"
+    elif re.search('.png', img_url):
+        file_ext = ".png"
+    elif re.search('.gif', img_url):
+        file_ext = ".gif"
+    else:
+        return "当前图片格式不正确"
+    with open(f'{path}{os.sep}{img_name}{file_ext}', 'wb') as f:
+        f.write(data)
+        print(img_name, "已下载")
+
+img_page_url = []
+tmp = []
+user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36'
+
+pages = input("你要下载多少页：")
+if pages.isdigit():
+    pages = int(pages)
+else:
+    raise "你输入不是数字！"
+for i in range(1, pages + 1):
+    url = f'https://www.bizhihui.com/dongman/{i}/?order=time'
+    req = Request(url, headers={'User-Agent': user_agent})
+    try:
+        content = urlopen(req).read().decode('utf-8')
+    except:
+        continue
+    link = re.findall('<a class="item-img" href="(.*?)" title=".*" target="_blank">', content)
+    img_page_url.extend(link)
+    print(img_page_url)
+    for i in img_page_url:
+        get_img(i)
+    print(tmp)
+    for j in tmp:
+        if j:
+            download_img(j[0], j[-1])
+        else:
+            continue
+input("下载完成，按回车结束....")
+
+```
+
+
+
 ## shutil模块
 
 高级的 文件、文件夹、压缩包 处理模块