一、简介

BeautifulSoup是一个灵活方便的网页解析库，处理高效，能够自动的将输入文档转换为Unicode编码，输出文档转换为utf-8编码，且支持多种解析器。其最主要的功能是从网页抓取数据。

二、解析器

三、基本使用步骤

3.1 获取网页源码也可以通过字符串自己构建一个网页的源码

# 给请求指定一个请求头来模拟chrome浏览器
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36'}
# 爬图地址
addr = 'https://sc.chinaz.com/tupian/'def getHtmlSource():# 使用请求头来模拟chrome浏览器访问网页，获取页面响应结果res = requests.get(addr, headers=headers).textprint(res)

requests.get().text返回的是Unicode型的数据，requests.get().content返回的是bytes型的数据。如果只是使用.text来获取页面源码的话，获取的源码中中文会乱码。可以使用一下方法解决中文乱码：
（1）手动指定页面编码

    res = requests.get(addr, headers=headers)res.encoding = 'UTF-8'html_doc = res.text

（2）使用.content方法

    html_doc = str(requests.get(addr, headers=headers).content, 'UTF-8')

3.2 使用解析器解析页面响应结果

# 使用自带的html.parser解析页面响应结果
soup = BeautifulSoup(html_doc, 'html.parser')
# 使用lxml HTML解析器解析页面响应结果
soup = BeautifulSoup(html_doc, 'lxml')
# 使用lxml XML解析器解析页面响应结果
soup = BeautifulSoup(html_doc, 'xml')
# 使用html5lib解析页面响应结果
soup = BeautifulSoup(html_doc, 'html5lib')

四、四大对象种类

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

• Tag
• NavigableString
• BeautifulSoup
• Comment

4.1 Tag

Tag 通俗点讲就是 HTML 中的一个个标签，例如：title、head、a、p等等 HTML 标签加上里面包括的内容就是 Tag。但是注意，它查找的是在所有内容中的第一个符合要求的标签。

# 创建BeautifulSoup对象
soup = BeautifulSoup(html_doc, 'html.parser')
# 通过Tag对象获取title标签信息
print(soup.title)
## # 通过Tag对象获取a标签信息
print(soup.a)
## 

Tag 它有两个重要的属性，是 name 和 attrs。
(1) name: 输出标签的标签类型名:

print(soup.title.name)
# title
print(soup.p.name)
# p

(2) attrs: 以字典的形式获取标签的属性:

 # 获取标签的所有属性soup.p.attrs# 获取标签的某个属性soup.p.attrs['js-do']soup.p.get('js-do')	# 修改标签的属性soup.p.attrs['js-do'] = 'newContenct'# 删除标签的属性del soup.p.attrs['js-do']

4.2 NavigableString

注意作用是为了获取标签内部的文字。

# 获取标签内部文字
print(soup.title.string)

4.3 BeautifulSoup

BeautifulSoup 对象表示的是一个文档的内容。大部分时候,可以把它当作 Tag 对象，是一个特殊的 Tag，我们也可以获取它的属性及名称。

# 获取BeautifulSoup对象名称
print(soup.name)
# 获取BeautifulSoup对象属性
print(soup.attr)

4.4 Comment

Comment 对象是一个特殊类型的 NavigableString 对象，如果标签内部的内容是注释，其输出的内容不包括注释符号。

print(soup.a)
## 
print(soup.a.string)
## zhushi
print(type(soup.a.string))
## 

五、搜索文档树

find(name, attrs, recursive, string, **kwargs)：获取匹配的第一个标签；
find_all(name, attrs, recursive, string, limit, **kwargs) ：返回结果是值包含一个元素的列表；

• name：是根据标签的名称进行匹配，name的值相当于过滤条件，可以是一个具体的标签名，多个标签名组成的列表，或者是一个正在表达式，甚至是函数方法等等。
• attrs：是根据标签的属性进行匹配。
• recursive：是否递归搜索，默认为True，会搜索当前tag的所有子孙节点，设置为False，则只搜索儿子节点。
• string：是根据标签的文本内容去匹配。
• limit：设置查询的结果数量。
• kwargs：也是根据标签的属性进行匹配，与attrs的区别在于写法不一样，且属性的key不能是保留字，也不能与其他参数名相同。

5.1 使用name进行匹配

# 查找所有的标签
soup.find_all(name="a") # 可以简写成 soup.find_all("a")# 查找所有的