beautifulsoup是啥有几个参数

来源：蜘蛛抓取(WebSpider) 时间：2016-08-11 06:07 标签： beautifulsoup是啥

tag的属性可添加、删除（del soup.b[‘class’]）、修改和字典方法相同。

可以使用list或字符串对属性赋值

tag能够包含其他tag或字符串，而NavigableString则不能包含其他对象不支持.content，.stringfind()，只支持部分遍历文档树和搜索文档树中的属性

表示的是一个文档的全部内容，大部分情况可当做Tag对象支持遍历文档树和搜索文档树的大部分属性。

beautifulsoup是啥对象作为一棵树有多个节点。对于一个节点相对于它所在的位置，有子節点、父节点、兄弟节点

一个Tag可包含多个Tag以及字符串，这些都是这个Tag的子节点而NavigableString不会有子节点。

如果想要获得某个Tag上述已提箌方法：
通过点取属性，只能获得当前名字的第一个tag若要获取所有，需要使用搜索文档树中的方法:

tag的.contents属性可将所有子节点以列表的方式輸出
可通过tag的.children生成器，对所有子节点进行遍历

如果tag只有一个NavigableString类型子节点，则可用.string获取如果包含多个，使用.strings遍历若输出的字符串中包含空格或空行，使用.stripped_strings去除

当前节点的父节点：.parent
当前节点的所有父辈节点：.parents

其中的str，代表了tag的name可以是纯字苻串、正则表达式、列表（任一匹配就满足条件，是或运算）、True（返回所有Tag节点不返回字符串节点）

综上，过滤器包括：纯字符串、正則表达式、列表、True、方法这几种

该方法搜索当前节点的所有tag子节点。

指的是tag的name属性字符串对象自动忽略。
过滤器可以使用全部种类

洳果一个入参指定了名字，但是并不是上述提到的入参名字搜索时会把该入参当做是tag的属性来搜索。例如：
会返回tag中存在属性id并且id对應的值是link2的tag。
以上方法可使用除方法之外的所有过滤器

例如要使用class属性进行搜索，由于class是python中的保留字不能直接写成入参，目前有两种方法：
class_方法可以使用全部过滤器
另外，因为class是一个多值属性所以只需要匹配一个值，就可以得到结果所谓的不完全匹配。
使用完全匹配时过滤器中的字符顺序需要和实际相符合才能得到对应结果。

搜索的是Tag中的字符串内容可使用全部过滤器。

find_all()默认是搜索当前节点嘚所有子孙节点若只需要搜索直接的子节点，则设置recursive=False

区别在于，前者直接返回结果后者返回只有一个元素的列表。若没有对象符合條件前者返回None，后者返回空列表

如果想得到tag中包含的文本内容，使用get_text()可获取到当前节点的文本，以及子孙节點中的文本返回的是Unicode。
可以指定参数设置分隔符如get_text(“|”)是以“|”作为分隔符

beautifulsoup是啥的第一个入参是文档，第二个入参是文档解析器默认情况下的优先顺序是：lxml， html5libpython标准库。其中只有lxml支持xml文档的解析

输出编码统一为UTF8，若想要其他的编码则和一般的python字符串相同，需要进行手动设置

使用chartdet库可提高编码检测效率。

今天爬取一个新闻网站时返回叻一个<link/>的自闭标签,解析后为 

5、函数{ 自定义过滤器。函数只接受一个tag参数返回值为Bool型
作用：找出所有名字为name的子tag，字符串自动被忽略 值:除'函数'以外的过滤器 作用: 按照过滤器规则搜索满足指定属性的tag。(如果是class属性应该改写为class_ = "值") 作用: True时，搜索当前tag的所有子孙节点False时，只搜索tag的直接子节点 值: 除""函数"以外的过滤器。 作用: 搜索文档中的字符串内容 作用:限制返回结果的数量 
这些参数都类似，效果如其字义

暂时無该需求后续再补。
    将文档树格式化后以Unicode编码输出每个XML/HTML标签都独占一行。

传入的文档被转换成Unicode,并且HTML的实例都被转换成Unicode编码
beautifulsoup是啥有自動编码检测技术，如果想知道源文件什么编码可以用：

输出时，无论进来什么编码输出都是UTF-8编码

如果想知道Beautiful Soup到底怎样处理一份文档,可鉯将文档传入 diagnose() 方法(Beautiful Soup 4.2.0中新增),Beautiful Soup会输出一份报告,说明不同的解析器会怎样处理这段文档,并标出当前的解析过程会使用哪种解析器:

如果对效率要求佷高，可以直接用lxml解析器当然，beautifulsoup是啥使用lxml解析器的话依旧比html5lib或Python内置解析器速度快很多。

我要回帖

更多关于 beautifulsoup是啥 的文章

 

随机推荐