Beautiful Soup解析器性能

文章目录

　　Beautiful Soup 是一个用于解析 HTML 和 XML 文档的 Python 库。它与您最喜欢的解析器配合使用，提供导航、搜索和修改解析树的惯用方法。它通常可以节省程序员数小时或数天的工作时间。

　　Beautiful Soup 支持许多不同的解析器，包括：

Python 的内置 HTML 解析器：这是默认解析器，通常足以满足大多数任务。
lxml：这是一个更快、更强大的解析器，但它需要安装lxml库。
html5lib：这是一个支持HTML5标准的解析器。

　　您选择的解析器将取决于您的具体需求。如果您刚刚开始使用 Beautiful Soup，Python 的内置解析器是一个不错的选择。如果您需要更快的速度或更强大的功能，可以使用 lxml。而如果需要支持HTML5，可以使用html5lib。本文晓得博客为你比较BeautifulSoup 内置HTML解析器、lxml 和 html5lib。

　　推荐：使用BeautifulSoup查找具有给定属性值的标签

BeautifulSoup选择正确的解析器

　　当在 Python 中使用流行的 BeautifulSoup 库进行网页抓取时，您需要选择的第一件事就是要使用哪个 HTML 解析器。解析器负责将原始 HTML 转换为可解析的 DOM 树结构。 Beautiful Soup 支持多种不同的解析器，但它们之间存在重要的权衡，会影响性能、准确性和宽容性。

　　在这篇文章中，我们将介绍在 Beautiful Soup 的内置解析器之间进行选择时要考虑的关键因素：为您的网络抓取项目选择正确的解析器可能会对以下方面产生重大影响：

　　速度——一些解析器的处理速度比其他解析器更快。这在规模上变得非常重要。

　　宽松—— 宽松的解析器对“坏”HTML 更宽容，但有时会创建不准确的 DOM 树。

　　准确性—— 一些解析器可以更好地解析“正确”的 HTML 并创建更准确的 DOM 树表示。

　　功能支持—— 某些高级 HTML 功能可能仅受某些解析器支持。

　　推荐：用于数据可视化5个Python包

Python内置html.parser解析器

　　Python 的内置html.parser是 BeautifulSoup 的默认设置。概述如下：

　　速度：非常快，但不是最准确的。

　　宽大程度：中等。比 lxml 更宽容，但比 html5lib 更差。

　　准确度：中等。与完整的 HTML 解析器相比，可能会错过一些边缘情况。

　　支持：仅支持 HTML，不支持 XML。

　　内置解析器是一个很好的起点，适用于大多数日常 HTML 抓取任务。但是，您可能需要切换到 lxml 或 html5lib 以提高复杂页面的准确性。

lxml解析器

　　lxml 解析器在底层使用快速且强大的 lxml 库。关键属性：

　　速度：非常快，甚至比内置解析器还要快。

　　宽大程度：低。将在格式错误的 HTML 上中断。

　　准确度：高。可靠地解析“干净”的 HTML。

　　支持：支持 HTML 和 XML。

　　如果您需要出色的性能并且可以保证格式良好的 HTML 输入，lxml 是一个不错的选择。缺点是它不能很好地处理格式错误的标记。

　　推荐：如何使用Python获取今天的日期和时间

html5lib解析器

　　html5lib 旨在根据 HTML5 规范解析 HTML。以下是它的优点和缺点：

　　速度：三者中最慢的。

　　宽大程度：极高。处理严重畸形的标记。

　　准确度：非常高。即使是棘手的 HTML 也能正确解析。

　　支持：支持 HTML5 和 XHTML。

　　当您需要最大程度的宽容和准确性并且性能不是主要问题时，html5lib 是一个不错的选择。正确性是以速度为代价的，因此仅在必要时使用。

　　推荐：如何在Python中使用PostgreSQL

Beautiful Soup解析器解析时间对比

Beautiful-Soup解析器性能 — Beautiful Soup解析器性能 5

from bs4 import BeautifulSoup
import requests
import time

# Sample HTML document
url = 'https://www.baidu.com'
response = requests.get(url)
html = response.text

# Built-in HTML parser
start = time.time()
soup = BeautifulSoup(html, 'html.parser')
end = time.time()
print("Built-in parser time:", end - start)

# LXML parser
start = time.time() 
soup = BeautifulSoup(html, 'lxml')
end = time.time()
print("LXML parser time:", end - start)

# html5lib parser
start = time.time()
soup = BeautifulSoup(html, 'html5lib')  
end = time.time()
print("html5lib parser time:", end - start)

输出：
Built-in parser time: 0.0029976367950439453
LXML parser time: 0.0019991397857666016
html5lib parser time: 0.008014440536499023

　　推荐：Xpath与BeautifulSoup一起使用