python爬虫初步之BeautifulSoup实战

**

爬虫初步之BeautifulSoup实战

**

使用beautifulsoup提取丁香园论坛的回复内容

BeautifulSoup是一个可以将复杂的HTML文档转换成一个复杂的树形结构,每个节点都是python对象,所有对象可以归纳为4种:Tag、NavigableString、BeautifuSoup和Comment。
下面边爬取论坛边介绍每个对象的意义以及方法。
一、用户浏览器访问目标网站并检查目标内容所在标签
目标网址是:

http://www.dxy.cn/bbs/thread/626626

我用Chrome访问的,按F12可看见网站结构及回复内容所在标签如下图:
在这里插入图片描述
Tag 其实就是HTML 中的一个个标签,例如上面的td 、a 等等HTML 标签加上里面包括的内容就是Tag。
二、获取回复内容
我们所需的评论内容就在td class="postbody"标签下,利用BeautifulSoup获取内容

content = data.find("td", class_="postbody").text

同样,我们可以获取用户名和其他信息,就这么简单啦!
主要是BeautifulSoup的用法要掌握。
find函数用法
find(name, attrs, recursive, text, **wargs)    # recursive 递归的,循环的
这些参数相当于过滤器一样可以进行筛选处理。不同的参数过滤可以应用到以下情况:
查找标签,基于name参数
查找文本,基于text参数
基于正则表达式的查找
查找标签的属性,基于attrs参数
基于函数的查找
附源码:

import urllib.request
from bs4 import BeautifulSoup as bs
def main():
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) "
                          "Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0"
    }
    url = 'http://www.dxy.cn/bbs/thread/626626'
    request = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(request).read().decode("utf-8")
    html = bs(response, 'lxml')
    getItem(html)
def getItem(html):
    datas = [] # 用来存放获取的用户名和评论
    for data in html.find_all("tbody"):
        try:
            userid = data.find("div", class_="auth").get_text(strip=True)
            print(userid)
            content = data.find("td", class_="postbody").get_text(strip=True)
            print(content)
            datas.append((userid,content))
        except:
            pass
    print(datas)



if __name__ == '__main__':
    main()

最后的输出如下图:
在这里插入图片描述

版权声明:本文为wwq114原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/wwq114/article/details/88085875