爬虫学习笔记

  1'''
  2抓取百度贴吧---生活大爆炸吧的基本内容
  3爬虫线路： requests - bs4
  4Python版本： 3.6
  5OS： mac os 12.12.4
  6'''
  7
  8import requests
  9import time
 10from bs4 import BeautifulSoup
 11
 12# 首先我们写好抓取网页的函数
 13
 14
 15def get_html(url):
 16    try:
 17        r = requests.get(url, timeout=30)
 18        r.raise_for_status()
 19        # 这里我们知道百度贴吧的编码是utf-8，所以手动设置的。爬去其他的页面时建议使用：
 20        # r.endcodding = r.apparent_endconding
 21        r.encoding = 'utf-8'
 22        return r.text
 23    except:
 24        return " ERROR "
 25
 26
 27def get_content(url):
 28    '''
 29    分析贴吧的网页文件，整理信息，保存在列表变量中
 30    '''
 31
 32    # 初始化一个列表来保存所有的帖子信息：
 33    comments = []
 34    # 首先，我们把需要爬取信息的网页下载到本地
 35    html = get_html(url)
 36
 37    # 我们来做一锅汤
 38    soup = BeautifulSoup(html, 'lxml')
 39
 40    # 按照之前的分析，我们找到所有具有‘ j_thread_list clearfix’属性的li标签。返回一个列表类型。
 41    liTags = soup.find_all('li', attrs={'class': ' j_thread_list clearfix'})
 42
 43    # 通过循环找到每个帖子里的我们需要的信息：
 44    for li in liTags:
 45        # 初始化一个字典来存储文章信息
 46        comment = {}
 47        # 这里使用一个try except 防止爬虫找不到信息从而停止运行
 48        try:
 49            # 开始筛选信息，并保存到字典中
 50            comment['title'] = li.find(
 51                'a', attrs={'class': 'j_th_tit '}).text.strip()
 52            comment['link'] = "http://tieba.baidu.com/" + \
 53                li.find('a', attrs={'class': 'j_th_tit '})['href']
 54            comment['name'] = li.find(
 55                'span', attrs={'class': 'tb_icon_author '}).text.strip()
 56            comment['time'] = li.find(
 57                'span', attrs={'class': 'pull-right is_show_create_time'}).text.strip()
 58            comment['replyNum'] = li.find(
 59                'span', attrs={'class': 'threadlist_rep_num center_text'}).text.strip()
 60            comments.append(comment)
 61        except:
 62            print('出了点小问题')
 63
 64    return comments
 65
 66
 67def Out2File(dict):
 68    '''
 69    将爬取到的文件写入到本地
 70    保存到当前目录的 TTBT.txt文件中。
 71
 72    '''
 73    with open('TBBT.txt', 'a+') as f:
 74        for comment in dict:
 75            f.write('标题： {} \t 链接：{} \t 发帖人：{} \t 发帖时间：{} \t 回复数量： {} \n'.format(
 76                comment['title'], comment['link'], comment['name'], comment['time'], comment['replyNum']))
 77
 78        print('当前页面爬取完成')
 79
 80
 81def main(base_url, deep):
 82    url_list = []
 83    # 将所有需要爬去的url存入列表
 84    for i in range(0, deep):
 85        url_list.append(base_url + '&pn=' + str(50 * i))
 86    print('所有的网页已经下载到本地！ 开始筛选信息。。。。')
 87
 88    #循环写入所有的数据
 89    for url in url_list:
 90        content = get_content(url)
 91        Out2File(content)
 92    print('所有的信息都已经保存完毕！')
 93
 94
 95base_url = 'http://tieba.baidu.com/f?kw=&ie=utf-8'
 96# 设置需要爬取的页码数量
 97deep = 100
 98
 99if __name__ == '__main__':
100    main(base_url, deep)