小白 学pyton 爬虫六

Tinken

实战：爬当当网图书（http://www.dangdang.com/）废话少说，经过分析，当当网图书的url均为：http://product.dangdang.com/xxxxxx.html
xxxxxx：为一串数字，可能是当当网自己的图书编号吧，这个就帮忙大忙了，弄起来就方便了

一、随便找一本书的地址，对html进行分析，拿到自己想要的数据内容
二、将拿到的数据内容写入Excel
三、做一个循环，从http://product.dangdang.com/1.html开始，出错就跳过，没出错就继续拿
四、用到刚写的ip代理池，一定不能用自己ip干这事
五、考虑到数据量太大，我们还得做一个记录，分批爬

开干：

1. #!/usr/bin/env python
   
2. # -*- coding:utf-8 -*-
   
3. 
   
4. # @ClassName test7
   
5. # @Description TODO 爬当当网全部图书数据
   
6. # @Author lanlo
   
7. # @Date 2020-10-05 22:36
   
8. # @Version 1.0
   
9. 
   
10. import requests
    
11. from bs4 import BeautifulSoup
    
12. import redis
    
13. # Excel操作库
    
14. import xlwings as xw
    
15. # 系统时间库
    
16. import time
    
17. import proxy_pool
    
18. import re
    
19. 
    
20. 
    
21. # 本地redis连接
    
22. pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
    
23. # 存储爬取的代理ip
    
24. redis_conn = redis.Redis(connection_pool=pool, max_connections=10, db=0)
    
25. 
    
26. 
    
27. 
    
28. 
    
29. # xlwings 写入Excel => books.xlsx
    
30. def writeExcel(list):
    
31.     # 这将创建一个新的工作簿
    
32.     wb = xw.Book('books.xlsx')
    
33.     # 实例化工作表对象
    
34.     sht = wb.sheets['Sheet1']
    
35.     sht.api.Rows(1).Insert()
    
36.     sht.range('A1').value = list
    
37.     # 保存
    
38.     wb.save()
    
39. 
    
40. def get_book():
    
41.     # 模拟浏览器的请求头
    
42.     headers = {
    
43.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36 Edg/ 5.0.564.68'
    
44.     }
    
45.     proxy = proxy_pool.get_proxy_ip()
    
46. 
    
47.     # proxy = {
    
48.     #     'http': '218.7.171.91:3128'
    
49.     # }
    
50. 
    
51.     if len(proxy) != 0:
    
52.         # 拼接url
    
53.         for i in range(27866721, 27866722):
    
54.             url = "http://product.dangdang.com/{}.html".format(str(i))
    
55.             try:
    
56.                 # 发起http请求，获取页面
    
57.                 print("请求页面：{}".format(url))
    
58.                 res = requests.get(url,
    
59.                                    headers=headers,
    
60.                                    proxies=proxy,
    
61.                                    timeout=5)
    
62.             except Exception:
    
63.                 print("请求失败:{}".format(url))
    
64.                 print("代理ip:{}".format(proxy))
    
65.                 return ""
    
66. 
    
67. 
    
68.             print("请求结果：{}".format(res.status_code))
    
69.             # 设置解析器
    
70.             soup = BeautifulSoup(res.text, "html.parser")
    
71.             # 获得数据内容
    
72.             print(soup)
    
73.             # 书名
    
74.             title = soup.find_all('h1')[0].text.replace("\n", '').replace("\t", "").replace(" ", "")
    
75.             print("书名：{}".format(title))
    
76.             # 作者
    
77.             print("作者：{}".format(soup.find_all("a", dd_name='作者')[0].string))
    
78. 
    
79.             # 出版社
    
80.             print("出版社：{}".format(soup.find_all("a", dd_name='出版社')[0].string))
    
81. 
    
82.             # 出版时间
    
83.             print("出版时间：{}".format(soup.find_all("span", string=re.compile("出版时间"))[0].string.split(":")[1]))
    
84. 
    
85.             list_book = []
    
86.             for child in soup.find_all("ul", class_='key clearfix')[0]:
    
87.                 book_info = str(child.string).replace("\n", '').replace("\t", "").replace(" ", "")
    
88.                 if book_info != "" and book_info != None:
    
89.                     print(book_info)
    
90.                     list_book.append(book_info)
    
91.             print(list_book)
    
92. 
    
93.             # 分类
    
94.             print("分类：{}".format(soup.find_all("li", class_="clearfix fenlei")[0].text))
    
95. 
    
96. 
    
97.             # 延时3秒
    
98.             time.sleep(3)
    
99.     print("get_book 结束")
    
100. 
     
101. 
     
102. 
     
103. # python程序入口函数
     
104. if __name__ == '__main__':
     
105.     # 星期 月 日 时：分：秒 年（Mon Oct  5 23:10:13 2020）
     
106.     print("程序开始时间：{}".format(time.ctime()))
     
107.     get_book()

复制代码

暂时先这样吧，页面分析做出来了，明天添加写入Excel功能就可以完工了
不过还有几个遗留问题待处理：
代理ip如何自动切换
如何保存已爬取的记录，当当网应该有几千万或者上亿条数据吧
是否需要二次或者多次爬取，做重复验证

声明：本文仅学习使用，如有侵权或者因个人行为造成不良影响，请通知我删除。谢谢！

Tinken

今天没有太多时间，晚上花了点时间调整Excel写入，现在基本搞定剩余就是ip切换和异常处理，然后后面需要使用while死循环，避免因为异常而中断


代码：

1. #!/usr/bin/env python
   
2. # -*- coding:utf-8 -*-
   
3. 
   
4. # @ClassName test7
   
5. # @Description TODO 爬当当网全部图书数据
   
6. # @Author lanlo
   
7. # @Date 2020-10-05 22:36
   
8. # @Version 1.0
   
9. 
   
10. import requests
    
11. from bs4 import BeautifulSoup
    
12. import redis
    
13. # Excel操作库
    
14. import xlwings as xw
    
15. # 系统时间库
    
16. import time
    
17. import proxy_pool
    
18. import re
    
19. 
    
20. # 本地redis连接
    
21. pool = redis.ConnectionPool(host='localhost', port=6379, decode_responses=True)
    
22. # 存储爬取的代理ip
    
23. redis_conn = redis.Redis(connection_pool=pool, max_connections=10, db=0)
    
24. 
    
25. # xlwings 写入Excel => books.xlsx
    
26. def writeExcel(list):
    
27.     # 这将创建一个新的工作簿
    
28.     wb = xw.Book('books.xlsx')
    
29.     # 实例化工作表对象
    
30.     sht = wb.sheets['Sheet1']
    
31.     sht.api.Rows(1).Insert()
    
32.     sht.range('A1').value = list
    
33.     # 保存
    
34.     wb.save()
    
35. 
    
36. def get_book():
    
37.     # 模拟浏览器的请求头
    
38.     headers = {
    
39.         'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.121 Safari/537.36 Edg/ 5.0.564.68'
    
40.     }
    
41.     proxy = proxy_pool.get_proxy_ip()
    
42. 
    
43.     if len(proxy) != 0:
    
44.         # 拼接url
    
45.         for i in range(27866721, 27866800):
    
46.             list_book = []
    
47.             url = "http://product.dangdang.com/{}.html".format(str(i))
    
48.             try:
    
49.                 # 发起http请求，获取页面
    
50.                 print("请求页面：{}".format(url))
    
51.                 res = requests.get(url,
    
52.                                    headers=headers,
    
53.                                    proxies=proxy,
    
54.                                    timeout=5)
    
55.             except Exception:
    
56.                 print("请求失败:{}".format(url))
    
57.                 print("代理ip:{}".format(proxy))
    
58.                 list_book.append("请求失败")
    
59.                 pass
    
60. 
    
61.             res_code = res.status_code
    
62.             list_book.append(url)
    
63.             print("请求结果：{}".format(res_code))
    
64.             if res_code == 200:
    
65.                 # 设置解析器
    
66.                 soup = BeautifulSoup(res.text, "html.parser")
    
67.                 # 获得数据内容
    
68.                 print(soup.prettify())
    
69. 
    
70.                 # 书名
    
71.                 title = soup.find_all('h1')[0].text.replace("\n", '').replace("\t", "").replace(" ", "")
    
72.                 list_book.append(title)
    
73.                 print("书名：{}".format(title))
    
74. 
    
75.                 # 作者
    
76.                 author = soup.find_all("a", dd_name='作者')[0].string
    
77.                 list_book.append(author)
    
78.                 print("作者：{}".format(author))
    
79. 
    
80.                 # 出版社
    
81.                 press = soup.find_all("a", dd_name='出版社')[0].string
    
82.                 list_book.append(press)
    
83.                 print("出版社：{}".format(press))
    
84. 
    
85.                 # 出版时间
    
86.                 publication_time = soup.find_all("span", string=re.compile("出版时间"))[0].string.split(":")[1].replace("\n", '').replace("\t", "").replace(" ", "")
    
87.                 list_book.append(publication_time)
    
88.                 print("出版时间：{}".format(publication_time))
    
89. 
    
90.                 for child in soup.find_all("ul", class_='key clearfix')[0]:
    
91.                     book_info = str(child.string).replace("\n", '').replace("\t", "").replace(" ", "").replace("None", "")
    
92.                     if book_info != "":
    
93.                         print(book_info.split("：")[1])
    
94.                         list_book.append(book_info.split("：")[1])
    
95. 
    
96.                 # 分类
    
97.                 book_class = soup.find_all("li", class_="clearfix fenlei")[0].text.split("：")[1]
    
98.                 list_book.append(book_class)
    
99.                 print("分类：{}".format(book_class))
    
100. 
     
101.                 print(list_book)
     
102. 
     
103. 
     
104.             else:
     
105.                 list_book.append("请求失败")
     
106. 
     
107.             # 写入Excel
     
108.             writeExcel(list_book)
     
109. 
     
110.             # 延时3秒
     
111.             time.sleep(3)
     
112.     print("get_book 结束")
     
113. 
     
114. 
     
115. 
     
116. # python程序入口函数
     
117. if __name__ == '__main__':
     
118.     # 星期 月 日 时：分：秒 年（Mon Oct  5 23:10:13 2020）
     
119.     print("程序开始时间：{}".format(time.ctime()))
     
120.     get_book()

复制代码

最后稍微处理一下，添加表头：