Python实现爬取房源信息的示例详解

# 所有小地区对应的标识
list=['jingan','xuhui','huangpu','changning','putuo','pudong','baoshan','hongkou','yangpu','minhang','jinshan','jiading','chongming','fengxian','songjiang','qingpu']
# 存放所有链接
urls = []
for a in list:
    urls.append('https://sh.lianjia.com/zufang/{}/pg1rco11/'.fORMat(a))
    # 设置请求头，避免ip被ban
    headers = {'User-Agent': 'Mozilla/5.0 (windows NT 10.0; WOW64) AppleWEBKit/537.36 (Khtml, like Gecko) Chrome/81.0.4044.9 Safari/537.36'}
    # 获取当前小地区第1页的dom信息
    res = requests.get('https://sh.lianjia.com/zufang/{}/pg1rco11/'.format(a), headers=headers)
    content = res.text
    soup = BeautifulSoup(content, 'html.parser')
    # 获取当前页面的最大页数
    page_num = int(soup.find('div', attrs={'class': 'content__pg'}).attrs['data-totalpage'])
    for i in range(2,page_num+1):
        # 将所有链接保存到urls中
        urls.append('https://sh.lianjia.com/zufang/{}/pg{}rco11/'.format(a,i))

num=1
for url in urls:
    print("正在处理第{}页数据...".format(str(num)))
    res1 = requests.get(url, headers=headers)
    content1 = res1.text
    soup1 = BeautifulSoup(content1, 'html.parser')
    infos = soup1.find('div', {'class': 'content__list'}).find_all('div', {'class': 'content__list--item'})

import time, re, csv, requests
import codecs
from bs4 import BeautifulSoup

print("****处理开始****")
with open(r'..\sh.csv', 'wb+')as fp:
    fp.write(codecs.BOM_UTF8)
f = open(r'..\sh.csv','w+',newline='', encoding='utf-8')
writer = csv.writer(f)
urls = []

# 所有小地区对应的标识
list=['jingan','xuhui','huangpu','changning','putuo','pudong','baoshan','hongkou','yangpu','minhang','jinshan','jiading','chongming','fengxian','songjiang','qingpu']
# 存放所有链接
urls = []
for a in list:
    urls.append('https://sh.lianjia.com/zufang/{}/pg1rco11/'.format(a))
    # 设置请求头，避免ip被ban
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.9 Safari/537.36'}
    # 获取当前小地区第1页的dom信息
    res = requests.get('https://sh.lianjia.com/zufang/{}/pg1rco11/'.format(a), headers=headers)
    content = res.text
    soup = BeautifulSoup(content, 'html.parser')
    # 获取当前页面的最大页数
    page_num = int(soup.find('div', attrs={'class': 'content__pg'}).attrs['data-totalpage'])
    for i in range(2,page_num+1):
        # 将所有链接保存到urls中
        urls.append('https://sh.lianjia.com/zufang/{}/pg{}rco11/'.format(a,i))

num=1
for url in urls:
    # 模拟请求
    print("正在处理第{}页数据...".format(str(num)))
    res1 = requests.get(url, headers=headers)
    content1 = res1.text
    soup1 = BeautifulSoup(content1, 'html.parser')
    # 读取页面中数据
    infos = soup1.find('div', {'class': 'content__list'}).find_all('div', {'class': 'content__list--item'})

    # 数据处理
    for info in infos:
        house_url = 'https://sh.lianjia.com' + info.a['href']
        title = info.find('p', {'class': 'content__list--item--title'}).find('a').get_text().strip()
        group = title.split()[0][3:]
        price = info.find('span', {'class': 'content__list--item-price'}).get_text()
        tag = info.find('p', {'class': 'content__list--item--bottom oneline'}).get_text()
        mixed = info.find('p', {'class': 'content__list--item--des'}).get_text()
        mix = re.split(r'/', mixed)
        address = mix[0].strip()
        area = mix[1].strip()
        door_orientation = mix[2].strip()
        style = mix[-1].strip()
        region = re.split(r'-', address)[0]
        writer.writerow((house_url, title, group, price, area, address, door_orientation, style, tag, region))
        time.sleep(0)
    print("第{}页数据处理完毕，共{}条数据。".format(str(num), len(infos)))
    num+=1

f.close()
print("****全部完成****")