Python爬取奶茶店数据分析哪家最好喝以及性价比

2024-04-02 19:04:59 322人浏览泡泡鱼

Python 官方文档：入门教程 => 点击学习

摘要

目录序篇数据获取数据清洗数据可视化热门城市奶茶店铺数量情况特色奶茶分布情况大众奶茶分布情况总结序篇天气真的很热啊… 很想有一杯冰冰凉凉的奶茶来解渴~ 但是现在奶茶店这

序篇

天气真的很热啊… 很想有一杯冰冰凉凉的奶茶来解渴~

但是现在奶茶店这么多，到底哪一家最好喝、性价比最高呢？

数据获取

本文抓取了12个热门城市的奶茶店名单，

城市包括：北京、上海、广州、深圳、天津、西安、重庆、杭州、南京、武汉、成都和长沙。

共计68614家奶茶店，3万多个奶茶品牌。

在构建抓取URL时，

需要注意将城市的维度具体到城市商圈，

因为每个URL最多只显示32页内容，

保证抓取每个城市时的数据量是准确的。

# 构建抓取URL
def get_url_1():
    for city,city_code in city_dict.items():
        for block_dict in area_dict[city]:
            for children in block_dict['children']:
                for page in range(1,33):
                    block_code = children['id']
                    offset = 32 * (page-1)
                    # print(city, area, block, block_code)
                    url = 'https://apimobile.meituan.com/group/v4/poi/pcsearch/{}?uuid=6ddabcb37fdd4a8e9cdf.1599125825.1.0.0&userid=280531290&limit=32&offset={}&cateId=-1&q=奶茶果汁&areaid={}&sort=solds'.fORMat(city_code,offset,block_code)
                    Redis_db.sadd('meituan_milk', url)

数据清洗

数据清洗部分，主要清洗了奶茶店铺名称，

但是同一个奶茶品牌会有多种格式，如1点点和1點點，

大卡司和大卡司DAKASI。

由于奶茶品牌数量众多，

并且真假难辨，所以只能进行针对性清洗，

对部分名气高的奶茶品牌名称要保证其统一。

# 清洗字段
def clean(x):
    title = re.sub(u"（.*?）", "", x['title'])
    title = title.replace('點點','点点').replace('（','').replace('）','')
    title = title.replace('一点点','1点点')
    if '一杯会说话的茶' in title:
        title = '1314一杯会说话的茶'
    elif '大卡司' in title:
        title = '大卡司DAKASI'
    elif '1点点' in title:
        title = '1点点'
    elif '都可' in title:
        title = 'CoCo都可'
    elif '书亦烧仙草' in title:
        title = '书亦烧仙草'
    elif '蜜雪冰城' in title:
        title = '蜜雪冰城'
    elif 'royal' in title or 'Royal' in title or 'ROYAL' in title:
        title = 'Royaltea皇茶'
    elif 'ALS' in title:
        title = 'ALS GoNG CHA贡茶'
    elif 'GONG' in title:
        title = '贡茶'
    elif '茶百道' in title:
        title = '茶百道'
    elif '吾饮良品' in title:
        title = '吾饮良品'
    elif '悸动烧仙草' in title:
        title = '悸动烧仙草'
    elif '沪上阿姨' in title:
        title = '沪上阿姨'
    elif '7分甜' in title:
        title = '7分甜'
    elif '古茗' in title:
        title = '古茗'
    elif '奈雪' in title:
        title = '奈雪の茶'
    elif '悦色' in title:
        title = '茶颜悦色'
    else:
        pass
    return title
df['title'] = df.apply(clean, axis=1)