python解析本地html方法

python爬虫每次运行时都会访问一次主机，为了避免增加主机访问负荷，一般都是在本地解析。python解析本地html文件方法如下：

将html文件本地保存

在Python中打开html文件，可使用BeautifulSoup方法直接打开

soup=BeautifulSoup(open('ss.html',encoding='utf-8'),features='html.parser')

获取本地文件资料

a.先爬取主页的列表资料，其中同义内容使用“@”符号连接，首先在for循环内给定一个值获取标签内的链接link=x.get('href')，接着使用sub方法指定删除link。代码如下：
link=x.get('href')
change2=re.sub(link,'',s)

def draw_base_list(doc):    lilist=soup.find('div',{'class':'babynames-term-articles'}).findAll('article');    #爬取一级参数    for x in lilist:        str1=''        count=0        a='@'        EnName=x.find('a').text;        Mean=x.find('div',{'class':'meaning'}).text;        Sou=x.find('div',{'class','related'}).findAll('a')        Link=x.find('a').get('href');        for x in Sou:            if count!=0:#添加计数器判断是否为第一个，不是则添加@                str1=str1+a            s=str(x)  #将x转换为str类型来添加内容            str1=str1+s            count+=1        Source=str1        print(Source);　　　　　print(Meaning)；

在for循环中指定多余内容删除

link=x.get('href')s=str(x)change1=re.sub('','',change2)change4=re.sub(' Baby Names','',change3)change5=re.sub('','',change4)change=re.sub(' ','',change5)

b.通过def draw_base_list(doc)函数向二级详情函数传递Link参数爬取详细信息，为避免频繁访问主机，我们同样将详情页的源代码保存至本地并解析

def draw_detail_list():    str1=‘’    meta="boy"    doc=BeautifulSoup(open('nn.html',encoding='utf-8'),features='html.parser')    Des=doc.find('div',{'class':'single-babyname-wrapper'}).findAll('p')    Gen=doc.find('div',{'class':'entry-meta'}).find('a')    #print(Gen)    g=str(Gen)    for i in Gen:        if meta in g:            Gender="boy"        else:            Gender="girl"    #print(Gender)    for x in Des:        #print(x)        if x.find('a')==None:  #该标签下有我们不需要的信息，查看源代码找到信息之间的联系，发现不需要的信息中都有链接            c=str(x)            change1=re.sub('
','',c)  #与一级信息函数一样删除指定内容            change2=re.sub('
','',change1)            change3=re.sub('\t','',change2)            change=re.sub('\n','@',change3)            str1=str1+change            #Description=x.text            #print(Description)    Description=str1    #print(Description)    data={  #将数据存进字典中方便将数据保存至csv文件或数据库中        'EnName':EnName,        'CnName':'',        'Gender':Gender,        'Meaning':Meaning,        'Description':Description,        'Source':Source,        'Character':'',  #网页中没有的信息数据列为空        'Celebrity':'',        'WishTag':''    }    #print(data)

c.将爬取下来的数据存入csv文件中

def draw_base_list(doc):    ......    #爬取一级参数    for x in lilist:        ......        for x in Sou:            ......        ......        draw_detail_list(Link,EnName,Meaning,Source)  #将数据传给二级信息函数def draw_detail_list(url,EnName,Meaning,Source):    ......    for i in Gen:        ......        for x in Des:        ......        data={        ......    }    write_dictionary_to_csv(data,'Names')  #将字典传给存放数据函数，并给定csv文件名def write_dictionary_to_csv(dict,filename):    file_name='{}.csv'.fORMat(filename)    with open(file_name, 'a',encoding='utf-8') as f:         file_exists = os.path.isfile(filename)        w =csv.DictWriter(f, dict.keys(),delimiter=',', quotechar='"', lineterminator='\n',quoting=csv.QUOTE_ALL, skipinitialspace=True)        w.writerow(dict)

参考资料：python怎么解析本地html文件，python解析本地html方法_软件屋下载站

来源地址：https://blog.csdn.net/kaiser099/article/details/130864865