Python 官方文档：入门教程 => 点击学习
目录前言一、爬虫1.ip1382.bing二、通过字典进行子域名爆破三、python爬虫操作步骤1.写出请求头headers与目标网站url2.生成请求3.抓取数据4.分析源码，截取
意义：子域名枚举是为一个或多个域查找子域的过程，它是信息收集阶段的重要组成部分。
实现方法：使用爬虫与字典爆破。
def search_2(domain):
res_list = []
headers = {
'Accept': '**',
'Accept-Language': 'en-US,en;q=0.8',
'Cache-Control': 'max-age=0',
'User-Agent': 'Mozilla/5.0 (X11; linux x86_64) AppleWEBKit/537.36 (Khtml, like Gecko) Chrome/48.0.2564.116 Safari/537.36',
'Connection': 'keep-alive',
'Referer': 'Http://www.baidu.com/'
}
for i in range(1, 16):
url = "https://cn.bing.com/search?q=site%3A" + site + "&Go=Search&qs=ds&first=" + str(
(int(i) - 1) * 10) + "&FORM=PERE"
# conn = requests.session()
# conn.get('http://cn.bing.com', headers=headers)
# html = conn.get(url, stream=True, headers=headers)
html = requests.get(url, stream=True, headers=headers)
soup = BeautifulSoup(html.content, 'html.parser')
# print(soup)
job_bt = soup.findAll('h2')
for i in job_bt:
link = i.a.get('href')
print(link)
if link in Subdomain:
pass
else:
Subdomain.append(link)
print(Subdomain)
if __name__ == '__main__':
search_1("jd.com")
返回结果：
def dict(url):
for dict in open('dic.txt'): # 这里用到子域名字典文件dic.txt
dict = dict.replace('\n', "")
zym_url = dict + "." + url
try:
ip = Socket.gethostbyname(zym_url)
print(zym_url + "-->" + ip)
time.sleep(0.1)
except Exception as e:
# print(zym_url + "-->" + ip + "--error")
time.sleep(0.1)
if __name__ == '__main__':
dict("jd.com")返回结果：
headers = {
'User-Agent': "Mozilla/5.0 (windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.10240"
}
url = "https://site.ip138.com/"get：res = requests.get(url + domain, headers=headers)
post：res = requests.post(url + domain, headers=headers, data=data)soup = BeautifulSoup(res.content, 'html.parser') # 以html解析器解析res的内容此时print(soup)，返回结果：
1.通过分析源码，确定需要提取p标签中的内容：
job_bt = soup.findAll('p')此时print(job_bt)，返回结果：
2.继续提取a标签内属性为href的值：
try:
for i in job_bt:
link = i.a.get('href')
linkk = link[1:-1]
res_list.append(linkk)
print(linkk)
except:
pass得结果：
3.再进行截取：
res_list[:-1]得结果：
1.抓取数据，生成soup
soup = BeautifulSoup(res.content, 'html.parser') # 以html解析器解析res的内容2.从文档中获取所有文字内容
print(soup.get_text())
3.从文档中找到所有< a >标签的链接
for link in soup.find_all('a'):
print(link.get('href'))
到此这篇关于使用Python实现子域名探测的文章就介绍到这了,更多相关python子域名内容请搜索编程网以前的文章或继续浏览下面的相关文章希望大家以后多多支持编程网！
--结束END--
本文标题: 使用python爬虫实现子域名探测问题
本文链接: https://www.lsjlt.com/news/119225.html(转载时请注明来源链接)
有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
下载Word文档到电脑，方便收藏和打印～
2024-03-01
2024-03-01
2024-03-01
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
2024-02-29
回答
回答
回答
回答
回答
回答
回答
回答
回答
回答
官方手机版
微信公众号
商务合作
0