广告
返回顶部
首页 > 资讯 > 服务器 >使用wget下载https链接
  • 183
分享到

使用wget下载https链接

Linuxwget远程下载 2022-06-03 13:06:00 183人浏览 安东尼
摘要

使用下面的命令行: wget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.com/dir/ --Http-user=username -

使用下面的命令行:

wget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.com/dir/ --Http-user=username --http-passWord=password

来下载dir目录下的所有.gz文件。

-np 表示没有父级目录
-nd 表示不构建本地目录结构
--accept=gz 表示只下载该目录下的 .gz 文件

HTTPS (SSL/TLS) 参数选项

--certificate=file

可选的客户段端证书

--private-key=file

对此证书可选的“密钥文档”

--private-key-type=type

对此证书可选的“密钥类型“

--egd-file=file

EGD Socket 文档名

--ca-directory=directory

CA 散列表所在的目录

--ca-certificate=file

包含 CA 的文档

--certificate-type=[ PEM(默认),DER ]

Client-Cert 类型:PEM,DER

--no-check-certificate

不用检查服务器的证书

--secure-protocol=[ auto,SSLv2,SSLv3,TLSv1 ]

选择 SSL 协议:auto,SSLv2,SSLv3,TLSv1

FTP参数选项

--ftp-user

登录ftp的用户名(注意:最好方法是在.netrc或.wgetrc文件中定义)

--ftp-password

登录ftp的密码(注意:最好方法是在.netrc或.wgetrc文件中定义)

--no-remove-listing

不删除“.listing” 文档

--no-glob

关闭所有通配符的ftp文档名

--no-passive-ftp

禁用“被动”传输模式

--retr-symlinks

递归模式中,下载链接所指示的文档(排除连接目录的)

1、下载单个文件

wget url+filename

下载过程中同时可以看到四项信息
已经下载的比例
已经下载的大小
当前下载的速度
剩余的时间

2、使用一个大写O做参数表示另存为

 wget -O save_name url

这种方法适用于对应链接中没有显式文件名的情况。

例如: wget -O xx.zip http://www.vim.org/scripts/download_script.PHP?src_id=7701

再用不带-O参数的下载一次。

ls -al
总计 132
drwxr-xr-x 2 root root  4096 07-12 10:43 .
drwxr-xr-x 4 root root  4096 07-11 16:26 ..
-rw-r--r-- 1 root root 50243 07-12 10:43 download_script.php?src_id=7701
-rw-r--r-- 1 root root 50243 07-12 10:43 xx.zip

我们发现,下载的大小都是一样。但是不带-O参数的,文件名还要转换一次。不如用-O参数方便。

mv "download_script.php?src_id=7701" yy.zip

3、指定下载速率

wget --limit-rate

wget程序默认是使用所有的带宽,如果
是在生产服务器上下载很大的文件就不可接受了。
为了避免这种情况使用--limit-rate参数
wget --limit-rate=200k http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2

4、断点下载

使用wget -c完成未完成的下载

下载到一半需要停下来干别的事情,用^c就可以停顿住。

回来后,继续下载可以加一个-c参数。

注意:如果不加入-c,那么下载的文件会多出一个.1的后缀。

wget -c ftp://username:password@example.com:21/abc.txt

5、在后台下载

方法:加一个-b的参数

wget -b url/filename
为后台下载。下载经过写入到wget-log文件中。

用tail -f wget-log查看下载日志

6、模拟在浏览器下下载

有的网站不允许客户在非浏览器环境下下载。使用--user-agent来设置

wget --user-agent="Mozilla/5.0 (X11; U; linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD

7、测试下载链接

方法:使用--spider

试图做计划下载时候,需要先检查一下下载链接是否有效。

wget --spider DOWNLOAD-URL

如果返回OK,则表示下载链接是正确的!

例如
wget --spider "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"
Spider mode enabled. Check if remote file exists.
--2010-07-12 11:36:32--  http://ip138.com/ips.asp?ip=58.251.193.137&action=2
正在解析主机 ip138.com... 221.5.47.136
Connecting to ip138.com|221.5.47.136|:80... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:7817 (7.6K) [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.

8、增加尝试次数

方法:--tries=1000
如果网速有问题,下载大文件的时候可能会发生错误,
默认wget尝试20次链接。

如果尝试75次,可以
wget --tires=75 DOWNLOAD-URL

9、下载多个文件使用wget -i

将多个下载链接写入到一个download-file-list.txt文件中,而后用

wget -i download-file-list.txt

10、下载整站

方法:用--mirror参数

当你要下载一个完整站点并实现本地浏览的时候,
wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL

参数讲解:
--mirror:设置这个参数用来建立本地镜像
-p:下载所有html文件适合显示的元素
--convert-links:下载完成后,将文档链接都转换成本地的
-P ./LOCAL-DIR:保存所有的文件和目录到指定文件夹下

11、下载时候禁止下载指定类型的文件

例如下载站点时候,不打算下载gif动画图片。

wget --reject=gif WEBSITE-TO-BE-DOWNLOADED

12、记录下载日志

方法:使用小写字母o

wget -o xx.html.log -O xx.html "http://ip138.com/ips.asp?ip=58.251.193.137&action=2"

检查一下日志:
[root@localhost opt]# cat xx.html.log
--2010-07-12 11:57:22--  http://ip138.com/ips.asp?ip=58.251.193.137&action=2
正在解析主机 ip138.com... 221.5.47.136
Connecting to ip138.com|221.5.47.136|:80... 已连接。
已发出 HTTP 请求,正在等待回应... 200 OK
长度:7817 (7.6K) [text/html]
Saving to: `xx.html'

0K .......                                               100% 65.5K=0.1s

2010-07-12 11:57:22 (65.5 KB/s) - `xx.html' saved [7817/7817]

13、是第9条的增强版。可以限制下载容量

wget -Q5m -i FILE-WHICH-HAS-URLS

当下载的文件达到5兆的时候,停止下载。
注意:如果不是对一个文件下载链接清单,对单个文件,
这个限制不会生效的。

14、和第11条正好相反,这条技巧是讲述如何仅仅下载指定类型的文件

从一个网站中下载所有的pdf文件

wget -r -A.pdf http://url-to-webpage-with-pdfs/

15、使用wget完成ftp下载

匿名ftp下载类似于http下载
wget ftp-url即可。

如果是需要输入用户名和密码,则是

wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL

--结束END--

本文标题: 使用wget下载https链接

本文链接: https://www.lsjlt.com/news/11271.html(转载时请注明来源链接)

有问题或投稿请发送至: 邮箱/279061341@qq.com    QQ/279061341

本篇文章演示代码以及资料文档资料下载

下载Word文档到电脑,方便收藏和打印~

下载Word文档
猜你喜欢
  • 使用wget下载https链接
    使用下面的命令行: wget -r -np -nd --accept=gz --no-check-certificate https://www.xxx.com/dir/ --http-user=username -...
    99+
    2022-06-03
    Linux wget 远程下载
  • Linux设置wget下载http/https代理的方法有哪些
    这篇文章主要讲解了“Linux设置wget下载http/https代理的方法有哪些”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Linux设置wget下载http/https代理的方法有哪些...
    99+
    2023-06-13
  • python使用wget下载网络文件
    wget是一个从网络上自动下载文件的自由工具。它支持HTTP,HTTPS和FTP协议,可以使用HTTP代理。ubuntu 安装wgetpip install wget从网络或本地硬盘下载文件(并解压)# -*- coding: utf-8...
    99+
    2023-01-31
    文件 网络 python
  • weblogic常用下载链接
    1 下载  到http://edelivery.oracle.com/下载相应的版本,其他版本可向群中朋友索取或者在metallink下载(当然你有帐号的情况下)安装只以win...
    99+
    2022-10-18
    weblogic gic
  • Windows下载使用wget命令的步骤
    目录一、前言 & 介绍二、安装步骤2.1 下载 wget 压缩包2.2 解压到指定的位置2.3 检查是否安装成功2.4 是否可以正常下载一、前言 & 介绍 wget ...
    99+
    2023-05-19
    Windows使用wget命令 Windows wget命令
  • Windows下载MySQL链接
    这个是方便Windows用户下载MySQL的链接,有需要的请直接访问,顺便提一下MySQL的官网是www.mysql.com1、Windows32位的MySQL下载链接:https://dev.mysql....
    99+
    2022-10-18
    windows下载mysql链接 dow %d
  • python如何使用wget工具下载文件
    小编给大家分享一下python如何使用wget工具下载文件,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!wgetwget是Linux下的一个命令行下载工具,在Py...
    99+
    2023-06-17
  • Linux文件下载工具wget怎么使用
    这篇“Linux文件下载工具wget怎么使用”文章的知识点大部分人都不太理解,所以小编给大家总结了以下内容,内容详细,步骤清晰,具有一定的借鉴价值,希望大家阅读完这篇文章能有所收获,下面我们一起来看看这篇“Linux文件下载工具wget怎么...
    99+
    2023-06-28
  • Linux中使用wget进行下载的方法
    本篇内容主要讲解“Linux中使用wget进行下载的方法”,感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷,实用性强。下面就让小编来带大家学习“Linux中使用wget进行下载的方法”吧!使用举例:1、下载单个文件代码如下:$ wget...
    99+
    2023-06-12
  • Navicat下载和链接MySQL
    1.下载链接:http://www.navicat.com.cn/download/navicat-premium 2.安装流程 直接下一步安装即可 3.链接MySQL https://git...
    99+
    2023-09-17
    mysql
  • Linux中怎么使用wget命令下载文件
    本篇文章给大家分享的是有关Linux中怎么使用wget命令下载文件,小编觉得挺实用的,因此分享给大家学习,希望大家阅读完这篇文章后可以有所收获,话不多说,跟着小编一起来看看吧。  实例1 :下载单个文件  # wget http://mir...
    99+
    2023-06-13
  • Linux中如何使用wget命令下载文件
    这篇文章主要为大家展示了“Linux中如何使用wget命令下载文件”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Linux中如何使用wget命令下载文件”这篇文章吧。wget命令wget命令用来...
    99+
    2023-06-27
  • Dreamweaver如何制作邮件链接下载链接及空链接
    小编给大家分享一下Dreamweaver如何制作邮件链接下载链接及空链接,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!方法如下邮件链接。选中需要设置邮件链接的位文...
    99+
    2023-06-08
  • Linux使用curl访问网页和wget下载文件
    目录一:curl(网页访问,文件传输工具)1、安装2、常用参数3、使用示例二:wget(用于文件下载,在安装软件时会经常用到。)1、安装2、常用参数3、使用示例:三:区别1.下载文件2.下载文件并重命名3.断点续传4.限...
    99+
    2022-06-05
    Linux curl访问网页 wget下载文件
  • python从下载链接下载文件到本地
    requests #引用 requests文件 import requests #下载地址 Download_addres='https://nj02cm01.baidupcs.com/file/da941ce26b392a4...
    99+
    2023-01-31
    下载链接 文件 python
  • 小程序为什么要使用HTTPS链接
    这篇文章主要介绍“小程序为什么要使用HTTPS链接”的相关知识,小编通过实际案例向大家展示操作过程,操作方法简单快捷,实用性强,希望这篇“小程序为什么要使用HTTPS链接”文章能帮助大家解决问题。一、HTTPSHTTPS是HTTP的安全版,...
    99+
    2023-06-26
  • MATLAB R2023b安装包下载链接
    MATLAB2023b下载链接: 链接:https://pan.baidu.com/s/15VgPf8GnxlZHcbh2grJrDQpwd=luob 提取码:luob来源地址:https://blog.csdn.net/jk_101/ar...
    99+
    2023-10-27
    matlab
  • HTML如何创建下载链接
    这篇文章主要为大家展示了“HTML如何创建下载链接”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“HTML如何创建下载链接”这篇文章吧。 您也可以使用与放置文本...
    99+
    2022-10-19
    html
  • Android webview加载https链接错误或无响应的解决
    最近做无线WiFi的时候,在最后认证成功的时候会弹出一个广告页,于是用webview去加载了一下,结果没反应,打印url出来看了一下,发现是https格式的,在使用WebVie...
    99+
    2022-06-06
    https webview Android
  • python 爬取影视网站下载链接
    目录项目地址:运行效果导入模块爬虫主代码完整代码项目地址: https://github.com/GriffinLewis2001/Python_movie_links_scraper 运行效果 导入模块 i...
    99+
    2022-06-02
    python 爬虫 python 爬取下载链接 python 爬取影视网站
软考高级职称资格查询
编程网,编程工程师的家园,是目前国内优秀的开源技术社区之一,形成了由开源软件库、代码分享、资讯、协作翻译、讨论区和博客等几大频道内容,为IT开发者提供了一个发现、使用、并交流开源技术的平台。
  • 官方手机版

  • 微信公众号

  • 商务合作