wget_linux_command

wget命令

启动参数

-V --version 显示版本
-h --help  打印帮助语法
-b --background 后台执行
-e --execute=COMMAND 执行wgetrc格式命令

记录和输入文件参数

-o --output-fle=FILE 把记录写入文件FILE中
-a --append-output=FILE 把记录追加倒FILE文件中
-d --debug 打印调试输出
-q --quiet 没有输出
-v --verbose 冗长模式
-nv --non-verbose 关闭冗长模式，但是不是安静模式
-i --input-file=FILE 下载在FILE文件种出现的URLs
-F --force-html 把输入文件当做HMTL格式对待
-B --base-URL 把URL座位-F -i 参数指定的文件中出现的相对链接的前缀

下载参数

-t  --tries=NUMBER 设定最大尝试链接次数0表示无限制
-O --output-document=FILE 把文档写到FILE文件种
-nc --no-clobber 不要复盖存在的文件或使用.#前缀
-c --continue 接着下载没下载完的文件
--progress=TYPE 设定进程条标记
-N --timestamping 不要下载文件除非比本地文件新
-S --server-response 打印服务器的回应
  --spider 不下载任何东西
-T --timeout=SECONDS 设定响应超时的秒数
-w --wait=SECONDS 两次尝试之间间隔SECONDS秒
   --waitretry=SECONDS 在重新连接之间等待1..SECONDS秒
-Y --proxy=on/off 打开或关闭代理
-Q -quota=NUMBER 设置下载的容量限制
  --limit-rate=RATE 限定下载速率

目录格式

-nd --no-directories 不创建目录
-x --force-directories 强制创建目录
-nH --no-host-directories 不创建主机目录
-P --directory-prefix=PREFIX 将文件保存在目录PREFIX下

HTTP选项参数

--http-user=USER 设定HTTP用户名为USER
--http-passwd=PASS 设定密码为PASS
-C --cache=on/off 允许/不允许服务器端的数据缓存
-E --html-extension 将所有text/html文档以.html扩展名保存
-s --save-headers 保存HTPP头到文件
-U --user-agent=AGENT 设定代理的名称为AGENT

例子

wget -S --spider url ## 不下载只显示过程

## 下载单个文件
wget url
wget -O filename.mp4 url

## 限速下载
wget --limit-rate=300K url

## 后台下载
wget -b url
tail -f wget-log  ## 查看进度

## 伪装代理名称下载
wget --user-agent="Mozilla/5.0 (Windows;U;Windows NT ) ..." URL

## 增加重试次数
wget --tries=40 URL

## 使用-i 下载多个文件
cat > filelist.txt
URL1
URL2
URL3

wget -i filelist.txt


## 镜像网站
wget --mirror -p --convert-links -P ./LOCAL URL
--mirror 镜像下载
-p 下载所有为了HTML页面正常显示的文件
--convert-links 转换成本地的链接
-P ./LOCAL保存在本地指定目录


## 过滤指定格式下载
wget --reject=gif url

## 保存日志文件
wget -o download.log url

## 限制总下载文件大小
wget -Q5m -i filelist.txt  限制5M

## 下载指定格式的文件
wget -r -A.pdf url