使用脚本批量下载网站文件并保存路径

2020年04月13日 · Linux · 技术帮助分享 · 100次阅读
------正---文------

有时候我们需要下载一个或者多个网站的资源到本地,需要保存对应的路径。方便一键替换,例如一些资源网的图片,和图床的图片等等。

https://rpg.pic-imges.com/pic/upload/vod/2020-04/1586778123.jpg

https://tva3.sinaimg.cn/large/87c01ec7gy1frqe5h4nvhj21hc0u0npd.jpg

这个时候我们可以用一个shell脚本解决问题。

1.创建一个url.txt

将需要下载的文件地址输入进去,一行一个。


https://rpg.pic-imges.com/pic/upload/vod/2020-04/1586778123.jpg 
https://tva3.sinaimg.cn/large/87c01ec7gy1frqe5h4nvhj21hc0u0npd.jpg 
http://su.bdimg.com/static/superplus/img/logo_white_ee663701.png 
http://su.bdimg.com/static/superplus/img/logo_white_ee663704.png 
http://su.bdimg.com/static/superplus/img/logo_white_ee663705.png 
http://su.bdimg.com/static/superplus/img/logo_white_ee663706.png

我们需要下载这些图片,并保存在各自的文件夹下。

2.创建一个脚本download.sh

将下列代码输入进去。

#!/bin/bash
# desc: download resource
# author: 十年后的卢哥哥

mydir=`pwd`

while read line
do
{
    if [ -n "$line" ]    
    then        
    cd $mydir        
    url=$(echo "$line" | tr -d '\r')        
    picdir=$(echo $url | sed -r 's/http:\/\///g')        
    picname=$(echo ${picdir##*/})        
    picpath=$(echo ${picdir%/*})        
    mkdir -p $picpath        
    cd $picpath        
    wget -O $picname `echo $url`     
    fi
    }
    done < $1
    exit 0

微信截图_20200413195830.png

这里有几点要注意:

必须在Linux环境下创建,不可以在Windows下创建脚本,否则会不兼容,脚本报错。


1、为了去掉文本文件中行末的换行符,要进行删除:

tr -d '\r'

2、取资源名:

${picdir##*/}

3、取资源路径:

${picdir%/*}

运行

sh download.sh url.txt


便可看到sh脚本所在目录下会出现对应文件夹和内容。


------结---束------

推广:校企合作
『静谧星河』采用《署名-相同方式共享 4.0 国际》进行许可。如需转载请保留本文地址。
本文地址:
https://www.yuvin.cn/Linux/326.html

支持我

教程帮助解决方法LinuxCentos

静谧星河最后编辑于2个月前


因本站不提供交互式服务,评论均需审核后显示,敬请谅解。

添加新评论

captcha

请输入验证码