跳至主要内容

Linux下查看文件和文件夹大小 删除日志(转载)

场景:在sts中执行自动部署时候maven提示No space left on device错误,后来经检查发现是磁盘空间满了,用下面的方法分析发现tomcat下面的logs目录占用了很大的空间,删除多余的日志问题解决!

1 Linux下查看文件和文件夹大小

当磁盘大小超过标准时会有报警提示,这时如果掌握df和du命令是非常明智的选择。

df可以查看一级文件夹大小、使用比例、档案系统及其挂入点,但对文件却无能为力。

 du可以查看文件及文件夹的大小。

两者配合使用,非常有效。比如用df查看哪个一级目录过大,然后用df查看文件夹或文件的大小,如此便可迅速确定症结。

下面分别简要介绍

1.1 df命令

//可以用来查看分区的文件系统
df -T

 

df命令可以显示目前所有文件系统的可用空间及使用情形,请看下列这个例子:

df -h

参数 -h 表示使用「Human-readable」的输出,也就是在档案系统大小使用 GB、MB 等易读的格式。

上面的命令输出的第一个字段(Filesystem)及最后一个字段(Mounted on)分别是档案系统及其挂入点。我们可以看到 /dev/sda1 这个分割区被挂在根目录下。

接下来的四个字段 Size、Used、Avail、及 Use% 分别是该分割区的容量、已使用的大小、剩下的大小、及使用的百分比。 FreeBSD下,当硬盘容量已满时,您可能会看到已使用的百分比超过 100%,因为 FreeBSD 会留一些空间给 root,让 root 在档案系统满时,还是可以写东西到该档案系统中,以进行管理。

1.2 du命令

ps:实战经验,两者配合使用

//查看系统中文件的使用情况
df -h
//查看当前目录下各个文件及目录占用空间大小
du -sh *

//方法一:切换到要删除的目录,删除目录下的所有文件
rm -f *

//方法二:删除logs文件夹下的所有文件,而不删除文件夹本身
rm -rf log/*

 

下面的删除方式暂未尝试。

ls *.log | xargs rm -f

 

 

 

 du:查询文件或文件夹的磁盘使用空间

如果当前目录下文件和文件夹很多,使用不带参数du的命令,可以循环列出所有文件和文件夹所使用的空间。这对查看究竟是那个地方过大是不利的,所以得指定深入目录的层数,参数:--max-depth=,这是个极为有用的参数!

如下,注意使用“*”,可以得到文件的使用空间大小.

提醒:一向命令比linux复杂的FreeBSD,它的du命令指定深入目录的层数却是比linux简化,为 -d。

 

du -h --max-depth=1 /home

下面的命令与上面的命令有什么异同??

答:du -h --max-depth=1 /home仅列出home目录下面所有的一级目录文件大小;

du -h --max-depth=1 /home/* 列出home下面所有一级目录的一级目录文件大小。
du -h --max-depth=1 /home/*

1.3 查看linux文件目录的大小和文件夹包含的文件数    统计总数大小

du -sh xmldb/

du -sm * | sort -n //统计当前目录大小 并安大小 排序

du -sk * | sort -n

du -sk * | grep guojf //看一个人的大小

du -m | cut -d "/" -f 2 //看第二个/ 字符前的文字

查看此文件夹有多少文件 /*/*/* 有多少文件

du xmldb/

du xmldb/*/*/* |wc -l

40752

解释:

wc [-lmw]

参数说明:

-l :多少行

-m:多少字符

-w:多少字

1.4 Linux:ls以K、M、G为单位查看文件大小

ps:注意man命令的使用,按“q”键可以退出man查询。

#man ls

……

-h, --human-readable

                print sizes in human readable format (e.g., 1K 234M 2G)

……

# ls

cuss.war    nohup.out

# ls -l

total 30372

-rw-r--r--    1 root root 31051909 May 24 10:07 cuss.war

-rw-------    1 root root          0 Mar 20 13:52 nohup.out

# ls -lh

total 30M

-rw-r--r--    1 root root 30M May 24 10:07 cuss.war

-rw-------    1 root root     0 Mar 20 13:52 nohup.out

# ll -h

total 30M

-rw-r--r--    1 root root 30M May 24 10:07 cuss.war

-rw-------    1 root root     0 Mar 20 13:52 nohup.out

2 删除系统日志等

2.1 规范

linux下删除指定文件之外的其他文件
一、Linux下删除文件和文件夹常用命令如下:
删除文件: rm file  www.2cto.com
删除文件夹: rm -rf dir
需要注意的是, rmdir 只能够删除 空文件夹。
二、删除指定文件(夹)之外的所有文件呢?
  •  需要在当前文件夹中进行:
    #删除keep文件之外的所有文件
    rm -rf !(folder) 
    
    #删除folder1和folder2文件之外的所有文件
    rm -rf !(folder1 | folder2)
    
  • 当前文件夹中结合使用grep和xargs来处理文件名:
    #删除keep文件之外的所有文件
    ls | grep -v keep | xargs rm
    
说明: ls先得到当前的所有文件和文件夹的名字, grep -v keep,进行grep正则匹配查找keep,-v参数决定了结果为匹配之外的结果,也就是的到了keep之外的所有文件名,然后 xargs用于从 标准输入获得参数 并且传递给后面的命令,这里使用的命令是 rm,然后由rm删除前面选择的文件。
好处:使用了grep来正则表达式来匹配文件名字,可以一次保留多个文件,从而进行更加准确的处理。
  • 使用find命令代替ls,改进方法3从而能够处理制定文件夹的文件:
    #删除当前test文件夹中keep文件之外的所有文件
    find ./test/ | grep -v keep | xargs rm
    
说明,用grep而不用find -name选取名字,因为find选取名字时比较麻烦,对正则表达式支持不够,无法排除指定文件名。
  • 直接使用find命令删除其他文件:
    #删除keep以外的其他文件。
    find ./ -name '[^k][^e][^e][^p]*'  -exec rm -rf {} \; 
    
     #删除keep以外的其他文件。推荐!
    find ./ -name '[^k][^e][^e][^p]*'  | xargs rm -rf
    
说明:上面第二行的代码效率高些,原因在于删除多个文件时 -exec会启动多个进程来处理,而xargs会启动一个rm进程来处理。

3 实践

删除要慎重

3.1 保留删除

 

#删除生成 core,mbox等文件
find / -name core|xargs rm –rf

#删除日志
rm -rf /var/log/*

 

 

问题:日志文件中有很多文件,我想删除除debug.log 和sys.out 文件外的所有文件。

首先我要能够找到debug.log和sys.out这两个文件——

#建立查找规则
 vi test.txt 

^debug.log$
^sys.out$

尝试查找:

linux-hipe:/home/tws/server/basedata-server/logs # ls | grep -f test.txt 
debug.log
sys.out

删除要保留文件外的其它文件:

ls | grep -vf test.txt |xargs rm

#记得加v,保留要保留的文件,不要删错了

 

#删除,文件名中带有数字,超过30天的日志:
find -mtime +30 -name "*[0-9]*" -exec rm {} \;

评论

此博客中的热门博文

阿里云通过Nginx中转Linode/digitalocean/AWS的V2ray协议,实现负载均衡

开篇文的废话.原因是Sandy做站服务器太多了,发现利用率不高,皮又痒了又想折腾了.v2ray是利器但是给人的感觉就是只能用一台服务器,官方也说不支持负载均衡,不会A服务器挂机,自动跳转到B服务器.这里就有点折磨人了.每个服务器挂了都要自己去改配置文件. 我们访问国外的服务器,如果没CN2的线路是非常慢的,起码不快!哈哈~现在VPS都便宜起码人手一个人有5台以上吧?这样的话我们就可以开整. 开整条件:国内VPS或者阿里云有CN2线路的机器最好是100MB-200MB的带宽的.保证你爽歪歪.但是Sandy在阿里云HK30MB下也测试了也可以达到30000KB以上,羡慕吧~我们可以开始了! 老规则工具先出: 没被gwf和谐的服务器1台(下文统称:主服务器) 国外服务器2台以上(下文统称:从服务器) nginx 1.9.5版本以上(推荐:lnmp1.4) v2ray croe 第一步: 在 主服务器 安装lnmp1.4,这里就不细说教程了.直接去 官方 看教程 安装完毕以后我们来升级Nginx让他支持stream模块 cd lnmp1.4 vi lnmp.conf 在Nginx_Modules_Options=‘’里面加入--with-stream Nginx_Modules_Options='--with-stream’ 然后执行升级命令 ./upgrade.sh nginx  第二步 修改nginx.conf文件 cd /usr/local/nginx/conf/nginx.conf 在 events { use epoll; worker_connections 51200; multi_accept on; } 下面加入 stream{ server{ listen 0.0.0.0:8080; proxy_pass v2ray_backend; proxy_timeout 10m; proxy_connect_timeout 5000ms; } upstream v2ray_backend{ server ...

Mac下Aria2安装及其配置并设置开机启动

1.安装Homebrew 注:(如已安装,请忽略) 打开终端键入以下命令,等待完成 /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)" 2.安装最新版本aria2并配置 1.终端下输入以下命令 ➜ ~ brew install aria2 2.等待安装完成后,下载附件 Aria2相关配置下载地址 aria2 config 3.建立aria2文件夹 cd ~ // 创建aria2文件夹 mkdir ~/.aria2 4.打开刚才创建好的aria2文件夹 ➜ ~ open ~/.aria2 5.解压下载好的附件,将 下列文件 复制到aria2文件夹内 aria2.conf aria2.log aria2.session com.aria2c.plist com.google.Chrome.mobileconfig 6.将下载文件夹内的 aria2c 文件复制到 /usr/local/Cellar/aria2/1.33.1/bin 下 操作方式,终端输入命令 cd /usr/local/Cellar/aria2/1.33.1/bin 将该文件夹里的 aria2c 文件重命名为 aria2c.bak,再将下载文件夹内的 aria2c 复制进去 注: 1.理由是官方的 aria2c 版本最多支持16线程,sarkrui改好的aria2c版本支持128线程 2.文中所说的1.33.1是我当前从brew上下载下来的版本,实际以你brew下载下来的版本为准,如果和我版本不一致,请修改相关的1.33.1这个路径 7.右键使用文本编辑或sublime打开 aria2.conf 找到如下语句,将hsuyelin(本人电脑用户名)修改为你电脑的用户,修改完成 command+s 保存退出 #文件保存路径, 默认为当前启动位置 dir=/Users/hsuyelin/Downloads # 日志保存路径 log=/Users/hsuyelin/.aria2/aria2.log # 从会话文件中读取下载任务 input-file=/Users/hsu...

Android 用户必备良药「黑域」,专治「全家桶」唤醒烦恼

显然,这不是广告! 这么好的应用,不分享给尾巴们简直说不过去,于是我决定自己动手写一篇关于「黑域」的简单介绍。 那么在聊「黑域」之前,先说一下国产 Android 应用的尴尬之处。注意,以下信息不一定准确。 众所周知,谷歌服务在国内是被你懂的 XX 所干扰,而 Android 系统的诸多服务没有了这些支持的话就会变成残缺状态。比如推送服务,Android 是和 iOS 一样拥有系统层级的推送服务,这项服务叫做 Google Cloud Messaging,现在新名称是 Firebase Cloud Messaging 。 由于这项服务被干扰,国产 Android 应用如果想要推送消息给用户,通常都会选择「小米推送」、「极光推送」、「个推」等第三方推送服务,为了确保服务的可靠性,他们就得让应用处于运行状态,而非彻底从后台任务中清除。 然后,问题就来了。 国内各大手机厂商们为了确保手机运行的流畅性和稳定性,会选择让系统杀掉那些常驻在后台的应用进程。由于各家手机厂商的系统功能完全不同,杀进程的方法也就都不一样。举个例子,采用「小米推送」服务的 Android 应用在 MIUI 下可以获得最高的消息送达率,即使应用被切到后台也没关系,正常情况下它依然能够收到通知。但如果是在 Flyme OS 的话,当这款应用切到了后台那么很可能它的进程就会被杀掉,导致消息无法正常送达。   ▲ 让人又爱又恨的某些国产应用 为此,这些 Android 应用不得不采取一些措施以确保自家应用的推送通知能够送达用户,于是……噔噔噔!掌声有请「全家桶」登场!随后就…… 一个推送通知直接把多个应用同时唤醒,后台电量哗啦啦下降,机身发热,滑动卡顿……天呐,这简直就是灾难。如果手机厂商不针对这种状况做处理,最终结果可想而知。 当然,你可别以为这些国产应用只是为了推送才要常驻后台,比如自动下载安装包什么的,因为 Google Play 商店没有入华,应用也无法实现自动更新。为了确保用户使用最新版本的应用,常驻后台自动下载安装包什么的 ,呵呵呵。 这就是没有谷歌服务的 Android 在中国大环境下的现状,它显得非常具有中国特色,但本质上它是因为先天性缺陷才造成了今天的局面,是的,这一缺陷不是你光靠科学上网就能改变得了。 说到这里,某些非 Android 用户估计又要觉...