导航:首页 > 文件类型 > linux文件处理技巧

linux文件处理技巧

发布时间:2023-03-08 03:33:36

linux 如何处理已经打开的文件的操作

和Windows下一样,打开文件时都可以指定打开文件模式:只独,只写,共享读,共享写,等。
多处打开时,别处的操作也是会受限制的(不是最后一个,则并不能真正的删除)。
另外在Temp程序中也要做容错处理。

❷ linux小技巧

其实你说的没错,linux需要细心,可是你如果是去看别人的,那永远是别人注意的到问题,而不是你的。还不如自己去做,出了问题去网络或者问人。这样比问一些技巧有用多了。

❸ linux文件压缩解压缩命令之bzip2常用方法介绍

命令名称:bzip2

命令所在路径:/usr/bin/bzip2

执行权限:所有用户

语法:bzip2 [压缩文件]

功能描述:压缩文件

压缩后文件格式: .bz2

bzip2命令只能对文件进行压缩和解压缩操作,不能压缩目录

1, 使用 $ yum list bzip2来查看当前是否安装了bzip2软件包

2, 如果没有安装,执行$ yum install bzip2就可以了(前提是系统可以访问互联网)

3, 在确认已经安装了bzip2软件包的前提下,执行压缩和解压缩操作,比如对/test/1.txt文件进行压缩,压缩后文件名称为1.txt.bz2

4, 解压时有2种方式

-- 解压命令:bunzip2 file.bz2

-- 解压命令:bzip2 -d file.bz2

可以保留原文件解压,也可以不保留原文件解压,不保留原文件解压命令为 $ bunzip2 1.txt.bz2;完了解压出文件1.txt,并且原文件消失

保留原文解压命令为 $ bzip2 -dk 1.txt.bz2, 完了解压出1.txt, 并且原文件依然保留

5, bzip2可以同时压缩多个文件,压缩多个文件时,文件与文件之间空格隔开,比如:

$ bzip2 1.txt 2.txt

文件可以是相对路径下的文件,也可以是绝对路径下的文件.

6, 解压时,如果当前路径下存在相同名字的文件,如果需要不提示直接覆盖,可以使用选项-f

比如: $ bzip2 -df 1.txt.bz2

否则就会提示解压不成功

以上是关于bzip2的常用方法介绍,更多内容可以通过man bzip2或者bzip2 --help来获取.

❹ linux中快速清空文件内容的几种方法

linux下快速删除大量文件假如你要在linux下删除大量文件,比如100万、万,像/var/spool/clientmqueue/的mail邮件,像/usr/local/nginx/proxy_temp的nginx缓存等,那么rm -rf *可能就不好使了。rsync提供了一些跟删除相关的参数 rsync --help grep delete --del an alias for --delete-ring --delete delete files that don't exist on the sending side --delete-before receiver deletes before transfer (default) --delete-ring receiver deletes ring transfer, not before --delete-after receiver deletes after transfer, not before --delete-excluded also delete excluded files on the receiving side --ignore-errors delete even if there are I/O errors --max-delete=NUM don't delete more than NUM files其中--delete-before 接收者在传输之前进行删除操作 可以用来清空目录或文件,如下:1、先建立一个空目录mkdir /data/blank2、用rsync删除目标目录rsync --delete-before -d /data/blank/ /var/spool/clientmqueue/这样目标目录很快就被清空了又假如你有一些特别大的文件要删除,比如nohup.out这样的实时更新的文件,动辄都是几十个G上百G的,也可 以用rsync来清空大文件,而且效率比较高1、创建空文件touch /data/blank.txt2、用rsync清空文件rsync -a --delete-before --progress --stats /root/blank.txt /root/nohup.outbuilding file list ...1 file to considerblank.txt 0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1)Number of files: 1Number of files transferred: 1Total file size: 0 bytesTotal transferred file size: 0 bytesLiteral data: 0 bytesMatched data: 0 bytesFile list size: 27File list generation time: 0.006 secondsFile list transfer time: 0.000 secondsTotal bytes sent: 73Total bytes received: 31 sent 73 bytes received 31 bytes 208.00 bytes/sectotal size is 0 speep is 0.00tips:当SRC和DEST文件性质不一致时将会报错当SRC和DEST性质都为文件【f】时,意思是清空文件内容而不是删除文件当SRC和DEST性质都为目录【d】时,意思是删除该目录下的所有文件,使其变为空目录最重要的是,它的处理速度相当快,处理几个G的文件也就是秒级的事最核心的内容是:rsync实际上用的就是替换原理作者 张慧

❺ linux文件系统基础知识

linux文件系统基础知识汇总

1、linux文件系统分配策略

块分配( block allocation ) 和 扩展分配 ( extent allocation )

块分配:磁盘上的文件块根据需要分配给文件,避免了存储空间的浪费。但当文件扩充时,会造成文件中文件块的不连续,从而导致过多的磁盘寻道时间。

每一次文件扩展时,块分配算法就需要写入文件块的结构信息,也就是 meta-dada 。meta-data总是与文件一起写入存储设备,改变文件的操作要等到所有meta-data的操作都完成后才能进行,

因此,meta-data的操作会明显降低整个文件系统的性能。

扩展分配: 文件创建时,一次性分配一连串连续的块,当文件扩展时,也一次分配很多块。meta-data在文件创建时写入,当文件大小没有超过所有已分配文件块大小时,就不用写入meta-data,直到需要再分配文件块的时候。

扩展分配采用成组分配块的方式,减少了SCSI设备写数据的时间,在读取顺序文件时具有良好的性能,但随机读取文件时,就和块分配类似了。

文件块的组或块簇 ( block cluster) 的大小是在编译时确定的。簇的大小对文件系统的性能有很大的影响。

注: meta-data 元信息:和文件有关的信息,比如权限、所有者以及创建、访问或更改时间等。

2、文件的记录形式

linux文家系统使用索引节点(inode)来记录文件信息。索引节点是一种数据结构,它包含了一个文件的长度、创建及修改时间、权限、所属关系、磁盘中的位置等信息。

一个文件系统维护了一个索引节点的数组,每个文件或目录都与索引节点数组中的唯一的元素对应。每个索引节点在数组中的索引号,称为索引节点号。

linux文件系统将文件索引节点号和文件名同时保存在目录中,所以,目录只是将文件的名称和它的索引节点号结合在一起的一张表,目录中每一对文件名称和索引节点号称为一个连接。

对于一个文件来说,有一个索引节点号与之对应;而对于一个索引节点号,却可以对应多个文件名。

连接分为软连接和硬连接,其中软连接又叫符号连接。

硬连接: 原文件名和连接文件名都指向相同的物理地址。目录不能有硬连接;硬连接不能跨文件系统(不能跨越不同的分区),文件在磁盘中只有一个拷贝。

由于删除文件要在同一个索引节点属于唯一的连接时才能成功,因此硬连接可以防止不必要的误删除。

软连接: 用 ln -s 命令建立文件的符号连接。符号连接是linux特殊文件的.一种,作为一个文件,它的数据是它所连接的文件的路径名。没有防止误删除的功能。

3、文件系统类型:

ext2 : 早期linux中常用的文件系统

ext3 : ext2的升级版,带日志功能

RAMFS : 内存文件系统,速度很快

NFS : 网络文件系统,由SUN发明,主要用于远程文件共享

MS-DOS : MS-DOS文件系统

VFAT : Windows 95/98 操作系统采用的文件系统

FAT : Windows XP 操作系统采用的文件系统

NTFS : Windows NT/XP 操作系统采用的文件系统

HPFS : OS/2 操作系统采用的文件系统

PROC : 虚拟的进程文件系统

ISO9660 : 大部分光盘所采用的文件系统

ufsSun : OS 所采用的文件系统

NCPFS : Novell 服务器所采用的文件系统

SMBFS : Samba 的共享文件系统

XFS : 由SGI开发的先进的日志文件系统,支持超大容量文件

JFS :IBM的AIX使用的日志文件系统

ReiserFS : 基于平衡树结构的文件系统

udf: 可擦写的数据光盘文件系统

4、虚拟文件系统VFS

linux支持的所有文件系统称为逻辑文件系统,而linux在传统的逻辑文件系统的基础上增加料一个蓄念文件系统( Vitual File System ,VFS) 的接口层。

虚拟文件系统(VFS) 位于文件系统的最上层,管理各种逻辑文件系统,并可以屏蔽各种逻辑文件系统之间的差异,提供统一文件和设备的访问接口。

5、文件的逻辑结构

文件的逻辑结构可分为两大类: 字节流式的无结构文件 和 记录式的有结构文件。

由字节流(字节序列)组成的文件是一种无结构文件或流式文件 ,不考虑文件内部的逻辑结构,只是简单地看作是一系列字节的序列,便于在文件的任意位置添加内容。

由记录组成的文件称为记录式文件 ,记录是这种文件类型的基本信息单位,记录式文件通用于信息管理。

6、文件类型

普通文件 : 通常是流式文件

目录文件 : 用于表示和管理系统中的全部文件

连接文件 : 用于不同目录下文件的共享

设备文件 : 包括块设备文件和字符设备文件,块设备文件表示磁盘文件、光盘等,字符设备文件按照字符操作终端、键盘等设备。

管道(FIFO)文件 : 提供进程建通信的一种方式

套接字(socket) 文件: 该文件类型与网络通信有关

7、文件结构: 包括索引节点和数据

索引节点 : 又称 I 节点,在文件系统结构中,包含有关相应文件的信息的一个记录,这些信息包括文件权限、文件名、文件大小、存放位置、建立日期等。文件系统中所有文件的索引节点保存在索引节点表中。

数据 : 文件的实际内容。可以是空的,也可以非常大,并且拥有自己的结构。

8、ext2文件系统

ext2文件系统的数据块大小一般为 1024B、2048B 或 4096B

ext2文件系统采用的索引节点(inode):

索引节点采用了多重索引结构,主要体现在直接指针和3个间接指针。直接指针包含12个直接指针块,它们直接指向包含文件数据的数据块,紧接在后面的3个间接指针是为了适应文件的大小变化而设计的。

e.g: 假设数据块大小为1024B ,利用12个直接指针,可以保存最大为12KB的文件,当文件超过12KB时,则要利用单级间接指针,该指针指向的数据块保存有一组数据块指针,这些指针依次指向包含有实际数据的数据块,

假如每个指针占用4B,则每个单级指针数据块可保存 1024/4=256 个数据指针,因此利用直接指针和单级间接指针可保存 1024*12+1024*256=268 KB的文件。当文件超过268KB时,再利用二级间接指针,直到使用三级间接指针。

利用直接指针、单级间接指针、二级间接指针、三级间接指针可保存的最大文件大小为:

1024*12+1024*256+1024*256*256+1024*256*256*256=16843020 KB,约 16GB

若数据块大小为2048B,指针占4B,则最大文件大小为: 2048*12+2048*512+2048*512*512+2048*512*512*512=268,960,792 KB 约 268GB

若数据块大小为4096B,指针占4B,则最大文件大小为: 4096*12+4096*1024+4096*1024*1024+4096*1024*1024*1024=4,299,165,744 KB ,约 4TB

注: 命令 tune2fs -l /dev/sda5 可查看文件系统

ext2文件系统最大文件名长度: 255个字符

ext2文件系统的缺点:

ext2在写入文件内容的同时并没有同时写入文件meta-data, 其工作顺序是先写入文件的内容,然后等空闲时候才写入文件的meta-data。若发生意外,则文件系统就会处于不一致状态。

在重新启动系统的时候,linux会启动 fsk ( file system check) 的程序,扫描整个文件系统并试图修复,但不提供保证。

9、ext3文件系统:

ext3基于ext2的代码,所以磁盘格式与ext2相同,使用相同的元数据。

ext2文件系统无损转化为ext3文件系统: tune2fs -j /dev/sda6

日志块设备( Journaling block device layer,JBD)完成ext3文件系统日志功能。JBD不是ext3文件系统所特有的,它的设计目标是为了向一个块设备添加日志功能。

当一个文件修改执行时,ext3文件系统代码将通知JBD,称为一个事务(transaction)。发生意外时,日志功能具有的重放功能,能重新执行中断的事务。

日志中的3种数据模式:

1)、data=writeback :不处理任何形式的日志数据,给用户整体上的最高性能

2)、data=odered :只记录元数据日志,但将元数据和数据组成一个单元称为事务(transaction) 。此模式保持所句句的可靠性与文件系统的一致性,性能远低于data=writeback模式,但比data=journal模式快

3)、data=journal :提供完整的数据及元数据日志,所有新数据首先被写入日志,然后才被定位。意外发生过后,日志可以被重放,将数据与元数据带回一致状态。这种模式整体性能最慢,但数据需要从磁盘读取和写入磁盘时却是3种模式中最快的。

ext3文件系统最大文件名长度: 255个字符

ext3文件系统的优点:可用性、数据完整性、速度、兼容性

10、ReiserFS文件系统

ReiserFS文件系统是由Hans Reiser和他领导的开发小组共同开发的,整个文件系统完全是从头设计的,是一个非常优秀的文件系统。也是最早用于Linux的日志文件系统之一。

ReiserFS的特点

先进的日志机制

ReiserFS有先进的日志(Journaling/logging)功能 机制。日志机制保证了在每个实际数据修改之前,相应的日志已经写入硬盘。文件与数据的安全性有了很大提高。

高效的磁盘空间利用

Reiserfs对一些小文件不分配inode。而是将这些文件打包,存放在同一个磁盘分块中。而其它文件系统则为每个小文件分别放置到一个磁盘分块中。

独特的搜寻方式

ReiserFS基于快速平衡树(balanced tree)搜索,平衡树在性能上非常卓越,这是一种非常高效的算法。ReiserFS搜索大量文件时,搜索速度要比ext2快得多。Reiserfs文件 系统使用B*Tree存储文件,而其它文件系统使用B+Tree树。B*Tree查询速度比B+Tree要快很多。Reiserfs在文件定位上速度非常 快。

在实际运用中,ReiserFS 在处理小于 4k 的文件时,比ext2 快 5 倍;带尾文件压缩功能(默认)的ReiserFS 比ext2文件系统多存储6%的数据。

支持海量磁盘

ReiserFS是一个非常优秀的文件系统,一直被用在高端UNIX系统上,可轻松管理上百G的文件系统,ReiserFS文件系统最大支持的文件系统尺寸为16TB。这非常适合企业级应用中。

优异的性能

由于它的高效存储和快速小文件I/O特点,使用ReiserFs文件系统的PC,在启动X窗口系统时,所花的时间要比在同一台机器上使用ext2文 件系统少1/3。另外,ReiserFS文件系统支持单个文件尺寸为4G的文件,这为大型数据库系统在linux上的应用提供了更好的选择。

;

❻ Linux目录及文件如何操作

处理目录的常用命令

接下来我们就来看几个常见的处理目录的命令吧:

❼ linux下的gedit命令使用方法与技巧

1、启动:
从菜单启动:应用程序——>附件——>文本编辑器
从命令行执行以下命令:
gedit
2、窗口说明:
菜单栏:包含您在
gedit
中处理文件所需的所有命令。
工具栏:包含您可以从菜单栏访问的命令的子集。
显示区域:该区域包含您正在编辑的文件的文本。
输出窗口:显示
Shell
命令插件和比较文件插件返回的输出。
状态栏:显示关于当前
gedit
活动的信息和关于菜单项的上下文信息。
3、小技巧:
a、打开多个文件:
要从命令行打开多个文件,请键入下面的命令,然后按下回车键:gedit
file1.txt
file2.txt
file3.txt
b、将命令输出输送到文件中:
例如,要将
ls
命令的输出输送到一个文本文件中,请键入
ls
|
gedit,然后按下回车键。ls
命令的输出就会显示在
gedit
窗口的一个新文件中。
c、更改突出显示模式以适用文件编写:
查看——>突出显示模式——>标记语言——>HTML即可以彩色模式查看html文件
d、善用插件:
文档统计信息:计算当前文件中的行数、单词数、字符数及字节数。该插件将结果显示在一个文档统计信息对话框中。
缩进行:对选定的行进行缩进,或从选定的行删除缩进。
插入日期/时间:在文件中插入当前日期和时间。
Shell:命令在输出窗口中显示
shell
命令的文本输出。
排序:对选定的文本进行排序。
e、快捷键:
CTRL-Z:撤销
CTRL-C:复制
CTRL-V:粘贴
CTRL-T:缩进
CTRL-Q:退出
CTRL-S:保存
CTRL—R:替换
CTRL+Tab
切换
CTRL+W
关闭选项卡
作者
sunstars2009918

阅读全文

与linux文件处理技巧相关的资料

热点内容
f16的solidworks教程 浏览:797
iphone6如何设定睡眠模式 浏览:455
卖配件app都有哪些 浏览:57
discuz门户视频教程 浏览:118
javadom4j写 浏览:461
linux文件夹权限只读不能写 浏览:100
索引码表文件打开失败 浏览:399
如何改变word中所有图片的大小 浏览:200
qq绿钻帐号获取工具 浏览:47
发送文件到u盘是什么意思 浏览:765
人力资源数据分析师在哪里报考 浏览:862
java判断字节 浏览:464
文件照有角度没照好用ps怎么修补 浏览:814
嵌入式系统教程pdf 浏览:378
电视机有线怎么设置无线网络呢 浏览:228
creo怎么改配置文件中文 浏览:56
saiapp 浏览:870
递归分解质因数c程序 浏览:889
虚拟机怎么建立linux 浏览:895
使用临时配置文件登陆什么意思 浏览:597

友情链接