linux预分配文件大小

❶ linux文件系统基础知识

linux文件系统基础知识汇总

1、linux文件系统分配策略

块分配( block allocation ) 和 扩展分配 ( extent allocation )

块分配：磁盘上的文件块根据需要分配给文件，避免了存储空间的浪费。但当文件扩充时，会造成文件中文件块的不连续，从而导致过多的磁盘寻道时间。

每一次文件扩展时，块分配算法就需要写入文件块的结构信息，也就是 meta-dada 。meta-data总是与文件一起写入存储设备，改变文件的操作要等到所有meta-data的操作都完成后才能进行，

因此，meta-data的操作会明显降低整个文件系统的性能。

扩展分配： 文件创建时，一次性分配一连串连续的块，当文件扩展时，也一次分配很多块。meta-data在文件创建时写入，当文件大小没有超过所有已分配文件块大小时，就不用写入meta-data，直到需要再分配文件块的时候。

扩展分配采用成组分配块的方式，减少了SCSI设备写数据的时间，在读取顺序文件时具有良好的性能，但随机读取文件时，就和块分配类似了。

文件块的组或块簇 ( block cluster) 的大小是在编译时确定的。簇的大小对文件系统的性能有很大的影响。

注： meta-data 元信息：和文件有关的信息，比如权限、所有者以及创建、访问或更改时间等。

2、文件的记录形式

linux文家系统使用索引节点(inode)来记录文件信息。索引节点是一种数据结构，它包含了一个文件的长度、创建及修改时间、权限、所属关系、磁盘中的位置等信息。

一个文件系统维护了一个索引节点的数组，每个文件或目录都与索引节点数组中的唯一的元素对应。每个索引节点在数组中的索引号，称为索引节点号。

linux文件系统将文件索引节点号和文件名同时保存在目录中，所以，目录只是将文件的名称和它的索引节点号结合在一起的一张表，目录中每一对文件名称和索引节点号称为一个连接。

对于一个文件来说，有一个索引节点号与之对应;而对于一个索引节点号，却可以对应多个文件名。

连接分为软连接和硬连接，其中软连接又叫符号连接。

硬连接： 原文件名和连接文件名都指向相同的物理地址。目录不能有硬连接;硬连接不能跨文件系统(不能跨越不同的分区)，文件在磁盘中只有一个拷贝。

由于删除文件要在同一个索引节点属于唯一的连接时才能成功，因此硬连接可以防止不必要的误删除。

软连接： 用 ln -s 命令建立文件的符号连接。符号连接是linux特殊文件的.一种，作为一个文件，它的数据是它所连接的文件的路径名。没有防止误删除的功能。

3、文件系统类型：

ext2 ： 早期linux中常用的文件系统

ext3 ： ext2的升级版，带日志功能

RAMFS ： 内存文件系统，速度很快

NFS ： 网络文件系统，由SUN发明，主要用于远程文件共享

MS-DOS ： MS-DOS文件系统

VFAT ： Windows 95/98 操作系统采用的文件系统

FAT ： Windows XP 操作系统采用的文件系统

NTFS ： Windows NT/XP 操作系统采用的文件系统

HPFS ： OS/2 操作系统采用的文件系统

PROC : 虚拟的进程文件系统

ISO9660 ： 大部分光盘所采用的文件系统

ufsSun : OS 所采用的文件系统

NCPFS ： Novell 服务器所采用的文件系统

SMBFS ： Samba 的共享文件系统

XFS ： 由SGI开发的先进的日志文件系统，支持超大容量文件

JFS ：IBM的AIX使用的日志文件系统

ReiserFS : 基于平衡树结构的文件系统

udf: 可擦写的数据光盘文件系统

4、虚拟文件系统VFS

linux支持的所有文件系统称为逻辑文件系统，而linux在传统的逻辑文件系统的基础上增加料一个蓄念文件系统( Vitual File System ,VFS) 的接口层。

虚拟文件系统(VFS) 位于文件系统的最上层，管理各种逻辑文件系统，并可以屏蔽各种逻辑文件系统之间的差异，提供统一文件和设备的访问接口。

5、文件的逻辑结构

文件的逻辑结构可分为两大类： 字节流式的无结构文件 和 记录式的有结构文件。

由字节流(字节序列)组成的文件是一种无结构文件或流式文件 ，不考虑文件内部的逻辑结构，只是简单地看作是一系列字节的序列，便于在文件的任意位置添加内容。

由记录组成的文件称为记录式文件 ，记录是这种文件类型的基本信息单位，记录式文件通用于信息管理。

6、文件类型

普通文件 ： 通常是流式文件

目录文件 ： 用于表示和管理系统中的全部文件

连接文件 ： 用于不同目录下文件的共享

设备文件 ： 包括块设备文件和字符设备文件，块设备文件表示磁盘文件、光盘等，字符设备文件按照字符操作终端、键盘等设备。

管道(FIFO)文件 : 提供进程建通信的一种方式

套接字(socket) 文件： 该文件类型与网络通信有关

7、文件结构： 包括索引节点和数据

索引节点 ： 又称 I 节点，在文件系统结构中，包含有关相应文件的信息的一个记录，这些信息包括文件权限、文件名、文件大小、存放位置、建立日期等。文件系统中所有文件的索引节点保存在索引节点表中。

数据 ： 文件的实际内容。可以是空的，也可以非常大，并且拥有自己的结构。

8、ext2文件系统

ext2文件系统的数据块大小一般为 1024B、2048B 或 4096B

ext2文件系统采用的索引节点(inode)：

索引节点采用了多重索引结构，主要体现在直接指针和3个间接指针。直接指针包含12个直接指针块，它们直接指向包含文件数据的数据块，紧接在后面的3个间接指针是为了适应文件的大小变化而设计的。

e.g： 假设数据块大小为1024B ，利用12个直接指针，可以保存最大为12KB的文件，当文件超过12KB时，则要利用单级间接指针，该指针指向的数据块保存有一组数据块指针，这些指针依次指向包含有实际数据的数据块，

假如每个指针占用4B，则每个单级指针数据块可保存 1024/4=256 个数据指针，因此利用直接指针和单级间接指针可保存 1024*12+1024*256=268 KB的文件。当文件超过268KB时，再利用二级间接指针，直到使用三级间接指针。

利用直接指针、单级间接指针、二级间接指针、三级间接指针可保存的最大文件大小为：

1024*12+1024*256+1024*256*256+1024*256*256*256=16843020 KB，约 16GB

若数据块大小为2048B，指针占4B，则最大文件大小为： 2048*12+2048*512+2048*512*512+2048*512*512*512=268,960,792 KB 约 268GB

若数据块大小为4096B，指针占4B，则最大文件大小为： 4096*12+4096*1024+4096*1024*1024+4096*1024*1024*1024=4,299,165,744 KB ，约 4TB

注： 命令 tune2fs -l /dev/sda5 可查看文件系统

ext2文件系统最大文件名长度： 255个字符

ext2文件系统的缺点：

ext2在写入文件内容的同时并没有同时写入文件meta-data， 其工作顺序是先写入文件的内容，然后等空闲时候才写入文件的meta-data。若发生意外，则文件系统就会处于不一致状态。

在重新启动系统的时候，linux会启动 fsk ( file system check) 的程序，扫描整个文件系统并试图修复，但不提供保证。

9、ext3文件系统：

ext3基于ext2的代码，所以磁盘格式与ext2相同，使用相同的元数据。

ext2文件系统无损转化为ext3文件系统： tune2fs -j /dev/sda6

日志块设备( Journaling block device layer,JBD)完成ext3文件系统日志功能。JBD不是ext3文件系统所特有的，它的设计目标是为了向一个块设备添加日志功能。

当一个文件修改执行时，ext3文件系统代码将通知JBD，称为一个事务(transaction)。发生意外时，日志功能具有的重放功能，能重新执行中断的事务。

日志中的3种数据模式：

1)、data=writeback ：不处理任何形式的日志数据，给用户整体上的最高性能

2)、data=odered ：只记录元数据日志，但将元数据和数据组成一个单元称为事务(transaction) 。此模式保持所句句的可靠性与文件系统的一致性，性能远低于data=writeback模式，但比data=journal模式快

3)、data=journal ：提供完整的数据及元数据日志，所有新数据首先被写入日志，然后才被定位。意外发生过后，日志可以被重放，将数据与元数据带回一致状态。这种模式整体性能最慢，但数据需要从磁盘读取和写入磁盘时却是3种模式中最快的。

ext3文件系统最大文件名长度： 255个字符

ext3文件系统的优点：可用性、数据完整性、速度、兼容性

10、ReiserFS文件系统

ReiserFS文件系统是由Hans Reiser和他领导的开发小组共同开发的，整个文件系统完全是从头设计的，是一个非常优秀的文件系统。也是最早用于Linux的日志文件系统之一。

ReiserFS的特点

先进的日志机制

ReiserFS有先进的日志(Journaling/logging)功能 机制。日志机制保证了在每个实际数据修改之前，相应的日志已经写入硬盘。文件与数据的安全性有了很大提高。

高效的磁盘空间利用

Reiserfs对一些小文件不分配inode。而是将这些文件打包，存放在同一个磁盘分块中。而其它文件系统则为每个小文件分别放置到一个磁盘分块中。

独特的搜寻方式

ReiserFS基于快速平衡树(balanced tree)搜索，平衡树在性能上非常卓越，这是一种非常高效的算法。ReiserFS搜索大量文件时，搜索速度要比ext2快得多。Reiserfs文件 系统使用B*Tree存储文件，而其它文件系统使用B+Tree树。B*Tree查询速度比B+Tree要快很多。Reiserfs在文件定位上速度非常 快。

在实际运用中，ReiserFS 在处理小于 4k 的文件时，比ext2 快 5 倍;带尾文件压缩功能(默认)的ReiserFS 比ext2文件系统多存储6%的数据。

支持海量磁盘

ReiserFS是一个非常优秀的文件系统，一直被用在高端UNIX系统上，可轻松管理上百G的文件系统，ReiserFS文件系统最大支持的文件系统尺寸为16TB。这非常适合企业级应用中。

优异的性能

由于它的高效存储和快速小文件I/O特点，使用ReiserFs文件系统的PC，在启动X窗口系统时，所花的时间要比在同一台机器上使用ext2文 件系统少1/3。另外，ReiserFS文件系统支持单个文件尺寸为4G的文件，这为大型数据库系统在linux上的应用提供了更好的选择。

;

❷ Vmware6.0下虚拟Linux系统，预分配磁盘200g，预分配太大了，有办法缩小到100g吗

有啊，重新编辑虚拟磁盘大小就是，关机后再操作。

❸ Linux使用dd命令创建特定大小文件最简单的方法及文件杂谈

linux使用dd命令创建特定大小文件最简单的方法及文件杂谈创建特定大小文件最简单的方法是使用
dd
命令。dd
if=inputFileName
of=outFileName
bs=块大小
count=块个数块大小可以使用各种计量单位字节(1B)
-
c
字(2B)
-
w
块(512B)
-
b
千字节(1024B)
-
k兆字节(1024K)
-
M
吉字节(1024M)
-
G例：dd
if=/dev/zero
of=test.file
bs=1M
count=10在当前文件夹下创建一个大小为10M的文件test.file
内容全为0/dev/zero
是一个字符设备，它会不断返回0值字节（/0）.如果不指定输入参数(if)，默认情况会从stdin读取输入。如果不指定输出参数(of)，默认情况会将stdout作为输出。也可用
dd
命令来传输大量数据来测试内存的操作速度。$
dd
if=/dev/zero
of=./testmm.file
bs=10M
count=10记录了10+0
的读入记录了10+0
的写出104857600字节(105
MB)已复制，0.577581
秒，182
MB/秒$
ll
-h
|grep
'testmm.file'-rw-rw-r--.
1
itu
itu
100M
7月
16
18:14
testmm.file文件类型：一般文件：
-目录文件：
d字符设备：
c块设备:
b链接文件：
l套接字文件:
s管道文件：
p目录的读、写、执行权限意义：读权限：允许读取目录中文件和子目录的列表写权限：允许在目录中新建和删除文件或子目录执行权限：可以访问目录中的文件和子目录

❹ linux支持的最大文件大小（能否支持大小4G以上的文件）[ZSHAO]

？oracle（linux平台）建立的数据文件
能否支持大小4G以上的文件？答：Linux下的文件系统极少有这么愚蠢的限制，不过任何文件系统都是有限制的。
下面是个不完整的小列表：
NTFS（Windows）：支持最大分区2TB，最大文件2TB
FAT16（Windows）：支持最大分区2GB，最大文件2GB
FAT32（Windows）：支持最大分区128GB，最大文件4GBExt2最大文件大小: 1TB
最大文件极限: 仅受文件系统大小限制
最大分区/文件系统大小: 4TB
最大文件名长度: 255 字符
缺省最小/最大块大小: 1024/4096 字节
缺省inode分配: 每4096字节为1
在强制FS检查前的最大装载: 20(可配置)
//REDHAT9默认是ext3的文件系统Ext3最大文件大小: 1TB
最大文件极限: 仅受文件系统大小限制
最大分区/文件系统大小: 4TB
最大文件名长度: 255 字符
缺省最小/最大块大小: 1024/4096 字节
缺省inode分配: 每4096字节为1
在强制FS检查前的最大装载: 20(可配置)ReiserFS最大文件大小: 1TB
最大文件极限: 32k目录,42亿文件
最大分区/文件系统大小: 4TB
最大文件名长度: 255 字符JFS最小文件系统大小 16 MB
最大文件大小: 受体系结构限制
最大文件极限: 受文件系统大小限制
缺省最小/最大块大小: 1024/4096 字节
缺省inode分配: 动态

❺ Linux blockdev命令设置文件预读大小介绍

在命令行调用设备的ioctl函数。在Linux系统中，似乎对设备的直接操作只有ioctl函数了。他接受的参数不是太多，而且都是一一对应的。
blockdev
-
从命令行调用区块设备控制程序
blockdev
[options]
commands
devices
blockdev
工具允许从命令行调用区块设备控制程序。
–setro
设置设备为只读
–getro
读取设备是否为只读（成功为1，0则为可读写）
–setrw
设置设别为可读写
–getss
打印设备的扇区大小，通常是512
–getsize
打印设别的容量，按照一个扇区512个字节计算
–setra
N
设置预读扇区（512字节）为N个.Set
readahead
to
N
512-byte
sectors.
–getra
打印readahead（预读扇区）
–flushbufs
刷新缓冲
–rereadpt
重读分区表。
觉得–setro,setrw比较有用，这个mount
-o
ro(rw)是有区别的，mount是在文件系统这个级别上对某个分区挂载为只读或可读写。而blockdev则是在设别这个级别上设置为只读和可读写。
看下面的命令输出结果就一目了然了。
代码如下:
[root@lancy
~]#
blockdev
–setro
/dev/hda4
[root@lancy
~]#
blockdev
–getro
/dev/hda4
1
[root@lancy
~]#
mount
/dev/hda4
/misc
-o
rw
mount:
block
device
/dev/hda4
is
write-protected,
mounting
read-only
[root@lancy
~]#
umount
/dev/hda4
[root@lancy
~]#
blockdev
–setrw
/dev/hda4
[root@lancy
~]#
blockdev
–getro
/dev/hda4
0
[root@lancy
~]#
mount
/dev/hda4
/misc
-o
rw
[root@lancy
~]#
touch
/misc/one
[root@lancy
~]#
umount
/dev/hda4
[root@lancy
~]#
mount
/dev/hda4
/misc
-o
ro
[root@lancy
~]#
rm
-f
/misc/one
rm:
无法删除‘/misc/one’:
只读文件系统

❻ linux 怎么给mysql分配内存大小

linux 怎么给mysql分配内存大小
修改mysql配置文件，优化缓存大小和连接数连接方式，优化sql语句 ,记得mysql好像是有工具可以查看最占用资源的sql语句，找到他，优化他。安装好mysql后，配制文件应该在/usr/local/mysql/share/mysql目录中，配制文件有几个，有my-huge.cnf my-medium.cnf my-large.cnf my-small.cnf,不同的流量的网站和不同配制的服务器环境，当然需要有不同的配制文件了。

❼ Linux下生成的文件能超过2G吗

问题;在64位linux下设置32位环境变量后是不是还是有2G限制?
悬赏分:35 - 离问题结束还有 1 天 16 小时
如题，gambit软件在生成文件时到2G时就自动关闭，xshell中显示超出文件限制。谢谢

回答,一般是没有时间限制的饿，中额外内显示和外文显示都一样,只要犯得上咔叽大撒但是解放抗敌素机反对撒

❽ linux ext4分区多大合理

这个完全取决于 linux系统的 文件分区类型,比如 ext3 和ext4这两种文件分区类型，Ext3目前所支持的最大16TB文件系统和最大2TB文件，Ext4分别支持1EB的文件系统，以及16TB的文件。

以下是Ext4和Ext3的特点和区别：Linuxkernel自2.6.28开始正式支持新的文件系统Ext4。Ext4是Ext3的改进版，修改了Ext3中部分重要的数据结构，而不仅仅像Ext3对Ext2那样，只是增加了一个日志功能而已。Ext4可以提供更佳的性能和可靠性，还有更为丰富的功能：
1.与Ext3兼容。执行若干条命令，就能从Ext3在线迁移到Ext4，而无须重新格式化磁盘或重新安装系统。原有Ext3数据结构照样保留，Ext4作用于新数据，当然，整个文件系统因此也就获得了Ext4所支持的更大容量。
2.更大的文件系统和更大的文件。较之Ext3目前所支持的最大16TB文件系统和最大2TB文件，Ext4分别支持1EB（1,048,576TB，1EB=1024PB，1PB=1024TB）的文件系统，以及16TB的文件。
3.无限数量的子目录。Ext3目前只支持32,000个子目录，而Ext4支持无限数量的子目录。4.Extents。Ext3采用间接块映射，当操作大文件时，效率极其低下。比如一个100MB大小的文件，在Ext3中要建立25,600个数据块（每个数据块大小为4KB）的映射表。而Ext4引入了现代文件系统中流行的extents概念，每个extent为一组连续的数据块，上述文件则表示为“该文件数据保存在接下来的25,600个数据块中”，提高了不少效率。
5.多块分配。当写入数据到Ext3文件系统中时，Ext3的数据块分配器每次只能分配一个4KB的块，写一个100MB文件就要调用25,600次数据块分配器，而Ext4的多块分配器“multiblockallocator”（mballoc）支持一次调用分配多个数据块。
6.延迟分配。Ext3的数据块分配策略是尽快分配，而Ext4和其它现代文件操作系统的策略是尽可能地延迟分配，直到文件在cache中写完才开始分配数据块并写入磁盘，这样就能优化整个文件的数据块分配，与前两种特性搭配起来可以显著提升性能。
7.快速fsck。以前执行fsck第一步就会很慢，因为它要检查所有的inode，现在Ext4给每个组的inode表中都添加了一份未使用inode的列表，今后fsckExt4文件系统就可以跳过它们而只去检查那些在用的inode了。
8.日志校验。日志是最常用的部分，也极易导致磁盘硬件故障，而从损坏的日志中恢复数据会导致更多的数据损坏。Ext4的日志校验功能可以很方便地判断日志数据是否损坏，而且它将Ext3的两阶段日志机制合并成一个阶段，在增加安全性的同时提高了性能。
9.“无日志”（NoJournaling）模式。日志总归有一些开销，Ext4允许关闭日志，以便某些有特殊需求的用户可以借此提升性能。
10.在线碎片整理。尽管延迟分配、多块分配和extents能有效减少文件系统碎片，但碎片还是不可避免会产生。Ext4支持在线碎片整理，并将提供e4defrag工具进行个别文件或整个文件系统的碎片整理。
11.inode相关特性。Ext4支持更大的inode，较之Ext3默认的inode大小128字节，Ext4为了在inode中容纳更多的扩展属性（如纳秒时间戳或inode版本），默认inode大小为256字节。Ext4还支持快速扩展属性（fastextendedattributes）和inode保留（inodesreservation）。
12.持久预分配（Persistentpreallocation）。P2P软件为了保证下载文件有足够的空间存放，常常会预先创建一个与所下载文件大小相同的空文件，以免未来的数小时或数天之内磁盘空间不足导致下载失败。Ext4在文件系统层面实现了持久预分配并提供相应的API（libc中的(posix_fallocate)），比应用软件自己实现更有效率。
13.默认启用barrier。磁盘上配有内部缓存，以便重新调整批量数据的写操作顺序，优化写入性能，因此文件系统必须在日志数据写入磁盘之后才能写commit记录，若commit记录写入在先，而日志有可能损坏，那么就会影响数据完整性。Ext4默认启用barrier，只有当barrier之前的数据全部写入磁盘，才能写barrier之后的数据。（可通过"mount-obarrier=0"命令禁用该特性。）

以上希望能帮到你。呵呵