这些其实一般是被处理过的UTF-8码。是什么码主要看该文档用什么编码存储的文本,一般默认为UTF-8码。
Linux对cat命令的详细解释为:
`-v'
`--show-nonprinting'
Display control characters except for LFD and TAB using `^'
notation and precede characters that have the high bit set with `M-'.
意思是:
用‘^’输出控制字符除了LFD和TAB
每个字节最高位为1的字符就用‘M-’替代每个字节的最高位(隐含的意思是一个字节的最高位为1的话就把最高位和低7位分离开来,并分别表示,最高位用‘M-’表示,低7位根据ASCII码表用对应的字符表示)
可以看出,这个-v是直接读取文件的字节来输出的,除了LFD、TAB和分隔符之外全部用以上规则输出。文件头部分的字节当然就忽略啦,因为文件头部分记录了该文本文件用什么编码存储,不是文本具体内容。
控制字符用‘^’的表示方法如下表(若读取到的字节属于控制字符的范围就认定为控制字符,即字节00000000~00011111):
例如(如果是以UTF-8码的形式存储):
汉字“文”,其UTF-8码为(十六进制):E6 96 87,二进制表示为:11100110,10010110,10000111;每个字节最高位都为1,所以每个字符前都带一个‘M-’;剩下的低7位为:01100110,00010110,00000111,对应的ASCII码字符为:f ^V ^G;依次连接起来后就是:
M-fM-^VM-^G
想验证可以这样:倒着来转换,先找出3个ASCII码字符,然后进行转换,转成3个二进制表示的字节,然后每个字节最高位置为1,然后再用UTF-8与Unicode之间的转换规则转成Unicode码,然后用字符映射表进行查找、验证,看是不是正确的字符。
“UTF-8与Unicode之间的转换规则”详见:http://blog.csdn.net/xiongxiao/article/details/3741731
不同的编码存储的字节是不一样的,例如:‘文’字,UTF-8码为E6 96 87,Unicode码为65 87,GBK码为CE C4。
2. Linux系统下文件名出现中文乱码如何重命名回来
一不小心在给文件重命名的时候输入了中文字符,结果导致文件名乱码,无法通过cat, less, rm 或者mv 之类的命令操作了。
如何重新命名它,使得其恢复正常呢?
据说linux下每个文件还有一个文件节点编号,对应于每个特定的文件。可以通过find 该节点编号来执行重命名操作。
ls -i res???_out.txt
144117972422752993 res???_out.txt
前面的数字串就是节点编号
find . -inum 144117972422752993 -exec mv {} res_out.txt \;
3. linux中文文件显示乱码怎么解决
Linux文件名、文件内容乱码,主要原因是windows上的中文编码默认是GBK,而Linux默认中文编码为UTF-8,由于编码不专一致,所以导致乱码属问题。 为了解决这个乱码,需要对文件进行转码,具体如下: 1、前提保证已安装了convmv; 2、具体convmv的用法: Convmv –f 源编码 –t 新编码 [选项] 文件名 一般常用参数: -r 递归处理子目录 --notest 真正进行操作,默认情况下是不对文件进行真实操作的,只是一个预览 --list 显示所有支持的编码 --unescap 可以做一个转义 3、比如我们有一个utf8的文件名,要求转换成gbk编码,命令如下: Convmv –f utf-8 –t gbk –notest 文件名 也可以使用linux下最好用的编码转换工具iconv来进行转码操作。 例子:将GBK编码的文件转换成UTF-8 iconv -f GBK -t UTF-8 gbkfile.txt > utf8file.txt
4. 如何解决 linux 的乱码问题
出现这种情况的原因为两种操作系统的中文压缩方式不同,在windows环境中中文压缩一般为gbk,而在linux环境中为utf8,这就导致了在windows下能正常显示
txt文件在linux环境下打开呈现了乱码状态。
解决方法:在linux用iconv命令,输入命令如下
iconv
-f
gbk
-t
utf8
file.pdf
>
file.pdf.utf8
此时会重生一file.utf8文件,打开之后就能正常显示中文
linux系统下修改语言配置方法有:
法一:修改/etc/profile文件,增加export
LANG=zh_CN.GB18030
法二:修改/etc/sysconfig/i18n文件,将
#LANG="en_US.UTF-8"
#SUPPORTED="en_US.UTF-8:en_US:en"
#SYSFONT="latarcyrheb-sun16"
改为
LANG="zh_CN.UTF-8"
SUPPORTED="zh_CN:zh:en_US.UTF-8:en_US:en:zh_CN.GB18030"
SYSFONT="latarcyrheb-sun16"
/etc/profile:
为系统的每个用户设置环境信息,当用户第一次登录时,该文件被执行.
/etc/sysconfig/i18n
这里存放的是系统的区域语言设置
LANG
表明你当前系统的语言环境变量设置
,这里是
zh_CN.GB18030
SUPPORTED
表明系统预置了那些语言支持
,不在项目中的语言不能正常显示
SYSFONT
定义控制台终端字体,你文本登录的时候显示的字体是
latarcyrheb-sun16
I18N
是
internationalization
的缩写形式,意即在
i
和
n
之间有
18
个字母,本意是指软件的“国际化”.I18N支持多种语言,不过同一时间只能是英文和一种选定的语言,例如英文+中文、英文+德文、英文+韩文等等;
如果在SCRT上操作时中文乱码,可依次点击options--session
options--appearance,选择character
encoding为UTF-8
5. linux系统中命令行敲进去cat /usr/share/terminfo/l/linux 后出现乱码无法恢复
他是一个二进制文件,用cat 看肯定是乱码,用ctrl+c 结束就行了。
6. linux下 cat查看了一个文件, 导致界面乱码,怎么办
2进制数据干扰了终端对字符的解析。。。
用命令reset重置一下。
下次记得用od命令去看2进制文件。
7. linux下的文件名怎么是乱码的
如果你需要在Linux中操作windows下的文件,那么你可能会经常遇到文件编码转换的问题。Windows中默认的文件格式是GBK(gb2312),而Linux一般都是UTF-8。
查看编码的方法
方法一:file
filename
方法二:在Vim中可以直接查看文件编码
:set
fileencoding
如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以在
~/.vimrc
文件中添加慧宴以下内容:
set
encoding=utf-8
fileencodings=ucs-bom,utf-8,cp936
这样,就可以让vim自动识别文件编码(可以自动识别UTF-8或者GBK编码的文件),其实就是依照fileencodings提供的编码列表尝试,如果没有找到合适的编码,就用latin-1(ASCII)编码打开
文件编码转换
多平台方法:
iconv
提供标准的程序和API来进行编码转换;
convert_encoding.py
基于Python的文本文件转换工具;
decodeh.py
提供算法和模块来谈测字符的编码;
linux下文件编码转换:
方法一:
在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式
:set
fileencoding=utf-8
或前答银者
11)设置文件集合,即要对哪些文件进行操作,可以使用通配符,比如我通常是对
C/C++
源程序进行编码转换
:args
*.h
*.cpp
2)给出要在每个文件上执行的命令,这里是转换编码:
:argdo
set
fenc=utf-8
|
update
方法二:
iconv
转换
5.案例:
假如说我们将windows下的一个UTF-8的文件传到linux环境下,linux环境下的系统编码是GB18030,我们cat的时候就会出现乱码,这个时候就应该想到转码了,下面我们来进行试验:
我们将windows下一个名为UTF-8.sh的文件传到linux系统中举知,其中UTF-8.sh的内容如下:
我是中文编码UTF-8模式~
而linux系统的系统语言设置为:
[root@sor-sys
zy]#
cat
/etc/sysconfig/i18n
LANG=zh_CN.GB18030
SYSFONT="latarcyrheb-sun16"
这个时候查看一下文件的内容及编码:
[root@sor-sys
zy]#
file
UTF-8.sh
UTF-8.sh:
UTF-8
Unicode
text,
with
no
line
terminators
[root@sor-sys
zy]#
cat
UTF-8.sh
锘挎垜鏄?腑鏂囩紪镰乁TF-8妯″纺~[root@sor-sys
zy]#
[root@sor-sys
zy]#
这个时候我们就需要转换编码了,记得使用iconv
[root@sor-sys
zy]#
iconv
-f
UTF-8
-t
GB18030
UTF-8.sh
-o
GB18030.sh
[root@sor-sys
zy]#
cat
GB18030.sh
??我是中文编码UTF-8模式~[root@sor-sys
zy]#
[root@sor-sys
zy]#
file
GB18030.sh
GB18030.sh:
Non-ISO
extended-ASCII
text,
with
no
line
terminators
[root@sor-sys
zy]#
convmv就是更改文件名编码方式的一个工具。
比如
sudo
convmv
-f
gbk
-t
utf-8
-r
–notest
/home
就是将/home目录下原来文件名是gbk编码方式的全部改为utf-8格式的。这里
-f
后面为原来的编码方式,-t
后面是要更改为的编码方式,
-r
表示这个目录下面的所有文件,
–notest
表示马上执行,而不是仅仅测试而已。另外这命令好像要root才能执行,因此要加上
sudo。
8. linux文件中文乱码怎么解决方法
在linux上一般使用utf8编码。 如果打开文件是乱码,要设置utf8编码,看看自己用的是什么编辑器。 如果是vim则使用 set encoding=utf8即可 如果是gedit,则重新另存一下,在存储窗口 设置为utf8编码 ,在打开即可。
9. linux解决中文乱码问题
有时候linux服务器突然间查看日志都是中文乱码,原因很奇怪,有可能是:
不管什么原因吧,根本原因还是修改了linux系统本身的编码,改回来就完了。
修改全部配置文件
末尾增加两行
让其生效
如果你的web 服务器输出的日志都是乱码,那么最后一步: