Linux對文本操作命令及正則表達式：
cat
cat 是 concatenate 的縮寫，所以它的作用其實是連接文件。但默認情況下它會將連接文件的結果送到標准輸出。所以我們常用來顯示文件內容。類似於 dos 中的 type。
more
當一個文件的內容超過一屏後，我們可以用 more 這個指令來逐屏 察看 文件內容。
less
less 在 more 的基礎上，更可以逐行 察看 ，前後翻頁。
head
head 顯示文件開頭部分內容，默認顯示前十行參數 --lines 或者 –n 指明顯示行數基本格式：
tail
tail 顯示文件結尾部分內容，命令用法同 head，參數 -f 顯示文件的紀實更新，用於監視日誌文件
tail 默認顯示文件列表中每個文件的後 10 行，如果沒有文件名或文件名為「-」則其從標准輸入中讀取文件，如果有多個文件則其會在文件前面加上「==>文件名<==」以便區別。
# tail /etc/mail/sendmail.mc 默認查看文件的後 10 行內容
# tail –n 20 /etc/passwd 查看文件後 20 行內容
注意： # tail –f /var/log/message 實時監控日誌文件更新信息，非常重要
diff
diff 用於比較兩個文件之間的區別，並送到標准輸出。輸出時先報告兩個文件的哪一行不同。基本格式：
參數：
uniq 用於去除文本中相鄰的重復行。
-u 參數可以只顯示那些沒有被重復過的行。 -d 顯示有被重復過的行。
cut
cut 可以根據一個指定的標記（默認是 tab）來為文本劃分列，然後將此列顯示。使用許可權：所有使用者
基本格式： cut -cnum1 -num2 filename
說明：顯示每行從開頭算起 num1 到 num2 的文字。
[root@uplooking root] $ cut –f1 –d: /etc/shadow 表示以 : 為分隔符，顯示 /etc/shadow 的第一列 sort
sort 用來按各種需要重新排列文本，一般運用在一個管道之後。例如：
默認情況下 sort 按照字母順序排列文本。
wc
wc 用來統計一個文件的行數、詞數、字數並送到標准輸出。也可以用-l（行數）、-w（詞數）、-c（字數）來指定輸出內容。
㈡ linux：如何對文本里的相同行進行去重
第一個，自己寫個腳本（Perl的哈希很方便）
第二個，使用uniq命令可以實現
㈢ Linux之文本重定向
重定向：人為干預決定輸出結果的位置【輸出到文件還是控制台】
比如 ：
ls /aaaaa # 不存在aaaaa這個目錄，會報錯
返回
要將1和2的結果都放到bbb中，需要首先將1重定向到bbb文件，即
ls / /aaaaaa 1>bbb 2>&1
或者
ls / /aaaaaa >& bbb #特殊寫法而已，不用深究
或者
ls / /aaaaaa &> bbb #特殊寫法而已，不用深究
返回
<<<從一個字元串讀數據、<<給定結束符自己輸數據、<從文件進行輸入
也可以放到文件中執行，shell_eg.sh中的內容如下
cat >>aaa <<rg 或者 cat <<rg >>aaa
cat aaa
返回
註：read是讀取的，不是輸出，不能把結果重定向到文件
㈣ Linux下常用文本處理命令
Linux下常用文本處理命令大全
Linux下面有很多經典的非常有用的命令，其中處理文本的命令就有很多。下面就讓我們一起看看這些經典的Linux文本處理命令有哪些吧。
一. sort
文件排序, 通常用在管道中當過濾器來使用. 這個命令可以依據指定的關鍵字或指定的字元位置, 對文件行進行排序. 使用-m選項, 它將會合並預排序的輸入文件. 想了解這個命令的全部參數請參考這個命令的info頁.
二. tsort
拓撲排序, 讀取以空格分隔的有序對, 並且依靠輸入模式進行排序.
三. uniq
這個過濾器將會刪除一個已排序文件中的重復行. 這個命令經常出現在sort命令的管道後邊.
四. expand, unexpand
expand命令將會把每個tab轉化為一個空格. 這個命令經常用在管道中.
unexpand命令將會把每個空格轉化為一個tab. 效果與expand命令相反.
五. cut
一個從文件中提取特定域的工具. 這個命令與awk中使用的print $N命令很相似, 但是更受限. 在腳本中使用cut命令會比使用awk命令來得容易一些. 最重要的選項就是-d(欄位定界符)和-f(域分隔符)選項.
六. paste
將多個文件, 以每個文件一列的形式合並到一個文件中, 合並後文件中的每一列就是原來的一個文件. 與cut結合使用, 經常用於創建系統log文件.
七. join
這個命令與paste命令屬於同類命令. 但是它能夠完成某些特殊的目地. 這個強力工具能夠以一種特殊的形式來合並兩個文件, 這種特殊的形式本質上就是一個關聯資料庫的簡單版本.
join命令只能夠操作兩個文件. 它可以將那些具有特定標記域(通常是一個數字標簽)的行合並起來, 並且將結果輸出到stdout. 被加入的文件應該事先根據標記域進行排序以便於能夠正確的匹配.
八. head
把文件的頭部內容列印到stdout上(默認為10行, 可以自己修改). 這個命令有一些比較有趣的選項.
九. tail
將一個文件結尾部分的內容輸出到stdout中(默認為10行). 通常用來跟蹤一個系統logfile的.修改情況, 如果使用-f選項的話, 這個命令將會繼續顯示添加到文件中的行.
十. wc
wc可以統計文件或I/O流中的”單詞數量”:
十一. fold
將輸入按照指定寬度進行折行. 這里有一個非常有用的選項-s, 這個選項可以使用空格進行斷行(譯者: 事實上只有外文才需要使用空格斷行, 中文是不需要的)(請參考例子 12-23和例子 A-1).
十二. fmt
一個簡單的文件格式器, 通常用在管道中, 將一個比較長的文本行輸出進行”折行”.
十三. col
這個命令用來濾除標准輸入的反向換行符號. 這個工具還可以將空白用等價的tab來替換. col工具最主要的應用還是從特定的文本處理工具中過濾輸出, 比如groff和tbl. (譯者: 主要用來將man頁轉化為文本.)
十四. column
列格式化工具. 通過在合適的位置插入tab, 這個過濾工具會將列類型的文本轉化為”易於列印”的表格式進行輸出.
十五. colrm
列刪除過濾器. 這個工具將會從文件中刪除指定的列(列中的字元串)並且寫到文件中, 如果指定的列不存在, 那麼就回到stdout. colrm 2 4 <filename將會刪除filename文件中每行的第2到第4列之間的所有字元. p=""> </filename將會刪除filename文件中每行的第2到第4列之間的所有字元.>
Caution: 如果這個文件包含tab和不可列印字元, 那將會引起不可預期的行為. 在這種情況下, 應該通過管道的手段使用expand和unexpand來預處理colrm.
十六. nl
計算行號過濾器. nl filename將會把filename文件的所有內容都輸出到stdout上, 但是會在每個非空行的前面加上連續的行號. 如果沒有filename參數, 那麼就操作stdin.
nl命令的輸出與cat -n非常相似, 然而, 默認情況下nl不會列出空行.
十七. pr
格式化列印過濾器. 這個命令會將文件(或stdout)分頁, 將它們分成合適的小塊以便於硬拷貝列印或者在屏幕上瀏覽. 使用這個命令的不同的參數可以完成好多任務, 比如對行和列的操作, 加入行, 設置頁邊, 計算行號, 添加頁眉, 合並文件等等. pr命令集合了許多命令的功能, 比如nl, paste, fold, column, 和expand.
pr -o 5 –width=65 fileZZZ | more 這個命令對fileZZZ進行了比較好的分頁, 並且列印到屏幕上. 文件的縮進被設置為5, 總寬度設置為65.
一個非常有用的選項-d, 強制隔行列印(與sed -G效果相同).
十八. gettext
GNU gettext包是專門用來將程序的輸出翻譯或者本地化為不同國家語言的工具集. 在最開始的時候僅僅支持C語言, 現在已經支持了相當數量的其它程序語言和腳本語言.
想要查看gettext程序如何在shell腳本中使用. 請參考info頁.
十九. msgfmt
一個產生二進制消息目錄的程序. 這個命令主要用來本地化.
二十. iconv
一個可以將文件轉化為不同編碼格式(字元集)的工具. 這個命令主要用來本地化.
二十一. recode
可以認為這個命令是上邊iconv命令的專業版本. 這個非常靈活的並可以把整個文件都轉換為不同編碼格式的工具並不是Linux標准安裝的一部分.
二十二. TeX, gs
TeX和Postscript都是文本標記語言, 用來對列印和格式化的視頻顯示進行預拷貝.
TeX是Donald Knuth精心製作的排版系統. 通常情況下, 通過編寫腳本的手段來把所有的選項和參數封裝起來一起傳到標記語言中是一件很方便的事情.
㈤ Linux系統下怎麼刪除文本中的重復行
用uniq，如下，將
1.txt
中
所有
"相鄰"
重復行合並成一行，結果存入
2.txt
uniq
1.txt
>
2.txt如果是想將相鄰重復行徹底刪掉（而不是合並成一行），可以用
uniq
-u
1.txt
>
2.txt
㈥ 【shell】Linux刪除文本重復行
通常如果我們想獲取一個文件里不重復的行的時候，我們可以直接通過 sort -u 命令，先把文件排序，然後去掉連續的重復行就行。
可是，如果我們去掉重復行之後，還想保留文件原有的順序，該怎麼辦呢？
雖然 Linux 下有個看上去似乎很有用的命令叫uniq，但事實上 uniq 命令僅僅只對連續的重復行有效。
如果不排序，直接使用 uniq 命令是沒有用的；使用 sort -u 的話，我們就丟失了文件原有的行的順序了。
一個終極的解決方案是使用 awk：
簡要解釋一下：awk 的基本執行流程是，對文件的每一行，做一個指定的邏輯判斷，如果邏輯判斷成立，則執行指定的命令；如果邏輯判斷不成立，則直接跳過這一行。
我們這里寫的 awk 命令是!x[$0]++，意思是，首先創建一個 map 叫x，然後用當前行的全文$0作為 map 的 key，到 map 中查找相應的 value，如果沒找到，則整個表達式的值為真，可以執行之後的語句；如果找到了，則表達式的值為假，跳過這一行。
由於表達式之後有++，因此如果某個 key 找不到對應的 value，該++操作會先把對應的 value 設成 0，然後再自增成 1，這樣下次再遇到重復的行的時候，對應的 key 就能找到一個非 0 的 value 了。
我們前面說過，awk 的流程是先判斷表達式，表達式為真的時候就執行語句，可是我們前面寫的這個 awk 命令里只有表達式，沒有語句，那我們執行什麼呢？原來，當語句被省略的時候，awk 就執行默認的語句，即列印整個完整的當前行。就這樣，我們通過這個非常簡短的 awk 命令實現了去除重復行並保留原有文件順序的功能。
㈦ 利用Linux命令行進行文本按行去重並按重復次數排序
利用linux命令行進行文本按行去重並按重復次數排序linux命令行提供了非常強大的文本處理功能，組合利用linux命令能實現好多強大的功能。本文這里舉例說明如何利用linux命令行進行文本按行去重並按重復次數排序。主要用到的命令有sort，uniq和cut。其中，sort主要功能是排序，uniq主要功能是實現相鄰文本行的去重，cut可以從文本行中提取相應的文本列(簡單地說，就是按列操作文本行)。用於演示的測試文件內容如下：[plain]Hello
World.
Apple
and
Nokia.
Hello
World.
I
wanna
buy
an
Apple
device.
The
Iphone
of
Apple
company.
Hello
World.
The
Iphone
of
Apple
company.
My
name
is
Friendfish.
Hello
World.
Apple
and
Nokia.
實現命令及過程如下：[plain]1、文本行去重
(1)排序
由於uniq命令只能對相鄰行進行去重復操作，所以在進行去重前，先要對文本行進行排序，使重復行集中到一起。
$
sort
test.txt
Apple
and
Nokia.
Apple
and
Nokia.
Hello
World.
Hello
World.
Hello
World.
Hello
World.
I
wanna
buy
an
Apple
device.
My
name
is
Friendfish.
The
Iphone
of
Apple
company.
The
Iphone
of
Apple
company.
(2)去掉相鄰的重復行
$
sort
test.txt
|
uniq
Apple
and
Nokia.
Hello
World.
I
wanna
buy
an
Apple
device.
My
name
is
Friendfish.
The
Iphone
of
Apple
company.
2、文本行去重並按重復次數排序
(1)首先，對文本行進行去重並統計重復次數(uniq命令加-c選項可以實現對重復次數進行統計。)。
$
sort
test.txt
|
uniq
-c
2
Apple
and
Nokia.
4
Hello
World.
1
I
wanna
buy
an
Apple
device.
1
My
name
is
Friendfish.
2
The
Iphone
of
Apple
company.
(2)對文本行按重復次數進行排序。
sort
-n可以識別每行開頭的數字，並按其大小對文本行進行排序。默認是按升序排列，如果想要按降序要加-r選項(sort
-rn)。
$
sort
test.txt
|
uniq
-c
|
sort
-rn
4
Hello
World.
2
The
Iphone
of
Apple
company.
2
Apple
and
Nokia.
1
My
name
is
Friendfish.
1
I
wanna
buy
an
Apple
device.
(3)每行前面的刪除重復次數。
cut命令可以按列操作文本行。可以看出前面的重復次數佔8個字元，因此，可以用命令cut
-c
9-
取出每行第9個及其以後的字元。
$
sort
test.txt
|
uniq
-c
|
sort
-rn
|
cut
-c
9-
Hello
World.
The
Iphone
of
Apple
company.
Apple
and
Nokia.
My
name
is
Friendfish.
I
wanna
buy
an
Apple
device.
下面附帶說一下cut命令的使用，用法如下：[plain]cut
-b
list
[-n]
[file
...]
cut
-c
list
[file
...]
cut
-f
list
[-d
delim][-s][file
...]
上面的-b、-c、-f分別表示位元組、字元、欄位（即byte、character、field）；
list表示-b、-c、-f操作范圍，-n常常表示具體數字；
file表示的自然是要操作的文本文件的名稱；
delim（英文全寫：delimiter）表示分隔符，默認情況下為TAB；
-s表示不包括那些不含分隔符的行（這樣有利於去掉注釋和標題）
三種方式中，表示從指定的范圍中提取位元組（-b）、或字元（-c）、或欄位（-f）。
范圍的表示方法：
n
只有第n項
n-
從第n項一直到行尾
n-m
從第n項到第m項(包括m)
-m
從一行的開始到第m項(包括m)
-
從一行的開始到結束的所有項
在寫這篇文章的時候，用到了vim的大小寫轉化的快捷鍵：gu變小寫，gU變大寫。結合ctrl+v能夠將一片文字中的字元進行大小寫轉換，非常好用。
㈧ Linux文本操作常用命令
在Linux系統里常用於文本查看、操作、統計的命令：
通過多敲鍵盤，形成手感 肌肉記憶 ，熟練掌握這些命令，在以後生信分析中游刃有餘。以下是每個命令的詳細的介紹（主要是跟著 生信技能樹小郭老師 學習做的筆記）
接下來通過示例把10個命令的常用參數和用法展示出來：
參數的用法介紹：
注意事項：
用 cat 命令可以 查看文本 ，也可以 編輯文本 ，編輯文本要加 > 符號，退出時，另起一行，按 control C 退出
zcat可以查看壓縮的文本文件，tac逆向查看
結合 管道符| 使用
head / tail -n :查看文件的前 / 後 n 行，默認 10 行 （在R語言里head和tail默認是前6行）。
less命令用得最多 ，more命令用得比較少
3.1 less命令
less [參數] 文件名
less命令重要的補充用法1 ：
需要注意 退出 ：只要使用less命令， 按q鍵
less命令重要的補充用法2 ：
參數用法：
less命令 不加參數 查看文件：
less命令加 -N參數 查看文件：顯示行號
less命令加 -S參數 查看文件：單行顯示，非常規整
對比：less和cat命令顯示文本行號的用法：less -N，cat -n
3.2 more命令
**more ** 逐頁查看，按空格翻頁，按回車換行 ，more命令一般很少用，熟練掌握less命令就好
查看壓縮文件
wc 統計字元是也把換行符統計進去，但是別的命令不一定會把換行符算進去，。
常見參數:
切記：用less命令，按q退出
cut命令是按關鍵詞來切的
常見參數:
排列前：
排列後：
解釋：1和0比，1大；7和0比，7大…在sort字典排序里，100816比1737小，所以100816排在前面。
命令行查看一個表格結構時，因為製表符對齊的原因，出現一個錯位的現象。還有 字典排序 可能和我們平時的認知不一樣，所以 加上-n參數 ， 讓數值有數學意義上的大小來排序 。
uniq命令去重，只有兩行出現重復，而且是相鄰的兩行，如果不相鄰，即使出現兩行一模一樣，不會去重。
uniq命令通常和sort命令搭配使用
換其它文件試試
總之，uniq命令使用時經常和sort一起
常見參數:
常見用法1：
paste file1 file2
-s :按行合並 演示
常見用法2 : paste - -
常見參數:
要養成一個好習慣，原始數據不要輕易修改，修改的東西另外保存，文本保存用> (重定向)或是 >>(追加)
1. 用 less 查看 example.gtf ，然後管道符傳遞給 wc
2. 截取 example.gtf 第 9 列的內容
3. 在第2步的基礎上截取分號分割的第1列
4. 在第3步的基礎上排序、去重復並統計
5. 在第4步的基礎上，將空格替換成製表符
補充小知識 ：
清屏 ：control L
查看歷史（輸入過的）命令 ：history
㈨ linux：如何對文本里的相同行進行去重
使用 uniq 但記住不要排序就可以了
㈩ Linux 編輯文本命令
一、vi編輯器有3種基本工作模式
分別是：命令模式、文本輸入模式、和末行模式。
第一：命令行模式：
該模式是進入vi編輯器後的默認模式。任何時候，不管用戶處於何種模式，按下ESC鍵即可進入命令模式。在該模式下，用戶可以輸入vi命令，用戶管理自己的文檔。此時從鍵盤上輸入的任何字元都被當作編輯命令來解釋。若輸入的字元是合法的vi命令，則vi在接受用戶命令之後完成相應的動作。但需要注意的是，所輸入的命令並不回顯在屏幕上。若輸入的字元不是vi命令，vi會響鈴報警。
第二：文本輸入模式：
在命令模式下輸入命令i、附加命令a、打開命令o、修改命令c、取代命令r或替換命令s都可以進入文本輸入模式。在該模式下，用戶輸入的任何字元都被vi當作文件內容保護起來，並將其顯示在屏幕上。在文本輸入過程中，若想回到命令模式下，按ESC鍵即可。
第三：末行模式：
末行模式也稱ex轉義模式。在命令模式下，用戶按「：」鍵即可進入末行模式下，此時vi會在顯示窗口的最後一行（通常也是屏幕的最後一行）顯示一個「：」作為末行模式的說明符，等待用戶輸入命令。多數文件管理命令都是在此模式下執行的（如把編輯緩沖區的內容寫到文件中等）。末行命令在執行完後，vi自動回到命令模式。如果要從命令模式轉換到編輯模式，可以鍵入a或者i。如果需要從文本模式返回，則按ESC即可。在命令模式下輸入「:」即可切換到末行模式，然後輸入命令。
實例演示
首先我們使用命令 vi filename 打開一個文件，這個時候進入到的是命令模式
接下來我們按i，然後鍵盤隨便輸入寫內容。
然後按ESC重新進入到命令模式。
在命令模式的情況下，我們按：，進入到了末行模式。
我們輸入wq!，然後回車，強行保存退出。
下次我們再打開對應文件（可用less filename命令打開），即可看到內容已經更改。
補充：
（1）末行模式下：q! 【強制退出不保存】 q【退出不保存】 wq【退出並保存後面也可以加個！】
（2）如果你不想保存直接退出有可以在命令模式下使用「ctrl+z」快捷鍵或者按住「shift」鍵，輸入兩個z即可退出。
更多命令
進入vi的命令：
vi filename :打開或新建文件，並將游標置於第一行首
vi +n filename ：打開文件，並將游標置於第n行首
vi + filename ：打開文件，並將游標置於最後一行首
vi +/pattern filename：打開文件，並將游標置於第一個與pattern匹配的串處
vi -r filename ：在上次正用vi編輯時發生系統崩潰，恢復filename
vi filename….filename ：打開多個文件，依次進行編輯
屏幕翻滾類命令：
Ctrl+u：向文件首翻半屏
Ctrl+d：向文件尾翻半屏
Ctrl+f：向文件尾翻一屏
Ctrl＋b；向文件首翻一屏
nz：將第n行滾至屏幕頂部，不指定n時將當前行滾至屏幕頂部。
插入文本類命令：
i ：在游標前
I ：在當前行首
a：游標後
A：在當前行尾
o：在當前行之下新開一行
O：在當前行之上新開一行
r：替換當前字元
R：替換當前字元及其後的字元，直至按ESC鍵
s：從當前游標位置處開始，以輸入的文本替代指定數目的字元
S：刪除指定數目的行，並以所輸入文本代替之
ncw或nCW：修改指定數目的字
nCC：修改指定數目的行
刪除命令：
ndw或ndW：刪除游標處開始及其後的n-1個字
do：刪至行首
d$：刪至行尾
ndd：刪除當前行及其後n-1行
x或X：刪除一個字元，x刪除游標後的，而X刪除游標前的
Ctrl+u：刪除輸入方式下所輸入的文本
搜索及替換命令：
/pattern：從游標開始處向文件尾搜索pattern
?pattern：從游標開始處向文件首搜索pattern
n：在同一方向重復上一次搜索命令
N：在反方向上重復上一次搜索命令
：s/p1/p2/g：將當前行中所有p1均用p2替代
：n1,n2s/p1/p2/g：將第n1至n2行中所有p1均用p2替代
：g/p1/s//p2/g：將文件中所有p1均用p2替換
撤銷回退命令：
u 撤銷上一步的操作
Ctrl+r 恢復上一步被撤銷的操作
選項設置：
all：列出所有選項設置情況
term：設置終端類型
ignorance：在搜索中忽略大小寫
list：顯示製表位(Ctrl+I)和行尾標志（$)
number：顯示行號
report：顯示由面向行的命令修改過的數目
terse：顯示簡短的警告信息
warn：在轉到別的文件時若沒保存當前文件則顯示NO write信息
nomagic：允許在搜索模式中，使用前面不帶「\」的特殊字元
nowrapscan：禁止vi在搜索到達文件兩端時，又從另一端開始
mesg：允許vi顯示其他用戶用write寫到自己終端上的信息
末行模式命令：
：n1,n2 co n3：將n1行到n2行之間的內容拷貝到第n3行下
：n1,n2 m n3：將n1行到n2行之間的內容移至到第n3行下
：n1,n2 d ：將n1行到n2行之間的內容刪除
：w ：保存當前文件
：e filename：打開文件filename進行編輯
：x：保存當前文件並退出
：q：退出vi
：q!：不保存文件並退出vi
：wq：保存並退出
：!command：執行shell命令command
：n1,n2 w!command：將文件中n1行至n2行的內容作為command的輸入並執行之，若不指定n1，n2，則表示將整個文件內容作為command的輸入
：r!command：將命令command的輸出結果放到當前行
寄存器操作：
「?nyy：將當前行及其下n行的內容保存到寄存器？中，其中?為一個字母，n為一個數字
「?nyw：將當前行及其下n個字保存到寄存器？中，其中?為一個字母，n為一個數字
「?nyl：將當前行及其下n個字元保存到寄存器？中，其中?為一個字母，n為一個數字
「?p：取出寄存器？中的內容並將其放到游標位置處。這里？可以是一個字母，也可以是一個數字
ndd：將當前行及其下共n行文本刪除，並將所刪內容放到1號刪除寄存器中。