当前位置:

shell:三剑客sed命令

访客 2024-04-24 1197 0

一、sed简介

  • sed(streamEDitor)是一个强大而简单的文本解析转换工具,可以读取文本,并根据指定的条件对文本内容进行编辑(删除、替换,添加、移动等),最后输出所有行或仅输出处理的某些行。

  • sed也可以在无交互的情况下实现相当复杂的文本处理操作,被广泛应用于shell脚本中,用以完成各种自动化处理任务。

sed的工作流程主要包括读取、执行和显示三个过程

  • 读取:sed从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区(又称模式空间)
  • 执行:默认情况下,所有的sed命令都在模式空间中顺序地执行,除非指定了行的地址,否则sed命令将会在所有行上一次执行。
  • 显示:发送修改后的内容到输出流,在发送数据后,模式空间将会被清空。

在所有的文件内容都被处理完成之前,上述过程将重复执行,直至所有内容被处理完。

注意:默认情况下所有的sed命令,都是在模式空间内执行的,因此输入的文件并不会发生变化。

二、sed(格式)选项操作解释

通常情况下调用sed命令有两种格式。

  • 其中,“参数”是指操作的目标文件,当存在多个操作对象时,文件之间用逗号分隔。

    sed[选项]'操作'参数
  • 而scriptfile表示脚本文件,需要用“-f”选项指定,当脚本文件出现在目标文件之前时,表示通过指定的脚本文件来处理输入的目标文件。

    sed[选项]-fscriptfile参数

1、常见的选项

选项功能
-e表示用指定命令或者脚本来处理输入的文本文件
-f表示用指定的脚本文件来处理输入的文本文件
-h显示帮助
-n表示仅显示处理后的结果
-i直接编辑文本文件
-r或-E使用扩展正则表达式
-s将多个文件视为独立文件,而不是单个连续的长文件流

2、操作指令

“操作”用于指定文件对操作的动作行为,也就是sed的命令。

通常情况下是采用的“[n1[,n2]]”操作参数的格式。n1、n2是可选的,代表选择进行操作的行数,如操作需要在5~20行之间进行,则表示为“5,20动作行为”。

选项功能
a增加,在当前行下面增加一行指定内容
i插入,在选定行上面插入一行指定内容
c替换,将选定行替换为指定内容
s替换,替换指定的字符串
y字符替换(字符一个一个地替换)
p打印,如果同时指定行,表示打印指定行,如果不指定行,则表示打印所有内容,如果有非打印字符,则以ASCII码输出。其通常与“-n”选项一起使用。
d删除,删除选定的行

三、sed选项案例

1、使用【-n】仅显示处理后的结果

前面我们了解到,sed在处理文件时,会将处理的内容放入到缓冲区(模式空间)中进行处理,然后在模式空间中对内容进行(增删改查)最后以标准输出的形式将内容输出出来。

看下面的案例

由上面的案例可以看到,原始文件以及我们需要查看的行都被打印了出来。(这里加了p动作,表示打印此行)

这里的工作原理就是:sed从标准输入中读取hahah.txt文件的内容到缓冲区中,然后再在缓冲区中对3p进行打印,最后不仅将第3行打印,也将源文件打印。

这个时候我们可以加上-n选项,-n选项的意思就是,仅显示处理后的结果;原理就是,文件内容被标准输入到缓冲空间后,sed通过设定的选项知道了,需要输出哪些内容,仅输出处理的行。所以-n选项通常和p动作放在一起使用。

2、使用【-e】设置多个命令

sed命令可以不只包含一个命令。如果要包含多个命令,只需要每个命令前加上一个-e选项即可。

注意:-e选项的后面要接命令内容,不允许再夹杂其它选项

3、使用【-f】文件编辑

使用sed脚本将多个编辑指令存放到文件中(每行一条编辑指定),然后通过-f选项来调用。

例如执行一下命令即可将第1~5行内容转移至第15行后。

将命令放在文件中,然后使用-f进行调用一个一个地执行

4、使用【-i】进行修改配置文件

我们都知道,可以使用vim进行直接打开文件进行编辑,但是在自动化中,是没办法进行参与到修改的,都是一件部署完成,所以都需要提前设定好修改的文件内容。

这里可以使用-i选项进行直接修改到文件中的内容,是源文件进行生效。

四、sed操作案例

1、操作【p】输出指定行

1.1sed输出指定行

[root@localhost~]#sed-n'3p'test.txt//输出第3行[root@localhost~]#sed-n'3,5p'test.txt//输出3~5行[root@localhost~]#sed-n'p;n'test.txt//输出所有奇数行,n表示读入下一行资料[root@localhost~]#sed-n'n;p'test.txt//输出所有偶数行,n表示读入下一行资料[root@localhost~]#sed-n'1,5{p;n}'test.txt//输出第1~5行之间的奇数行(第1、3、5行)[root@localhost~]#sed-n'10,${n;p}'test.txt//输出第10行至文件尾之间的偶数行

案例1:输入文件所有行,等同于cat

案例2:输入第3行

案例3:输出3-5行

案例4:输出所有的奇数行,n表示读入下一行资料

案例6:输出低1-5行之间的奇数行

案例7:输出第10行至文件尾之间的行

1.2sed命令结合正则输出指定行

sed命令结合正则表达式,格式略有不同,正则表达式以“/”包围。

[root@localhost~]#sed-n'/the/p'test.txt//输出包含the的行[root@localhost~]#sed-n'4,/the/p'test.txt//输出从第4行至最后一个包含the的行[root@localhost~]#sed-n'/the/='test.txt//输出包含the的行所在的行号,等号(=)用来输出行号[root@localhost~]#sed-n'/^PI/p'test.txt//输出以PI开头的行[root@localhost~]#sed-n'/[0-9]$/p'test.txt//输出以数字结尾的行[root@localhost~]#sed-n'/\<wood\>/p'test.txt//输出包含单词wood的行,\<、\>代表单词边界

案例1:输出包含the的行

案例2:输出从第2行至第一个包含the的行

案例3:输出包含the的行所在的行号,等号(=)用来输出行号

案例4:输出以PI开头的行

案例5:输出包含单词wood的行,<、>代表单词边界

案例6:输出空行和非空行

2、操作【d】删除指定行

nl文件名可以输出文件内容加上行号[root@localhost~]#nltest.txt|sed'3d'//删除第3行[root@localhost~]#nltest.txt|sed'3,5d'//删除第3~5行[root@localhost~]#nltest.txt|sed'/cross/d'//删除包含cross的行,原本的第8行被删除;如果要删除不包含cross的行,用!符号表示取反操作,如'/cross/!d'[root@localhost~]#sed'/^[a-z]/d'test.txt//删除以小写字母开头的行[root@localhost~]#sed'/\.$/d'test.txt//删除以"."结尾的行[root@localhost~]#sed'/^$/d'test.txt//删除所有空行

案例1:删除第3行

案例2:删除第3~5行

案例3:删除包含cross的行,原本的第8行被删除;如果要删除不包含cross的行,用!符号表示取反操作,如’/cross/!d’

案例4:删除以大小写字母开头的行

案例5:删除以"."结尾的行

案例6:删除所有空行

  • 从标准输入中替换、缩减和/或删除字符,并将结果写到标准输出。

3、操作【s】替换符合条件的文件

在使用sed命令进行替换操作时需要用到s(字符串替换)、c(整行/整块替换)、y(字符转换)。

sed's/the/THE/'test.txt//将每行中的第一个the替换为THEsed's/l/L/2'test.txt//将每行中的第2个l替换为Lsed's/the/THE/g'test.txt//将文件中的所有the替换为THEsed's/o//g'test.txt//将文件中的所有o删除(替换为空串(就是不存在的,不是空格))sed's/^/#/'test.txt//在每行行首插入#号sed'/the/s/^/#/'test.txt//在包含the的每行行首插入#号sed's/$/EOF/'test.txt//在每行行尾插入字符串EOFsed'3,5s/the/THE/g'test.txt//将第3~5行中的所有the替换为THEsed'/the/s/o/O/g'test.txt//将包含the的所有行中的o都替换为O

案例1:将每行中的第一个the替换为THE

案例2:将每行中的第2个l替换为L

案例3:将文件中的所有the替换为THE

案例4:将文件中的所有o删除(替换为空串(就是不存在的,不是空格))

案例5:在每行行首插入#号

案例6:在包含the的每行行首插入#号

案例7:在每行行尾插入字符串EOF

案例8:将第3~5行中的所有the替换为THE

案例9:将包含the的所有行中的o都替换为O

3.1操作【y】替换字符

y///和s///有什么区别呢?主要有以下两点:y的语法格式是y/source/dest/,表示将源中的字符对位替换为目的中的字符。而s的语法格式是s/regexp/replacement/,表示通过正则匹配到的内容替换为replacement部分。y只是简单的逐字替换,没有很多花样。s支持&符号和预存储等特性,可以实现更多灵活的替换效果。

y动作只是简单的替换字符,逐个替换。

4、移动【{H;d}】插入【a】指定内容

常用参数

参数功能
H复制到剪切板
g、G将剪切板的数据覆盖/追加到指定行
w保存为文件
r读取指定文件
a追加指定内容(a是加入在行后,i是加入在前行,6a是指定多少行进行加入)
I,i忽略大小写
sed'/the/{H;d};$G'test.txt//将包含the的行迁移至文件末尾,{;}用于多个操作sed'1,5{H;d};17G'test.txt//将第1~5行内容转移至第17行后sed'/the/wout.file'test.txt//将包含the的行另存为文件out.filesed'/the/r/etc/hostname'test.txt//将文件/etc/hostname的内容添加到包含the的每行以后sed'3aNew'test.txt//在第3行后插入一个新行,内容为Newsed'/the/aNew'test.txt//在包含the的每行后插入一个新行,内容为Newsed'3aNew1\nNew2'test.txt//在第3行后插入多行内容,中间的\n表示换行

案例1:将包含the的行迁移至文件末尾,{;}用于多个操作

案例2:将第1~5行内容转移至第17行后

案例3:将包含the的行另存为文件out.file

案例4:将文件/etc/hostname的内容添加到包含the的每行以后

案例5:在第3行后插入一个新行,内容为New

案例6:在包含the的每行后插入一个新行,内容为New

案例7:在第3行后插入多行内容,中间的\n表示换行

五、一键部署FTP服务

要求禁止匿名用户登录,但是允许本地用户(也允许写入)。

#!/bin/bashsystemctlstopfirewallsetenforce0yum-yinstallvsftpdsystemctlstartvsftpd#定义ftp服务的配置文件CONFIG="/etc/vsftpd/vsftpd.conf"#判断备份文件是否存在,不存在就拷贝一份[!-e$CONFIG.bak]&&cp$CONFIG$CONFIG.bak#将匿名访问的全部注释sed-i'/^anon/s/^/#/'$CONFIG#查看listen在配置文件中是否存在,没有则在最后插入一个。#grep"listen"$CONFIG||sed-i'$alisten=YES'$CONFIG#创建ftp的共享目录mkdir-p/var/ftp/data#创建用户useraddlibaiecho"123"|passwd--stdinlibai&>/dev/null#给共享目录设置被登录的用户chown-Rlibai:root/var/ftp/datased-i'$alocal_root=/var/ftp/data'$CONFIG#重启服务systemctlrestartvsftpd

六、总结

sed命令,主要用于修改配置文件中的内容,通过-i选项,可以使得文件修改内容生效。可以结合正则表达式进行一些复杂的修改,在一键部署各种服务中,可以实现免交互,直接进行修改。

发表评论

  • 评论列表
还没有人评论,快来抢沙发吧~