link管理

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

example

替换全部: sed “s/aaa/bbb/g” -i file

每行开头插入#号: sed “s/^/#/g” -i file

只在3-6行替换: sed “3,6s/aaa/bbb/g” -i file

只替换每行的第1处aaa: sed “s/aaa/bbb/1” -i file

只替换每行的第2处aaa: sed “s/aaa/bbb/2” -i file

替换每行第3-最后一处aaa: sed “s/aaa/bbb/3,g” -i file

正则:


      sed -e 's/^#\s*\(.*[0-9].*\)$/\1/g' filename

awk

参数解析

命令格式:


         awk [options] 'script' file_name


         awk [options] -f scriptfile file_name

[options]选项有:

-F

: 指定分隔符. 分隔符默认是空格,


           awk -F"[@ /t]"

告诉awk “@符号, 空格和Tab” 都是字段分隔符.


           awk -F:

则表示冒号作为分隔;

-v

: 赋值一个用户定义变量, 传递给scripts, 例


           -v var=value

-f

: 从指定文件中读取 awk scripts, 例


           -f scripfile

awk脚本

基本语法

TODO

NF

: 表示目前的记录被分割的字段的数目，NF可以理解为 Number of Field。


           awk '{print FNR}' data.txt

会打印出字段个数 (默认是任何数量的空格);

$NF

: 表示的最后一个Field（列）即输出最后一个字段的内容;

NR

: 已经读出的记录数，即行号，从1开始;

$n

: 表示目前的记录被分割后, 第n个字段的内容;

example 1


            lsof | awk '{process[$1]++;} END{for(key in process) printf("%s:%d\n", key, process[key])}'

#每个进程打开的文件数


            lsof | awk '{if($8 == "TCP") opened_tcp++} END{print opened_tcp }'

#打开TCP连接数量


            lsof | awk '{opened_type[$5]++} END{ for(key in opened_type) printf("%s : %d\n", key, opened_type[key])}'

#打开文件按TYPE统计

example 2

awk多维数组在本质上是一维数组, 因awk在存储上并不支持多维数组, awk提供了逻辑上模拟二维数组的访问方式. 例如, array[2,3] = 1这样的访问是允许的.
awk使用一个特殊的字符串SUBSEP (\034)作为分割字段, 在上面的例子 array[2,3] = 1 中, 关联数组array存储的键值实际上是2\0343, 2和3分别为下标（2, 3）, \034为SUBSEP分隔符

类似一维数组的循环访问, 多维数组使用


             for ( item in array )

语法遍历数组. 与一维数组不同的是, 多维数组必须使用


             split()

函数来访问单独的下标分量, 格式：


             split ( item, subscr, SUBSEP)

.
例如：


             split (item, array2, SUBSEP);

后, array2[1]为下标“2”, array2[2]为下标“3”

# -Fb表示分隔符
awk -F '&' 'BEGIN{
        # 初始化代码块
    }{
        # awk二维数组, 和awk外的数组变量不是一个
        # 数组直接使用, 不需初始化
         comment[$5, $3]++
    }
    END{
       printf("%d", length(comment)) # awk内置数组长度
       # 循环awk数组
       for(ii in comment){
          # 这里的ii是key, value是comment[ii]
           split(ii, strs, SUBSEP) # 对多维数组的key做split操作, 得到的数组strs[1]~strs[n]是数组下标
           appid = strs[1] # strs从下标1开始
           user =  strs[2]
           printf("%d,%d\n", strs[1], strs[2], comment[ii]) >> "'$sqlLoadFile'" # 类似C的printf
       }

    }' $tmpDir/stat-log*.log

grep

参数解析

用法: grep [参数] [查找字符串] [文件名]

常用参数: