本文介绍了如何结合使用curl、grep和awk命令从http://ip.tool.chinaz.com/获取公网IP。首先，利用curl获取网页源码，然后用grep定位包含IP地址的行，最后用awk根据HTML标签进行切片，精确提取IP。
摘要由CSDN通过智能技术生成
<dd class="fz24">183.240.211.15</dd>
<dt>来自</dt>
<dd>广东省深圳市 移动<a href="http://tool.chinaz.com/contact" target="_blank" class="col-blue02 pl5">(纠错)</a></dd>
<dt>操作系统</dt>
<dd>Windows 7</dd>
<dt>分辨率</dt>
<dd id="screen">1600*900</dd>
在之前有一篇文章介绍如何通过python抓取网页，见Python抓取中文网页，但是不久之后就发现这种方式对于CSDN的个人博客的抓取行不通了。早就听说了
curl
的强大，今天就拿
curl
来试一试。
curl
的功能很强大，这里有一个
curl
使用简介，大家可以参考，其他问题请自行百度google之。这里我们只用到了最基本的--connect-timeout 和-o，以抓取本博客为例：
1、
grep
-E ’ | ’ 搜索多个关键字;
2、
awk
-F ’ | ’ 分割多个关键字;
3、
awk
-F ’ ’ ‘{ sum=sum+$1 } END { print $sum }’ 先循环执行，结束后再执行;
4、head -n 5 显示前武五行；
Linux
实现一些命令可以调取相关工具实现对文本的精准查找和匹配，常用的有
grep
、sed、
awk
等命令可以调取相应的工具。其中
grep
、sed、
awk
都是针对文本的行进行操作的。
1.
grep
命令
命令功能：是一种强大的文本搜索工具，能使用正则表达式搜索文本，然后把匹配的行显示出来。
命令格式：
grep
[-cinvABC] ‘word’ filename
参数说明：
在
Linux
系统下，我们可能会碰到这样的文件处理问题：文件1文件2将两个文件联合起来：我们可以使用
AWK
命令快速处理以上问题，代码如下所示：#! /usr/bin/
awk
BEGIN{
OFS=FS=":"
NR==FNR{
record[$2]=$1
NR>FNR{
print $1,$2,record[$2]
}脚本及测试用例下载地址：https://git...
grep
查找行 sort排序 sed编辑
awk
处理
ps -ef|
grep
java 查看所有包含关键字java的进程
ps aux|
grep
java 查看所有包含关键字java的进程，显示详细的运行信息
ps –ef|
grep
tomcat 查看所有有关tomcat的进程
ps aux 查看所有进程, 显示详细运行信息
kill -9 19979 终止线程号位19979的进程
ls -al ...
[root@localhost ~]# tar -czvf etc.tar.gz /etc
接下来将打包后的压缩包文件指定解压到/root/etc 目录中（先使用 mkdir 命令来创建/root/etc 目录）：
[root@localhost ~]# tar -...
[root@localhost ~]#
curl
http://www.xxx.com/NginxStatus
Active connections: 16392
server accepts handled requests
9711388219 9711388219 225228
从根目录开始查找所有扩展名为.log的文本文件，并找出包含”ERROR”的行
find / -type f -name "*.log" | xargs
grep
"ERROR"
例子：从当前目录开始查找所有扩展名为.in的文本文件，并找出包含”thermcontact”的行
find . -name "*.in" | xargs
grep
"thermcontact"
shell脚本中
curl
带参数的命令替换，双引号不需要转义，像写json一样写字符串，
curl
命令使用单引号引起来，执行时使用$()而不是反引号``，
awk
也是同样，使用单引号把命令引起来，双引号不需要转义，像写json一样直接写出来；
以下是具体的代码:
#!/bin/bash
cd `dirname $0`
CUR_DIR=`pwd`
UID_FILE=$CUR_D...
