## 封禁登录失败次数大于10的IP



### 背景：
有些放置在公网中的服务器需要打开sshd服务，但是不管你改不改端口都会收到很多登录失败的信息。黑客在用程序扫描你的服务器端口来暴力破解密码。分享一个拒绝访问的脚本，临时用可以。条件允许的话还是使用防火墙等安全设备。

### 1、脚本内容
```sh
#!/bin/bash
#
#*********************************************
#Author:                zhang
#QQ:                    200957079
#URL:                   vanblog.ztunan.top
#Date:                  2024-01-17
#Filename:              failed_login.sh
#Description:           The test script
#*********************************************
# 设置阈值
THRESHOLD=10

# 获取失败登录的IP地址
FAILED_IPS=$(journalctl _SYSTEMD_UNIT=sshd.service | grep 'Failed password' | awk '{print $(NF-3)}' | sort | uniq -c | awk '
$1 >= '"$THRESHOLD"' {print $2}')                                                                                           

# 遍历每个失败次数超过阈值的IP地址
for IP in $FAILED_IPS; do
    # 检查IP是否已经在iptables规则中
    if ! iptables -C INPUT -s $IP -j DROP &>/dev/null; then
        # 如果IP不在规则中，则添加规则
        iptables -A INPUT -s $IP -j DROP
        echo "Blocked IP: $IP"
    else
        echo "IP $IP is already blocked."
    fi  
done
```
### 2、结果会导致iptables中条目数量大幅度增加，我执行完一次后就增加到492条了。

![image.png](/static/img/c5c460d1c1aadc4d86529555e38272d9.image.webp)

### 3、iptables命令并不会永久保留，想要永久保存需要写入到文件中并开机加载

```sh
#保存
centos7/8
iptables-save > /data/iptables.rules #保存已经设置的规则到/data/iptables.rules中

centos6
service iptables save #将已设置的规则保存到/etc/sysconfig/iptables文件中

#加载
centos7/8
iptables-restore < /data/iptables.rules #载入保存的规则文件

centos6
service iptables restart #将会从/etc/sysconfig/iptables文件中重新载入规则

#开机自动加载规则,记得给rc.local执行权限。
vim /etc/rc.local
iptables-restore < /data/iptables.rules 
```

封禁登录失败次数大于10的IP

## 引言

最近想下载新版的Ingress测试一下，没想到VPN不给力了。可以连上、可以访问、但是无法下载镜像。想了好多办法都不行，最好找到了一个简单易用的办法。只要能访问github就可以做到。废话不多说，现在开始。
### 一、先注册一个github账号，这里就不演示了，今天会有很多图片。
1. 在gitlab上新建一个项目

![image.png](/static/img/8656346d8e27d40ae5dc89b2b39072b4.image.webp)
2. 为项目起个名字，其他的不用动，右下角点击create repository即可

![image.png](/static/img/a3cdb5dd64c60460c7e4ac6daeaf9c8f.image.webp)
3. 点击create a new file

![image.png](/static/img/0b19a8d3d710bb7ee59483db5beacdf3.image.webp)
4. 这里没有经验的朋友要注意了，先输入目录名最后一定要加个/，不然就直接创建为文件了，我这里要下载两个镜像，创建两个文件夹，过程都一致。所以我输入的就是ingress-nginx-controller/Dockerfile  然后下下面的Edit内写下自己要下载的镜像和LABEL。这里是Dockerfile的特有格式，不明白的可以去翻Dockerfile的讲解。

![image.png](/static/img/5b774d587a24f8a724ca41c9c9da9b8d.image.webp)
5. 然后提交修改
![](https://vanblog.ztunan.top/static/img/4401c234342174dbabc51cdd80fa9900.image.webp)
6. 这里我们看到在ingress的项目下有个ingress-nginx-controller目录，目录下有个Dockerfile文件。

![image.png](/static/img/ce2e3b4793216c9207b647f19f9fd940.image.webp)
7. 到此github就配置完了，再要加另一个Dockerfile就在右边的Add file下点击Create new file，然后继续输入目录名+Dockerfile即可

![image.png](/static/img/af0ce1484b476d417236fbb2b847d888.image.webp)
### 二、接下来开始配置阿里云
1. 注册阿里云账号并登录控制台，在控制台中搜索容器镜像服务，我这里把地址贴出来。选择个人实例。
https://cr.console.aliyun.com/cn-hangzhou/instances
![](https://vanblog.ztunan.top/static/img/3019638da824ac0a0fd25b60e1ae6f7b.image.webp)
2. 如果之前没有使用过阿里云的容器镜像服务，那这里需要先创建一个命名空间，我这里已经创建三个了，个人实例只能创建三个。

![image.png](/static/img/fb5d33ae722978bab6e910239b1b1025.image.webp)

![image.png](/static/img/6b3a6c55eef07ba050fd6eada8173e25.image.webp)
3. 命名空间创建完毕后需要再创建一个镜像仓库，关联一个命名空间即可。第一次创建镜像仓库需要github账号授权，这里需要保持网络畅通。然后下一步。

![image.png](/static/img/348237001ad8ccd46068ccbd34cbb763.image.webp)
4. 关联github账号，并选择海外机器构建，不然阿里云使用国内服务器也下载不到镜像。然后创建镜像仓库。

![image.png](/static/img/739942cc14e4594e9904a6442e00cd4c.image.webp)
5. 接下来点击构建，进入镜像构建页面。添加一条规则。点击确定。

![image.png](/static/img/b68a8a60f190346b771275efd8e4fbfd.image.webp)

-------------
![image.png](/static/img/2dbc4677e08fa2f7fb6dc132e916c32d.image.webp)
6. 选择立即构建，等待构建完成。

![image.png](/static/img/6fa4da2fe5a6de416a7ac9900f864f6d.image.webp)
7. 这里看到构建成功

![image.png](/static/img/91eb2800101cedff9b60c713ca571fd5.image.webp)
### 三、接下来就是下载了，找找一个安装了docker的机器，最好配置了阿里云加速，下载就很快了。
1. 阿里云下载页面

![image.png](/static/img/2baea6badfd9836a05323258dc70666f.image.webp)
2. 开始使用docker下载镜像，最快看到已经下载完成。

![image.png](/static/img/6056be49fe251cbdfa5ee9ea653147f4.image.webp)

### 到这里使用阿里云下载国外镜像就完成了。之前有朋友问我，为什么镜像下载的时候有好多行，因为镜像构建的时候就是分了很多层，所以你下载的时候也是分了很多层。

利用阿里云下载国外镜像

## iptables两个私网通讯实验实例



**引言**

**今天上班有个同事问我，两个私网直接怎么通讯，通过iptables防护墙。懵逼了十几秒，虽然我知道使用NAT的SNAT和DNAT可以实现，原理也明白，给他讲了半天，但是不上手操作一下还是觉得他还是不理解（实操确实能加深记忆），那还是做个实验回顾一下NAT。**
### 一、实验拓扑图
![image.png](https://vanblog.ztunan.top/static/img/4b5817e162a95d9a864395f7f409c069.image.webp)

1. **简述一下实验目的：**
   
   - **让lan-server1和lan-server2实现双向通讯，可以ping通可以访问网站页面。要实现这个目标需要做两次SNAT和两次DNAT管理命令。**

   - **例如：在iptables-1上设置lan-server1的SNAT设置，在iptables-2上设置DNAT的设置。最后达到lan-server1可以和lan-server2互联互通。lan-server2要想和lan-server1互联互通原理一致。**

2. **NAT原理**
    
    **NAT: network address translation，支持PREROUTING，INPUT，OUTPUT，POSTROUTING四个链请求报文：修改源/目标IP，由定义如何修改 响应报文：修改源/目标IP，根据跟踪机制自动实现 NAT的实现分为下面类型**
- SNAT：source NAT ，支持POSTROUTING, INPUT，让本地网络中的主机通过某一特定地址访问 外部网络，实现地址伪装,请求报文：修改源IP 
- DNAT：destination NAT 支持PREROUTING , OUTPUT，把本地网络中的主机上的某服务开放给外 部网络访问(发布服务和端口映射)，但隐藏真实IP,请求报文：修改目标IP 
- PNAT: port nat，端口和IP都进行修改

### 二、环境准备和相关命令
#### 1、环境准备
1. 两台防火墙服务器打开转发功能，echo 'net.ipv4.ip_forward = 1' >> /etc/sysctl.conf。然后sysctl -p生效即可
2. lan-server1的网关指向iptables-1的仅主机地址，修改默认路由命令我会放到最后。
3. lan-server2的网关指向iptables-2的仅主机地址
4. 所有机器安装iptables包
5. 在两台lan-server上安装httpd服务，修改默认页面
#### 2、相关命令
1. 刚开始在lan-server上ping iptables-2是ping不通的，这里先做SNAT。
```sh
#地址ping不通
[22:54:32 root@lan-server1~]#ping 10.0.0.138
PING 10.0.0.138 (10.0.0.138) 56(84) bytes of data.
#在iptables-1上设置SNAT，在nat表上增加一条源地址是192.168.10段的地址，目标地址非192.168.10段的地址，做地址转换基于MASQUERADE，也就是说源IP改变，目标IP不变。
[root@iptables-1 ~]#iptables -t nat -A POSTROUTING -s 192.168.10.0/24 ! -d 192.168.10.0/24 -j MASQUERADE
#这时候再访问iptables-2发现访问成功
[22:54:32 root@lan-server1~]#ping 10.0.0.138      
PING 10.0.0.138 (10.0.0.138) 56(84) bytes of data.
64 bytes from 10.0.0.138: icmp_seq=1 ttl=63 time=1.43 ms
64 bytes from 10.0.0.138: icmp_seq=2 ttl=63 time=1.86 ms
#但是访问lan-server2的页面时还是无法访问
[22:54:32 root@lan-server1~]#curl 192.168.234.128
curl: (7) Failed to connect to 10.0.0.138 port 80: Connection refused
#需要在iptables-2上设置DNAT命令，这条命令的意思是在nat表上添加一条命令，访问目标地址10.0.0.138上tcp的80端口请求转发到192.168.234.128的80端口上
[root@iptables-2 ~]# iptables -t nat -A PREROUTING -d 10.0.0.138 -p tcp --dport 80 -j DNAT --to-destination 192.168.234.128:80
#测试一下
[22:54:32 root@lan-server1~]#curl 10.0.0.138
<h1>internet Website </h1>
[22:54:32 root@lan-server1~]#curl 192.168.234.128
<h1>internet Website </h1>
#测试成功，实现了lan-server1访问lan-server2的页面。
```

:::tip{title="提示"}
我这里是模拟两个私网直接访问，默认我们是不知道对方内网的地址的，我们只知道对方iptables-2的地址，虽然这里测试可以访问对方lan-server2的地址也可以连接，但是其实我们是不知道的lan-server2的地址的。
:::
2. 上面已经实现了lan-server1访问lan-server2的SNAT和DNAT，但是这时候lan-server2是访问不了lan-server1的，原理一致就不讲解了，直接上命令。
```sh
#iptables-2上做SNAT
iptables -t nat -A POSTROUTING -s 192.168.234.0/24 ! -d 192.168.234.0/24 -j MASQUERADE
#iptables-1上做DNAT
iptables -t nat -A PREROUTING -d 10.0.0.38 -p tcp --dport 80 -j DNAT --to-destination 192.168.10.131:80
#测试
[22:54:32 root@lan-server2~]#curl 10.0.0.38
<h1>lan server</h1>
[22:54:32 root@lan-server2~]#curl 192.168.10.131
<h1>lan server</h1>
```
## 到此两个私网直接已经互联互通，通过两个linux作为防火墙可以做到，工作中使用linux做防火墙的其实不多，受性能限制，且成熟厂家很多，但是在云计算中linux防火墙作为主机的规则还是很有必要的。
### 扩展
1. 查看、删除、添加路由
```sh
#查看
[23:57:11 root@rocky ~]#ip route
default via 192.168.10.129 dev ens160 proto dhcp src 192.168.10.131 metric 100 
192.168.10.0/24 dev ens160 proto kernel scope link src 192.168.10.131 metric 100 
#删除
[23:57:11 root@rocky ~]#ip route del default via 192.168.10.129 dev ens160 proto dhcp src 192.168.10.131 metric 100 
#添加
[23:57:11 root@rocky ~]#ip route add default via 192.168.10.129 dev ens160 proto dhcp src 192.168.10.131 metric 100
```
2. REDIRECT---是NAT表的 target，通过改变目标IP和端口，将接受的包转发至同一个主机的不同端口，可 用于PREROUTING OUTPUT链 
```sh
#上面在iptables上做了DNAT地址转换，但是后端服务器的端口如果发生改变，iptables马上修改不了规则的时候使用这条命令，在lan-server2上操作
#这条命令的意思是访问本机的tcp80端口时转发到本机的8080端口，这里PREROUTING后面可以跟选项-d 192.168.234.128 设置目标地址是本机，这里可写可不写
iptables -t nat -A PREROUTING  -p tcp --dport 80 -j REDIRECT --to-ports 8080
```

iptables-NAT实验实例

## k8s中pod的日志收集



### 一、环境准备
- 版本问题：logstash和elasticsearch和kibana和filebeat的版本尽量保持一致，不然出问题不好排错。我这是统一都是7.17.9
- k8s沿用安装1.24.13文章的环境
- elasticsearch+kibana: 10.0.0.128 
- logstash+redis: 10.0.0.130
- 清华大学镜像地址：https://mirrors.tuna.tsinghua.edu.cn/elasticstack/7.x/

### 二、准备镜像
```sh
#目录文件内容
root@harbor:/data/k8s-data/dockerfile/web/tomcat-app1# ll
drwxr-xr-x  2 root root     4096 Jul  7 10:01 ./
drwxr-xr-x 10 root root     4096 Jul  3 15:53 ../
-rw-r--r--  1 root root      424 Jul  7 09:47 Dockerfile
-rw-r--r--  1 root root      160 Jul  6 16:41 app1.tar.gz
-rw-r--r--  1 root root      153 Jul  3 14:27 build-command.sh
-rw-r--r--  1 root root    23611 Jun 22  2021 catalina.sh
-rw-r--r--  1 root root 35153210 Jul  7 09:29 filebeat-7.17.9-x86_64.rpm
-rw-r--r--  1 root root      398 Jul  7 09:46 filebeat.yml
-rwxr-xr-x  1 root root      307 Jul  7 10:00 run_tomcat.sh*

#filebeat.yml内容，我这设置的是转发到redis服务器了，做一个加速
cat filebeat.yml 
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /apps/tomcat/logs/catalina.out
  fields:
    type: tomcat-catalina
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
output.redis:
  hosts: ["10.0.0.130:6379"]    #地址
  key: "k8s-zhang-tomcat-app1"  #key的名称
  db: 1                         #数据库序号
  timeout: 5                    #超时时间
  password: "123456"            #密码

#Dockerfile内容
cat Dockerfile
#tomcat web1
#基于tomcat-base:v8.5.43镜像
FROM harbor.zhang.org/pub-images/tomcat-base:v8.5.43 
#将rpm文件复制到镜像的/tmp下
ADD filebeat-7.17.9-x86_64.rpm /tmp
#安装rpm包并删除rpm源文件，减小镜像大小
RUN yum install -y /tmp/filebeat-7.17.9-x86_64.rpm && rm -rf /tmp/filebeat-7.17.9-x86_64.rpm
#复制配置文件到/etc目录，
ADD filebeat.yml /etc/filebeat/filebeat.yml
#运行写好的脚步文件
ADD run_tomcat.sh /apps/tomcat/bin/run_tomcat.sh
#添加一个页面文件
ADD app1.tar.gz /apps/tomcat/webapps/app1/
#修改所有者和所属组
RUN chown tomcat.tomcat /apps/ -R
#声明开通端口
EXPOSE 8080 8009
#运行脚本
CMD ["/apps/tomcat/bin/run_tomcat.sh"]

#run.tomcat.sh脚本内容
cat run_tomcat.sh
#!/bin/bash
#因为容器里没有systemctl命令，所以必须使用以下这种方式来启动filebeat，可以先在宿主机安装一次，然后使用ps -ef | grep filebeat 查看启动命令
/usr/share/filebeat/bin/filebeat --environment systemd -c /etc/filebeat/filebeat.yml --path.home /usr/share/filebeat --path.config /etc/filebeat --path.data /var/lib/filebeat --path.logs /var/logfilebeat &
#启动tomcat
su - tomcat -c "/apps/tomcat/bin/catalina.sh start"
#运行一个守护进程，不让容器退出
su - tomcat -c "tail -f /etc/hosts"

#build脚本内容
cat build-command.sh 
#!/bin/bash
TAG=$1
docker build -t  harbor.zhang.org/pub-images/tomcat-app1:${TAG} .
sleep 3
docker push  harbor.zhang.org/pub-images/tomcat-app1:${TAG}

#打镜像
bash build-command.sh 20230707
Sending build context to Docker daemon   35.2MB
Step 1/9 : FROM harbor.zhang.org/pub-images/tomcat-base:v8.5.43
 ---> 6f1aaf76c4d6
Step 2/9 : ADD filebeat-7.17.9-x86_64.rpm /tmp
 ---> Using cache
 ---> 76096edf5aa6
Step 3/9 : ADD filebeat.yml /etc/filebeat/filebeat.yml
 ---> Using cache
 ---> 7441a51fc600
Step 4/9 : RUN yum install -y /tmp/filebeat-7.17.9-x86_64.rpm && rm -rf /tmp/filebeat-7.17.9-x86_64.rpm
 ---> Using cache
 ---> b698f4b43553
Step 5/9 : ADD run_tomcat.sh /apps/tomcat/bin/run_tomcat.sh
 ---> Using cache
 ---> ee795e8cb1ee
Step 6/9 : ADD app1.tar.gz /apps/tomcat/webapps/app1/
 ---> Using cache
 ---> 935d6bd74a05
Step 7/9 : RUN chown tomcat.tomcat /apps/ -R
 ---> Using cache
 ---> b784b3d397fa
Step 8/9 : EXPOSE 8080 8009
 ---> Using cache
 ---> cea4b897c86d
Step 9/9 : CMD ["/apps/tomcat/bin/run_tomcat.sh"]
 ---> Using cache
 ---> 837b4727b500
Successfully built 837b4727b500
Successfully tagged harbor.zhang.org/pub-images/tomcat-app1:20230707
The push refers to repository [harbor.zhang.org/pub-images/tomcat-app1]
6d4fd3bfe3e0: Layer already exists 
c17bcf0fdae7: Layer already exists 
884f4fb9ee91: Layer already exists 
137e5fd32805: Layer already exists 
172e7d2569ca: Layer already exists 
86499d97a13b: Layer already exists 
96d001b364a5: Layer already exists 
239a5284fc41: Layer already exists 
35ceed564f97: Layer already exists 
f98c04a9cea2: Layer already exists 
da8ea075ae87: Layer already exists 
11a9a4c8474b: Layer already exists 
fb82b029bea0: Layer already exists 
20230707: digest: sha256:fb8a85b2caaff466ca636adda2f66ba88bdf8aff28193cea2c1b15ebcc3b8be2 size: 3042
#这里镜像已经打过一次了，所以都是Layer already exists
```
### 三、在k8s中启动pod并查看filebeat是否正常启动
#### 3.1 启动pod
```sh
#创建namaspace
cat zhang.yaml
apiVersion: v1
kind: Namespace
metadata: 
  name: zhang

#创建pod，这里nodeport没有指定，没有指定就会随机分配一个。生产环境中tomcat一般都设置为clusterIP，不对外暴露tomcat
cat tomcat.yaml
kind: Deployment
#apiVersion: extensions/v1beta1
apiVersion: apps/v1
metadata:
  labels:
    app: zhang-tomcat-app1-deployment-label
  name: zhang-tomcat-app1-deployment
  namespace: zhang
spec:
  replicas: 1
  selector:
    matchLabels:
      app: zhang-tomcat-app1-selector
  template:
    metadata:
      labels:
        app: zhang-tomcat-app1-selector
    spec:
      containers:
      - name: zhang-tomcat-app1-container
        image: harbor.zhang.org/pub-images/tomcat-app1:20230707
        #command: ["/apps/tomcat/bin/run_tomcat.sh"]
        #imagePullPolicy: IfNotPresent
        imagePullPolicy: Always
        ports:
        - containerPort: 8080
          protocol: TCP
          name: http
        env:
        - name: "password"
          value: "123456"
        - name: "age"
          value: "18"
        resources:
          limits:
            cpu: 1
            memory: "512Mi"
          requests:
            cpu: 500m
            memory: "512Mi"
        volumeMounts:
        - name: zhang-images
          mountPath: /data/tomcat/images
          readOnly: false
        - name: zhang-static
          mountPath: /data/tomcat/static
          readOnly: false
      volumes:
      - name: zhang-images
        nfs:
          server: 10.0.0.206
          path: /images/k8sdata/zhang/images
      - name: zhang-static
        nfs:
          server: 10.0.0.206
          path: /images/k8sdata/zhang/static
#      nodeSelector:
#        project: zhang
#        app: tomcat
---
kind: Service
apiVersion: v1
metadata:
  labels:
    app: zhang-tomcat-app1-service-label
  name: zhang-tomcat-app1-service
  namespace: zhang
spec:
  type: NodePort
  ports:
  - name: http
    port: 80
    protocol: TCP
    targetPort: 8080
    #nodePort: 40003
  selector:
    app: zhang-tomcat-app1-selector
    
#应用文件
kubectl apply -f tomcat-app1.yaml
#查看pod是否启动,这里因为我对pod设置了hpa自动扩容和缩容，所以pod是两个
root@k8s-master1:/data/k8s-data/tomcat# kubectl get pod -n zhang 
NAME                                            READY   STATUS    RESTARTS        AGE
zhang-nginx-deployment-d65497795-wg9dt          1/1     Running   12 (162m ago)   2d20h
zhang-tomcat-app1-deployment-5dd9895c99-9dh4b   1/1     Running   0               161m
zhang-tomcat-app1-deployment-5dd9895c99-m5v4h   1/1     Running   0               161m

#hpa内容
cat hpa-app1.yaml 
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
metadata:
  name: zhang-tomcat-app1-podautoscaler
  namespace: zhang
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: zhang-tomcat-app1-deployment #tomcat-app1的控制器名称
  minReplicas: 2 #最小pod数
  maxReplicas: 10 #最大pod数
  metrics:
  - type: Resource
    resource:    #注意这里，tomca-app1必须有资源限制，不然这里无法使用resource
      name: cpu  #监控pod的cpu数值
      target:
        type: Utilization
        averageUtilization: 50 #利用率达到50%开始扩容
```
#### 3.2 查看状态是否正常
```sh
#进入pod查看，也可使用dashboard查看，这里看到filebeat和tomcat已经正常启动
kubectl exec -it -n zhang zhang-tomcat-app1-deployment-5dd9895c99-9dh4b bash
kubectl exec [POD] [COMMAND] is DEPRECATED and will be removed in a future version. Use kubectl exec [POD] -- [COMMAND] instead.
[root@zhang-tomcat-app1-deployment-5dd9895c99-9dh4b /]# ps -ef | grep filebeat
root           7       1  0 02:18 ?        00:00:03 /usr/share/filebeat/bin/filebeat --environment systemd -c /etc/filebeatfilebeat.yml --path.home /usr/share/filebeat --path.config /etc/filebeat --path.data /var/lib/filebeat --path.logs /var/logfilebeat
root         106      91  0 05:05 pts/0    00:00:00 grep --color=auto filebeat
[root@zhang-tomcat-app1-deployment-5dd9895c99-9dh4b /]# ps -ef | grep tomcat
root           1       0  0 02:18 ?        00:00:00 /bin/bash /apps/tomcat/bin/run_tomcat.sh
tomcat        34       1  0 02:18 ?        00:00:18 /usr/local/jdk/bin/java -Djava.util.logging.config.file=/apps/tomcat/conf/logging.properties -Djava.util.logging.manager=org.apache.juli.ClassLoaderLogManager -Djdk.tls.ephemeralDHKeySize=2048 -Djava.protocol.handler.pkgs=org.apache.catalina.webresources -Dorg.apache.catalina.security.SecurityListener.UMASK=0027 -Dignore.endorsed.dirs= -classpath /apps/tomcat/bin/bootstrap.jar:/apps/tomcat/bin/tomcat-juli.jar -Dcatalina.base=/apps/tomcat -Dcatalina.home=/apps/tomcat -Djava.io.tmpdir=/apps/tomcat/temp org.apache.catalina.startup.Bootstrap start
root          35       1  0 02:18 ?        00:00:00 su - tomcat -c tail -f /etc/hosts
tomcat        36      35  0 02:18 ?        00:00:00 tail -f /etc/hosts
root         108      91  0 05:06 pts/0    00:00:00 grep --color=auto tomcat
```
### 四、logstash接收来自filebeat的日志并转发到elasticsearch并在kibana上展示
#### 4.1 logstash设置
**注意：logstash是java开发的，所以必须在服务器上安装jdk才能运行**
```sh
#安装jdk
yum -y install java-1.8.0-openjdk
#安装logstash
yum -y install logstash-7.17.9-x86_64.rpm
#创建配置文件
cat /etc/logstash/conf.d/log-to-es.conf 
input {

  redis {
    data_type => "list"             #类型
    key => "k8s-zhang-tomcat-app1"  #key的名称，和filebeat中对应
    host => "10.0.0.130"            #地址
    port => "6379"                  #端口
    db => "1"                       #数据库序号
    password => "123456"            #密码
  }
}



output {
  if [fields][type] == "tomcat-catalina" {  #这里的type和filebeat中的type一致
    elasticsearch { 
      hosts => ["10.0.0.128:9200"]          #转发地址
      index => "k8s-zhang-filebeat-tomcat-accesslog-%{+YYYY.MM.dd}" #索引名
    }}
  
}
#启动logstash,查看日志是否有错误
[root@rocky4 conf.d]#systemctl restart logstash.service 
[root@rocky4 conf.d]#tail -f /var/log/logstash/logstash-plain.log 
[2023-07-07T21:25:25,665][INFO ][logstash.outputs.elasticsearch][main] Elasticsearch version determined (7.17.9) {:es_version=>7}
[2023-07-07T21:25:25,667][WARN ][logstash.outputs.elasticsearch][main] Detected a 6.x and above cluster: the `type` event field won't be used to determine the document _type {:es_version=>7}
[2023-07-07T21:25:25,738][INFO ][logstash.outputs.elasticsearch][main] Config is not compliant with data streams. `data_stream => auto` resolved to `false`
[2023-07-07T21:25:25,753][INFO ][logstash.outputs.elasticsearch][main] Config is not compliant with data streams. `data_stream => auto` resolved to `false`
[2023-07-07T21:25:25,852][INFO ][logstash.outputs.elasticsearch][main] Using a default mapping template {:es_version=>7, :ecs_compatibility=>:disabled}
[2023-07-07T21:25:25,883][INFO ][logstash.javapipeline    ][main] Starting pipeline {:pipeline_id=>"main", "pipeline.workers"=>2, "pipeline.batch.size"=>125, "pipeline.batch.delay"=>50, "pipeline.max_inflight"=>250, "pipeline.sources"=>["/etc/logstash/conf.d/log-to-es.conf"], :thread=>"#<Thread:0x176ea837 run>"}
[2023-07-07T21:25:26,569][INFO ][logstash.javapipeline    ][main] Pipeline Java execution initialization time {"seconds"=>0.68}
[2023-07-07T21:25:26,591][INFO ][logstash.inputs.redis    ][main] Registering Redis {:identity=>"redis://<password>@10.0.0.130:6379/1 list:k8s-zhang-tomcat-app1"}
[2023-07-07T21:25:26,614][INFO ][logstash.javapipeline    ][main] Pipeline started {"pipeline.id"=>"main"}
[2023-07-07T21:25:26,791][INFO ][logstash.agent           ] Pipelines running {:count=>1, :running_pipelines=>[:main], :non_running_pipelines=>[]}
```
#### 4.2 配置elasticsearch和kibana
- **安装就不说了，包安装最简单了**
- 配置文件
```sh
#查看elasticsearch配置文件
[root@elk ~]$grep '^[a-Z]' /etc/elasticsearch/elasticsearch.yml 
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.142"]
cluster.initial_master_nodes: ["node-1"]

#查看kibana的配置文件
[root@elk ~]$grep '^[a-Z]' /etc/kibana/kibana.yml        
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://localhost:9200"]
i18n.locale: "zh-CN"

#启动服务，查看10.0.0.142:9200是不是有k8s-zhang-tomcat索引的数据了
```
- 查看索引是否存在，这里发现k8s-zhang-filebeat-tomcat索引已经创建完成
![image.png](http://vanblog.ztunan.top/static/img/16e10e4ea56f0ca7d9024c76e7e726bc.image.webp)
- 访问kibana，创建索引模式
![image.png](http://vanblog.ztunan.top/static/img/8966957257678c88ddd90446f3c5fb0a.image.webp)
- 创建完成后在home下的diacover中选择刚才创建的k8s-zhang-filebeat-tomcat索引名称，选定message即可
![image.png](http://vanblog.ztunan.top/static/img/2cab3efc0d90e29a390dc10aa0672417.image.webp)
- 在pod中追加一条日志记录看这里是否能查看到，这里使用的是dashboard打开的pod
![image.png](http://vanblog.ztunan.top/static/img/3f3025180f83080fb16e6dcc613cc924.image.webp)
- 在kibana中查看结果，发现记录已经显示
![image.png](http://vanblog.ztunan.top/static/img/5029a6f59956f36fe184e1ed5b6ca5ee.image.webp)

#### 至此，将pod中的应用程序日志通过filebeat发送到redis，由logstash转发到elasticsearch，并最终在kibana上展示功能已经达成。

封禁登录失败次数大于10的IP

引言

iptables两个私网通讯实验实例

k8s中pod的日志收集

kubernetes-1.24.13安装过程