Kubernetes 컨테이너 로그 집계

쿠버네티스에서 기동하고 있는 컨테이너 로그를 중장기적으로 안정적으로 저장하려면 플루언트디(Fluentd)를 사용하여 클러스터 외부로 로그를 전송하는 것을 추천한다.

 

플루언트디를 쿠버네티스에 통합하여 사용할 때는 데몬셋을 사용하여 각 노드에 플루언트디 파드를 한 대씩 기동하는 방법으로 구현한다. 파드가 직접 플루언트디 파드에 로그를 전송하는 것처럼 보이지만, 실제로는 도커 컨테이너 표준 출력으로 출력된 로그가 노드의 /var/log/containers/ 아래에 저장되고, 그 로그 파일을 플루언트디 파드가 tail 플러그인을 사용하여 읽어들인다.

 

로그 저장소는 아래 그림과 같이 elasticsearch를 사용해도 되지만 그 밖에 AWS S3, GCP Cloud Logging 등을 사용해도 좋다.

출처 : https://blog.opstree.com/2019/12/17/collect-logs-with-fluentd-in-k8s-part-2/

 

쿠버네티스에서 로그를 집계할 경우에는 로그 중요도나 용량을 고려하면서 적절한 로그 전송 경로를 검토해보자. 경우에 따라서는 애그리게이션(aggregation)하는 역할을 중간에 넣어 집계 측 서버의 부하를 줄이는 것도 고려해보자.

 

RBAC

- ServiceAccount

apiVersion: v1
kind: ServiceAccount
metadata:
  name: fluentd
  namespace: kube-system

- ClusterRole

apiVersion: rbac.authorization.k8s.io/v1
kind: ClusterRole
metadata:
  name: fluentd
rules:
- apiGroups:
  - ""
  resources:
  - pods
  - namespaces
  verbs:
  - get
  - list
  - watch

- ClusterRoleBinding

kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: fluentd
roleRef:
  kind: ClusterRole
  name: fluentd
  apiGroup: rbac.authorization.k8s.io
subjects:
- kind: ServiceAccount
  name: fluentd
  namespace: kube-system

DaemonSet

- configMap을 통해 원하지 않는 로그는 필터링 할 수 있다.

apiVersion: apps/v1
kind: DaemonSet
metadata:
  name: fluentd
  namespace: kube-system
  labels:
    k8s-app: fluentd-logging
    version: v1
spec:
  selector:
    matchLabels:
      k8s-app: fluentd-logging
      version: v1
  template:
    metadata:
      labels:
        k8s-app: fluentd-logging
        version: v1
    spec:
      serviceAccount: fluentd
      serviceAccountName: fluentd
      tolerations:
      - key: node-role.kubernetes.io/master
        effect: NoSchedule
      containers:
      - name: fluentd
        image: fluent/fluentd-kubernetes-daemonset:v1-debian-elasticsearch
        env:
          - name:  FLUENT_ELASTICSEARCH_HOST
            value: "elasticsearch-logging"
          - name:  FLUENT_ELASTICSEARCH_PORT
            value: "9200"
          - name: FLUENT_ELASTICSEARCH_SCHEME
            value: "http"
          # Option to configure elasticsearch plugin with self signed certs
          # ================================================================
          - name: FLUENT_ELASTICSEARCH_SSL_VERIFY
            value: "true"
          # Option to configure elasticsearch plugin with tls
          # ================================================================
          - name: FLUENT_ELASTICSEARCH_SSL_VERSION
            value: "TLSv1_2"
          # X-Pack Authentication
          # =====================
          - name: FLUENT_ELASTICSEARCH_USER
            value: "elastic"
          - name: FLUENT_ELASTICSEARCH_PASSWORD
            value: "changeme"
        resources:
          limits:
            memory: 200Mi
          requests:
            cpu: 100m
            memory: 200Mi
        volumeMounts:
        - name: config-volume
          mountPath: /fluentd/etc/kubernetes.conf
          subPath: kubernetes.conf
        - name: varlog
          mountPath: /var/log
        # When actual pod logs in /var/lib/docker/containers, the following lines should be used.
        # - name: dockercontainerlogdirectory
        #   mountPath: /var/lib/docker/containers
        #   readOnly: true
        # When actual pod logs in /var/log/pods, the following lines should be used.
        - name: dockercontainerlogdirectory
          mountPath: /var/log/pods
          readOnly: true
      terminationGracePeriodSeconds: 30
      volumes:
      - name: config-volume
        configMap:
          name: fluentd-conf
      - name: varlog
        hostPath:
          path: /var/log
      # When actual pod logs in /var/lib/docker/containers, the following lines should be used.
      # - name: dockercontainerlogdirectory
      #   hostPath:
      #     path: /var/lib/docker/containers
      # When actual pod logs in /var/log/pods, the following lines should be used.
      - name: dockercontainerlogdirectory
        hostPath:
          path: /var/log/pods

 

참고

로그 저장소의 부하가 많아지면 정상상태로 복구하는 것이 어려워질 수 있다. 이런 상황을 사전에 방지하기 위해서는 아래와 같이 fluentd filter를 추가하여 필요한 로그만 로그 저장소에 추가해야한다.

<filter kubernetes.**>
    @type grep
    <exclude>
        key $.kubernetes.labels.app
        pattern kibana|fluentd|elasticsearch
    </exclude>
</filter>
    
# this tells fluentd to not output its log on stdout  
<match fluent.**>
    @type null
</match>

# disable kube system log 
<match kubernetes.var.log.containers.**kube-system**.log>
    @type null
</match>

---

출처

- [책] 쿠버네티스 완벽 가이드 마사야 아오야마 지음, 박상욱 옮김

- [fluentd in k8s]

https://github.com/fluent/fluentd-kubernetes-daemonset/blob/master/fluentd-daemonset-elasticsearch-rbac.yaml

https://blog.opstree.com/2019/12/17/collect-logs-with-fluentd-in-k8s-part-2/