您现在的位置是:首页 >其他 >fluent-operator在kubesphere中的实战详解网站首页其他

fluent-operator在kubesphere中的实战详解

snail-jie 2024-06-19 06:01:02
简介fluent-operator在kubesphere中的实战详解

前言

  最近收到一个小任务:熟悉kubesphere实现一个日志平台。基于这样的机会,将最近所整理的笔记进行汇总。

kubesphere开启日志收集

  1. 根据官网介绍只需要将 enabled 的 false 改为 true即可
    在这里插入图片描述
  2. 执行kubectl get pod -n kubesphere-logging-system命令来检查容器组的状态
    在这里插入图片描述

fluent-operator在kubesphere中是如何工作的

  1. kubesphere开启日志后会生成fluentBit相关自定义资源
    在这里插入图片描述
    1.1 FluentBit:定义 Fluent Bit DaemonSet 及其配置。kubesphere/fluent-bit需要自定义 Fluent Bit 映像才能与 FluentBit Operator 一起使用以进行动态配置重新加载。

    1.2 FluentBitConfig:选择命名空间级别的过滤器/输出/解析器和集群级别的解析器插件,并将最终配置生成到 Secret 中

  2. FluentBit的配置如下

    apiVersion: logging.kubesphere.io/v1alpha2
    kind: FluentBit
    metadata:
      annotations:
        kubectl.kubernetes.io/last-applied-configuration: >
          {"apiVersion":"logging.kubesphere.io/v1alpha2","kind":"FluentBit","metadata":{"annotations":{},"labels":{"app.kubernetes.io/name":"fluent-bit"},"name":"fluent-bit","namespace":"kubesphere-logging-system"},"spec":{"affinity":{"nodeAffinity":{"requiredDuringSchedulingIgnoredDuringExecution":{"nodeSelectorTerms":[{"matchExpressions":[{"key":"node-role.kubernetes.io/edge","operator":"DoesNotExist"}]}]}}},"fluentBitConfigName":"fluent-bit-config","image":"kubesphere/fluent-bit:v1.8.11","positionDB":{"emptyDir":{}},"resources":{"limits":{"cpu":"500m","memory":"200Mi"},"requests":{"cpu":"10m","memory":"25Mi"}},"tolerations":[{"operator":"Exists"}]}}
      finalizers:
        - fluentbit.logging.kubesphere.io
      labels:
        app.kubernetes.io/name: fluent-bit
      name: fluent-bit
      namespace: kubesphere-logging-system
    spec:
      affinity:
        nodeAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            nodeSelectorTerms:
              - matchExpressions:
                  - key: node-role.kubernetes.io/edge
                    operator: DoesNotExist
      fluentBitConfigName: fluent-bit-config
      image: 'kubesphere/fluent-bit:v1.8.11'
      positionDB:
        emptyDir: {}
      resources:
        limits:
          cpu: 500m
          memory: 200Mi
        requests:
          cpu: 10m
          memory: 25Mi
      tolerations:
        - operator: Exists
    

    2.1 fluentbit-operator的controller监听自定义资源部署DaemonSet
    在这里插入图片描述
    2.2 DaemonSet 确保全部(或者某些)节点上运行一个 Pod 的副本。 当有节点加入集群时, 也会为他们新增一个 Pod 。 当有节点从集群移除时,这些 Pod 也会被回收。删除 DaemonSet 将会删除它创建的所有 Pod

    2.3 添加如下配置,避免部署在edgenode上 在这里插入图片描述
    2.4 最终在集群所有节点(总共6节点:三个master,三个node)都部署了fluent-bit(可以收集每个节点日志)
    在这里插入图片描述

  3. 每个Input, Parser, Filter,Output代表一个 Fluent Bit 配置部分,由 via 标签选择器选择ClusterFluentBitConfig
    在这里插入图片描述
    在这里插入图片描述
    3.1 Fluent Operator 监视这些对象,构建最终配置,最后创建一个 Secret 来存储将安装到 Fluent Bit DaemonSet 中的配置
    在这里插入图片描述

束语

  本篇文章主要介绍了fluent-operator在kubepshere中是如何工作的,后面会继续介绍具体的input、output,了解其收集哪些日志以及怎么存入es中。

风语者!平时喜欢研究各种技术,目前在从事后端开发工作,热爱生活、热爱工作。