背景

Kubernetes 对 Pod 进行调度时，以当时集群中各节点的可用资源作为主要依据，自动选择某一个可用的节点，并将 Pod 分配到该节点上。在这种情况下，Pod 中容器数据的持久化如果存储在所在节点的磁盘上，就会产生不可预知的问题，例如，当 Pod 出现故障，Kubernetes 重新调度之后，Pod 所在的新节点上，并不存在上一次 Pod 运行时所在节点上的数据。

为了使 Pod 在任何节点上都能够使用同一份持久化存储数据，我们需要使用网络存储的解决方案为 Pod 提供 数据卷。常用的网络存储方案有：NFS/cephfs/glusterfs。

本文介绍一种使用 centos 搭建 nfs 服务器的方法。此方法仅用于测试目的，请根据您生产环境的实际情况，选择合适的 NFS 服务。

配置要求

  • 两台 linux 服务器，centos 7
    • 一台用作 nfs server
    • 另一台用作 nfs 客户端

配置NFS服务器

本章节中所有命令都以 root 身份执行

  • 执行以下命令安装 nfs 服务器所需的软件包

    yum install -y rpcbind nfs-utils

  • 执行命令

    echo "/nfs/data/ *(insecure,rw,sync,no_root_squash)" > /etc/exports

  • 执行以下命令，启动 nfs 服务

    # 创建共享目录，如果要使用自己的目录，请替换本文档中所有的 /root/nfs_root/
mkdir -p /nfs/data

systemctl enable rpcbind --now
systemctl enable nfs-server --now
exportfs -r

  • 检查配置是否生效

    [root@k8s-101 data]# exportfs 
/nfs/data       <world>

在客户端测试nfs

  • 本章节中所有命令都以 root 身份执行

  • 服务器端防火墙开放111、662、875、892、2049的 tcp / udp 允许，否则远端客户无法连接。

  • 执行以下命令安装 nfs 客户端所需的软件包

    yum install -y nfs-utils

  • 执行以下命令检查 nfs 服务器端是否有设置共享目录

    # showmount -e $(nfs服务器的IP)
showmount -e 192.168.50.101
# 输出结果如下所示
Export list for 192.168.50.101:
/nfs/data *

  • 执行以下命令挂载 nfs 服务器上的共享目录到本机路径 /root/nfsmount

    mkdir -p /nfs/data
# mount -t nfs $(nfs服务器的IP):/root/nfs_root /root/nfsmount
mount -t nfs 192.169.50.101:/nfs/data /nfs/data
# 写入一个测试文件
echo "hello nfs server" > /nfs/data/test.txt

  • 在 nfs 服务器上执行以下命令，验证文件写入成功

    cat /nfs/data/test.txt

永久挂载NFS

要使挂载在重启后仍然有效，需要编辑 /etc/fstab 文件。添加如下行：

<NFS服务器IP>:/共享路径   /mnt/nfs_share   nfs   defaults   0   0

例如：

192.168.1.100:/export/data   /mnt/nfs_share   nfs   defaults   0   0

可以通过卸载并重新挂载来测试设置是否正确。

  • 卸载当前挂载
sudo umount /mnt/nfs_share
  • 挂载所有文件系统（包括 /etc/fstab 中定义的）
sudo mount -a

如果没有错误信息出现，并且能正常访问 /mnt/nfs_share 下的内容，则表示永久挂载配置成功。

挂载选项

挂载选项 说明
rw / ro rw: 读写模式，默认值。ro: 只读模式。
sync / async sync: 同步写入。async: 异步写入，默认值，提高性能。
noatime 不更新文件的访问时间，提高性能，特别是对频繁访问的文件有利。
relatime 默认选项，仅在访问时间比修改时间旧时更新，平衡性能和准确性。
nodiratime 禁止更新目录的访问时间，进一步提高性能，适用于目录操作频繁的场景。
auto / noauto auto: 系统启动时自动挂载。noauto: 需手动挂载，不自动挂载。
user / nouser user: 允许非 root 用户挂载。nouser: 仅 root 可以挂载，默认值。
exec / noexec exec: 允许执行二进制文件。noexec: 禁止在挂载点执行文件，提升安全性。
suid / nosuid suid: 允许使用 setuid 和 setgid 权限。nosuid: 禁用此权限，提升安全性。
dev / nodev dev: 解释设备文件。nodev: 禁止设备文件解释，增强安全性。
quota / usrquota / grpquota 启用磁盘配额。usrquota: 针对用户启用配额。grpquota: 针对组启用配额。

示例：使用不同挂载选项的配置

/dev/sdb1   /mnt/storage   ext4   defaults,ro,noatime   0   2