Kubernetes是云計(jì)算發(fā)展演進(jìn)的一次徹底革命性的突破。如今，已經(jīng)有越來(lái)越多的企業(yè)逐漸接受并將自己的核心業(yè)務(wù)系統(tǒng)遷移到Kubernetes平臺(tái)。本期智匯華云，華云數(shù)據(jù)為大家?guī)?lái)Kubernetes特性——In-Tree to CSI Volume Migration。
背景
In-tree
kubernetes早期通過(guò)in-tree的方式來(lái)為容器提供存儲(chǔ)，in-tree可以理解為對(duì)接外部存儲(chǔ)的plugin的代碼集成在kubernetes中，在k8s的代碼目錄里面我們可以看到大量的關(guān)于外部存儲(chǔ)的plugin集成的代碼k8s.io/pkg/volume?？梢酝ㄟ^(guò)in-tree的代碼與這些外部存儲(chǔ)進(jìn)行對(duì)接，這些plugin提供了volume的create/delete/attach/detach/mount/unmount/recyle以及卷監(jiān)控等volume的管理。In-tree支持20+種volume plugin，例如比較常用的iscsi/nfs/fc/ceph/azure/aws/gce/glusterfs/openstack等等。
CSI
In-tree的方式對(duì)于新增一種volume plugin變得很困難，廠商期望在kubernetes中新支持一種volume plugins需要考慮kubernetes的發(fā)布過(guò)程，另外第三方存儲(chǔ)的代碼在kubernetes倉(cāng)庫(kù)中對(duì)于kubernetes穩(wěn)定性以及測(cè)試和維護(hù)帶來(lái)了挑戰(zhàn)。所以kubernetes社區(qū)提出了CSI規(guī)范用于更好的支持其他廠商的外部存儲(chǔ)。
CSI定義了一套接口規(guī)范，各個(gè)外部廠商可以根據(jù)自身存儲(chǔ)開(kāi)發(fā)自身的CSIDriver插件，來(lái)完成對(duì)于整個(gè)卷生命周期的管理。引入對(duì) CSI 驅(qū)動(dòng)的支持，使得 Kubernetes 和存儲(chǔ)后端技術(shù)之間的集成工作更易建立和維護(hù)，集群管理員可以只選擇集群需要的存儲(chǔ)驅(qū)動(dòng)。
CSI Volume Migration
CSI Volume Migration特性是支持in-tree定義的PVC&PV資源對(duì)象對(duì)應(yīng)的功能可以由外部的對(duì)應(yīng)的CSI插件來(lái)替代完成，例如之前集群中使用provision=kubernetes.io/cinder創(chuàng)建的pvc以及pv對(duì)象卷的生命周期管理可以由Cinder CSI Plugin來(lái)完成，而不是之前in-tree來(lái)完成。
為什么需要引入CSI Volume Migration
In-tree方式過(guò)渡到csi方式對(duì)接外部存儲(chǔ)：csi driver越來(lái)越普遍以及成熟，可以替代in-tree的方式，對(duì)于存儲(chǔ)插件的開(kāi)發(fā)者，減少維護(hù)in-tree方式的插件，并最終將這些插件從kubernetes倉(cāng)庫(kù)的代碼中移除。
平滑的過(guò)渡：遷移到CSI driver的方式，而不破壞與現(xiàn)有存儲(chǔ) API 類(lèi)型的 API 兼容性。由特性來(lái)實(shí)現(xiàn)將in-tree存儲(chǔ) API 翻譯成等效的 CSI API，將操作委托給一個(gè)替換的 CSI 驅(qū)動(dòng)來(lái)完成。之前創(chuàng)建的in-tree的PV/PVC對(duì)象可以繼續(xù)工作，只是實(shí)際的工作由in-tree的邏輯實(shí)現(xiàn)替代成CSI來(lái)驅(qū)動(dòng)完成。未來(lái)計(jì)劃將在 Kubernetes v1.26 和 v1.27 之前移除云提供商提供的in-tree存儲(chǔ)插件的代碼。
//CSI migrate各個(gè)plugin的最新的進(jìn)展
怎么使用CSI Volume Migration特性
打開(kāi)CSIMigration以及CSIMigration{provider}的特性開(kāi)發(fā)(1.17),{provider}是in-tree的cloud provider storage type.
打開(kāi)InTreePlugin{provider}Unregister，該feature是可注銷(xiāo)參數(shù)名稱(chēng)中 {provider} 部分所指定的in-tree存儲(chǔ)插件。InTreePlugin{provider}Unregister 是一種特性，可以獨(dú)立于 CSI 遷移功能來(lái)啟用或禁用。當(dāng)啟用此種特性時(shí)，組件將不會(huì)把相應(yīng)的in-tree存儲(chǔ)插件注冊(cè)到支持的列表中。如果集群操作員只啟用了這種參數(shù)，終端用戶(hù)將在使用該插件的 PVC時(shí)會(huì)遇到錯(cuò)誤，提示其找不到插件。如果集群操作員不想支持過(guò)時(shí)的in-tree存儲(chǔ) API，只支持 CSI，那么他們可能希望啟用這種特性。在k8s 1.21之前這個(gè)feature名稱(chēng)是CSIMigration{provider}Complete，在v1.21版本棄用了CSIMigration{provider}Complete,而是改用InTreePlugin{vendor}Unregister，功能上二者是一致的。
安裝對(duì)應(yīng)的csi driver
以openstack-cinder in-tree為例演示
在kubernetes 1.22版本上需要打開(kāi)如下三個(gè)特性
K8s.io/Kubernetes/pkg/features/kube_features.go
// Enables the in-tree storage to CSI Plugin migration feature.
CSIMigration featuregate.Feature = "CSIMigration"
// Enables the OpenStack Cinder in-tree driver to OpenStack Cinder CSI Driver migration feature.
CSIMigrationOpenStack featuregate.Feature = "CSIMigrationOpenStack"
// Disables the OpenStack Cinder in-tree driver.
InTreePluginOpenStackUnregister featuregate.Feature = "InTreePluginOpenStackUnregister"
安裝cinder-csi-plugin
查看csinodes，存在annotations
之后創(chuàng)建一個(gè)in-tree的pvc，查看cinder-csi-plugin日志，是否是由cinder-csi來(lái)完成
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
name: csi-sc-cinderplugin
provisioner: kubernetes.io/cinder
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
name: csi-pvc-cinderplugin
spec:
accessModes:
- ReadWriteOnce
resources:
requests:
storage: 1Gi
storageClassName: csi-sc-cinderplugin
---
apiVersion: v1
kind: Pod
metadata:
name: nginx
spec:
nodeSelector:
kubernetes.io/hostname: node4
containers:
- image: nginx
imagePullPolicy: IfNotPresent
name: nginx
ports:
- containerPort: 80
protocol: TCP
volumeMounts:
- mountPath: /var/lib/www/html
name: csi-data-cinderplugin
volumes:
- name: csi-data-cinderplugin
persistentVolumeClaim:
claimName: csi-pvc-cinderplugin
readOnly: false
如何實(shí)現(xiàn)CSI Volume Migration
kubernetes 1.22代碼分析主要是針對(duì)每個(gè)in-tree的插件實(shí)現(xiàn)type InTreePlugin interface k8s.io/Kubernetes/staging/src/k8s.io/csi-translation-lib/plugins/in_tree_volume.go
// InTreePlugin handles translations between CSI and in-tree sources in a PV
type InTreePlugin interface {
// TranslateInTreeStorageClassToCSI takes in-tree volume options
// and translates them to a volume options consumable by CSI plugin
TranslateInTreeStorageClassToCSI(sc *storage.StorageClass) (*storage.StorageClass, error)
// TranslateInTreeInlineVolumeToCSI takes a inline volume and will translate
// the in-tree inline volume source to a CSIPersistentVolumeSource
// A PV object containing the CSIPersistentVolumeSource in it's spec is returned
// podNamespace is only needed for azurefile to fetch secret namespace, no need to be set for other plugins.
TranslateInTreeInlineVolumeToCSI(volume *v1.Volume, podNamespace string) (*v1.PersistentVolume, error)
// TranslateInTreePVToCSI takes a persistent volume and will translate
// the in-tree pv source to a CSI Source. The input persistent volume can be modified
TranslateInTreePVToCSI(pv *v1.PersistentVolume) (*v1.PersistentVolume, error)
// TranslateCSIPVToInTree takes a PV with a CSI PersistentVolume Source and will translate
// it to a in-tree Persistent Volume Source for the in-tree volume
// by the `Driver` field in the CSI Source. The input PV object can be modified
TranslateCSIPVToInTree(pv *v1.PersistentVolume) (*v1.PersistentVolume, error)
// CanSupport tests whether the plugin supports a given persistent volume
// specification from the API.
CanSupport(pv *v1.PersistentVolume) bool
// CanSupportInline tests whether the plugin supports a given inline volume
// specification from the API.
CanSupportInline(vol *v1.Volume) bool
// GetInTreePluginName returns the in-tree plugin name this migrates
GetInTreePluginName() string
// GetCSIPluginName returns the name of the CSI plugin that supersedes the in-tree plugin
GetCSIPluginName() string
// RepairVolumeHandle generates a correct volume handle based on node ID information.
RepairVolumeHandle(volumeHandle, nodeID string) (string, error)
}
之后在原有的卷調(diào)度以及卷生命周期管理的時(shí)候，通過(guò)各個(gè)plugin提供的TranslateInTreexxx函數(shù)轉(zhuǎn)換成CSI對(duì)象，按照CSI對(duì)象的操作流程進(jìn)行操作。如果是支持遷移的卷類(lèi)型，則原來(lái)的流程將會(huì)被忽略。下面是volume調(diào)度策略node-limit來(lái)看CSI mirgrate特性是如何讓用戶(hù)無(wú)感知的遷移的
Nodevolumelimits調(diào)度策略主要是限制單個(gè)node上相同類(lèi)型的卷的數(shù)量不能超過(guò)一定的數(shù)量，可以在CSINode里面定義數(shù)量的大小。Nodevolumelimits-plugin代碼的位置在k8s.io/Kubernetes/pkg/scheduler/framework/plugins/nodevolumelimits/csi.go
Filter()
filterAttachableVolumes
pl.getCSIDriverInfo(csiNode, pvc)中
csiSource := pv.Spec.PersistentVolumeSource.CSI
if csiSource == nil {
// We make a fast path for non-CSI volumes that aren't migratable
if !pl.translator.IsPVMigratable(pv) {
return "", ""
}
pluginName, err := pl.translator.GetInTreePluginNameFromSpec(pv, nil)
if err != nil {
klog.V(5).InfoS("Unable to look up plugin name from PV spec", "err", err)
return "", ""
}
if !isCSIMigrationOn(csiNode, pluginName) {
klog.V(5).InfoS("CSI Migration of plugin is not enabled", "plugin", pluginName)
return "", ""
}
csiPV, err := pl.translator.TranslateInTreePVToCSI(pv)
if err != nil {
klog.V(5).InfoS("Unable to translate in-tree volume to CSI", "err", err)
return "", ""
}
if csiPV.Spec.PersistentVolumeSource.CSI == nil {
klog.V(5).InfoS("Unable to get a valid volume source for translated PV", "PV", pvName)
return "", ""
}
csiSource = csiPV.Spec.PersistentVolumeSource.CSI
}
獲取pvc in-intree對(duì)應(yīng)的csi對(duì)象。之后Nodevolumelimits-plugin中去判斷node所在的in-tree或者csi對(duì)象總的volume的數(shù)量有沒(méi)有超過(guò)limit的限制。
總結(jié)
CSIMigration可以使得in-tree的pvc&pv可以由csi來(lái)管理，但是卷的管理能力只僅限于in-tree本身具備的一些能力，csi中具有的一些高級(jí)的功能，例如snapshot等，是沒(méi)有辦法針對(duì)in-tree的pvc&pv來(lái)進(jìn)行操作的。
截止k8s 1.24 release，CSIMigration特性處于beta狀態(tài)，目前支持migration的in-tree插件有GCE/AWS/AzureDisk/AzureFile/vSphere/Openstack/RBD/Portworx，可以看出將所有in-tree的代碼從kubernetes代碼中剝離出來(lái)仍然還有很多工作要做，并且CSIMigration特性引入了很多過(guò)渡的代碼。同時(shí)思考是否可以通過(guò)直接convert將in-tree的pvc、pv對(duì)象直接轉(zhuǎn)化成csi規(guī)范的對(duì)象，是不是也是一種更好的思路。
（免責(zé)聲明：本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿，凡在本網(wǎng)站出現(xiàn)的信息，均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性，但不保證有關(guān)資料的準(zhǔn)確性及可靠性，讀者在使用前請(qǐng)進(jìn)一步核實(shí)，并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏，概不負(fù)任何法律責(zé)任。
任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí)，應(yīng)及時(shí)向本網(wǎng)站提出書(shū)面權(quán)利通知或不實(shí)情況說(shuō)明，并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后，將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí)，溝通刪除相關(guān)內(nèi)容或斷開(kāi)相關(guān)鏈接。 ）
