云原生下的数据保护与传统架构下的数据保护存在哪些不同?(交流共识总结)
议题背景
金融行业已迈入云原生时代,容器、分布式数据库、大数据PaaS平台等诸多技术和模式已在金融行业进行试点应用。云原生主打分布式与无状态架构,依赖副本技术实现了数据的基础保护。借助多副本技术,云设施能够实现同城、异地数据多副本留存。这些数据保护手段的应用,在一定程度上保障了数据的安全。然而,近些年云设施的各项安全事故也说明,数据安全不可掉以轻心。
本议题探讨了云原生的数据保护与传统架构之间的异同:针对云原生这类新兴的架构,更全面更深层的数据保护应该如何建设?IaaS/SaaS/PaaS层的金融业务数据更加分散,一旦一致性出现差错,数据安全如何保障?借鉴传统架构里摸索出的数据保护经验,云设施从下至上的全方位数据保护也应付诸实践。云原生架构依赖分布式,已经集成了副本、快照等,是否还要制定更多数据保护措施?针对云原生的数据包设计,与传统集中式架构相比有哪些差异?
议题主持人:李铭 某股份制银行存储管理员
专家观点
• 周远平 某银行存储架构师:
云原生数据保护涉及到架构和动态的环境,与传统数据保护方案有所区别,主要有以下几个关键点:
1、动态与分布式架构
云原生应用通常运行在分布式环境中,比如容器和微服务架构。这意味着数据保护需要能够跨多个节点或集群工作。数据可能分布在不同的容器、虚拟机或区域(如多云环境),因此需要确保所有环境中的数据都被保护。
2、无状态与有状态应用的处理
云原生应用分为无状态和有状态两种。对于无状态应用,通常无需保护数据,只需确保应用配置能被重建。而有状态应用则需要重点保护,因此需要对不同的工作负载采用不同的数据保护策略。
3、容器持久存储的备份
Kubernetes 等云原生平台广泛使用容器化技术。在这种环境下,持久存储是有状态应用的关键。对于 Kubernetes,数据保护需要支持容器存储接口(CSI)进行卷的备份与恢复。
4、备份和恢复的自动化与可扩展性
在云原生环境中,自动化和可扩展性是关键。应使用支持云原生环境的自动化工具或框架,这些工具可以无缝地与 Kubernetes 等平台集成,实现自动化的备份与恢复。同时,它们可以根据负载动态扩展,以应对大规模环境的需求。
5、数据一致性
对于分布式环境中的数据库、缓存等组件,确保数据的一致性非常重要。快照技术和事务级别备份可以帮助实现一致性备份,特别是在容器和微服务架构中,可能会出现多个组件需要一起备份的情况。
6、安全与合规
云原生环境下的数据保护还需要关注安全性和合规性,特别是在多租户、跨区域和多云部署的情况下。加密、访问控制和合规性审计应内嵌到备份流程中,确保数据在备份、传输和恢复过程中的安全。
7、灾难恢复策略
要设计适用于云原生的灾难恢复(DR)策略,备份不仅仅是数据的复制,还需要考虑业务连续性。多区域、多集群备份,跨云灾难恢复等是云原生架构中特别需要注意的方面。
8、高可用性和弹性
云原生应用天然追求高可用性和弹性,因此数据保护方案也需要具备同样的特性。要确保备份存储和备份服务本身是高可用的,避免单点故障对整个备份体系造成影响。
9、备份的可观测性
监控和日志是云原生架构的核心部分,备份任务同样需要纳入到可观测性平台中。通过日志、指标和告警机制可以及时发现和解决备份失败的问题,确保备份的完整性和及时性。总之,云原生数据保护需要适应动态、多变的环境,并注重自动化、安全性以及多租户架构下的数据一致性与合规性。
• 李威 建筑行业架构师
云原生环境的数据保护与传统架构的数据保护差异点很多,简单谈一谈最显著的三点异同:
1、架构形式的变化
传统架构的计算存储网络划分明确,数据保护也是分块进行。计算层如虚拟化,一般依靠快照、集中式备份恢复系统策略解决数据保护问题。网络则通过配置备份解决元数据的历史版本问题,通过设备冗余实现生产高可靠性高可用性。存储和计算层类似,一是存储厂商的备份解决方案,二是集中式备份恢复系统。应用层这一侧(如 数据库)基本靠集中式备份恢复系统。云原生架构是分布式的,IaaS层主要通过云API调用进行数据备份,如ECS快照。SaaS和PaaS基于微服务和容器技术,数据的存储和处理分布在多个节点上,通常有对象存储、块存储和文件存储等不同的存储形式。这一部分的数据保护方案更多的是利用云服务和平台的自身能力来实现。
2、备份和恢复
传统数据中心数据备份主要依赖集中式备份恢复系统,不但恢复时间较长,而且备份过程需要手动配置和管理。灾备中心可能会存在地域限制且扩展性有限。在云原生平台上备份恢复的智能化程度高,更加弹性,但可选择性不高,大部分都会形成平台绑定,必须优先使用云服务商提供的工具或服务。第三方云备份恢复方案虽有,但功能性限制太多,不能完全满足生产实践要求。云上的备份可以跨多个可用区或地理区域,确保数据的高可用性和容灾能力,备份频率和保留策略基本满足生产需求。
3、自动化和工具集成
传统数据中心的数据保护或者说集中式备份恢复系统在自动化这一块灵活性就低了很多,但胜在生态集成广能够适配所有主流的软硬件,功能限制少且实用。大部分公有云厂商提供了对应的自动备份恢复服务,如阿里DBS、AWS Backup、Azure Recovery之类,这些产品的灵活性相对较低,其功能可实现用户对数据保护的基本需求。对于容器类的保护,大部分需要依赖云平台本身能力,原理大致相同:基于Velero实现集群中应用(资源YAML)的备份和恢复,备份最终存储对象存储或NAS存储中。基于ECS的云盘快照功能实现节点云盘类型存储卷的数据备份和恢复。基于云备份(Cloud Backup)实现其他类型(NAS/本地磁盘之类)存储卷的备份。
• 郭恺 哈尔滨银行数据中心存储系统专家
在云原生的环境下,制定更多的数据保护策略仍然是必要的,原因如下:
1、数据丢失和灾难恢复
尽管副本和快照可以提供一定程度的数据保护,但它们并不能应对所有可能的灾难或数据丢失情况。对于一些重大故障或整个区域级别的灾难,更多的数据备份策略(如异地备份、长时间保存的历史快照)是必需的。
2、数据一致性和完整性
在分布式环境中,数据的一致性和完整性是一个重要问题。副本和快照能保护数据免受硬件故障的影响,但无法完全确保在应用层面数据的正确性,需要额外的校验机制或数据修复策略来防止由于并发冲突、网络分区等问题导致的数据不一致。
3、数据合规性和法规要求
许多行业有严格的合规性要求(如GDPR、HIPAA等),需要企业确保对敏感数据进行妥善的保护。副本和快照无法直接满足这些法规要求,通常需要结合数据加密、访问控制、日志审计等更为复杂的策略来保护数据。
4、防止数据被恶意篡改或攻击
现代企业需要防御日益复杂的网络攻击,例如勒索软件、内部威胁等。这种情况下,简单的副本和快照不足以应对恶意篡改或破坏数据的攻击。这种情况需要额外的安全策略,如写保护的备份、数据加密、不可变的备份存储等,以确保在受到攻击时数据依然能够恢复。
5、业务连续性和高可用性
在云原生架构中,高可用性是关键目标。虽然副本和快照可以提供一定的业务连续性保障,但在遇到复杂的跨区域或跨云的中断时,仍然需要针对业务连续性制定更为详细的灾难恢复计划,例如数据在多云或多区域之间的同步和恢复策略。
在云原生架构中,数据包的设计与传统集中式架构有显著差异,主要体现在数据流的处理、网络拓扑、服务的分布方式以及扩展性和可靠性要求上。这些差异主要源自云原生架构的分布式、容器化以及弹性伸缩特性。
• 程宗憬 江西银行存储工程师
相比较而言,云原生和传统架构下的数据保护各自的特点如下:
无论是云原生还是传统架构,数据备份与恢复都是核心的数据保护手段。两者都需要制定备份策略,确保在数据丢失、系统故障时能够快速恢复。两种架构都需要保障数据的安全性,包括使用加密、访问控制等手段防止数据泄露和篡改,确保数据的完整性与机密性。
但是云原生数据通常采用分布式存储系统,数据被持久化保存到外部对象存储或分布式数据库中。数据保护依赖于外部存储卷(如Kubernetes的Persistent Volume),能够实现弹性扩展和高可用性。多区域、多节点的分布式架构使得云原生应用能够更加灵活地进行灾难恢复与容灾。通过副本机制、异地备份等手段,云原生应用可以在单点故障或区域故障时快速恢复。数据备份可以根据应用的不同组件进行细粒度控制,备份粒度包括应用状态、配置文件、持久化存储等。支持多租户场景的数据隔离和备份。
而传统架构数据一般存储在本地硬盘或数据库服务器中,依赖RAID等技术进行数据冗余与保护,扩展性和灵活性较弱。灾难恢复策略通常是通过定期备份、异地容灾服务器等手段实现,恢复速度较慢,并且容灾资源利用率较低。架构相对静态,数据保护和备份策略通常是手动或周期性执行,较为固定,不需要应对频繁的扩缩容。备份往往是针对整个服务器或应用系统进行的,粒度较粗,不易实现灵活的分层数据保护。
• 顾黄亮 某金融企业基础架构负责人:
个人觉得,从数据保护和数据分级分类的角度看,和云原生自身没关系,尤其数据保护和业务场景是强相关,和技术底座没有太大的必然联系。
但是针对数据包的设计,这是有关系的,其中涉及了网络安全,主要有两个点提供参考。
1、数据流动的方式变了
云原生环境是一个开放的、分布式的架构,数据流动不仅跨地域,还涉及到不同的云服务提供商之间。在云原生环境中,数据的传输主要通过网络协议(如HTTP/HTTPS、FTP、TCP/IP等)进行。此外,云原生环境中的数据流动还包括微服务之间的通信、容器之间的数据交换以及云端与终端设备之间的数据交互等。
2、网络安全的影响范围变了
云原生环境的开放性和分布式特性使得网络安全挑战更加严峻。首先,云原生环境中的数据流动更加复杂,使得攻击者有更多的途径对数据进行窃取或篡改。其次,云原生环境中涉及多家云服务提供商,这意味着安全事件可能涉及到多个组织的响应和处理,增加了协同应对的难度。最后,云原生环境中的数据安全和隐私保护需要考虑多方利益平衡,如用户、企业和云服务提供商之间的权益保障。
• 姜旭 某国有银行高级工程师:
个人认为,由于云原生下的存储架构一般默认为分布式存储架构,上述问题就转变成了分布式存储和集中式存储的数据保护有哪些异同。其实两种存储架构自身都具有类似的数据保护机制,都存在副本、快照、WORM等,本质上差异不大。
另外,还有一点想要讨论的是,云原生的存储架构是否会一直不变,会不会随着技术的发展,集中式存储也会成为云原生的一种存储架构?
• 黄宏韬 全国某股份制银行运维管理岗:
相同点:
1、无论是云原生还是传统架构,数据保护的目标是相同的,即确保数据的机密性、完整性和可用性。
2、都需要遵守相关的数据保护法规和标准。
3、数据备份、恢复等基本的数据保护原理在两种架构中都是适用的。
不同点:
1、云原生架构较为复杂,传统架构更加简单。
2、云原生强调自动化和弹性,例如使用Kubernetes进行自动部署、扩展和管理。传统架构自动化程度低,通常需要手动操作。
3、云原生通过云服务提供的备份和恢复功能,传统架构通过本地备份解决方案。
4、云原生需要考虑容器网络的安全性,传统架构主要关注服务器和客户端之间的网络安全。
5、云原生通常运行在多租户环境中,传统架构通常是单租户环境。
总之云原生和传统架构互有优势,企业需要根据实际需求,选择更适合自己的数据保护架构。
• 杨承龙 某机械制造企业云平台架构师:
云原生应用由Kubernetes平台自动调度,应用程序在哪个节点里运行通常是动态调度的,且不是固定不变的,传统方案针对机器粒度进行数据保护就无法工作。另外,一个业务需求的云原生应用包含了许多种组件和微服务,相关的镜像仓库、配置信息、以及持久化数据,需要作为一个整体被备份保护起来,恢复时也需要端到端的恢复整个应用和数据,跟传统灾备存在较大差距。
同行交流共识
无论是云原生还是传统架构,数据备份与恢复都是核心的数据保护手段。两者都需要制定备份策略,确保在数据丢失、系统故障时能够快速恢复。两种架构都需要保障数据的安全性,包括使用加密、访问控制、审计日志等手段防止数据泄露和篡改,确保数据的完整性与机密性。
传统架构的计算存储网络划分明确,数据保护也是分块进行。计算层如虚拟化,一般依靠快照、集中式备份恢复系统策略解决数据保护问题。网络则通过配置备份解决元数据的历史版本问题,通过设备冗余实现生产高可靠性高可用性。存储和计算层类似,一是存储厂商的备份解决方案,二是集中式备份恢复系统。应用层这一侧(如 数据库)基本靠集中式备份恢复系统。
云原生架构是分布式的,IaaS层主要通过云API调用进行数据备份,如ECS快照。SaaS和PaaS基于微服务和容器技术,数据的存储和处理分布在多个节点上,通常有 对象存储、块存储和文件存储等不同的存储形式。这一部分的数据保护方案更多的是利用云服务和平台的自身能力来实现。
传统数据中心数据备份主要依赖集中式备份恢复系统,不但恢复时间较长,而且备份过程需要手动配置和管理。灾备中心可能会存在地域限制且扩展性有限。在云原生平台上备份恢复的智能化程度高,更加弹性,但可选择性不高,大部分都会形成平台绑定, 必须 优先使用云服务商提供的工具 或服务 。第三方云备份恢复方案虽有,但 功能性限制太多,不能完全满足生产实践要求。云上的备份可以跨多个可用区或地理区域,确保数据的高可用性和容灾能力,备份频率和保留策略基本满足生产需求。
总之传统架构和云原生下的基础数据保护能力各有优缺点,我们不必固步自封、画地为牢,将传统架构的数据保护方案和云原生下的数据保护能力相互结合、提升数据安全程度,从而避免更多的生产事故才是最重要的。
