随着云计算、大数据、移动互联网和社交网络的快速发展,企业信息化过程中非结构化数据呈现出爆炸式增长的趋势。这种数据类型包括文档、图片、音频、视频、邮件等多种形式,其增长速度远超结构化数据,给企业的数据管理带来了前所未有的挑战。传统的存储系统在处理海量小文件、跨地域数据共享、多级文件夹访问以及并发性能等方面存在明显局限性,难以满足当前企业对数据存储和管理的需求。如何在控制存储成本的同时保障业务高性能,成为企业亟待破解的核心难题。 面对这一严峻挑战,FOS海量对象存储如何提供高效、经济的应对之道?其核心功能设计正是解决这些痛点的关键!
一、产品简介
FOS 是一款针对海量对象存储的存储系统,支持万亿级非结构化数据存储,提供 S3 Over RDMA 高性能协议访问,支持多中心多活。具备高扩展性、灵活性和低成本优势。采用的纠删码(EC)技术在成本控制方面与传统的副本存储方案相比具有显著优势,于传统的 RAID 配置相比具有更高的灵活性。对象存储解决方案支持几乎无限的容量扩展,企业能够根据业务需求灵活地调整存储资源。特别是在公有云环境中,用户可以按需使用存储空间,从而实现资源的最优配置和成本效益的最大化。且支持多租户架构,允许多个用户或组织在同一个存储基础设施上独立操作,同时保持数据隔离。通过扁平化结构和跨地域访问能力,为企业提供安全、便捷的数据存储与管理服务。适用于大数据分析、视频/媒体存储、数据备份与档等业务。
二、核心优势
1.对象存储优势
● 与传统的三副本存储方案相比,对象存储采用的纠删码(EC)技术在成本控制方面具有显著优势。同时,相较于传统的 RAID 配置,对象存储展现出更高的灵活性(RAID 使用异或计算校验码,无法支持多位的校验码)
● 对象存储解决方案支持几乎无限的容量扩展,使得,企业能够根据业务需求灵活地调整存储资源。特别是在公有云环境中,用户可以按需使用存储空间,从而实现资源的最优配置和成本效益的最大化
● 支持多租户架构,允许多个用户或组织在同一个存储基础设施上独立操作,同时保持数据隔离
*无中心化架构是支持万亿级非结构化数据存储的关键
无单点故障
系统中没有单点故障,所有节点都是对等的,共同承担存储和管理任务,显著提高了系统的可靠性和可用性。
极高的水平扩展性
可根据需求动态增加存储容量和性能,而无需停机或进行复杂的配置更改,支持平滑的在线扩展。
数据持续可访问性
即使部分节点发生故障,系统也能继续正常运行,确保数据的持续可访问性,提供高可用性存储服务。
数据分散存储
将数据分散到多个节点,有效避免单点故障风险,同时提高数据读写的并行度和吞吐量。
*国内技术领先者
FOS是国内首家提供S3 Over RDMA高性能协议访问的对象存储系统,为高性能计算场景提供突破性解决方案。
S3 Over RDMA技术创新
突破传统限制: 传统S3协议基于TCP/IP,在数据传输过程中引入延迟和CPU开销
RDMA直接内存访问: 数据直接在存储设备和应用程序内存之间传输,绕过CPU和操作系统内核
高吞吐量低延迟: 大幅降低数据传输延迟,提高吞吐量,接近本地存储性能
无缝集成: 兼容标准S3 API,无需更改现有应用程序代码
性能突破
S3 Over RDMA技术使FOS在处理大规模数据集时,能够提供接近本地存储的性能,对于AI/ML训练、大数据分析等对数据访问速度要求极高的场景至关重要。
多中心多活
FOS支持多中心多活部署,将数据实时同步到多个地理位置分散的数据中心。
多中心多活部署是提高数据可用性和灾备能力的重要特性
强大的灾难恢复能力
即使一个数据中心发生灾难性故障,其他数据中心也能立即接管服务,确保业务连续性。有效应对区域性停电、自然灾害等不可预测的事件。
降低访问延迟
通过将数据放置在更接近用户的位置,显著降低访问延迟,提升用户体验。特别适用于全球协作的AI/ML工作负载。
实时数据同步
数据在多个数据中心之间实时同步和访问,保证数据的一致性和可用性。多个节点共同承担存储和管理任务,无单点故障。
业务连续性保障
核心业务数据的安全与稳定得到保障,确保在极端情况下的业务连续性。
高速缓存池
通过利用 SSD 构建高速缓存池,实现垂直方向的数据访问加速,大幅度提升性能。
混合存储池
支持混动引擎,允许用户灵活地标记存储池类型和 IO 分发规则(目前支持根据文件大小分发到 SSD 或 HDD,具体规则可以自定义)。这种灵活性使得用户能够根据数据特性和业务需求,优化存储资源的分配和使用。
根据数据访问频率、使用场景和生命周期,将数据智能分层存储于性能、成本和容量各异的存储介质中,充分发挥本地私有云的高性能和公有云的弹性计费优势。
采用 DKES(Distributed Key Encryption Service)技术,实现对每个数据对象使用独立密钥的加密,同时保持高性能。这种细粒度的加密控制为用户提供了更高级别的数据安全保障。
支持 EC、动态 EC、折叠 EC 等高级数据保护技术。
动态 EC
支持动态纠删码技术,可以根据数据的重要性和访问频率动态调整 EC 策略,更好地保护数据免受丢失和损坏的风险。比如 8+2 的 EC,在有一块盘故障时,会自动把新写入对象的 EC 比例提高为 7+3,确保数据安全性。此功能可以开启或关闭。
折叠 EC
支持折叠纠删码技术,例如 4+2:2 部署仅需 3 节点,这种高效的 EC 配置可以在少量节点中实现大比例的数据保护。例如在深度归档功能中能够在少量节点上实现高效的数据保护和存储。
提供多版本控制和 WORM 功能,以及 Bucket 回收站和 Bucket Replication方案,全面保障数据安全。
支持静默错误检查机制,配合 Bitrot 技术,能够主动监测和修复数据损坏问题,从而提供更高级别的数据完整性保护。
使用与 AWS IAM 兼容的基于策略的访问控制 (PBAC),对经过身份验证的应用程序进行精细的授权管理,确保只有授权用户和应用程序才能访问相应的数据资源。
助力企业实现数据分析的湖仓一体架构革新,支持包括 Iceberg、Hudi 和 Delta Laked 等多种湖仓一体解决方案,以满足不同业务场景下的数据存储和分析需求。
想想 ML 分析需要数百万个传感器日志的情况,或者上传数千个小型 Microsoft Excel 或 Word 文档,如果您单独上传每个文件,则在设置和关闭大量连接时,在进行数千个 API PutObject 调用时,会产生大量的网络开销。
一种常见的解决方案是将所有文件一起压缩成一个大文件,上传它,然后在服务端提取所有文件,即在线解压缩功能。
S3Zip 功能允许在上传到 FOS 的 ZIP 文件中检索单个文件, 使用此功能,可以上传包含数千个文件的单个 ZIP 文件。然后,FOS 索引工具确保访问 ZIP 文件中的文件时,性能与单个对象相同。
Query in Place 功能允许用户直接对存储在 S3 中的数据进行查询,而无需将数据提取到外部计算环境。
这是一个非常强大的功能,尤其是当你处理大规模数据集时,它可以大幅减少数据移动、降低延迟和节省成本。
Select 功能支持检索以 CSV 和 JSON 格式存储的对象,也支持检索通过 GZIP 或 BZIP2 压缩的对象(仅对于 CSV、JSON 格式的对象)。
除此之外,Select 功能还支持指定结果的格式为 CSV 或 JSON,并且可以确定结果中记录的分隔方式。
Modify in Place 功能允许用户直接在服务器端修改对象的某一部分数据,而无需将整个对象下载到本地进行修改后再重新上传。
这种机制极大地优化了对象存储的读写性能,减少数据传输量,提高操作效率。
对 Bucket 或对象可以打上 Tag 来进行多维度的标识。
这种多维度标识在生命周期,桶复制,策略,Lambda 等功能里生效,帮助你进行多维度的筛选操作。
FOS 可以监控存储桶中的文件操作,比如上传、下载或删除文件。
当这些操作发生时,FOS 会发送通知到指定的地方,比如消息队列、Webhook、数据库等。
这使得下游应用程序可以对存储层中的变化做出实时响应,是构建现代事件驱动架构(EDA)的核心能力。
Lambda 功能让你可以在 FOS 内直接运行代码。
当文件操作发生时(比如上传一个新文件),FOS 会自动触发预先定义好的程序来执行任务。
这个功能就像“小机器人”,能够帮你自动完成比如图片审查、文件格式转换或分析数据等任务。
三、公司理念
我们力争为企业构建强有力的专业存储平台和分布式混合基础设施,帮助企业打破数据孤岛,优化存储成本,并加速数字化转型。
-END-