当货拉拉面临 AI 转型，该如何做大数据存储？

货拉拉在面临AI转型时，针对大数据存储问题，采取了以下策略和措施：

一、采用混合云存储架构

• 自建+云服务结合：货拉拉目前采用自建基础设施与云服务相结合的混合架构体系，其中99%的数据存储在云上，保留少量自建设施。这种架构既保证了数据的稳定性和安全性，又提高了读写能力。
• 选择适合的云服务商：货拉拉经过评估，选择腾讯云作为主要云服务商，利用其稳定性和强大的服务能力，完成了40PB+数据的云上迁移，实现了0故障搬迁。

二、构建数据灾备体系

• 元初-元数据管理平台：针对七天内被误删的数据，通过多层防护实现快速恢复，确保数据100%召回。
• 自研灾备系统Kirk：针对数据勒索和机房灾难，实现PB级数据灾备和全链路灾备，保障核心数据100%不丢失。

三、分桶治理与专项优化

• 分桶存储策略：为解决AI大模型训练与传统大数据存储的资源抢占问题，货拉拉采用分桶治理方案：

  COS桶1：专用于大数据存储，支撑整个大数据市场相关业务。

  COS桶2：专用于AI大模型训练数据存储，避免对离线链路稳定性造成影响。

• 专项优化：通过分桶存储，单个模型下行带宽需求下降8%，后续将逐步迁移AI业务并进行专项优化。

四、利用数据加速器提升性能

• 腾讯云GooseFS：货拉拉与腾讯云合作，基于GooseFS数据加速器提升AI大模型训练的带宽吞吐能力：

  Tbps级吞吐：支持千亿级元数据规模，单链接速度达GBps级别，分发效率提升10倍。

  元数据加速能力：通过数据亲和力调度，将数据调度到计算节点更近的本地磁盘，提升数据调用效率。

五、跨云训练与数据持久化

• 按需配置训练数据：基于COS模式，训练数据持久化存储在COS Data Lake中，通过GooseFS按需拉取到云上或IDC计算端，实现“一份Dataset，多地训练”。
• 统一存储池：COS作为云存储底座，为40PB+数据提供统一存储池，提升系统可用性和可靠性，同时降低存储成本。

六、利用数据万象释放数据价值

• 数据管理（MetaInsight）：通过智能检索能力，支持自然语言快速检索海量非结构化数据（如图片、音视频），提升数据管理效率。
• 数据处理（Data Engine）：将计算下沉到存储端，提供标准化的图片、音视频处理能力（如压缩、裁剪、水印），优化数据访问性能。
• AI场景应用：

  以图搜图：在电商商品搜索中，通过特征提取与索引库对比，快速返回相似商品信息。

  智能预分类：在AI大模型训练中，对非结构化数据进行智能分类，减少70%以上预处理时间，支持跨模态检索（如图像+文本描述），高效构建高质量训练集。

七、持续优化与未来规划

• 逐步迁移AI业务：将AI业务逐步迁移至专项优化的存储桶中，进一步提升带宽利用率。
• 深化与腾讯云合作：探索更多数据加速和智能管理方案，应对AI时代数据爆炸式增长的挑战。

很赞哦!（79）