巴拉巴

 找回密码
 立即注册

站内搜索

搜索
热搜: 活动 交友 discuz
查看: 30|回复: 0

企业是如何存储数据的?由淘宝网发展史说起

[复制链接]

3

主题

5

帖子

13

积分

新手上路

Rank: 1

积分
13
发表于 2023-3-27 02:26:10 | 显示全部楼层 |阅读模式
从硬件层面来说,企业使用的计算机从结构上来说没有本质的区别,只是外观上稍有差别。如下图是机架式服务器的外观,从外观可以看出其相对于个人电脑来说包含更多的硬盘。其实除了硬盘之外,服务器同样包含更强劲的CPU和更大容量的内存。
相较于个人电脑,服务器的结构可能是如下图这样的。服务器可能包含2颗或者更多的CPU、多达几百GB的内存和上百TB的硬盘容量。需要注意的是企业服务器在CPU和硬盘之间通常会有一个RAID卡,至于什么是RAID卡,我们后面会专门介绍,本节不再赘述。
为了让大家更加具体的理解企业是如何存储数据的,我们以电商网站为例进一步介绍一下。我们常用的淘宝、京东和亚马逊等,其实都是一个类似的网站,只不过这个网站非常复杂。在一个网站中最基本的资源包含两类:一类是各种类型的文件,比如PHP脚本、图片和样式表等;另一类是存储在数据库中的各种数据,比如用户信息和产品信息等。当然,现在电商通常采用对象存储而不再采用文件系统来存储图片等资源文件了,但一些程序文件依然是存储在文件系统当中的。
在《淘宝技术这十年》中,作者提到淘宝网最早的系统是购买的一套网站系统,基于LAMP(Linux+Apache+MySQL+PHP)架构。而且最开始该系统是运行在一台服务器上的,大致猜测一下,整体架构应该是如图这样的(当然,当时并没有智能手机,大家不要太较真,哈哈)。可以看到,这里主要包含两种类型的数据,文件类的数据和数据库内的数据。
在图当中,我们假设文件系统和数据库是分别构建在一个磁盘上的。实际情况不得而知,但猜测应该是多块磁盘构建的一个RAID(关于什么是RAID我们后面介绍)。原因很简单,单块硬盘的可靠性和性能都比较差,没法满足企业数据存储的要求。
随着淘宝网业务的发展,单台服务器已经完全没法满足他们的要求了。于是他们把数据库拆了出来,用一个独立的服务器来运行。笔者猜测其架构大概是这个样子。显然,单独的一台服务器运行数据库可以提供更高的算力和更大的存储容量。
再后来就使用专业的存储系统(设备)了。等等… … 什么是专业的存储系统呢?我们下一节继续。
虽然企业级计算机(服务器)可以多达几十块硬盘,但随着淘宝网业务的发展,服务器内部的存储资源已经无法满足要求了。这里的无法满足包含两方面的因素,一个是存储容量无法满足要求,另外一个是性能无法满足要求。
于是开始采用外部存储系统(设备)来存储数据,起初使用NetApp的NAS来存储数据库中的数据,继而改为EMC的SAN存储。这些外部存储系统称为企业级存储系统。企业级存储系统相较于服务器来说能够提供更为强劲的性能和更大的容量。以EMC的终端存储Unity为例,其型号为650F的存储最多可以支持1000块硬盘,总容量可以达到16PB。而EMC的高端存储系统PowerMax更是可以提供多达18PB的存储容量。那么EMC的存储是如何提供如此强大的存储能力的呢?
其实EMC的存储系统并非只有一台设备,它是由一组设备构成的。这些设备分为两类,一类称为DPE,全称为Disk Processor Enclosure,也就是磁盘处理器框,它是Unity存储的心脏和大脑;另一类称为DAE,全称为Disk Array Enclosure,也就是硬盘阵列框,它能提供更大的存储容量。如图所示,一套EMC的Unity 650F存储系统通常是由多台设备堆叠而成,内部通过SAS相连。
扯的有点远,我们回到淘宝网基于企业级存储系统的架构。在这种架构中,由于企业级存储的高性能和高容量的特性,通常情况下可以为多个业务单元提供存储服务,如下图所示是淘宝网早期的架构。可以看到,数据服务器的数据和Web服务集群的数据可以同时存储在一套存储系统当中。
当然,随着淘宝网业务的发展,一套企业级存储系统也无法满足其对性能和容量的要求了。因此后续其又通过服务器构建了自己的分布式存储系统等等。虽然这是淘宝网的发展史,但其实也是目前不同级别网站常见的应用模式。
相信通过上面内容的介绍,大家对企业数据存储的基本架构和形态有了一个基本的认识。但是我们这里依然有很多内容没有介绍到。比如现在很多中小微企业的应用直接构建在云端,这样省去了自己购买硬件,维护硬件的相关工作,这又是另外一种场景了,但架构本质上依然逃脱不了上述三种形式。

来源:http://www.yidianzixun.com/article/0nLQTkOg
免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作!

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有账号?立即注册

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

  • 返回顶部