java自学网VIP

Java自学网

 找回密码
 立即注册

QQ登录

只需一步,快速开始

查看: 2320|回复: 0

《大规模分布式存储系统》第12章 云存储【12.4】

[复制链接]
  • TA的每日心情
    开心
    2021-5-25 00:00
  • 签到天数: 1917 天

    [LV.Master]出神入化

    2025

    主题

    3683

    帖子

    6万

    积分

    管理员

    Rank: 9Rank: 9Rank: 9

    积分
    66101

    宣传达人突出贡献优秀版主荣誉管理论坛元老

    发表于 2017-3-16 16:09:04 | 显示全部楼层 |阅读模式
    12.4 云存储的核心优势9 B' K/ n) L# D$ R6 }
    作为云计算的存储部分,云存储的核心优势与云计算相同。主要包括两个方( I- N% a$ t2 S6 R7 [
    面:最大程度地节省成本以及加快创新速度。
    * y7 Q2 g5 v. h6 P/ s, k4 r全球企业IT开销,分为三个部分:硬件开销、能耗以及管理成本。其中硬件开$ A5 u; z# A. w+ U9 |- ^; a' W4 [
    销包括存储、计算服务器以及网络带宽成本。由于摩尔定律的作用,硬件成本越来
    7 i# a/ I2 \1 H4 {) J越低,而能耗以及管理成本所占比例相应地变得越来越高了。
    & g% g/ Q/ |; v8 c根据James Hamilton的数据,一个拥有5万个服务器的特大型数据中心与拥有1000% n0 `/ b# `  _7 [
    个服务器的中型数据中心相比,特大型数据中心的网络和存储成本只相当于中型数
    ; [0 C  B5 h9 c7 }6 A/ V7 A+ r% P: Y据中心的1/5或者1/7,而每个管理员能够管理的服务器数量则扩大到7倍之多。因) J' d3 S& |3 k3 N
    而,对于规模达到几十万至上百万计算机的云存储平台而言,其网络、存储和管理
    6 `4 K; ?/ r9 t% D成本较之中型数据中心至少可以降低5~7倍,如表12-1所示。
    & L) l9 F& N' i/ x电力和制冷成本也会有明显的差别。例如,美国爱达荷州的电力资源丰富,电1 p; u7 \! M* k9 x: L3 q/ A
    价很便宜。而夏威夷是岛屿,本地没有电力资源,电力价格就比较贵,二者相差5
      R+ u1 W6 I+ T9 e4 K1 A8 g倍,如表12-2所示。
    6 b( {! d3 G& P- I' ]PUE(Power Usage Effectiveness,能源使用效率)用来衡量数据中心的能源效- i, Y- \" f7 p, [. \
    率,等于数据中心所有设备能耗(包括IT电源,冷却等设备)/IT设备能耗。PUE是3 ~' D& x7 g1 w4 H8 F0 M0 g
    一个比率,基准是2,越接近1表明能效水平越好。国内很多中型数据中心的PUE值大
    + {. t: V! I+ n* `6 T; a" g0 s; D于2,也就是说,一半以上的能源被白白浪费掉,而特大型数据中心,比如Facebook4 D- o8 p& |& P0 y1 D
    某太阳能供电数据中心的PUE值为1.07,几乎没有额外的能源损耗。# w0 a3 e* W( G9 N$ U
    云存储的规模效应能够大大地降低IT成本。当然,我们国家的情况有些特殊,5 D* `, v- B0 r: f+ F$ O
    比如电价全国统一,人力成本相对较低,运营商垄断导致网络带宽成本偏高,自建$ Z* X1 J; ]8 _+ O& ~
    数据中心也有各种政策因素,云存储带来的成本优势虽比不上美国但仍然是巨大
    ) z& j- ]0 i2 l: c$ ?的。' a, A# @  M" F7 ^: {" U* K
    再者,云存储与传统存储相比,资源的利用率也有很大的不同。传统存储对资
    4 I: H1 j- ?: V% `/ D: g源的利用率非常低,对存储资源的分配通常是静态的,即参考用户的估计值对存储
    # d! d6 P" |+ \  a- [7 w- O3 J' e设备划分成分区或卷,以分区或卷为单位将存储资源分配给用户,相应的网络和
    8 N4 C: q. U! G0 |CPU资源也是固定的。然而,绝大多数网站的访问流量都不是均衡的,例如,有的0 P/ n6 w& N" A4 g4 V9 j
    网站时间性很强,白天访问的人少,到了晚上8点到10点就会流量暴涨,典型的例子1 o; i  T7 K, ]# K5 {" c# P
    是电子商务网站;有的网站季节性很强,平时访问人不多,但是到国庆节,春节的* ^1 v; t/ e" c7 d+ S4 y0 B
    访问量就很大,典型的例子是铁道部火车票预订网站;有的网站突发性很强,典型
    2 E6 g- k* D3 g( O% y5 Z+ ?, O8 [的例子是微博开放平台上的外部应用。网站拥有者为了应对这些突发流量,需要按+ h& L2 T6 |1 e( V
    照峰值要求来购买服务器和网络带宽,造成资源的平均利用率很低。例如,淘宝网7 V: o2 Z1 }8 D5 X* |, @# S2 `
    在2011年11月11日“双11”促销活动时CDN流量最高达到820G,是平常的很多倍。云% T, t* u* M) `% q9 k$ t* Z" h9 w
    存储通过共享的方式提供弹性的服务,它根据每个租用者的需要在一个超大的资源
    1 y* m$ I, c1 I/ R( t( ?% \池中动态分配和释放资源,而不需要为每个租用者预留峰值资源。由于云存储的规. S) K$ `( L3 D# z0 C0 b
    模极大,其租用者数量非常多,支撑的应用种类也是五花八门,通过这种错峰效
    $ F4 h$ |( _3 S$ r应,资源利用率可以达到80%左右,是传统模式的5~7倍。
      s" b# i: u2 h  E综上所述,由于云存储更低的硬件成本和网络成本,更低管理成本和电力成4 H% e: }7 v# N3 D* c
    本,以及更高的资源利用率,Google,Amazon,Microsoft等互联网巨头能够通过从数据
    / t2 d9 x) E/ A% V4 {6 A, ]! K中心开始构建整套公有云存储解决方案达到节省30倍以上成本的目的。% y3 T! ~) ]+ K' r& E
    在我国,由于政府政策及技术实力等问题,大多数企业不可能从头开始构建完
    : C0 |8 @$ \: M; E% f$ e整的云存储方案,然而,当企业发展到一定的规模后,仍然可以通过云存储技术降
    . M) V- w: h  I7 ?) C9 p- x$ r: C低成本,原因如下:
    $ J1 {: R' [* F8 l3 _●由于云存储技术的容错能力很强,使得我们可以使用低端硬件替代高端硬件,9 l( E$ R: H- Q" n3 k
    如采用普通PC服务器替代EMC高端存储以及IBM小型机。另外,可以通过对云存储. R+ i, W0 H: _* m
    系统不断的优化来降低硬件成本和能耗。# D6 K, }/ I4 D- r3 ]# L
    ●在保证服务质量的前提下,通过云存储调度技术将用户的请求调度到网络带宽
    & {  L2 J0 S. M/ t0 A费用较低的数据中心,从而降低整体网络带宽成本。
      \2 ?' h1 w) ~- s1 Z  A. h●云存储技术的管理时高度自动化的,极少需要人工干预,可以大大降低管理成
    2 d4 I- z3 ~( W7 z3 A- y$ R3 a本。
    4 f- a+ ?. K( d3 S; O6 U) N●云存储技术的核心理念是多租户共享,多个业务共享相同的资源池,每个业务
    $ i1 d+ g! C- y' Z; _! l动态分配和释放资源,提高资源利用率。. M7 S; X$ f( `8 w& z' _& o
    云存储的另外一个核心优势就是加快创新速度。云存储通过提供海量的数据存! [+ w8 S4 M/ U$ T3 }" q8 B
    储和处理能力,使得用户不必关心底层基础设施的可扩展性,突发流量处理等复杂' L+ K5 ~& @9 L  h# Y+ |7 U
    的系统架构问题,将有限的精力集中在最核心的创新业务上,使得创新想法很快得( p, S& V6 M2 F
    到实现,大大地提高了创新速度。由于云平台的存在,加上移动互联网的重大机
    2 ^! G& W/ v( a% ~+ s1 y, t遇,大量创业公司得以迅速兴起,许多美国当前热门公司,例如Pinterest、
    ' n! D& D5 U4 g& g! ]7 }: jDropbox、Instagram、Reddit、Zynga,都构架在Amazon的云平台(Amazon Web" r1 m8 Q- J7 J* U
    Service,AWS)之上。比如,2012年4月以10亿美元(因为大部分是股票,实际价值
    : j4 q3 g# q3 _* b可能更高)被Facebook收购的Instgram,其技术方案大量采用AWS(主机选择Amazon
    , x  {2 l$ c$ j' y' a4 P7 J3 J' K" cEC2,图片数据库采用Amazon S3,CDN选用Amazon CloudFront等)。所以虽然
    ! `& F6 K4 q9 ~! m* |6 q* k* |5 EInstgram只有13名员工(工程团队仅3人),却构建了最强大的移动端图片分享平
    9 F: `! T  }8 O5 c) X台,甚至让Facebook感到了威胁。+ c; M8 b2 @) S4 @5 t4 ?2 d3 `3 d
    今天,一个普通的技术人员可以短时间内借助云存储平台,拥有和巨人对手们3 [8 E0 [' W' F- M, s! O
    相同的计算资源,实现梦想,这才是云存储平台的真正价值所在。我们需要共同为
    ) J' Y, r& k+ |* M! w# O+ L之努力。
    & j/ h1 ?1 p7 z1 b- N6 F3 V  C2 U6 g1 L/ n; k; d/ h  I
    & a& z) C, l/ B) N5 U8 K
    回复

    使用道具 举报

    您需要登录后才可以回帖 登录 | 立即注册

    本版积分规则

    QQ|Archiver|手机版|小黑屋|Java自学网

    GMT+8, 2024-5-6 06:20 , Processed in 0.095087 second(s), 31 queries .

    Powered by Javazx

    Copyright © 2012-2022, Javazx Cloud.

    快速回复 返回顶部 返回列表