28

校内网:从20台服务器到5000台服务器

作者: hanlei 分类:CTO视点   阅读:20,769 次 添加评论

【独家专访】从20台服务器到5000台服务器,应该说,校内网的IT基础设施的变迁是与其自身的业务发展成正比的,而每一次的业务突破实际上也是对数据中心的一个挑战。传统的IT基础建设模式,现在、将来又当如何适应SNS类网站的发展?从记者此次与校内网技术总监黄晶的对话中,也许我们可以了解一二。

【嘉宾简介】

黄晶
千橡集团校内网高级技术总监

工作背景:
高级技术总监,校内网技术总监,猫扑网
教育背景:
清华大学计算机系
简介:
投身Web2.0和SNS事业,秉承以用户价值为核心的理念,坚信社交网络将像空气和水无所不在
推崇以简约架构取得最大收益的技术路线,积极推动互联网开放平台和开源项目的发展和应用
带领校内网技术团队,实现校内网的稳健、高速发展

从20台到5000台服务器

       作为校内网的CTO,黄晶对过去几年校内网IT基础建设的过程历历在目。

       “如果要把这个历程分成几个阶段,那么在我看来,校内网的IT基础设施建设目前经历了三个阶段”。

       黄晶对Csdn记者谈到,第一个阶段是校内网创业的阶段,那时候,校内网的主要推广对象是国内比较好的一些高校,但数量很有限,用户数不太多,访问量也不大,因此,当时选择了一个IDC并租赁了20台左右的服务器。

       “随着业务的发展,校内逐渐把业务覆盖到了全国,与此同时,数据量可以呈现几何式的增大,带宽与存储迎来了瓶颈,因此在那时候,公司开始寻找新的IT基础架构解决方案,并因此而找到了世纪互联做服务器的托管,几年的时间,服务器的数量从几十台上升到了近5000台。”

       “但问题也随之出现,虽然带宽够大,但是找IDC托管的这种运营方式成本太高了,尤其是对校内这种已经有一定规模的SNS网站来说,因此,后来直接找到了网通与电信的机房,将服务器托管到这里,以DNS访问流的形式来解决。

数据集中与分散的问题

       “从目前来看,异地数据中心之间的联系是个很大的发展瓶颈”,黄晶表示道,目前校内的两个主力机房,一个在电信一个在网通,从服务质量来说,目前是非常好的,但是也有发展的局限性,“比如现在对一些象视频、图片的服务内容,目前是通过CDN的解决方案,在全国各地建点,这样全国各地的用户都能够体验到SNS的高速服务,但这当中有很多还可以优化的空间,比如带宽量太大、数据集中化的问题等等。”

       实际上,对SNS网站来说,目前的一大通病是数据集中化的问题,而一些静态的网站比如说门户等,可以通过CDN很好的解决这个问题,但是对SNS网站来说,一方面由于数据比较集中,另一方面,用户之间的相互响应需要非常及时(P2P),因此如果在各地建立分支机房,必须要解决数据同步传输的问题,而只有解决了这个问题后,才能通过容灾的点提供更好的服务质量。

       据了解,由于每天形成的数据量太大,大多数互联网公司并没有配置专门的存储设备,而是采用性价比比较高的方式,即分布式文件系统,把服务器虚拟成一个大的资源池,并用分布式文件系统软件管理硬盘。

       校内网也面对同样的问题,黄晶表示道,“目前校内每天产生数据量最大的地方在于相册,还有一些音乐,而光相册这一部分,每天会产生几个T的数据量,对存储的压力很大。”

       “目前校内两个大的节点,通过光纤连接进行内网的传输”,黄晶进一步谈到,“总之异地数据中心之间的联系是个很大的发展瓶颈,因此,校内网在解决多个数据中心间数据同步传输的问题上,花了很大精力,比如软件需要改进,比如cache的同步,算法的替换等等,还有如何通过公网完成同步的问题,对系统软件有更高的考验。”

       而在数据备份的策略上,校内网也是采取了几种不同的形式。

       “首先是在线的备份, 为了保证实时数据的安全,每份数据至少有两个线上的拷贝,这样即使一个硬盘坏了,另一个硬盘也能完整的恢复”他谈到,“其次是离线的备份,主要是为了应对机房大的故障,会用磁带+磁盘的方式。”

       但是磁带的备份方式同样有缺陷,黄晶对csdn记者表示,“虽然磁带保存和运输比较方便,但问题在于恢复的时间太长”,“目前已经在和做虚拟磁带库的厂商有接触,并在做一些测试。”

金融危机影响不大 但也需要节省开支

       从黄晶对csdn记者描述的情况来看,实际上,对SNS类网站来说,09年受金融危机不大,IT规模投资依旧保持增长。对于这个原因,黄晶这样解释道,“校内网本身是一个发展中的互联网公司,发展速度很快,发展并未受金融危机影响,其次,从服务的内容来看,DNS网站目前提供的是一种面向大众的服务,是一种基础性的需求,并非实体性的经济,因此受影响不大,相反一些增值业务发展速度比往年更快。”

       但是随着网站规模的进一步扩大,运营成本再次扩大,校内这几年在节省运营成本上也是下了很大工夫。

       首先,所有的软件基本上是用开源的软件,比如一些补丁提供给开发者开发,同时校内在去年还与Apache搭建了一个联合的实验站点,以推动开源软件的发展。

       对于一些新的技术,比如虚拟化、多核等,黄晶表示目前非常关注。比如现在有一些Linux软件在多核下发挥不出来优势,会尝试升级软件内核来适应多核硬件。

       而对于虚拟化技术,黄晶更是深有体会。

       “虚拟化技术实施的成本并非很高,比如亚马逊的云计算平台,是将主机切成很多个小的虚拟机,然后销售给个人或者是开发者,但个人网站的访问量通常不会太大,因此比较适合用虚拟化的方式来解决。”

       从黄晶对csdn的描述中,我们也了解到,对于虚拟化技术,校内曾经有过尝试,包括Wmware、Xen等。黄晶谈到,“虚拟化技术是一个正在不断成熟的技术,校内去年曾做过一些尝试,但发现虚拟机本身会消耗掉服务器的一部分资源,因此在终端处理能力上也不如物理机高,但我们一直关注这个技术,比如Intel今年推出的Nehalem平台,加入了非常多的虚拟机支持技术,比如硬件绑定技术,在处理时绕过了虚拟层,这样能够把虚拟机本身对主机的消耗降到最低,以前一台物理机分划分出两个虚拟机,但每个虚拟机都达不到物理机的1/2,只能到30%多,但现在通过硬件绑定技术, 每个虚拟机的性能能够提升到40%以上。”

       但是对于虚拟化技术,黄晶也谈到校内目前并没有大规模应用,“当条件合适,或者说技术再成熟一些,会考虑大规模的应用。”

两年内将自建数据中心

       “服务器托管只是暂时的,未来两三年内校内网将建立起自己的数据中心,”,黄晶透露道,“以校内目前的发展速度来看,两年左右,服务器的规模将达到10k以上,而那时候,自建数据中心的需求就必须提上日程了。”

       但黄晶也同时指出,自建数据中心的确是一个复杂的工作。

       他谈到,以现在的情况来看,服务器托管的费用比服务器折旧的费用并不少,电力成本很高,在租用的空间的利用率上也受到了很大的制约,比如一个机柜,基于电力配置的考虑,可能只能放一半的空间,对托管而言,这个浪费很大,如果自己有机房,自己可以把电力做充足一些,把空间利用起来。

       “但自己建数据中心是一个一次性投入很大的项目,需要各方面的人才,比如电力方面的专家、部署的专家,散热方面的专家等等,才能做出一个完整的方案”,“因此,将来自建数据中心有两大考虑因素,一是成本,二是容灾的问题,比如火灾、地震等,能够实现数据的实时迁移。”

未来关注的业务领域

       对于公司的新业务,黄晶认为,开放平台将是校内网下一步关注的重点,将来校内会推出一些开放平台给开发者,比如提供虚拟机,可以让开发人员尝试用比较低的成本去做开发。

       “开放平台将是一个机会,比如今年异军突起的twitter技术,校内会越来越开放,会越来越平台化,希望更多的Developer能够与校内一起做更多的应用,只要是好的程序都能够被大众所接受。”

       移动则是校内关注的另一个重点领域,据了解,校内自从去年三月就推出了手机WAP版本, 经过一年的发展,通过手机访问的网站中校内网排行第四。

       “我们现在非常关注android平台的发展,包括iphone平台的发展,将陆续推出这些平台的应用,从数据中心建设来看,为了更好地支持手机访问,很多手机厂商会有Server Push(推技术),从校内网的角色来看,需要做到的是保证移动的品质,以及网关的顺畅。

       而在沟通平台上校内网还将投入力量进行建设,比如即时消息和mail等。

       采访手记:事实上,IT还是个幼稚的行业,只容纳得下最勤奋思考的人。在传统的思维模式中,SNS网站他们的包袱不大,似乎不需要自建数据中心,因为他们的任务就是寻找雇佣最好的软件人才,以及使用最好的技术开发出最流行最热门的产品,但是从此次与黄晶的对话中,我们了解到了,随着运营成本的增加,以及传统骨干网络的技术瓶颈,自建数据中心对SNS网站而言,已经提上了议事日程。

       对电信骨干网运营商而言,当他们意识到P2P网络的威力之时,他们也应该开始改造他们目前基于服务器构造的基础设施了。

转播到腾讯微博

----->立刻申请加入《程序员》杂志读者俱乐部,与杂志编辑直接交流,参与选题,优先投稿

15 Responses to “校内网:从20台服务器到5000台服务器”

  1. peter 说道:

    csdn的podcast 水平真是不敢恭维

  2. key4ever 说道:

    越来越强大了

  3. [...]     即使已经有一段时间没有登录校内网了,不过得知目前校内网的服务器已经达到5000台,还是令我感到震惊。       [...]

  4. 刁寒 说道:

    校内网 用了好久了。

  5. jingqiao1023 说道:

    感觉采访不太专业唉,为什么不布置一个有CSDN特色的访问环境呢?支持人~~~应该也有我们没有发现的优势吧,但是在主持能力方面,感觉还应该提高下。

  6. 第七天 说道:

    以前还行 自从有日本参与后就不上了 哎~~~

  7. 霍然 说道:

    都他妈懂个屁,一帮沙比只会上破鞋网

  8. joseph 说道:

    我电脑泡在虚拟机下,没声音,不过我把那个视频看完了!

  9. SN 说道:

    阅读不到有啥价值的信息

  10. north face outlets 说道:

    the post is good ,I want you can to see !

  11. xiaohuangdou 说道:

    wigs sale 社会是在进步的

  12. jay 说道:

    我们都在不断赶路

  13. north face outlets 说道:

    See this article gave me great feeling, it is worth to study, if you have time can also see my articles, thank you!
    http://www.northface-outlets.org/

  14. buy north face 说道:

    I was recommended by one of my relatives to check out your website.

请评论

preload preload preload
京ICP备06065162