15

HBase性能深度分析

作者:baiyuzhong 分类:CTO视点 26 Comments »

文/刘星

HBase作为BigTable的一个开源实现,随着其应用的普及,用户对它的性能数据愈发关注。本文将为您揭开HBase性能测试的一角,邀您一起参与到对云计算模块性能调优的深度思考中。

对于BigTable类型的分布式数据库应用来说,用户往往会对其性能状况有极大的兴趣,这其中又对实时数据插入性能更为关注。HBase作为BigTable的一个实现,在这方面的性能会如何呢?这就需要通过测试数据来说话了。

趋势科技中国研发中心资深QA,在六年职业 生涯中,开发和测试的经验恰好参半。2009年 加入趋势科技至今,一直从事基于HBase的分 布式存储数据库的研发。
刘星 趋势科技中国研发中心资深QA,2009年 加入趋势科技至今,一直从事基于HBase的分布式存储数据库的研发。

数据插入性能测试的设计场景是这样的:取随机值的Rowkey长度为2000字节,固定值的Value长度为4000字节,由于单行Row插入速度太快,系统统计精度不够,所以将插入500行Row做一次耗时统计。

这里要对HBase的特点做个说明,首先是Rowkey值为何取随机数,这是因为HBase是对Rowkey进行排序的,随机Rowkey将被分配到不同的region上,这样才能发挥出分布式数据库的性能优点。而Value对于HBase来说不会进行任何解析,其数据是否变化,对性能是不应该有任何影响的。同时为了简单起见,所有的数据都将只插入到一个表格的同一个Column中。

初次分析

在测试之初,需要对集群进行调优,关闭可能大量耗费内存、带宽以及CPU的服务(例如Apache的HTTP服务),保持集群的宁静度。此外,为了保证测试不受干扰,HBase的集群系统需要被独立,以保证不与HDFS所在的Hadoop集群有所交叉。

实验

那么做好一切准备之后,就开始进行数据灌入,客户端从Zookeeper上查询到Regionserver的地址后,开始源源不断地向HBase的Regionserver上喂入Row。 阅读全文 »

标签:
阅读:42,045 次
15
李德毅,中国电子学会副理事长,中国工程院院士,欧 亚科学院院士,中国人工智能学会理事长,中国电子学 会云计算专家委员会主任委员,国家973项目首席科学 家,国家和军队信息化专家咨询委员会委员。
李德毅,中国电子学会副理事长,中国工程院院士,欧 亚科学院院士,中国人工智能学会理事长,中国电子学 会云计算专家委员会主任委员,国家973项目首席科学 家,国家和军队信息化专家咨询委员会委员.

演讲人/李德毅

在第三届中国云计算大会上,李德毅院士就我国当前云计算的实践情况做了三方面的分析:云计算给软件园带来的变化、传统电信行业的纠结、云计算实践的试点。

全球云计算自2007年开始成为整个信息领域,尤其是通信、计算机和网络领域的前沿和热点。经过这几年的发展,云计算变得越来越聚焦、越来越务实。可以说,我们已经走过了“理念清晰、操作模糊、八仙过海、云里雾里”的一段路程,正在进入云计算快速发展的阶段,走上了云计算的应用之路,期盼着“云开雾散、腾云驾雾”的这一天早日到来。在这里,我想围绕我国当前的云计算实践作三方面的分析。

云计算给软件园带来的变化

截至2009年底,我国35个国家级软件园入驻企业达2万多家,从业人员超过130万人,占全国软件从业人员的一半;销售收入7677亿元,占我国软件产业总额的60%;软件出口额为75.4亿美元,占软件出口的40%;总收入与GDP的比值达到2.29%。可以说,软件园是我国软件产业中最重要的组成部分之一。那么,云计算会给软件园带来什么变化?

下面以一个软件园中的软件测试中心为例。目前,我国软件测试中心的主要工作包括以下几个方面:

  • 作为第三方,面向各行各业的IT系统实施现场测试,为系统的验收和鉴定提供依据;
  • 通过国家和行业的授权认证,提供软件质量保证的信誉担保;
  • 对基于互联网的应用软件进行测试。 阅读全文 »
标签:
阅读:13,322 次
14

记者 / 许坤铭

近期关于Android 发展遭遇瓶颈的话题愈演愈烈,业界对于Android现状的关注度也日益提升,为了帮助开发者们解答Android发展前景的问题,《程序员》杂志对点心OS的软件架构师梁泉先生进行了采访,以了解国内行业专家对于Android 发展趋势的最新观点。

记者:在Android发展历程,哪些因素是成功的关键?

 

 

 

 

 

 

 

 

 

 

 

点心OS架构师梁泉认为Android的首要问题是“分裂”
点心OS架构师梁泉认为Android的首要问题是“分裂”

 

 

 

 

 

 

 

 

 

 

 

 

梁泉:有几个重要的因素。

第一,开放。这是最关键因素。谷歌对待Android的开放程度是前所未有的,商业上的免费模式,打破了以往平台的授权方式,降低厂商成本的同时也提升了他们参与的热情。技术上的开源策略,让开发者可以参与改进优化,以最快的速度催熟平台。如今绝大多数移动设备芯片商和制造商,都已将Android当作发力智能设备的最佳平台。

第二,技术选型。首先是采用Linux作为底层操作系统,Linux在嵌入式上的沉淀让Android得以方便地移植到各个平台并快速发展。其次是通过虚拟机,支持使用Java开发应用框架和应用程序,极大地降低了Android开发者的门槛。最后是Linux和Java的选型,都非常契合Android开源的策略,两种技术在开源社区都有着丰富的资源,Android的成功,既可以算是开源社区的结晶,也让历史悠久的开源社区有了新的寄托。

第三,时机。Android推出的时间点,正是第一代智能手机操作系统略显疲态的时候。Android一开始虽在用户界面和体验方面乏善可陈,但逐步也跟上iOS的步伐,相反竞争对手因为固有的设计缺陷,开始快速下滑。硬件的发展也给予Android足够的配合,Android已经迈过早期性能障碍导致的发展缓慢时期,进入爆发期。

其他因素还有两次Android程序设计大赛,带来最早一批优良应用的同时,也推动建立起最基本的应用商店。另外,一开始选择高通成熟的智能手机芯片方案,并选择已有丰富智能机经验的HTC作为最早合作伙伴,也极大地促进了Android的成功。 阅读全文 »

标签:
阅读:17,011 次
13

有的放矢地推销自己

 

 

深圳双子鱼科技有限公司创始人卢伟
深圳双子鱼科技有限公司创始人卢伟

 

 

 

由于看好移动互联网产业的发展,我辞掉在日本的高薪工作,结束了7年的海外生活,回到中国和几个志同道合的朋友组建了现在这家智能手机平台的软件开发公司。比起其他单靠自己开发、根据在App Store上的下载量来获利的开发者和开发公司来说,我觉得自己幸运得多。因为日本的移动互联网市场发展早于中国市场,在回国之前我已经和日本的多家客户谈好了外包项目,所以回国后我们一边承接日本的外包业务,一边尝试着开发自主知识产权的产品。由于有国外客户的支持,到目前公司也未出现捉襟见肘的局面。但是像我们这样的创业型公司如何给自己定位、如何发展壮大,一直是我思考的问题。

公司要发展,单靠公司几个人的单打独斗是不够的。能够获得风险投资家的青睐,那是求之不得的事情。在公司成立的八个月时间内,我也接触过一些投资者。有些投资者比较注重公司的产品是否是行业第一,目前有多少活跃用户等;有的注重公司的财务;有的注重公司团队的实力。所以我觉得在考虑如何吸引投资者前必须做好两件事:一是要了解你的优势在哪里,技术、推广还是产品;二是希望得到投资方哪方面的支持,财务的还是市场推广资源的。只有在了解了这些基本情况,才能有的放矢,更好地推销自己。

另外,就我们自己的情况,目前以承接外包项目为主,卖点就是服务,所以把产品质量和服务质量定为公司的生命线,重视团队的技术培养。最近,一家提供过服务的日本公司决定注资我们公司,这是我预料之外的。所以我觉得,把眼前该做好的事情做好了,机会说不定就在身边。

本文选自《程序员》杂志2011年07期,更多精彩内容敬请关注07期杂志

标签:
阅读:13,474 次
13

在校大学生创业的成功心得

 

 

适合我旅游团购网创始人王毅
适合我旅游团购网创始人王毅

 

 

 

适合我旅游团购网由我们清华大学三位在校学生创办,目前已获得天使投资,成为浩荡团购大军中的一颗新星。下面为大家分享一下我们是如何获得第一笔投资的。

我始终认为,要获得投资的最关键一点,就是需要一个好的团队。“投资投的不是点子,而是团队”,这句话是非常有道理的,没有好的团队,不管多么美好的想法最终都只会是幻想。那么,怎样的团队才算是一个出色的团队呢?

每位成员都有一颗创业的心,非常喜欢他们目前所做的事情,即使没有经费,也愿意自己掏钱继续创业。如果团队中的成员感觉自己做的事情比其他成员多,就觉得不舒服,像吃亏了似的,这样的团队迟早会死掉。一个好的团队,每位成员应该以做得多而感到自豪,因为团队是在为自己创造,让自己的创造被千千万万的用户使用,对程序员来说,这是多么美妙的一件事情啊!与此同时,团队成员之间一定要相互信任,相信对方也是在全身心的创业,也会把自己的工作做好,不能因为每个人做的不同,就感觉其他成员在偷懒。

专注,既然选择了创业,对待其他事情,就应该抱着“能放则放,能缓则缓”的态度,这不仅是对投资者负责任,更是对自己负责任。同样,业精于专,团队的想法,最好也专注于一点,例如现在团购非常火爆,也日趋成熟,但是我们的团队只专注在旅游上,其他方面我们不涉足,别人挣钱我们高兴,但我们只把有限的精力放在在线旅游电子商务上。 阅读全文 »

标签:
阅读:13,270 次
13

融资如“联姻”

 

 

 

万兴软件高级副总裁傅宇权
万兴软件高级副总裁傅宇权

 

 

 

 

 

市场上创业团队越来越多,市场上的投资资金也很多,如何让两者能够很好地匹配在一起?创业者如何拿到第一笔有价值的投资?当创业者有了融资的想法时,就必须先回答一些问题。

站在创业团队的角度需要回答:要钱做什么?计划多久花完?还需要什么资源?打算付出多大的成本(如股权)?愿意冒多大风险(如果对方提出对赌条款)?而站在投资者角度需要回答:产品(服务)是什么?客户是谁(能赚多大钱)?盈利模式是什么(怎么赚钱)?门槛有什么(能赚多久的钱)? 资本退出的机会有多大(再融资或上市)?

作为创业项目,尤其是创新型项目,上述十个问题往往不会有很成熟、明了的答案。但创业者至少要给出明确的答案,让团队以及投资者有足够的信心。能够很好地回答上述问题,基本就算是比较好的项目了。

投资机构在不断寻找项目的同时,事实上是在不断寻找合适的“人”。投资投的是团队,而非仅仅项目本身。所以,想清楚上述十个问题之后,我们必须回顾自己的团队,是否具有以下特征:足够高的行业视野,以及敏锐的视角; 足够强的创业动力,以及坚韧的精神; 足够好的运营经验,以及团队的意识。

有了好的项目,再有了以上团队特征,众多投资机构基本会趋之若鹜。接下来,就是我们应该如何选择投资机构了。 阅读全文 »

标签:
阅读:7,962 次
12

创业态度决定一切

方天雨麦包包副总经理
麦包包副总经理 方天雨

到目前为止,单单拿着一个商业计划去找投资人并最终获得投资的故事,还是少数派。当然,一个完整的商业计划也是必要的,其中应该说明你的商业模型将怎样构建,未来怎样盈利。下面和大家分享一下麦包包在打动投资者方面的经验。

选对行业

找准方向并坚持下去,不断地优化和发现新的机会。用互联网语言来说就是“挺住意味着一切”。我之前在武汉做电子商务,叶海峰在嘉兴做箱包生产,通过交流发现,国内箱包市场没有品牌,而中国经济的发展又需要品牌箱包的出现,因此我们认为箱包品牌化将是一个潜在的巨大市场,便将它写入商业计划书,把箱包销售引入互联网。于是,通过这样一个切合点,我们开创了麦包包,开拓了一个非常有特色的电子商务模式。

建立团队

建立团队时最核心的问题就是寻找团队。团队的各成员应该认同团队的创业思路,具有共同的创业信念,就像当年中国足球队主教练米卢所说的“态度决定一切”。因为企业的发展不可能一帆风顺,在创业过程中会遇到各种各样的困难,所以我们比较看重这一点。也正因如此,到目前为止,我们高管团队的主动离职率为零,这让我们非常骄傲。

此外,创建团队时考虑的另一个重要问题就是各成员应该乐于分享。各成员应该分享他们的未来愿景,其实归根结底也是一个创业信念的问题。 阅读全文 »

标签:
阅读:10,406 次
11

投资者关注的创业者条件

在我眼中,创业者可以分为两种,一种是完全是从零开始的,一般是只有一个人、一个idea或者三五条枪,他们需要的是天使投资;另一种是可能已经具备一定规模,需要去扩大业务,他们需要的是风险投资。对于这两种投资要求的条件不太一样,但有些共性的地方。

李华兵千淘资本创始合伙人
千淘资本创始合伙人李华兵

首先也是最重要的是看团队的能力。只要团队是对的,即使最开始选择的方向不对,但经过一段时间的调整,该团队凭借其市场眼光、资本运作能力、产品把握能力,总能够找到合适机会,做成事业,投资者愿意给这样的团队投资。其中典型的代表是周鸿祎、陈一舟,他们虽然也走过一些弯路,但最后获得了成功。

在判断一个创业者是否可以投资时,还会看其履历,比如做过什么产品,带过多大团队,积累了多少用户,有哪些成功的样板等。虽然看起来比较经验主义,但这些东西会给投资者一种心理暗示,因为背景光鲜的人已经在某些方面获得了成功。比如许朝军,由于在盛大和人人网有丰富的资历,所以当他出来创业时,便轻松获得了投资者的青睐。

当然,如果没有这些光鲜的背景,但入手快,不只有idea,而且能拿出产品说话,执行能力强,同样也能获得投资者的认可,比如蔡文胜。其实投资也是很感性的,假如是在起点差不多的情况下,干得快的那个人一般会增强投资者的信心,从而获得投资。

其次,顺势而为,在正确的时间点做正确的事情。尽管上面提到最开始选择的方向未必准确,但也应该要尽量准确。比如现在要做一个Office软件或者操作系统的话,这明显是一个饱和的市场,不宜再涉足。再比如当年中国最早的B2C网站8848,相信任何一个互联网人都会对8848这个品牌予以崇高的尊重,因为它是一个里程碑,但事实很残忍,它成了先烈。失败的重要原因之一就在于对形势的判断失误:1999年时,中国网民的基数根本没有达到普及电子商务的层面,就像在一片根本就没有水、电这些配套的荒地里建摩天大楼一样,结果可想而知。 阅读全文 »

标签:
阅读:15,818 次
08

口述 / 方之熙 整理 / 董世晓

英特尔中国研究院院长方之熙
英特尔中国研究院院长方之熙

作为英特尔中国研究院掌门人,方之熙的经历颇为光鲜和丰富,而从他的经历可以看出,“研究”二字注定与他结下了不解之缘。

从数学到计算机——找到人生的激情

我一直认为数学非常奇妙,各种定理、认证都有一种独特的美。我在高中时就因为参加数学竞赛取得了不错的成绩而得以跳级,后来很幸运地考入复旦大学数学系,接着还考上了许文华老师的数学专业硕士研究生。那时计算机科学开始兴起,复旦大学很多计算机系的教授同时也是数学系的教授,因此我在课堂上也初步接触到了一些计算机的知识,对计算机科学产生了兴趣,对于计算机可能给生产、生活带来的强大影响觉得无比惊奇。

与数学相比,我发现刚刚兴起的计算机科学无论是在研究内容还是研究方法方面都有很大的不同。计算机科学是以应用为目的,它有强大的工业应用为支撑,因此我觉得它应该有不错的前景。

后来,我得到叔叔的资助赴美留学,先是读数学,但发现美国的数学教育并不比国内好,而由于看好计算机的发展前景,于是我就转到了美国中部的内布拉斯加大学林肯分校学习计算机。

在那个年代学习计算机非常辛苦。当时电脑是奢侈品,即使在美国的大学里也只有少量的几台电脑,都需要登记才能使用。记得有一门课需要大量编程序,我几乎经常需要熬通宵写代码,但每当看到一行一行的代码变成一个很好玩的程序时,我再一次体会到了计算机与数学一样的美,因此每次我都非常兴奋。

1984年夏天,本着对计算机的激情,我用不到三年的时间就把博士读完了,成为这所学校里在最短时间内拿到博士学位的中国学生。从此,我开始了与计算机工业近三十年的共同成长,见证并经历了世界计算机行业持续不断的技术革新和蓬勃发展。

阅读全文 »

阅读:14,961 次
06

文/郑金条

相信用户的选择

对于手机游戏,在创造用户需求这个诉求太缥缈的时候,也许相信用户的选择是更好的研发趋势。

Information Solutions Group曾对玩家选择手机游戏的倾向进行过追踪,所得到的结果并不让人诧异,该调研称玩家会分享的选项包括可玩性强、容易上手、多重关卡等,有持续游戏性、有挑战性、有动人心扉的声效、能够消遣解闷的同时,具有一些不同以往的独特玩法和特征。

大量的开发者深谙其道,Rovio(代表作Angry Birds)公司 Ville Heijari认为简单娱乐是游戏的首要诉求(Simplicity was always the top priority),而PopCap(代表作Plants vs. Zombies)公司Andrew Stein认为让玩家易于上手至关重要(Be quick to play)。angrybird

一些被实践的美好

尽管现在手机游戏领域已经进入了以活跃用户为评估指标的时代,但通过下载量,我们依然可以赞叹这些顺势而为的公司们的超级成功。

Rovio(代表游戏Angry Birds)实现了超过2亿次的下载;Backflip Studios(代表游戏 Paper Toss)实现了超过1亿次下载;Outfit7(代表游戏 Talking Tom Cat)实现了超过1亿次的下载;Chillingo(代表游戏Cut The Rope)在苹果App Store实现了1.4亿次下载。

如果从部分手机应用商城的下载比较就可以更鲜明地看到这些崇尚简单至上的公司所获得的让人惊诧的下载量:Samsung Apps从2010年6月到现在也才下载1亿次,中国移动应用商城在2010年底也仅实现了1亿次的下载。

阅读全文 »

阅读:14,040 次
preload preload preload
京ICP备06065162