26

文 / 许呙兢,陈舟锋,郑刚

飞天测试的挑战

飞天开放平台基于一个核心系统,即飞天大规模分布式计算系统(简称飞天)。飞天期望把几千台PC构成一台“超级计算机”,为上层多种不同的开放服务和云应用提供通用的分布式存储、计算和任务调度等多重功能。由此可以看出,飞天具有平台化、通用性和大规模的特性,于是,飞天测试的挑战也由此而来。 阅读全文 »

标签:
阅读:11,923 次
25

文 / 汪源

MapReduce、BigTable等系统的创造者Jeff Dean于2013年1月19日在斯坦福大学演讲的内容纵贯系统软件与机器学习两大领域。通过对资源共享及其带来的响应时间波动问题、异步分布式随机梯度下降算法及其应用这两块主要内容的介绍,Jeff Dean深入展示了通用、简洁、Just Works系统的强大魅力。同时演讲中展示的在深度学习领域取得的突破尤其振奋人心。

在Google众多杰出的计算机科学家中,Jeff Dean可能是最知名的。这不仅是因为Jeff Dean设计的MapReduce和BigTable等系统人尽皆知,开风气之先,也因为Jeff Dean比较喜欢做技术演讲。虽然只涉及Google强大技术的只鳞片爪,Jeff Dean的每次演讲都足以成为我们学习模仿的对象。 阅读全文 »

标签:
阅读:37,792 次
25

文 / 李金辉

数据解读2012年的“双11”

2012年淘宝“双11”的交易总额达到惊人的191亿元。根据国家统计局发布的数据:2012年10月中国社会消费品零售总额为18934亿元,平均到每天约为610亿元。这意味着在“双11”当天,中国人消费的每3元钱中就有1元是通过淘宝平台交易的,同时标志着以淘宝为代表的电子商务新经济的巨大胜利。

在激动人心的业务数据背后,淘宝技术平台和商家自身的技术平台承受了巨大压力——世界上再没有一个网站比淘宝“双11”当天的并发访问量还大。在这场业务和技术的双重盛宴中,云计算发挥了中流砥柱的作用。本文将为大家详细分析云计算为商家带来的价值以及云计算如何帮助商家解决其技术难题。 阅读全文 »

标签:
阅读:15,503 次
04

文本数据的价值

作者:baiyuzhong 分类:云计算, 图书推荐 »

文/Bill Franks

当你开车路过一家餐厅的停车场时,你的手机屏幕上弹出了这家餐厅的当日特价菜品推荐,这种体验是不是很棒?如果赌场老板把发牌人忘记付给你的20美元亲自送还给你,你的心里是不是有点儿小激动?如果在线视频游戏能够把和我们玩法相近的用户即刻告知我们,这世界会不会变得很美妙?你是不是要下调汽车保险费率?大数据能让这一切变成现实。

阅读全文 »

标签:
阅读:8,510 次
09

Redis经验谈

作者:baiyuzhong 分类:云计算 3 Comments »

文/杨海朝

新浪作为全世界最大的Redis用户,在开发和运维方面有非常多的经验。本文作者来自新浪,希望能为业界提供一些亲身经历,让大家少走弯路。

使用初衷

从2010年上半年起,我们就开始尝试使用Redis,主要出于以下几方面的考虑。

  • 性能比MySQL好。因为业务的发展对性能的需求越来越强烈。
  • 丰富的数据类型。在速度就是市场的互联网时代,快速开发是一个不变的需求。
  • Cache宕机让人纠结,Redis有半持久化和持久化两种方式,能从某种程度上解决这个问题,以减少Cache宕机带来的雪崩效应。
  • 在部分业务场景中,使用MySQL+Memcached存在一致性问题,若使用Redis替代,能降低整体架构复杂度。 阅读全文 »
标签:
阅读:45,475 次
05

文/彭麟

历经一年多的发展,Cloud Foundry的架构设计和实现有了众多改进和优化。为了便于大家了解和深入研究首个开源PaaS平台——Cloud Foundry,《程序员》杂志携手Cloud Foundry社区开设了“深入Cloud Foundry”专栏,旨在从架构组成、核心模块功能、源代码分析等角度来全面剖析Cloud Foundry,同时会结合各行业的典型案例来讲解Cloud Foudry在具体应用场景中的表现。 阅读全文 »

标签:
阅读:37,599 次
十二 24

文/王守崑

本文结合技术及社会需求发展的大背景,讲述了当前推荐系统的价值及所面临的挑战,并指出了下一代个性化推荐系统的设计思路及需要注意的问题。

作为个性化推荐系统核心的协同过滤(Collabora-tive Filtering)算法,是Goldberg等人在1992年的一篇学术论文中最早提出的。他们在这篇文章中提出一种方法,在一个新闻组中,根据 用户下载的新闻计算他们之间在口味上的相似程度,并利用这种相似程度为他们进一步推荐相关的新闻。这也是最早期的个性化推荐系统的雏形。 阅读全文 »

标签:
阅读:30,440 次
十二 19

文/杨卫华

2012年后端相关技术发生了一些重要的变化,在本年度接近尾声之际,我将简单地对后端的相关技术进行回顾并对其未来的发展发表一些看法。

云计算的意义与选择

云计算降低了创业门槛,提高了生产力。最耳熟能详的故事就是Instagram利用Amazon云服务来实现其架构。在2012年8月,其每日活跃用户已超过老牌网站Twitter。据称,在这么大的一个系统中仅有3名工程技术人员(Instagram被Facebook收购时共13名员工)。可见,云计算平台在这个新兴应用的快速成长中发挥了多么重要的作用。 阅读全文 »

标签:
阅读:21,323 次
十一 20

文/程显峰

NodeStack是另类的开源云计算组合,从内到外实现了应用PaaS。其架构主要包括SmartOS、Node.js和MongoDB三部分。本文将重点介绍NodeStack的底层平台SmartOS。

最近谈到开源云计算,大家可能第一想到的是OpenStack、Cloud Foundry这种金光闪耀的组合。但NodeStack的发布,使大家眼前一亮——原来可以这么玩。简单地说,NodeStack使用了一套完全不同的开源架构,从内到外实现应用PaaS。其架构主要包括SmartOS、Node.js和MongoDB。由于这几种技术的东家都参与了这个项目,我们就来看看NodeStack到底有什么神奇的地方。 阅读全文 »

标签:
阅读:19,705 次
10

文/周涛

个性化推荐经常被人误解为细分市场和精准营销这两个概念。虽然它们之间有一些联系,但实质上却相差甚远。本文不仅清楚地讲述了个性化推荐技术,更列出了其所面临的十大挑战。

很多人都知道个性化推荐,却有不少认识上的误区。有的人认为个性化推荐就是细分市场和精准营销,但实际上细分市场和精准营销往往是把潜在的用户分成 很多群体,这与基于全体的统计相比固然有了长足的进步,但距离“为每一个用户量身定做的信息服务”还有很大的差距,只有做个性化才能实现亚马逊CEO Jeff Bezos的梦想“如果我有100万个用户,我就为他们做100万个亚马逊网站”。 阅读全文 »

阅读:18,453 次
preload preload preload
京ICP备06065162