文/陆嘉恒
任何机器都会有物理上的限制:内存容量、硬盘容量、处理器速度等,我们需要在这些硬件的限制和性能之间做出取舍,比如内存的读取速度比硬盘快得多,因此内存数据库比硬盘数据库性能好,但是内存为2GB的机器不可能将大小为100GB的数据全部放入内存中,也许内存大小为128GB的机器能够做到,但是数据增加到200GB时就无能为力了。
文/陆嘉恒
任何机器都会有物理上的限制:内存容量、硬盘容量、处理器速度等,我们需要在这些硬件的限制和性能之间做出取舍,比如内存的读取速度比硬盘快得多,因此内存数据库比硬盘数据库性能好,但是内存为2GB的机器不可能将大小为100GB的数据全部放入内存中,也许内存大小为128GB的机器能够做到,但是数据增加到200GB时就无能为力了。
文/Martin Klubeck
在大数据大行其道的年代,几乎所有人淹没在数据的海洋里。马丁•克鲁贝克(Martin Klubeck)对数据追逐和草率跟风提出了忠告和建议,认为数据不过是冰山一角,对于IT企业来说,真正需要的,其实是“shine a light on data”。量化(Metrics),为IT企业利用数据提升业绩提供了绝佳的机会。 阅读全文 »
文/Bill Franks
当你开车路过一家餐厅的停车场时,你的手机屏幕上弹出了这家餐厅的当日特价菜品推荐,这种体验是不是很棒?如果赌场老板把发牌人忘记付给你的20美元亲自送还给你,你的心里是不是有点儿小激动?如果在线视频游戏能够把和我们玩法相近的用户即刻告知我们,这世界会不会变得很美妙?你是不是要下调汽车保险费率?大数据能让这一切变成现实。
文/
are mixed have adhered galvaunion.com reputable on line pharmacies monkey mistaken next skin.
占超群
“大数据”概念于20世纪90年代被提出,最初只是对一些在一定时间内无法用传统方法进行抓取、管理和处理的数据的统称。随着时间的推移和科技的发展以及物联网、移动互联网、SNS的兴起,每年产生的数据量都以几何级数增长,《IDC Digital Universe in 2020》报告称全球产生的数据将在2020年达到40ZB(1ZB=10亿TB=100万PB)。在这急剧增长的数据面前,各种相关概念、技术层出不穷,一直不停地吸引大家的眼球。同时,大数据的内涵也发生了重大变化。让我们一起来思考一下:什么是大数据?能用它来解决什么问题?该如何应用大数据技术?目前有哪些难点?大数据的未来是什么? 阅读全文 »
《程序员》封面报道:大数据
很多公司和个人都在积极地探取大数据的奥秘,想从中获得更多有价值的信息,并利用这些信息实现更大的价值。因此,如何收集和获取数据、如何高效地存储和计算、如何从海量数据中提炼出有价值的信息,成为了大家正在关注和思考的问题。在本期封面报道中,来自阿里、腾讯、百度、Intel、Yahoo!、京东等公司的多位一线实践者为我们奉上了一场大数据技术盛宴。
(1)大数据,且行且思
(2)腾讯数据银行TDBank
(3)海量数据存储优化实践
(4)基于Trident构建大规模实时流数据处理系统
(5)从存储、计算和数据挖掘谈流式处理
(6)应用流式计算实现Web故障诊断
(7)浅析腾讯TDW对Hive的应用和优化
(8)Hadoop在互联网存储中的应用与挑战
(9)百分点大数据与个性化实践
文 / 车品觉
如今,90%的数据分析师都在谈大数据,在大数据的背景之下,数据分析师收集数据的边界在哪里?又该如何运用数据呢?作者在美国参加Strata 2012大会期间,跟很多数据中人交流,其中前LinkedIn首席科学家DJ Patil给他的印象最深。
文 / Edd Dumbill 译 / 张龙
更加强大且富有表现力的分析工具
在过去的一年中,围绕着NoSQL和Hadoop,基本的存储与数据处理引擎方面的改进工作得到了加强并且日趋工程化。毫无疑问,这种态势将会持续下去,因为我们看到了Hadoop世界中有越来越多形态各异的产品融入到了各种发布包、设备和按需的云服务当中。我衷心希望在不远的将来Hadoop能够成为必要的基础设施。 阅读全文 »
近期评论