Red Team 红色小队论坛

 找回密码
 立即注册
查看: 962|回复: 0

计算无敌!阿里云377秒完成100TB数据排序

[复制链接]

3330

主题

1万

帖子

14万

积分

特邀嘉宾

{[(A家A友)]}:功归功,过归过.尘归尘,土归土.

Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20

精华
0
金币
116115
经验
10
贡献
32
发表于 2015-10-28 19:45:54 | 显示全部楼层 |阅读模式

马上注册加入红色小队,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
计算无敌!阿里云377秒完成100TB数据排序:秒三星百度
http://news.mydrivers.com/1/453/453744.htm

今日,Sort Benchmark在官方网站公布了2015年排序竞赛的最终成绩。其中,阿里云用不到7分钟(377秒)就完成了100TB的数据排序,打破了Apache Spark的纪录23.4分钟。Sort Benchmark有全球科技公司“计算奥运会”之称,更早之前Hadoop的记录是72分钟。

据介绍,Sort Benchmark的排序竞赛包含4项比赛,其中GraySort和MinuteSort主要评测计算系统的规模和效率,是4项比赛中含金量最高的两项每一项比赛又分通用目的排序(Daytona)和专用目的排序(Indy)两个类别。阿里云飞天分布式计算系统,在这两项重量级比赛中打破了全部4项世界纪录。

GraySort评测的是超大规模数据量排序的速度,飞天用了377秒对100TB数据完成排序,也就是说1分钟能够完成15.9TB的数据排序,去年Apache Spark成绩为4.35TB/分钟。MinuteSort评测的是系统在1分钟内能够完成排序的数据量,飞天用1分钟完成了对7.7TB数据的排序,去年冠军三星为3.7TB。

阿里云首席架构师唐洪表示,排序是最基础的计算问题。100TB排序,是把1万亿条无规律的100字节纪录,严格按照从小到大的顺序排序,考验分布式系统中存储、调度、通信等各个子系统的性能,能够反映出一个平台的整体计算能力。GraySort和MinuteSort这两项比赛,充分证明了阿里云在计算方面的核心能力。

据了解,Sort Benchmark是一个专门从事排序基准评估的非盈利机构,该机构每年都会举办一次国际顶级排序基准评估比赛,被认为是计算界的奥运会。全球顶尖公司和学术机构都会带着他们最新的研究成果来参加,以评估他们的研究成果。

世界排序大赛官网公布的结果http://sortbenchmark.org/


您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表