-
中国集群通信网
2022-04-17
-
贵州对讲机
2022-02-21
-
全面剖析eBay的Hadoop集群应用及大数据管理
eBay, 全球最大的在线交易平台，由程序员Pierre Omidyar于1995年劳动节周末在美国创立，起初叫AuctionWeb，于1997年7月正式改名为eBay，今年九月将迎来其20周年纪念。
eBay第一笔交易是一只破损的激光笔，成交价14.83美元，Pierre主动联系买家以确信其知道这2021-04-26 -
简要了解Hadoop集群技术与Spark集群技术的对比
Hadoop:分布式批处理计算，强调批处理，常用于数据挖掘、分析。Spark:是一个基于内存计算的开源的集群计算系统，目的是让数据分析更加快速, Spark 是一种与 Hadoop 相似的开源集群计算环境，但是两者之间还存在一些不同之处，这些有用的不同之处使 Spark 在某些工作负载方面表现得更加2021-04-26
-
集群技术在七牛云存储中的应用案例分享
分享人介绍：王团结，七牛数据平台工程师，主要负责数据平台的设计研发工作。关注大数据处理，高性能系统服务，关注Hadoop、Flume、Kafka、Spark等离线、分布式计算技术。
下为讨论实录数据平台在大部分公司属于支撑性平台，做的不好立刻会被吐槽，这点和运维部门很像。所以在技术选型上优先考虑现成2021-04-26 -
简介Hadoop集群技术在优酷土豆的应用
为了更好的实现个性化视频推荐，2009年，优酷土豆开始使用Hadoop大数据平台来进行数据的分析及挖掘。起初整个平台平台只有十多个节点，而到2012年集群节点已经达到150个，2013年更是达到了300个。但是随着数据量的急剧增加以及业务的迅猛发展，每天优酷处理的数据量已突破200TB，优酷土豆2021-04-26
-
浅析新浪微博的集群技术利用及网站业务架构
据了解，随着用户数量的不断扩增，在高峰期，新浪微博的服务器每秒要接受100万以上的响应请求，压力可谓空前。童剑表示，面对如此高的并发访问量，新浪在技术上所遇到的挑战也相当大。比如整体的技术平台如何做性能扩展?局部技术单元如何做性能扩展?并设计系统使能通过增加服务器即可实现服务能力扩容。不过，服务器2021-04-26
-
Facebook的Hadoop和AvatarNode集群方案简介
Facebook作为全球知名的社交网站，拥有超过3亿的活跃用户，其中约有3千万用户至少每天更新一次自己的状态;用户每月总共上传10亿余张照片、1千万个视频;以及每周共享10亿条内容，包括日志、链接、新闻、微博等。因此Facebook需要存储和处理的数据量是非常巨大的，每天新增加4TB压缩后的数据，扫2021-04-26
-
剖析阿里巴巴的云梯YARN集群技术使用
阿里巴巴作为国内使用Hadoop最早的公司之一，已开启了Apache Hadoop 2.0时代。阿里巴巴的Hadoop集群，即云梯集群，分为存储与计算两个模块，计算模块既有MRv1，也有YARN集群，它们共享一个存储HDFS集 群。云梯YARN集群上既支持MapReduce，也支持Spark、MPI2021-04-26
-
总结Hadoop集群技术近年来对大数据处理的推动
1. 引子
什么是大数据？麦肯锡公司的报告《大数据：创新、竞争和生产力的下一个前沿领域》中给出的大数据定义是：大数据指的是规模超过现有数据库工具获取、存储、管理和分析能力的数据集，并同时强调并不是超过某个特定数量级的数据集才是大数据。
国际数据公司（IDC）用四个维度的特征来定义大数据，即数据集的规2021-04-26 -
剖析Spark集群技术在美团网站的实战运用
前言美团是数据驱动的互联网服务，用户每天在美团上的点击、浏览、下单支付行为都会产生海量的日志，这些日志数据将被汇总处理、分析、挖掘与学习，为美团的各种推荐、搜索系统甚至公司战略目标制定提供数据支持。大数据处理渗透到了美团各业务线的各种应用场景，选择合适、高效的数据处理引擎能够大大提高数据生产的效率，2021-04-26
-
简单总结Hadoop和Spark集群技术的不一样点
谈到大数据，相信大家对Hadoop和Apache Spark这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨跟我一块看下它们究竟有什么异同。
解决问题的层面不一样首先，Hadoop和Apache Spark两者都是大数据框架，但是各自存在的目的不尽相同2021-04-26
0
0
