• Facebook的Hadoop应用与故障转移方案

    本文讲的是Facebook的Hadoop应用与故障转移方案,在《数据大爆炸 一分钟=60秒=海量数据》一文中,我们曾提到在短短的60秒内,Facebook的用户分享684478条信息,Like按钮被点击34772次。庞大的业务量时刻考验着...
    文章 2017-09-28 1867浏览量
  • 时培昕:工业物联网和工业大数据助力企业实现智能制造...

    掉的原因客户也都知道,叶片根部会有一些螺栓,螺栓在旋转的过程中都出现一些松动,当掉1-6根的时候螺栓叶片还可以修,但是超过6根之后,螺栓基本上会出现一个加速损坏的过程,直到叶片断下来。每次维修叶片的费用...
    文章 2017-10-02 1867浏览量
  • 浅谈医学大数据(中)

    而在大数据时代,海量数据的涌现提供了从不同角度更细致更全面观察研究数据的可能,从而打开了人们的好奇心,探索欲望,人们想知道到数据告诉了我什么,而不仅仅是我的猜想是否被数据验证了。人们越来越多地用大数据...
    文章 2015-04-20 997浏览量
  • 5W1H(六何分析法)全景洞察大数据

    在线实时数据清洗,一般是用sparkstreaming或者strom/jstorm直接处理实时流过来的数据,清洗完成,因为实时化,所以一般会接到在线的数据存储上,比如rds、mogodb、redis、hbase等。数据存储服务 基本来讲,hadoop...
    文章 2018-11-05 2228浏览量
  • 解决DCIM系统中未决的问题

    区分DCIM之间差异的最大因素是它如何处理海量数据,系统根据这些数据回传了怎样的信息,以及这些信息如何有效、易于访问和连贯性。好的测试方法是选择一个普通人,没有经过专业的IT培训,也没有经过系统的特殊培训,...
    文章 2017-07-03 1014浏览量
  • 5W1H(六何分析法)全景洞察大数据

    在线实时数据清洗,一般是用sparkstreaming或者strom/jstorm直接处理实时流过来的数据,清洗完成,因为实时化,所以一般会接到在线的数据存储上,比如rds、mogodb、redis、hbase等。数据存储服务基本来讲,hadoop...
    文章 2016-06-30 10268浏览量
  • 轻松应对双11,百万级物理和虚拟网络设备的网络智能化...

    在自动隔离场景中,由于网络设备在运行过程中经常会出现故障,在快速修复之前前,隔离是在网络工程师解决问题的首要工作。从图中可以看出,自动隔离功能上线后,90%以上的隔离操作能自动完成,而且成功率高达95%,...
    文章 2017-12-14 1964浏览量
  • 海量用户通信业务平台的设计和数据处理实践【大数据...

    我们的对策是基于MySql开发了一套“DBPROXY”海量数据库平台,这样业务使用方的程序员彻底不用考虑分表的问题,对于他们来说都是透明的,就正常的写Sql语句就可以。C、数据库杂的问题 一个大型运营业务中,产生各类...
    文章 2017-05-02 1222浏览量
  • 阿里双11网络技术揭秘:百万级物理和虚拟网络设备的...

    在自动隔离场景中,由于网络设备在运行过程中经常会出现故障,在快速修复之前前,隔离是在网络工程师解决问题的首要工作。从图中可以看出,自动隔离功能上线后,90%以上的隔离操作能自动完成,而且成功率高达95%,...
    文章 2018-01-05 5066浏览量
  • 连载:阿里巴巴大数据实践—实时技术

    简单来说,流式数据处理技术是指业务系统每产生一条数据,就立刻被采集并实时发送到流式任务中进行处理,不需要定时调度任务来处理数据。整体来看,流式数据处理一般具有以下特征。1.时效性高 数据实时采集、实时...
    文章 2020-08-19 3128浏览量
  • iPhone激活了移动互联网,谁来激活大数据呢?

    更重要的是,IoT(物联网)在采集到海量数据之后,可对其进行结构化处理和挖掘应用,通过这些应用,让人类的生活更加舒适、安全和环保,让人类的生产更加高效和节能——这是人类将万物连接起来的初心所在。...
    文章 2017-07-07 1044浏览量
  • 带你读《企业数据湖》之三:Lambda架构:一种数据湖...

    分布式系统必然会出现网络故障,在这种情况下,只能接受网络分区。表3-1中会简要说明这3个重要方面。在数据湖背景中,Lambda架构的实现也采用了CAP定理。通常在这样的环境中,可用性与一致性难以兼顾。基于这方面的...
    文章 2019-10-20 3295浏览量
  • 基础设施助力双11(十):百万级物理和虚拟网络设备的...

    在自动隔离场景中,由于网络设备在运行过程中经常会出现故障,在快速修复之前前,隔离是在网络工程师解决问题的首要工作。从图中可以看出,自动隔离功能上线后,90%以上的隔离操作能自动完成,而且成功率高达95%,...
    文章 2019-07-31 1164浏览量
  • 如何正确选择多云架构?

    因为业务线强势,中台无统一规划往往会出现这种情况。当然还有就是在线业务用一家云,离线业务用一家云等等。这种模式下各维度的打分如下:灾难备份、故障转移,0 分。两家云上的服务和存储加起来才是完整的,所以...
    文章 2022-04-07 66浏览量
  • 线上广告投放出现bug,如何实时发现?

    电商平台的搜索广告数据处理链路通常较长,一般会经历如下过程: 广告主在后台进行广告投放;投放广告品及关键词数据写入数据库;数据库中的数据通过全量构建(导入数据仓库再进行离线批处理)或增量构建(借助消息...
    文章 2019-12-29 2892浏览量
  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    分析下来发现聚合操作一般跨越 2~5 个窗口,超过之后聚合结果就稳定下来。所以可以考虑将聚合结果持久化。效果 系统上线以来经受住了实践的检验,故障以及日常问题的定位效率得到显著提升,并获得了稳定性...
    文章 2019-08-29 3072浏览量
  • 关于大型网站技术演进的思考(七)-存储的瓶颈(7)

    数据分配的均匀问题曾被我作为水平技术拆分的优点,但是到了扩展就出现了数据分配的不均衡了,数据的不均衡造成系统计算资源利用率混乱,更要命的是它还影响到上层的计算操作,例如海量数据的排序查询,因为数据...
    文章 2017-11-08 835浏览量
  • 分布式系统,你真的了解吗?

    因为只有一个进程,所以所有的数据处理,其顺序都是固定的,不可能出现多线程中,两个函数的语句交错执行的情况,因此也不需要各种“锁”。从这个角度看,异步非阻塞的技术,是大大简化了开发的过程。由于只有一个...
    文章 2017-08-01 1171浏览量
  • A微服务稳定性保障的“痛”(项目经验教训)

    2.1.2突发流量面对突发流量的场景(比如积分大转盘活动),因访问量会短时间内猛增数倍,也会出现服务间接口调用超时、接口调用失败的问题,进而增加平台不稳定因素。针对这些情况,A微服务主要需要采取以下几个措施...
    文章 2022-02-24 45浏览量
  • 分布式主动感知在智能运维中的实践

    但这样处理,下次可能还会出现同样的问题。如果将故障放到ITSM部分进行分析,就能让问题得到更根本的解决。发现故障后,通过请求管理把这件事告诉后台人员,后台人员看到请求后将故障升级为“事件”并提交给研发人员...
    文章 2019-07-09 2364浏览量
  • 分布式存储大行其道 浪潮AS13000何以“木秀于林”?

    现在问题来了,既然集中存储已经能够满足一定规模的企业数据访问和存储需求,为什么会出现分布式存储呢?这个问题也不是一个“既生瑜,何生亮”的矛盾话题,应该说业务是采用不同架构的“分水岭”,业务规模不同,...
    文章 2017-08-09 1662浏览量
  • 带你读《智能制造之卓越设备管理与运维实践》之三:运...

    卓越设备资产管理与运维管理体系紧抓人员、技术、备件和数据四大资源,在全生命周期数据资源管理的基础上,构建设备技术管理平台,并支持多技能、专业化人员成长和备件精细化经济管理两个闭环,如图3-2所示。...
    文章 2019-11-08 1835浏览量
  • 一个系统,搞定闲鱼服务端复杂问题告警-定位-快速处理

    分析下来发现聚合操作一般跨越2~5个窗口,超过之后聚合结果就稳定下来。所以可以考虑将聚合结果持久化。效果 系统上线以来经受住了实践的检验,故障以及日常问题的定位效率得到显著提升,并获得了稳定性的...
    文章 2019-07-24 11949浏览量
  • 双11媒体大屏背后的数据技术与产品

    海量数据处理中,大部分数据对象都是以字符串的形式存在的,在不同的线程间合理共享对象可以大幅度减少字符串的拷贝,因为字符串的拷贝是非常消耗性能的,不过也要注意不合理使用内存对象共享的内存溢出的问题。...
    文章 2016-12-08 4313浏览量
  • 运维数据生态:高阶落地的一些场景

    数据处理时效规则方面一般有三种&xff0c;离线数据处理规则、近线数据处理规则和实时数据处理规则&xff0c;相对于的数据获取也有不同的方式&xff0c;一般有&xff0c;周期性的拉取数据、周期性的主动推送数据、实时获取数据...
    文章 2021-11-04 55浏览量
  • HBase和Cassandra的分布式架构深度对比

    但是我相信随着大数据技术的不断发展,国内工程师的不断普及,Cassandra是有非常多的优点,面向分布式海量数据的查询优化架构,尤其是去中心化带来的集群健壮性,对于一个运维团队非常省事,尤其是越来越多的物...
    文章 2021-12-23 133浏览量
  • 双11媒体大屏背后的数据技术与产品

    海量数据处理中,大部分数据对象都是以字符串的形式存在的,在不同的线程间合理共享对象可以大幅度减少字符串的拷贝,因为字符串的拷贝是非常消耗性能的,不过也要注意不合理使用内存对象共享的内存溢出的问题。...
    文章 2016-12-12 2394浏览量
  • HDFS追本溯源:体系架构详解

    Hadoop是一个开发和运行处理大规模数据的软件平台,是Apache的一个用Java语言实现开源软件框架,实现在大量计算机组成的集群中对海量数据进行分布式计算。用户可以在不了解分布式底层细节的情况下,开发分布式程序。...
    文章 2014-04-11 2169浏览量
  • 《计算机科学概论(第12版)》—第1章1.3节海量存储器

    此外,与固态系统相比,带有移动部件的存储系统更容易出现机械故障。1.3.1 磁系统很多年以来,磁技术已经占据了海量存储领域。最常见的例子便是我们现在使用的磁盘(magnetic disk)或者硬盘驱动器(hard disk ...
    文章 2017-05-02 2488浏览量
  • Storm概念学习系列之什么是实时流计算?

    互联网领域的实时流计算一般都是针对海量数据进行的,除了非实时计算的需求(如计算结果准确)以外,实时计算最重要的一个需求是能够实时响应计算结果,一般要求为秒级。个人理解,互联网行业的实时计算可以分为以下...
    文章 2017-12-18 1615浏览量
1 2 3 4 ... 13 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化
http://www.vxiaotou.com