• 揭秘|连续3年支撑双11,阿里云神龙如何扛住全球流量...

    日均样本数据处理达100PB,单次请求超过200亿次浮点运算。这些数据的背后,搜索业务团队对底层基础设施提出了两大挑战。极致的性能需求,要求双向百G全线速处理网络流量根据历史数据预测,双11凌晨零点线上搜索广告...
    文章 2020-12-11 978浏览量
  • 天网智能化,打造最安全的智慧城市

    强大的硬件支撑能力,海量数据处理分析能力 华为视频内容管理平台VCM支持大规模部署,支持512节点智能集群,业务弹性扩展;支持系统性能线性增长,最大并发5000+路分析处理能力;支持分布式并行计算引擎,分析效率提升...
    文章 2017-07-04 1108浏览量
  • 从搜索引擎到核心交易数据库,详解阿里云神龙如何支撑...

    日均样本数据处理达100PB,单次请求超过200亿次浮点运算。这些数据的背后,搜索业务团队对底层基础设施提出了两大挑战。1、极致的性能需求,要求双向百G全线速处理网络流量 根据历史数据预测,双11凌晨零点线上搜索...
    文章 2020-12-01 3709浏览量
  • 数据下的数据分析平台架构

    单个collector宕机之后,数据也不会丢失,并能将agent数据自动转移到其他的colllecter处理,不会影响整个采集系统的运行。如图5所示。数据冗余模块不是必须的,但如果日志数据中没有足够的维度信息,或者需要比较...
    文章 2017-04-07 1338浏览量
  • 从0到1搭建大数据平台之数据存储

    2、大量的数据访问通常需要全表扫描,频繁而且通常又是并发地全表扫描会造成事务型数据库响应异常缓慢甚至宕机。这促使数据仓库概念的出现。2.2 数据仓库在 1991 年出版的《Building the Data Warehouse》中,数据...
    文章 2022-07-02 11浏览量
  • 阿里如何做到百万量级硬件故障自愈?

    于是我们采用中心化架构进行了一次重构,但中心化架构又会遇到海量数据处理问题,单纯几个服务端根本处理不过来。因此我们对系统进一步进行分布式服务化的重构,以支撑海量业务场景,将架构中的各个模块进行拆解,...
    文章 2018-11-19 3229浏览量
  • 《云安全原理与实践》——2.1 云计算面临的技术风险

    3)云服务的性能:用户使用数据时,往往会对数据的传输速度、数据处理请求的响应时间等有一个要求或期望,但云服务的性能受用户所使用的硬件等多因素的影响,因此云服务商可能无法切实保障云服务的性能。(4)数据...
    文章 2017-09-04 2955浏览量
  • 蚂蚁金服服务注册中心数据分片和同步方案详解|...

    DataServer 总体架构:对 SOFARegistry 中支持海量数据的总体架构做一个简述,讲解数据分片和同步方案中所涉及到的关键技术点;DataServer 启动:讲解 DataServer 启动的服务,从而为接下来更直观地理解数据分片、...
    文章 2019-10-11 738浏览量
  • 带你读《HBase原理与实践》之一:HBase概述

    这让人们第一次意识到海量数据可以在不需要任何高端设备的前提下实现存储,换句话说,任何一家公司都有技术实力存储海量数据,这为之后流行的海量数据处理奠定了坚实的基础。其次,GFS体现了非常超前的设计思想,以...
    文章 2019-11-01 4276浏览量
  • 玩转ECS第3讲|ECS自助服务之智能诊断和自动化修复

    接下来,进行数据处理,特征数据进入到实时预测模型中,进行非预测宕机模型、可预测宕机模型、混合模型、高准确率、高召回模型;下一步进入投票模型,投票到各种各样的优先级的sls预测数据中,当precision大于50%时...
    文章 2020-10-28 4816浏览量
  • 零距离接触阿里云时序时空数据库TSDB

    海量数据下的时间线降维度,预聚合查询 基于阈值的简单事件告警 时序数据的降维归档存储 验证初期的时序分析能力(与智能引擎结合) 三、分布式MPP SQL引擎: 1.需求 今年我们决定在TSDB上设计开发一个分布式的SQL查询...
    文章 2018-12-14 10232浏览量
  • HDFS简单入门

    经过协调校验,无论是传输错误,I/O错误,还是个别服务器宕机,整个系统里的文件是完整的 分布后的文件系统有个无法回避的问题,因为文件不在一个磁盘导致读取访问操作的延时,这个是HDFS现在遇到的主要问题。现阶段...
    文章 2016-04-21 4312浏览量
  • 数百万台车联网设备同时在线0故障,中瑞集团的云原生...

    商用车辆数字化管理,通过车联网技术连接大量终端装备,实时收集并处理海量数据。智能车载传感设备会根据不同行业属性,如物流、出行、工程作业、农业作业等,产生人、车、货、设备等数据。中瑞集团基于对车联网行业...
    文章 2020-10-28 7240浏览量
  • 处理数据量超10亿:友信金服基于Flink构建实时用户...

    相比于旧方案中 Spark 全量读 HBase 导致其读压力过大,从而会出现集群节点宕机的问题,新方案能够有效地降低 HBase 的读取压力。经过我们线上验证,新方案对 HBase 的读负载下降了数十倍(此处优化与 2 优化不同,...
    文章 2019-12-24 2464浏览量
  • 处理数据量超10亿:友信金服基于Flink构建实时用户...

    相比于旧方案中 Spark 全量读 HBase 导致其读压力过大,从而会出现集群节点宕机的问题,新方案能够有效地降低 HBase 的读取压力。经过我们线上验证,新方案对 HBase 的读负载下降了数十倍(此处优化与 2 优化不同,...
    文章 2019-12-24 4035浏览量
  • 含PPT下载|李飞飞:如何看待数据库的未来?

    谷歌三大件在业界诞生以后,很快的衍生了一个新的领域叫NoSQL(Not Only SQL),就是针对非结构化、半结构化的海量数据处理系统。现在也有很多很好的商业公司基于NoSQL发展,比如说文档数据(MongoDB)、缓存(Redis...
    文章 2020-02-25 8805浏览量
  • 达达O2O后台架构演进实践:从0到4000高并发请求背后的...

    面对高性能和高稳定性,架构升级需要尽可能超前完成,否则,系统随时可能出现系统响应变慢甚至宕机的情况。附录:架构设计相关文章汇总 [1]有关IM架构设计的文章: 《浅谈IM系统的架构设计》 《简述移动端IM开发的...
    文章 2018-12-10 6664浏览量
  • 读《大型网站技术架构》

    2)服务器越多,宕机的概率越大 常用的分布式方案: 1)分布式应用和服务;2)分布式静态资源;3)分布式数据和存储;4)分布式计算;5)分布式配置、分布式锁、分布式文件系统。集群,即多台服务器部署相同的应用,...
    文章 2017-04-09 1007浏览量
  • 五分钟学后端技术:一篇文章告诉你什么是云计算!

    所以一台服务器上的容器是共享操作系统内核的,容器在不同机器之间的迁移不带内核,这也是很多人声称容器是轻量级的虚拟机的原因。轻不白轻,自然隔离性就差了,一个集装箱把船压漏水了,所有的集装箱一起沉。另一个...
    文章 2020-04-02 2629浏览量
  • 数字化与数据中台的价值思考——徐季秋

    另外,不管是对数据处理的逻辑的复杂程度,还是对于数据处理技术上的要求,数据处理依然是很复杂的过程。所以一定需要数据中台的产品再加上方法论,来将原始数据转换成可以直接给数据分析和数据挖掘人员去做实用的...
    文章 2019-11-19 1521浏览量
  • 分布式实时数据处理实战:从选型、应用到优化

    1.海量数据处理的挑战 2.基础处理架构选型 3.分布式系统结构设计 4.性能调优和数据存储(MongoDB) 一、海量数据处理的挑战 随着互联网与计算机的普及,我们可以通过传统途径或互联网收集到大量的数据,而在日常工作...
    文章 2017-05-16 3124浏览量
  • 《策略驱动型数据中心——ACI技术详解》一第1章 数据...

    Hadoop采用分布式的集群文件系统,它可被扩展以容纳这些海量数据。集群的构建,使整个基础架构具有自愈和容错能力,尽管拥有极高的组件平均无故障时间(MTBF)比率,但是个别组件的失效,仍会显著降低系统级MTBF比率...
    文章 2017-05-02 2529浏览量
  • 一种基于Lucene的实时搜索服务

    实时更新处理 WAL日志大型分布式系统中故障很常见,设想一下,如果内存索引没有刷写,服务器就宕机了。内存中没有写于硬盘的数据就会丢失。所以我们的分布式实时搜索产品应对的办法是在写内存索引之前先写入WAL...
    文章 2018-01-26 5563浏览量
  • 上云技术解决方案

    如果考虑到高可用的要求,可以配置一个相同的ECS实例为数据库的备机,主备之间通过数据复制技术(如:Oracle Data Guard)做数据同步,当主机宕机后,备机可以接管服务,切换时间通常在分钟级别。
    文章 2020-11-02 1972浏览量
  • 《策略驱动型数据中心——ACI技术详解》——第1章 ...

    Hadoop采用分布式的集群文件系统,它可被扩展以容纳这些海量数据。集群的构建,使整个基础架构具有自愈和容错能力,尽管拥有极高的组件平均无故障时间(MTBF)比率,但是个别组件的失效,仍会显著降低系统级MTBF比率...
    文章 2017-05-02 2089浏览量
  • Google的十个核心技术,互联网营销

    最后,通过MapReduce这么简单的编程模型,不仅能用于处理大规模数据,而且能将很多繁琐的细节隐藏起来,比如自动并行化,负载均衡和机器宕机处理等,这样将极大地简化程序员的开发工作。MapReduce可用于包括“分布...
    文章 1970-01-01 1157浏览量
  • 深入了解消息队列Kafka版

    阿里云Kafka让开源版本中的宕机几乎不可能发生。③ 就内核优化而言&xff0c;阿里云Kafka具备秒级弹性伸缩能力&xff0c;专业版提供高可靠云存储节省大量的存储空间&xff0c;更好地平衡可用性、可靠性和成本问题。在兼容开源...
    文章 2022-04-20 988浏览量
  • 如何用好云原生数据湖?

    为了高效的为OSS上面的海量数据构建元数据,阿里云DLA提出并实现了“海量文件元数据自动构建技术”。具体技术如下图所示,核心解决了:万表万分区识别、增量感知更新元数据两个问题。万表万分区识别 用户OSS上面的...
    文章 2020-10-26 7427浏览量
  • [转载]聊聊Greenplum的那些事

    道理比较简单,所谓术业有专攻,就像制造跑车的不会亲自生产车轮一样,我们只要专注在分布式技术中最核心的并行处理技术上面,协调我们下面的轮子跑的更快更稳才是我们的最终目标。而数据库底层组件就像车轮一样,...
    文章 2016-07-11 7328浏览量
  • 超越批处理的世界:流计算

    同时流计算系统还必须针对系统宕机后还能保证数据一致性进行精心的设计。几年前,当Spark刚刚出现在大数据领域的时候,它几乎就是照亮了流计算黑暗面的灯塔(译者注:因为Spark支持强一致)。在这之后,情况越来越好...
    文章 2017-05-02 1046浏览量
1 2 3 4 ... 7 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化
http://www.vxiaotou.com