• 处理技术谬见大消除

    那么第3个缪见就是说,使用微批次的数据处理框架能够比每次处理一个事件的框架达到更高的吞吐量,因为微批次在网络上传输的效率更高。这个缪见忽略了一个事实,流框架不会依赖任何编程模型层面的批次,它们只会在...
    文章 2017-06-05 1218浏览量
  • 以Flink为例,消除流处理常见的六大谬见

    那么第3个缪见就是说,使用微批次的数据处理框架能够比每次处理一个事件的框架达到更高的吞吐量,因为微批次在网络上传输的效率更高。这个缪见忽略了一个事实,流框架不会依赖任何编程模型层面的批次,它们只会在...
    文章 2017-08-01 1925浏览量
  • 以Flink为例,消除流处理常见的六大谬见

    那么第3个缪见就是说,使用微批次的数据处理框架能够比每次处理一个事件的框架达到更高的吞吐量,因为微批次在网络上传输的效率更高。这个缪见忽略了一个事实,流框架不会依赖任何编程模型层面的批次,它们只会在...
    文章 2017-08-03 760浏览量
  • 清华裴丹分享AIOps落地路线图,看智能运维如何落地...

    最早先运维处于手工阶段时,可能每天需要“祈祷”不要发生故障。在实现自动化运维后,我们实现了不少自动化脚本,把很多已知任务像流水线一样串起来,就像特斯拉电动机车流水线一样。但是,很多故障都是突发的。在...
    文章 2017-11-24 9002浏览量
  • 大华许焰:视频云让数据价值视频能力发挥更完整

    数据还是有可能发生故障我们考虑这种状况的时候,我们云存储发生原数据故障退到NaaS数据,原数据恢复之后我们数据可以迁移到云存储进行分散存储,这是取巧的做法但的确满足我们这种运用。我们整个互联网领域我们云...
    文章 2017-09-06 2705浏览量
  • 2017,那些我们一起删库跑路的日子

    Google Music 的这个子系统的设计目标之一就是在尽可能短的时间内删除海量音频数据。该流水线任务大概误删除了 60 万条音频文件,大概影响了 2.1 万用户. 办法不早就教你了吗 删库就删库也没有什么了不起,但是千万...
    文章 2017-07-17 3363浏览量
  • 2019年美团、滴滴、蘑菇街Java岗9次面试总结

    spark的通信模型,集群发生故障怎么办。spark的执行流程。java中有哪些锁。synchronized为什么是重量级锁。如果工作中提出不合理的需求你会怎么办。怎么看待加班。实习时间。过了几天面试官说面试通过,过几天老板...
    文章 2019-07-24 1792浏览量
  • 分布式系统,你真的了解吗?

    因为只有一个进程,所以所有的数据处理,其顺序都是固定的,不可能出现多线程中,两个函数的语句交错执行的情况,因此也不需要各种“锁”。从这个角度看,异步非阻塞的技术,是大大简化了开发的过程。由于只有一个...
    文章 2017-08-01 1171浏览量
  • 车联网上云最佳实践(二)

    具有高吞吐率,同时支持实时数据处理和离线数据处理。这个消息队列的痛点也是刻骨铭心,kafka是开源软件,曾经遇到几次故障都是跟kafka有关系,在0.8.1,遇到kafka删除topic的功能存在bug,随后升级到09版本,不巧又...
    文章 2018-08-22 2767浏览量
  • 基于scn备份解决dg归档丢失的方法论

    物理备用数据库使用重做应用技术使用低级别的恢复机制应用更改,绕过了所有SQL基本代码层,因此应用海量重做数据最有效,性能大于逻辑备份。大家看了物理备库的简单解释之后需要注意的是,其实主备保持一致是不是...
    文章 2017-11-07 1677浏览量
  • NoSQL 与大数据

    处理高索引吞吐量的海量数据时,可用从监控控制台看到基本的测量信息。例如,当写操作时统计磁盘写队列的瓶颈。Figure 2-9 中,可用看的drain rate—从磁盘写队列中写入磁盘的数据数量——在写入副本时活跃节点时...
    文章 2016-05-25 960浏览量
  • 阿里集团搜索中台TisPlus

    通过这种更高级别数据处理抽象很好的屏蔽了用户在复杂数据源情况下需要重复开发数据关系及处理数据流程的代码的问题,此外通过一次性的数据关系和处理流程的可视化描述,就能将搜索引擎所需要全量和增量完美统一。...
    文章 2018-01-26 7399浏览量
  • 支付宝支撑双十一4200万次/秒的数据库请求峰值的技术...

    在节点角色上,有几个节点(root service)负责管理集群拓扑结构等全局信息,相对特殊一点,但每个节点都具备承担这个角色的能力,如果当前承担该角色的节点发生故障,集群会自动选举出新的节点承担这个角色。...
    文章 2018-05-10 2737浏览量
  • 车联网上云最佳实践(一)

    具有高吞吐率,同时支持实时数据处理和离线数据处理。这个消息队列的痛点也是刻骨铭心,kafka是开源软件,曾经遇到几次故障都是跟kafka有关系,在0.8.1,遇到kafka删除topic的功能存在bug,随后升级到09版本,不巧又...
    文章 2018-08-31 3087浏览量
  • Elasticsearch 全观测技术解析与应用(四):ES全观测...

    为了和Logstash做职责区分,Beats就主要做日志数据采集,但如果遇到一些数据需要做自定义转换,就需要把采集完的数据先传到Logstash里进行一些处理再写到ES里。Filebeat Filebeat专门采集文本日志,比如服务器和应用...
    文章 2020-12-17 1204浏览量
  • 新金融分布式架构之SOFAStack解决方案

    试想一下,一台强大的数据库被拆分成了N台数据库,这N台数据库之间的数据需要时间同步,当异常发生时,可能就产生了数据的不一致性。那么我们换一个角度思考一下这个问题。我们将原来的数据库拆分成了N台数据库之后...
    文章 2020-06-10 1643浏览量
  • 详解:从Greenplum、Hadoop到现在的阿里大数据技术

    可以看到这样的工作需要对海量数据进行处理,谷歌需要把上百万台的服务器整合起来去做排序,索引和查询。第二条路:淘宝则发展出来云计算的另一条路径,这条路与谷歌的相比有类似之处,同样需要把很多数据整合起来做...
    文章 2016-05-26 10103浏览量
  • 《架构真经:互联网技术架构的设计原则(原书第2版)...

    对于具有海量事务处理需求的大客户,我们通过将数据复制到只读数据库整合了X轴。报表通常只读不写,属于计算密集型和I/O密集型,利用只读数据库的配置,我们可以在复制的数据库上执行SQL语句,这对在线事务处理...
    文章 2017-05-02 1567浏览量
  • 《架构真经:互联网技术架构的设计》分而治之

    对于具有海量事务处理需求的大客户,我们通过将数据复制到只读数据库整合了X轴。报表通常只读不写,属于计算密集型和I/O密集型,利用只读数据库的配置,我们可以在复制的数据库上执行SQL语句,这对在线事务处理...
    文章 2017-05-19 4442浏览量
  • 20 万网络节点背后的数据创新应用

    也就是说,我们对一个业务的支持,之前需要专业的开发大数据开发同学一周时间完成开发,现在减少到产品开发同学半小时完成业务监控的数据处理配置。这里有几个比较有特色的点:一个是消息队列,我们之前用Kafka,...
    文章 2018-08-02 1187浏览量
  • Flink+Iceberg 全场景实时数仓的建设实践

    Iceberg 是为分析海量数据准备的,被定义为 table format,table format 介于计算层和存储层之间。table format 主要用于向下管理在存储系统上的文件,向上为计算层提供一些接口。存储系统上的文件存储都会采用一定...
    文章 2021-01-28 3402浏览量
  • Facebook前主管谈大数据技术趋势和演变

    很多公司都在面对并试图解决海量数据相关的问题。它几乎充斥了我们的耳朵:传感器和移动设备的不断涌现,产生着越来越多的数据。从根本上说,大数据已经站住脚了,而且正在得到越来越广泛的使用。观察它的演化过程,...
    文章 2017-09-28 1261浏览量
  • 从Greenplum、Hadoop到现在的阿里大数据技术

    可以看到这样的工作需要对海量数据进行处理,谷歌需要把上百万台的服务器整合起来去做排序,索引和查询。第二条路:淘宝则发展出来云计算的另一条路径,这条路与谷歌的相比有类似之处,同样需要把很多数据整合起来做...
    文章 2017-07-03 2294浏览量
  • 一文读懂大数据计算框架与平台

    而在分布式环境中进行大数据处理,除了与存储系统打交道外,还涉及计算任务的分工,计算负荷的分配,计算机之间的数据迁移等工作,并且要考虑计算机或网络发生故障时的数据安全,情况要复杂得多。举一个简单的例子,...
    文章 2017-05-02 3014浏览量
  • 【独家】一文读懂大数据计算框架与平台

    而在分布式环境中进行大数据处理,除了与存储系统打交道外,还涉及计算任务的分工,计算负荷的分配,计算机之间的数据迁移等工作,并且要考虑计算机或网络发生故障时的数据安全,情况要复杂得多。举一个简单的例子,...
    文章 2017-05-01 1647浏览量
  • 阿里云数据库,破解大型网站架构设计中的数据存储难题

    除此之外,还需要保证发生误操作时数据库的稳定性,虽然MySQL有比较合理的权限管理机制,但是像新兴的MongoDB以及Redis等数据库对于权限管理的处理还是比较粗放的,而在权限管理不合理的情况下,如果触发了误操作将...
    文章 2017-04-19 7532浏览量
  • 9月最新184道阿里、百度、腾讯、头条Java面试题合集

    在云计算大数据处理场景中,每天运行着成千上万的任务,每个任务都要进行 IO 读写。存储系统为了更好的服务,经常会保证高优先级的任务优先执行。当多个作业或用户访问存储系统时,如何保证优先级和公平性 最大频率栈...
    文章 2019-09-06 2906浏览量
  • 分库分表的几种常见形式

    在高并发和海量数据的场景下,分库分表能够有效缓解单机和单库的性能瓶颈和压力,突破IO、连接数、硬件资源的瓶颈。当然,投入的硬件成本也会更高。同时,这也会带来一些复杂的技术问题和挑战(例如:跨分片的复杂...
    文章 2016-11-24 1378浏览量
  • 【双11背后的技术】万亿交易量级下的秒级监控

    SunFire是一整套海量日志实时分析解决方案,以日志、REST 接口、Shell 脚本等作为数据采集来源,提供设备、应用、业务等各种视角的监控能力,从而帮您快速发现问题、定位问题、分析问题、解决问题,为线上系统可用率...
    文章 2017-01-12 5673浏览量
  • 阿里下一代数据技术:把数据库装入容器不再是神话

    最后我想说说DBA,今天在座的很多人可能都是DBA,我想说一下阿里在智能化这个方向上得到的思考是什么样的,我们有海量数据,我们也有很多经验很丰富的DBA,但这些DBA怎么样去完成下一步的转型、怎么样不成为业务的...
    文章 2017-05-24 12452浏览量
1 2 3 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化
http://www.vxiaotou.com