• 大数据与海量数据的区别

    海量数据处理:大数据的涌现已经催生了设计用于数据密集型处理的架构,例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。对于企业来说,难题在于以具备成本效益的方式快速可靠地从 Hadoop 中存取数据。定义...
    文章 2017-04-03 1767浏览量
  • 什么我们说海量数据处理技术会火

    什么我们说海量数据处理技术会火 大数据处理技术正在改变目前计算机的运行模式。我们已经从中获得了大量收益,因为正是大数据处理技术给我们带来了搜索引擎Google。然而故事才刚刚开始,基于以下几个原因,我们说...
    文章 2013-06-03 975浏览量
  • 一文看懂大数据技术生态

    那么,大数据生态圈的技术组件(技术栈),又是如何解决海量数据的存储和计算问题呢?先放大数据技术生态圈的一个大致组件分布图,之后我们一步步的进行分解组合。我们可以看到,已经把之前杂乱的大数据组件摆放的...
    文章 2022-05-23 75浏览量
  • 海量数据存储关键技术

    这不仅为数据存储行业带来了巨大的市场空间,同时也对海量数据的存储、处理和管理能力提出了前所未有的挑战。海量冷数据存储面临诸多挑战 首先,面对快速增长的数据存储需求,成本是需研究的首要问题。如果只从物理...
    文章 2017-07-03 3723浏览量
  • 数据是个什么鬼啦?

    而大数据不是这样的,大数据是从收集的海量数据中,通过算法将这些来自不同渠道、格式的数据进行直接分析,从中寻找到数据之间的相关性。简单 而言,大数据更偏重于发现,以及猜测/印证的循环逼近过程。而大数据的...
    文章 2017-06-02 1141浏览量
  • 数据分析:找合适的瓶,酿新的酒

    我们要通过他们的帮助,使这张图里的大数据路径翻转过来,像传统数据处理一样,由业务人员告诉我们,他们想做什么!我接触过很多客户,去之前得到的需求都是:希望了解Hadoop或者内存数据库。但是去了之后都发觉,...
    文章 2017-04-03 1159浏览量
  • 十问大数据安全分析(大数据安全的小船怎样才能不翻?

    数据之间存在着关联,传统分析无法将海量数据汇总,但是大数据技术能够应对海量数据的分析需求。通过大数据基础能够挖掘APT攻击、内网隐秘通道、异常用户行为等安全事件。在此基础上可建设为安全决策支持系统,为...
    文章 2017-07-03 1967浏览量
  • 智能运维(AIOps)中几处问题的解决方案与思路

    海量数据处理”这是一个宏大的命题,听上去让人一头雾水,但当你对“事件”或者需要处理的问题分类后,每一部分看上去就是一个可以解决的问题了。我们会在《智能运维》一书中详细介绍如何对海量“事件”进行分类和...
    文章 2018-08-16 3221浏览量
  • 【阿里云MVP第五期】Elastic曾勇:Elasticsearch在...

    当然刚刚说的这些痛点,Elastic都可以帮你去解决,Elasticsearch比较擅长海量数据处理和实时分析。监控指标的收集 运维主要几个任务,首先就是监控指标的收集,数据从各个渠道收集起来。Elastic提供了多种收集工具,...
    文章 2018-01-30 6302浏览量
  • 新浪微博技术分享:微博实时直播答题的百万高并发架构...

    同时根据倒计时和流延时等等时间综合考虑,能够计算我们什么时候才能开始进行数据处理。然后将刚才做好的用户分片,封装成任务分片,放在延时队列当中。到达这个执行时间的时候,由我们处理机的机群拉取这个任务,...
    文章 2018-10-22 2561浏览量
  • 盘点大数据给我们带来的三大根本性改变

    可见,海量数据处理这些数据的分析工具,为理解世界提供了一条完整的新途径。第三、由于能够处理多种数据结构,大数据能够在最大程度上利用互联网上记录的人类行为数据进行分析。大数据出现之前,计算机所能够处理...
    文章 2017-08-01 1209浏览量
  • 详细解读你所不了解的“大数据

    信息技术领域原先已经有“海量数据”、“大规模数据”等概念,但这些概念只着眼于数据规模本身,未能充分反映数据爆发背景下的数据处理与应用需求,而“大数据”这一新概念不仅指规模庞大的数据对象,也包含对这些...
    文章 2017-07-04 1694浏览量
  • 数据平台应用 17 个关键技术处理

    2、另外大数据平台在数据处理方面也均是采用分布式处理技术(例如 MR、Hive、Hbase、HDFS) 3、另外还有一些是基于内存的数据计算和处理架构Spark技术,大数据平台下对性能的要求没有和传统的交互式的响应不太一样,大...
    文章 2019-04-18 2523浏览量
  • 数据时代已经到来,你了解吗?

    信息技术领域原先已经有“海量数据”、“大规模数据”等概念,但这些概念只着眼于数据规模本身,未能充分反映数据爆发背景下的数据处理与应用需求,而“大数据”这一新概念不仅指规模庞大的数据对象,也包含对这些...
    文章 2017-08-01 1650浏览量
  • 数据1

    二、大数据技术要解决的技术难题2.1、海量数据如何存储&xff1f;海量数据的存储问题也不是今天才有的&xff0c;很早以前就出现了&xff0c;一些行业或者部门因为历史的积累&xff0c;数据量也达到了一定的级别&xff0c;当一台电脑...
    文章 2022-04-23 21浏览量
  • 浅谈信息安全与数据中心安全的关系

    这几年,各类数据中心安全事故不断,让人们对安全问题普遍担忧,尤其是云计算、大数据、虚拟化等这些新技术的出现,更需要对海量数据进行频繁的交互、处理,人们担心这个处理过程中存在安全隐患。现实情况也是如此,...
    文章 2017-07-03 1077浏览量
  • Hadoop概念学习系列之大数据、Hadoop和云计算(十三)

    分布式存储架构不仅需要scale up式的可扩展性,一也需要scale out式的可扩展性,因此大数据处理离不开云计算技术,云计算可为大数据提供弹性可扩展的基础设施支撑环境以及数据服务的高效模式,大数据则为云计算提供...
    文章 2017-11-13 1278浏览量
  • 数据的风险和现存问题

    对于海量数据数据的计算能力随着分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等新技术的普及可以解决,但这只是关于数据处理的第一步(甚至这种处理方式本身都存在很大风险),还并...
    文章 2017-04-03 1688浏览量
  • 数据中台演进的四个阶段

    综上,用一个关键词来概括第三阶段就是「去IOE」,建立Shared Nothing的海量数据处理平台来解决数据存储成本增长过快的问题。在阿里巴巴,前期是Hadoop,后期转向自研的ODPS。第四阶段是数据中台阶段。这个阶段的...
    文章 2020-06-08 1232浏览量
  • 数据面临的风险和现存问题

    对于海量数据数据的计算能力随着分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等新技术的普及可以解决,但这只是关于数据处理的第一步(甚至这种处理方式本身都存在很大风险),还并...
    文章 2017-08-02 2143浏览量
  • 数据面临的风险和现存问题

    对于海量数据数据的计算能力随着分布式缓存、基于MPP的分布式数据库、分布式文件系统、各种NoSQL分布式存储方案等新技术的普及可以解决,但这只是关于数据处理的第一步(甚至这种处理方式本身都存在很大风险),还并...
    文章 2017-10-02 1092浏览量
  • 数据中台演进的四个阶段

    综上,用一个关键词来概括第三阶段就是「去IOE」,建立Shared Nothing的海量数据处理平台来解决数据存储成本增长过快的问题。在阿里巴巴,前期是Hadoop,后期转向自研的ODPS。第四阶段是数据中台阶段。这个阶段的...
    文章 2020-09-25 1580浏览量
  • 一图胜千言,阿里云视觉大数据智能计算实践

    其实在这背后必须要有大的计算平台进行支撑,而且这个平台需要适合于视觉数据处理,下图展现的就是基于ODPS或者现在称之为MaxCompute的阿里云离线计算平台,在此之上我们做了基于视觉计算的流程,使得其能够将大量的...
    文章 2016-10-31 5585浏览量
  • 《大数据分析:点“数”成金》-第一章:什么是大数据

    大数据分析若想成功,就需要更多突破:一种全新的海量数据处理方法,以及一个全新的存储平台理念。 1.5 一款开源利器 Hadoop是一个开源项目,它提供了处理大数据的平台。尽管Hadoop已经存在多年,但是越来越多的...
    文章 2013-09-22 980浏览量
  • 《企业大数据系统构建实战:技术、架构、实施与应用》...

    数据处理技术多种多样,有硬件虚拟化技术、数据存储技术、数据检索技术、数据计算技术、数据挖掘技术和分布式协调技术等,同时每种技术中也包括各种不同功能的组件,企业应该根据自身的实际需求来选择,盲目贪多...
    文章 2017-07-04 1032浏览量
  • 战争步入大数据时代

    人们并未形成统一的认识,一般而言,它是指规模远远超过传统数据库软件处理能力的海量数据集合。这一概念首要是针对信息化社会数据“爆炸式”增长,体量巨大而提出的。据美国政府估计,全球每年由各类设备产生的数据...
    文章 2017-04-03 1154浏览量
  • 数据仓库搭建心得(1)

    基于数据仓库的决策支持系统由三个部件组成:数据仓库技术,联机分析处理技术和数据挖掘技术,其中数据仓库技术是系统的核心,在这个系列后面的文章里,将围绕数据仓库技术,介绍现代数据仓库的主要技术和数据处理的...
    文章 2022-05-13 34浏览量
  • 数据环境下网络安全态势感知研究

    基于多源日志的网络安全态势感知采集了多种安全设备上以多样的检测方式和事件报告机制生成的海量数据,而这些原始的日 志信息存在海量、冗余和错误等缺陷,不能作为态势感知的直接信息来源,必须进行关联分析和数据...
    文章 2017-08-01 4685浏览量
  • AI 时代,还不了解大数据

    数据分析:这一步是数据处理最核心的环节,包括离线处理和流处理两种方式,对应的计算引擎包括MapReduce、Spark、Flink等,处理完的结果会保存到已经提前设计好的数据仓库中,或者HBase、Redis、RDBMS等各种存储系统...
    文章 2020-04-20 2939浏览量
  • 数据什么?大数据时代四个特点

    迫切需要智能的算法、强大的数据处理平台和新的数据处理技术,来统计、分析、预测和实时处理如此大规模的数据。2.多样。广泛的数据来源,决定了大数据形式的多样性。任何形式的数据都可以产生作用,目前应用最广泛...
    文章 2019-07-25 1940浏览量
1 2 3 4 ... 76 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化
http://www.vxiaotou.com