• WOT2016黄慧攀:海量日志处理可以不用Hadoop或Spark

    黄慧攀强调,如果要针对特定的业务场景,企业自己研发日志处理系统则需要一定的经验,比如如何规范数据,如何做数据分布处理和汇总数据等等。虽然Hadoop和Spark都是业界比较流行的开源技术,但是面向特定的业务场景...
    文章 2017-08-02 1480浏览量
  • 从事大数据相关的工作 如何自学打基础?

    什么现在用分布式架构,那是因为现在集中式架构受限于IO性能,出来速度慢,如果又一种硬件技术可以很快地处理海量数据,性能上能满足需求,那么集中式架构优于分布式架构,因为集中式架构稳定,运维压力小。...
    文章 2017-08-01 1118浏览量
  • 岂止于大:大数据这个词已经过时了

    想想一下如果将上述所有技术结合在一起将能够创造出多么海量的新数据,不断进化的数据处理过程将迅速处理这些海量数据,直接用于指导行动,形成一个近乎于实时的决策影响系统。数据是一种原材料,它可以帮助各种商业...
    文章 2017-08-01 815浏览量
  • 什么我们说海量数据处理技术会火

    什么我们说海量数据处理技术会火 大数据处理技术正在改变目前计算机的运行模式。我们已经从中获得了大量收益,因为正是大数据处理技术给我们带来了搜索引擎Google。然而故事才刚刚开始,基于以下几个原因,我们说...
    文章 2013-06-03 975浏览量
  • 数据处理平台与案例

    整个大数据处理技术的核心基础hadoop、mapreduce、nosql系统,而这三个系统是建立在谷歌提出的大表、分布式文件系统和分布式计算的三大技术构架上,以此来解决海量数据处理的问题。虽然说大数据处理技术最早兴起于...
    文章 2018-10-09 1333浏览量
  • 关于hadoop

    所以最开始有两个关键的字『适合』,只有当数据量超过 1T 的大数据处理才能凸显 hadoop 的优势;当然,用 hadoop 处理 几十G、几百G 这种小数据也是可以的,只是体现不了 hadoop的优势罢了,从硬件的角度,从效率的...
    文章 2016-11-28 1059浏览量
  • 大数据与海量数据的区别

    海量数据处理:大数据的涌现已经催生出了设计用于数据密集型处理的架构,例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。对于企业来说,难题在于以具备成本效益的方式快速可靠地从 Hadoop 中存取数据。定义...
    文章 2017-04-03 1767浏览量
  • 数据分析:找合适的瓶,酿新的酒

    好处是由于引入了大数 据技术可以处理多种数据源,同时降低原先海量数据ETL的成本。但这种方法依然存在不少问题: 问题一:性能瓶颈依然存在。纵观现在各类NewSQL、NoSQL方案,分布式是一个最显著的特色。之所以...
    文章 2017-04-03 1159浏览量
  • 什么会有大数据 1.1 什么是大数据

    对于超过单台计算机存储量的海量数据可以存放到类似网络附属存储(network attached storage,NAS)这样的共享存储设备中,然后输入到单台计算机去计算处理。但是,这样处理数据所花费的时间往往会大大超过允许的...
    文章 2017-05-02 1229浏览量
  • 从Hadoop框架与MapReduce模式中谈海量数据处理(含...

    本文从最基本的mapreduce模式,Hadoop框架开始谈起,然后由各自的架构引申开来,谈到海量数据处理,最后谈谈淘宝的海量数据产品技术架构,以为了兼备浅出与深入之效,最终,希望得到读者的喜欢与支持。谢谢。由于...
    文章 2014-09-08 1384浏览量
  • 【阿里云MVP第五期】Elastic曾勇:Elasticsearch在...

    当然刚刚说的这些痛点,Elastic都可以帮你去解决,Elasticsearch比较擅长海量数据处理和实时分析。监控指标的收集 运维主要几个任务,首先就是监控指标的收集,数据从各个渠道收集起来。Elastic提供了多种收集工具,...
    文章 2018-01-30 6302浏览量
  • 数据,为什么不是传统BI的简单升级?

    因为它解决不了海量数据(包括结构化与非结构化)的处理问题,其所有的功能都可以被对应的大数据组件所替代,因此不再有发展前途,大多数企业即使没有大数据业务的驱动,但大数据技术的成本优势在那里,不大数据也倒...
    文章 2017-08-01 2422浏览量
  • 数据应用之双色球算奖平台总体设计大纲篇一

    本文作者试图从纯技术的角度解决双色球延迟开奖的问题,不考虑其他因素,用最新的云计算技术建立一套海量数据处理技术解决方案。同时考虑到把这种想法付诸实践,搞一个开源海量数据处理平台,以双色球算奖问题,...
    文章 2016-04-19 2295浏览量
  • 《Storm企业级应用:实战、运维和调优》——导读

    读者对象本书适合以下读者阅读:(1)云计算、大数据处理技术和分布式计算处理数据爱好者“大数据”无疑是继“云计算”之后IT业界上最热的词汇。而云计算、大数据、实时处理数据本身存在交集,现在不少涉猎大数据的...
    文章 2017-07-03 973浏览量
  • 数据和人工智能的关系是什么

    我们都知道,所谓大数据,就是大量的信息,利用普通的加减乘除啥的肯定会把电脑给跑废掉,不过这里的电脑不是我们用的普通的电脑,他们通常都有数据处理中心,就是高配的商业服务器。但即便高配,如果只是用简单的...
    文章 2018-03-15 1518浏览量
  • 基于阿里云大数据平台开发大数据应用(一):精挑细选...

    支持多种分布式计算模型,计算架构发展到今天,没有一种架构能够满足所有的场景,MaxCompute可以做离线计算、批量计算,学习能力强;兼容生态开放,提供了众多接口和生态的工具。所以,基于阿里云MaxCompute,可以...
    文章 2021-03-05 232浏览量
  • 新浪微博技术分享:微博实时直播答题的百万高并发架构...

    因为有海量的用户,所以体量巨大,但是答案选择往往只有 A、B、C、D 四种,针对答案我们可以做一个分组,比如选 A 用户有多少,选 B 用户有多少。我们把单独消息进行合并,选A的用户做为一个集合。也就是说这一个...
    文章 2018-10-22 2561浏览量
  • 助你所在团队走上大数据路途的六大规则

    随着经验的累计和了解数据的限制,你将可以做更多附加值的决定。6、消除噪音比找到信号更有价值。到目前为止,我们查询的目标是从所有噪音摸索有价值的信号。以掌握正确的信号,前提包括清晰的研究问题、数据规模较...
    文章 2017-08-01 1384浏览量
  • 架构技术专题」作为java程序员的你还不知道网站架构的...

    下面就说说大型网站的架构演化过程,通过一步步的演化,我们就可以清晰直观地知道,究竟为什么要这么?1、初始阶段的网站架构 初始阶段都比较简单,通常一台服务器就可以搞定一个网站了,看图。2、应用服务和数据...
    文章 2018-01-09 1120浏览量
  • 中国工程院院士高文:智慧城市的管控思路

    作为大会的最后一天,5号上午中国大数据专家委员会副主任委员、中国工程院院士高文以“城市多媒体大数据高校存储与处理技术”为主题,对多媒体大数据在智慧城市里面的存储和处理有些什么瓶颈、需要做什么技术上的...
    文章 2017-09-06 980浏览量
  • 一图胜千言,阿里云视觉大数据智能计算实践

    比如交通视频而言,有视频数据分析的技术在背后,可以根据视频对车辆进行检测、跟踪以及识别,基于此可以做很多很有意思的事情。那么面对如此海量的由摄像头采集到的视频数据,该如何进行处理呢?其实在这背后必须要...
    文章 2016-10-31 5585浏览量
  • 5W1H(六何分析法)全景洞察大数据

    我感觉用excel就可以做数据分析了,那也是可以的。不过,你还是得考虑下,如果一直用excel做数据分析,那也还说明你还没有步入大数据时代。这个也是好事情,因为你没有使用大数据的利器,你公司还没有倒闭。等你合理...
    文章 2018-11-05 2228浏览量
  • 中国工程院院士高文:智慧城市的管控思路

    作为大会的最后一天,5号上午中国大数据专家委员会副主任委员、中国工程院院士高文以“城市多媒体大数据高校存储与处理技术”为主题,对多媒体大数据在智慧城市里面的存储和处理有些什么瓶颈、需要做什么技术上的...
    文章 2017-08-16 818浏览量
  • 架构微服务阶段:容器、Fast Data架构——阿里云 MVP...

    这也influxdb为什么适合物联网IOT海量数据读写的重要原因,也基本上是物联网IOT架构中不可缺少的技术环节。通过“Fast Data”的一个案例,本次围绕“阿里云千万级架构构建”的主题分享就这些,更多精彩可购阅我新...
    文章 2020-03-27 1063浏览量
  • 阿里云发布分布式数据库PolarDB-X,应对海量数据管理

    PolarDB-X采用了基于云原生一体化架构设计,这款阿里云自研的分布式数据库可支撑千万级并发规模,专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等瓶颈问题。PolarDB-X很容易让人联想到2018年阿里云...
    文章 2020-06-18 2998浏览量
  • 甲骨文大数据创新推动数字化转型

    这上面讲到流数据的过程,大数据从管理从形态上就是两种:一种是离线数据处理,实际应用中的大部分都是离线数据处理,数据获取进来形成数据湖,进入到探索的过程,产生的结果商业的应用,这是一个离线数据处理的...
    文章 2017-08-10 1108浏览量
  • AI 时代,还不了解大数据

    完全分布式,可以采用廉价机器搭建集群,完全可以满足海量数据的存储需求。弱化数据格式,数据模型和数据存储分离,可以满足对异构数据的分析需求。随着Hadoop技术的成熟,2010年的Hadoop世界大会上,提出了「数据湖...
    文章 2020-04-20 2939浏览量
  • 如果云计算是一个容器,大数据就是这个容器里的水

    随着数据集规模不断增大,企业对Hadoop及相关的廉价数据处理技术如Hive、HBase、MapReduce、Pig等的需求将持续增长,具备Hadoop框架经验的技术人员是最抢手的大数据人才,他们所从事的是热门的分析师工作。...
    文章 2017-08-02 1647浏览量
  • 5W1H(六何分析法)全景洞察大数据

    我感觉用excel就可以做数据分析了,那也是可以的。不过,你还是得考虑下,如果一直用excel做数据分析,那也还说明你还没有步入大数据时代。这个也是好事情,因为你没有使用大数据的利器,你公司还没有倒闭。等你合理...
    文章 2016-06-30 10268浏览量
  • 数据数据挖掘、数据分析、数理统计之间的关系

    从严格意义上讲,这两种分析方法都属于数理统计分析方法,但在数据挖掘实战应用中也常常会用到这种方式,从这个角度讲,主成分分析和回归分析也是数据挖掘商业实战中常用的一种分析技术和数据处理技术。2.数理统计...
    文章 2017-11-12 2026浏览量
1 2 3 4 ... 125 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化
http://www.vxiaotou.com