• 五个角度浅析大数据与BI的区别

    而大数据应用的是一个完整的技术体系,包括用Hadoop、流处理技术解决海量的结构化、非结构化数据的ETL问题,用Hadoop、MPP等技术计算海量数据的计算问题,用redis、HBASE等方式解决高效读的问题,用Impala等技术...
    文章 2017-08-01 1239浏览量
  • 一文看懂大数据技术生态

    那么,大数据生态圈的技术组件(技术栈),又是如何解决海量数据的存储和计算问题呢?先放大数据技术生态圈的一个大致组件分布图,之后我们一步步的进行分解组合。我们可以看到,已经把之前杂乱的大数据组件摆放的...
    文章 2022-05-23 75浏览量
  • 数据应用之双色球算奖平台总体设计大纲篇一

    本文作者试图从纯技术的角度解决双色球延迟开奖的问题,不考虑其他因素,用最新的云计算技术建立一套海量数据处理技术解决方案。同时考虑到把这种想法付诸实践,搞一个开源海量数据处理平台,以双色球算奖问题,...
    文章 2016-04-19 2295浏览量
  • 揭秘“撩”大数据的正确姿势:生动示例解说大数据“三...

    MapReduce 解决海量数据的计算问题,可谓是力作,但谷歌新的业务需求一直在不断出现。众所周知,谷歌要存储爬取的海量网页,由于网页会不断更新,所以要不断地针对同一个 URL 进行爬取,那么就需要能够存储一个 ...
    文章 2019-12-31 3455浏览量
  • 数据应用之双色球算奖平台总体设计大纲篇一

    本文作者试图从纯技术的角度解决双色球延迟开奖的问题,不考虑其他因素,用最新的云计算技术建立一套海量数据处理技术解决方案。同时考虑到把这种想法付诸实践,搞一个开源海量数据处理平台,以双色球算奖问题,...
    文章 2013-06-15 1265浏览量
  • Service Mesh、K8S、海量数据一致等,六大热点技术邀...

    蚂蚁金服将在7月6日与ArchSummit深圳合作举办云原生架构探讨晚场技术交流活动,邀请微服务、中间件、应用开发架构、分布式事务解决方案等技术专家,共同讨论云原生、容器、微服务、海量数据访问等话题。前言 欢迎...
    文章 2018-06-29 2301浏览量
  • 架构微服务阶段:容器、Fast Data架构——阿里云 MVP...

    这也influxdb为什么适合物联网IOT海量数据读写的重要原因,也基本上是物联网IOT架构中不可缺少的技术环节。通过“Fast Data”的一个案例,本次围绕“阿里云千万级架构构建”的主题分享就这些,更多精彩可购阅我新...
    文章 2020-03-27 1063浏览量
  • 中国工程院院士高文:智慧城市的管控思路

    作为大会的最后一天,5号上午中国大数据专家委员会副主任委员、中国工程院院士高文以“城市多媒体大数据高校存储与处理技术”为主题,对多媒体大数据在智慧城市里面的存储和处理有些什么瓶颈、需要做什么技术上的...
    文章 2017-09-06 980浏览量
  • 关于 Data Lake 的概念、架构与应用场景介绍

    存储成本问题数据库或数据仓库的存储受限于实现原理及硬件条件,导致存储海量数据时成本过高,而为了解决这类问题就有了HDFS/对象存储这类技术方案。数据湖场景下如果使用这类存储成本较低的技术架构,将会为企业...
    文章 2022-06-14 8浏览量
  • 中国工程院院士高文:智慧城市的管控思路

    作为大会的最后一天,5号上午中国大数据专家委员会副主任委员、中国工程院院士高文以“城市多媒体大数据高校存储与处理技术”为主题,对多媒体大数据在智慧城市里面的存储和处理有些什么瓶颈、需要做什么技术上的...
    文章 2017-08-16 818浏览量
  • 数据1

    二、大数据技术解决技术难题2.1、海量数据如何存储&xff1f;海量数据的存储问题也不是今天才有的&xff0c;很早以前就出现了&xff0c;一些行业或者部门因为历史的积累&xff0c;数据量也达到了一定的级别&xff0c;当一台电脑...
    文章 2022-04-23 21浏览量
  • 关于大型网站技术演进的思考(七)-存储的瓶颈(7)

    那么数据库的分区技术是一个很好的手段,除了分区手段外,其实还有一个手段,前面我讲到使用搜索技术可以解决数据库读慢的难题,搜索库本身可以当做一个读库,那么搜索技术怎么解决快速读取海量数据的难题了,...
    文章 2017-11-08 835浏览量
  • 数据中台演进的四个阶段

    综上,用一个关键词来概括第三阶段就是「去IOE」,建立Shared Nothing的海量数据处理平台来解决数据存储成本增长过快的问题。在阿里巴巴,前期是Hadoop,后期转向自研的ODPS。第四阶段是数据中台阶段。这个阶段的...
    文章 2020-06-08 1232浏览量
  • 数据中台演进的四个阶段

    综上,用一个关键词来概括第三阶段就是「去IOE」,建立Shared Nothing的海量数据处理平台来解决数据存储成本增长过快的问题。在阿里巴巴,前期是Hadoop,后期转向自研的ODPS。第四阶段是数据中台阶段。这个阶段的...
    文章 2020-09-25 1580浏览量
  • 开源大数据平台实施和使用中的难点

    大数据技术不断涌现和发展,让我们处理海量数据更加容易、更加便宜和迅速,成为分析和挖掘海量数据价值的一个利器,甚至可以改变许多行业的商业模式。庞大的开源大数据技术体系,使得大数据平台在实施和使用的过程中...
    文章 2017-08-01 1176浏览量
  • 开源大数据平台实施的难点

    大数据技术不断涌现和发展,让我们处理海量数据更加容易、更加便宜和迅速,成为分析和挖掘海量数据价值的一个利器,甚至可以改变许多行业的商业模式。庞大的开源大数据技术体系,使得大数据平台在实施和使用的过程中...
    文章 2017-07-03 1425浏览量
  • 数据分析:找合适的瓶,酿新的酒

    怎么解决这个问题?先来看传统厂商Oracle、IBM他们是怎么做的。方式细节略有不同,但他们的思路基本如下: 图片来自HP首席技术专家 Greg Battas在ABDS2012大会上的 分享 简单来说,这种处理方式是把Hadoop和其它各类...
    文章 2017-04-03 1159浏览量
  • 数据是啥,可以吃的吗?

    大数据技术提供了高端快速的尖端技术,使得大数据处理技术能够日行千里。但是如果不选择正确有效的方向,反而累加为错误支付的成本。在大数据时代,一个正确的方向,正确的提问,正确的思路,比高精尖的科学技术、...
    文章 2019-07-23 799浏览量
  • 【阿里云MVP第五期】Elastic曾勇:Elasticsearch在...

    当然刚刚说的这些痛点,Elastic都可以帮你去解决,Elasticsearch比较擅长海量数据处理和实时分析。监控指标的收集 运维主要几个任务,首先就是监控指标的收集,数据从各个渠道收集起来。Elastic提供了多种收集工具,...
    文章 2018-01-30 6302浏览量
  • MaxCompute问答整理之6月

    MaxCompute是由阿里人自主研发的海量数据处理平台,可以称它为计算引擎。它主要提供针对TB/PB级数据、实时性要求不高的分布式处理能力,主要服务于批量结构化数据的存储和计算。简单来说呢,就是数据要存到...
    文章 2019-07-15 1900浏览量
  • 我的2017云栖之行

    我此次主要参加了Alibaba Cloud Workshop,包括上午的《云计算 大数据:海量日志数据分析与应用》和下午的《在线用户行为分析:基于流式计算的数据处理及应用》。简略的学习笔记如下: Tech Insight_20171010_《云...
    文章 2017-10-19 2670浏览量
  • 新零售】网聚宝上云 帮助企业实现大数据变现 ...

    “可以毫不保留的来讲,我们现在内部团队具备的大数据处理的能力相当于阿里巴巴的处理能力,所以我们能够很快速、便捷的给我们的品牌提供多样化的丰富的完整闭环的大数据的营销和解决方案的能力”熊大如是说。...
    文章 2020-03-16 2204浏览量
  • 《万物互联》——2.8 理解大数据

    换句话说,当收集到了海量数据之后,一个公司要怎么做呢?为了处理这个数量级的数据,必须开发用来分析所收集的数据的趋势、模式和压点(pressure point)的应用。这是一个巨大的计算挑战,特别是当你希望实时呈现...
    文章 2017-05-02 1490浏览量
  • 《拥抱机器人时代——Servo杂志中文....8 理解大数据

    换句话说,当收集到了海量数据之后,一个公司要怎么做呢?为了处理这个数量级的数据,必须开发用来分析所收集的数据的趋势、模式和压点(pressure point)的应用。这是一个巨大的计算挑战,特别是当你希望实时呈现...
    文章 2017-05-02 1535浏览量
  • Hadoop何以快速成为最佳网络安全工具?

    正是由于这个原因,Hadoop,携其对海量数据的吸收、处理和分析能力,被广泛采纳来解决我们面临的各种挑战。安全方面,Hadoop让用户可以圈住他们企业产出的所有数据。他们对网络、用户、终端乃至物联网(IoT)产生的...
    文章 2017-08-01 949浏览量
  • 腾讯云数据解决方案及 DLC 核心技术介绍

    DLC spark shuffle manager:腾讯开源了 firestorm 来解决内部海量数据的 shuffle 问题,在 DLC 场景下,我们进行精简改造,推出了适应云原生场景下的 DLC spark shuffle manager。本质逻辑是保证大部分任务都能利用...
    文章 2022-04-20 58浏览量
  • 互联网】Ping+上云 打造百万级交易量的大数据平台

    MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。更多关于阿里云MaxCompute的介绍,参见MaxCompute产品详情页。DataWorks ...
    文章 2020-03-16 1387浏览量
  • DataWorks数据开发流程有哪些?

    2.数据收集与存储:您需要同步不同业务系统的数据至MaxCompute中,方可通过MaxCompute的海量数据存储与处理能力分析已有的数据。DataWorks提供数据集成服务,可以支持多种数据源类型,根据预设的调度周期同步业务...
    文章 2020-05-14 826浏览量
  • 全面解析大数据

    工信部软件与服务业司巡视员李颖说到,大数据与海量数据不同,一是数据规模大,二是可以处理非结构化的数据,三是数据是随机动态生成,四是数据价值的广泛存在。不管是从技术、从市场、从应用的各个角度来讲,大数据...
    文章 2015-01-28 816浏览量
  • 【云栖号案例|互联网】佰腾科技上云 专利大数据的云上...

    MaxCompute(原ODPS)是一项大数据计算服务,它能提供快速、完全托管的PB级数据仓库解决方案,使您可以经济并高效的分析处理海量数据。更多关于阿里云MaxCompute的介绍,参见MaxCompute产品详情页。云服务器ECS 云...
    文章 2020-03-16 1214浏览量
1 2 3 4 ... 51 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化
http://www.vxiaotou.com