阿里云
>
开发者平台
>
H
>
海量数据处理技术问题怎么解决
相关搜索
相关文章
开发者社区
相关推荐
关于
海量数据处理技术问题怎么解决
的搜索结果
相关搜索：
海量数据处理技术怎么搭建
数据处理公司常见问题及解决方法
海量数据处理技术错误如何解决
图像处理技术怎么重启
软件无线电技术出现问题怎么解决
海量数据处理技术什么意思
网站
帮助文档
产品与方案
博客
问答
云市场
五个角度浅析大
数据
与BI的区别
而大数据应用的是一个完整的
技术
体系，包括用Hadoop、流
处理
等
技术解决
海量的结构化、非结构化数据的ETL
问题
，用Hadoop、MPP等
技术
计算
海量数据
的计算
问题
，用redis、HBASE等方式
解决
高效读的
问题
，用Impala等
技术
...
文章
2017-08-01
1239浏览量
一文看懂大
数据
的
技术
生态
那么，大数据生态圈的
技术
组件(
技术
栈)，又是如何
解决海量数据
的存储和计算
问题
呢？先放大数据
技术
生态圈的一个大致组件分布图，之后我们一步步的进行分解组合。我们可以看到，已经把之前杂乱的大数据组件摆放的...
文章
2022-05-23
75浏览量
大
数据
应用之双色球算奖平台总体设计大纲篇一
本文作者试图从纯
技术
的角度
解决
双色球延迟开奖的
问题
，不考虑其他因素，用最新的云计算
技术
建立一套
海量数据处理
的
技术解决
方案。同时考虑到把这种想法付诸实践，搞一个开源
海量数据处理
平台，以双色球算奖
问题
，...
文章
2016-04-19
2295浏览量
揭秘“撩”大
数据
的正确姿势：生动示例解说大
数据
“三...
MapReduce
解决
了
海量数据
的计算
问题
，可谓是力作，但谷歌新的业务需求一直在不断出现。众所周知，谷歌要存储爬取的海量网页，由于网页会不断更新，所以要不断地针对同一个 URL 进行爬取，那么就需要能够存储一个 ...
文章
2019-12-31
3455浏览量
大
数据
应用之双色球算奖平台总体设计大纲篇一
本文作者试图从纯
技术
的角度
解决
双色球延迟开奖的
问题
，不考虑其他因素，用最新的云计算
技术
建立一套
海量数据处理
的
技术解决
方案。同时考虑到把这种想法付诸实践，搞一个开源
海量数据处理
平台，以双色球算奖
问题
，...
文章
2013-06-15
1265浏览量
Service Mesh、K8S、
海量数据
一致等，六大热点
技术
邀...
蚂蚁金服将在7月6日与ArchSummit深圳合作举办云原生架构探讨晚场
技术
交流活动，邀请微服务、中间件、应用开发架构、分布式事务
解决
方案等
技术
专家，共同讨论云原生、容器、微服务、
海量数据
访问等话题。前言 欢迎...
文章
2018-06-29
2301浏览量
架构微服务阶段：容器、Fast Data架构——阿里云 MVP...
这也influxdb为什么适合物联网IOT
海量数据
读写的重要原因，也基本上是物联网IOT架构中不可缺少的
技术
环节。通过“Fast Data”的一个案例，本次围绕“阿里云千万级架构构建”的主题分享就这些，更多精彩可购阅我新...
文章
2020-03-27
1063浏览量
中国工程院院士高文：智慧城市的管控思路
作为大会的最后一天，5号上午中国大
数据
专家委员会副主任委员、中国工程院院士高文以“城市多媒体大
数据
高校存储与
处理技术
”为主题，对多媒体大
数据
在智慧城市里面的存储和处理有些什么瓶颈、需要做什么技术上的...
文章
2017-09-06
980浏览量
关于 Data Lake 的概念、架构与应用场景介绍
存储成本
问题
数据库或数据仓库的存储受限于实现原理及硬件条件，导致存储
海量数据
时成本过高，而为了
解决
这类
问题
就有了HDFS/对象存储这类
技术
方案。数据湖场景下如果使用这类存储成本较低的
技术
架构，将会为企业...
文章
2022-06-14
8浏览量
中国工程院院士高文：智慧城市的管控思路
作为大会的最后一天，5号上午中国大
数据
专家委员会副主任委员、中国工程院院士高文以“城市多媒体大
数据
高校存储与
处理技术
”为主题，对多媒体大
数据
在智慧城市里面的存储和处理有些什么瓶颈、需要做什么技术上的...
文章
2017-08-16
818浏览量
大
数据
1
二、大数据
技术
要
解决
的
技术
难题2.1、
海量数据
如何存储&xff1f;
海量数据
的存储
问题
也不是今天才有的&xff0c;很早以前就出现了&xff0c;一些行业或者部门因为历史的积累&xff0c;数据量也达到了一定的级别&xff0c;当一台电脑...
文章
2022-04-23
21浏览量
关于大型网站
技术
演进的思考（七）-存储的瓶颈（7）
那么数据库的分区
技术
是一个很好的手段，除了分区手段外，其实还有一个手段，前面我讲到使用搜索
技术
可以
解决
数据库读慢的难题，搜索库本身可以当做一个读库，那么搜索
技术
是
怎么
来
解决
快速读取
海量数据
的难题了，...
文章
2017-11-08
835浏览量
数据
中台演进的四个阶段
综上，用一个关键词来概括第三阶段就是「去IOE」，建立Shared Nothing的
海量数据处理
平台来
解决
数据存储成本增长过快的
问题
。在阿里巴巴，前期是Hadoop，后期转向自研的ODPS。第四阶段是数据中台阶段。这个阶段的...
文章
2020-06-08
1232浏览量
数据
中台演进的四个阶段
综上，用一个关键词来概括第三阶段就是「去IOE」，建立Shared Nothing的
海量数据处理
平台来
解决
数据存储成本增长过快的
问题
。在阿里巴巴，前期是Hadoop，后期转向自研的ODPS。第四阶段是数据中台阶段。这个阶段的...
文章
2020-09-25
1580浏览量
开源大
数据
平台实施和使用中的难点
大数据
技术
不断涌现和发展，让我们
处理海量数据
更加容易、更加便宜和迅速，成为分析和挖掘
海量数据
价值的一个利器，甚至可以改变许多行业的商业模式。庞大的开源大数据
技术
体系，使得大数据平台在实施和使用的过程中...
文章
2017-08-01
1176浏览量
开源大
数据
平台实施的难点
大数据
技术
不断涌现和发展，让我们
处理海量数据
更加容易、更加便宜和迅速，成为分析和挖掘
海量数据
价值的一个利器，甚至可以改变许多行业的商业模式。庞大的开源大数据
技术
体系，使得大数据平台在实施和使用的过程中...
文章
2017-07-03
1425浏览量
大
数据
分析：找合适的瓶，酿新的酒
怎么解决
这个
问题
?先来看传统厂商Oracle、IBM他们是怎么做的。方式细节略有不同，但他们的思路基本如下： 图片来自HP首席
技术
专家 Greg Battas在ABDS2012大会上的 分享 简单来说，这种
处理
方式是把Hadoop和其它各类...
文章
2017-04-03
1159浏览量
大
数据
是啥，可以吃的吗？
大数据技术提供了高端快速的尖端技术，使得大
数据处理技术
能够日行千里。但是如果不选择正确有效的方向，反而累加为错误支付的成本。在大数据时代，一个正确的方向，正确的提问，正确的思路，比高精尖的科学技术、...
文章
2019-07-23
799浏览量
【阿里云MVP第五期】Elastic曾勇：Elasticsearch在...
当然刚刚说的这些痛点，Elastic都可以帮你去
解决
，Elasticsearch比较擅长
海量数据处理
和实时分析。监控指标的收集 运维主要几个任务，首先就是监控指标的收集，数据从各个渠道收集起来。Elastic提供了多种收集工具，...
文章
2018-01-30
6302浏览量
MaxCompute问答整理之6月
MaxCompute是由阿里人自主研发的
海量数据处理
平台，可以称它为计算引擎。它主要提供针对TB/PB级数据、实时性要求不高的分布式处理能力，主要服务于批量结构化数据的存储和计算。简单来说呢，就是数据要存到...
文章
2019-07-15
1900浏览量
我的2017云栖之行
我此次主要参加了Alibaba Cloud Workshop，包括上午的《云计算 大数据：
海量
日志数据分析与应用》和下午的《在线用户行为分析：基于流式计算的
数据处理
及应用》。简略的学习笔记如下： Tech Insight_20171010_《云...
文章
2017-10-19
2670浏览量
新零售】网聚宝上云 帮助企业实现大
数据
变现 ...
“可以毫不保留的来讲，我们现在内部团队具备的大
数据处理
的能力相当于阿里巴巴的处理能力，所以我们能够很快速、便捷的给我们的品牌提供多样化的丰富的完整闭环的大数据的营销和
解决
方案的能力”熊大如是说。...
文章
2020-03-16
2204浏览量
《万物互联》——2.8 理解大
数据
换句话说，当收集到了
海量数据
之后，一个公司要
怎么
做呢？为了
处理
这个数量级的数据，必须开发用来分析所收集的数据的趋势、模式和压点（pressure point）的应用。这是一个巨大的计算挑战，特别是当你希望实时呈现...
文章
2017-05-02
1490浏览量
《拥抱机器人时代——Servo杂志中文....8 理解大
数据
换句话说，当收集到了
海量数据
之后，一个公司要
怎么
做呢？为了
处理
这个数量级的数据，必须开发用来分析所收集的数据的趋势、模式和压点（pressure point）的应用。这是一个巨大的计算挑战，特别是当你希望实时呈现...
文章
2017-05-02
1535浏览量
Hadoop何以快速成为最佳网络安全工具？
正是由于这个原因，Hadoop，携其对
海量数据
的吸收、
处理
和分析能力，被广泛采纳来
解决
我们面临的各种挑战。安全方面，Hadoop让用户可以圈住他们企业产出的所有数据。他们对网络、用户、终端乃至物联网(IoT)产生的...
文章
2017-08-01
949浏览量
腾讯云
数据
湖
解决
方案及 DLC 核心
技术
介绍
DLC spark shuffle manager：腾讯开源了 firestorm 来
解决
内部
海量数据
的 shuffle
问题
，在 DLC 场景下，我们进行精简改造，推出了适应云原生场景下的 DLC spark shuffle manager。本质逻辑是保证大部分任务都能利用...
文章
2022-04-20
58浏览量
互联网】Ping+上云 打造百万级交易量的大
数据
平台
MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库
解决
方案，使您可以经济并高效的分析
处理海量数据
。更多关于阿里云MaxCompute的介绍，参见MaxCompute产品详情页。DataWorks ...
文章
2020-03-16
1387浏览量
DataWorks
数据
开发流程有哪些？
2.数据收集与存储：您需要同步不同业务系统的数据至MaxCompute中，方可通过MaxCompute的
海量数据
存储与
处理
能力分析已有的数据。DataWorks提供数据集成服务，可以支持多种数据源类型，根据预设的调度周期同步业务...
文章
2020-05-14
826浏览量
全面解析大
数据
工信部软件与服务业司巡视员李颖说到，大数据与
海量数据
不同，一是数据规模大，二是可以
处理
非结构化的数据，三是数据是随机动态生成，四是数据价值的广泛存在。不管是从
技术
、从市场、从应用的各个角度来讲，大数据...
文章
2015-01-28
816浏览量
【云栖号案例|互联网】佰腾科技上云 专利大
数据
的云上...
MaxCompute（原ODPS）是一项大数据计算服务，它能提供快速、完全托管的PB级数据仓库
解决
方案，使您可以经济并高效的分析
处理海量数据
。更多关于阿里云MaxCompute的介绍，参见MaxCompute产品详情页。云服务器ECS 云...
文章
2020-03-16
1214浏览量
1
2
3
4
...
51
>
写文章
提问题
去认证
在线学习
技能测试
视频直播
相关推荐
参与开发者用户调研得周边好礼
阿里巴巴镜像站改版升级上线啦！
相关文章
联机调试是什么
分布系统出现问题怎么解决
网络控制语言可以干啥
基于原则设计一般多少钱
外部数据表示法干啥用的
D编码错误如何解决
控制规则故障排除
分组交换网编号方案出问题什么情况
数据发送常见问题及解决方法
计算机响应时间宕机的原因
编码特性能干什么
去中心化自治组织是什么
跨层优化坏了怎么修
实时传输控制协议怎么搭建
有限扫描算法是啥
混合PI参数怎么用
R 树如何搭建
公开密钥基础建设一般会出现什么故障
云产品推荐
阿里云
热门关键词
重写逻辑怎么安装
点对点网络托管工作原理
在线控制系统怎么看配置
地址不可变拿来干啥用
地址不可变怎么看配置
访问代码控制是什么
定量过程控制可以做什么
控制信息系统不可用
文档访问干啥用的
sql数据库损坏
监控tomcat日志
hbase 操作命令
广州专业建站
最好用的邮件群发
Redis 集群
数据分析挖掘
数据分析企业的贤内助
lame图形界面
云服务器ECS
云数据库MySQL
云数据库Redis
CDN
负载均衡
容器服务ACK
企业财税
最新活动
更多推荐
2019年学生购买负载均衡领券
2019年双十一负载均衡价格
2019年阿里云双十一高性价比负载均衡
2019年阿里云双11免费负载均衡
2019年阿里双十一负载均衡提供折扣
2019年阿里双十一负载均衡客服电话是多少
弹性公网活动
双十一购买云弹性公网打折
双11性价比高的弹性公网
视频直播
大数据计算服务 MaxCompute
国内短信套餐包
ECS云服务器安全配置相关的云产品
开发者问答
阿里云建站
新零售智能客服
万网
小程序开发制作
视频内容分析
视频集锦
代理记账服务
阿里云AIoT
阿里云科技驱动中小企业数字化
http://www.vxiaotou.com
