大数据技术之高性能批量和极速分析挑战

正大家所熟知的，目前传统企业正悄然经历一场没有硝烟的战争，互联网和移动APP正在成为企业跑马圈地，争夺用户群的主战场。

上述发展趋势使目标企业管理的数据量正在以高出一个数量级的规模快速增长，在有限的资源投入条件下，同时满足批量处理、灵活查询和自主分析、机器学习和预测分析、一线业务运营实时数据服务支持等多方面性能要求正在面临着巨大挑战：

批量处理时效不足

无论是基于行业数据模型的整合层批量处理，还是针对监管报表、风险报表等应用集市的批量计算，都要消耗大量时间，从而大幅影响了下游数据应用的数据时效性。

灵活查询和自主分析性能不足

1. 分析主题涉及的数据量不能太大

分析主题或CUBE数据量只有几或几十GB时，性能还可接受；分析主题或CUBE数据量达到几十TB时，在可忍受的时间内无法查出结果。

2. 复杂分析性能不足

BI工具基于托拉拽产生的SQL脚本可能达到数千行，高基数连接或分组求和很常见，甚至可能出现数十张物理表的连接操作。

3. 高基数维度支持能力不足

将高基数实体(例如客户)作为分析主题维度时性能无法忍受；迫不得已选择客户属性做维度时，割裂了业务分析视图的整体性。

4. 高并发支持能力不足

分析主题或CUBE的数据量越大，查询越复杂大数据数量级，并发能力越差；无法有效支持海量数据复杂查询的高并发。

机器学习和预测分析面临的挑战

由于以下因素的制约，机器学习和预测分析无法得到大规模和全方位的应用：

1. 建立预测模型需要额外的硬件需求，从而推高了部署成本；

2. 由于内存和计算能力限制，不能处理大数据集，从而对预测准确性产生影响；

3. 构建模型和执行评分的迭代周期长，需要大量的跨系统数据移动；

4. 难以快速将与预测模型部署到生产环境。

一线业务运营实时数据服务支持面临的挑战

单位时间内产生的交易和用户行为数据量太大，批量处理无法达到业务运营系统的分钟甚至秒级时效性要求；基于历史与实时数据统一视图的查询性能无法满足业务运营系统的秒级时效要求。

（编辑：孝感站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!