独创加速机制 360数科完成Apache Doris在毓数大数据分析多场景落地应用

心与心的旅行

日前，毓数大数据平台架构全面升级，360数科完成了Apache Doris在毓数大数据分析多场景落地应用。
值得一提的是，不同于市面上应用最为广泛的实时数仓场景，360数科独创的Doris + Presto秒级多级加速引擎，大大改良了大数据分析内存占用过高，数据处理缓慢等问题。
在Doris的支持下，360数科实时查询一级加速性能提升190倍，二级加速性能提升19.1倍，实时数据分析效率大幅提升。
独创加速机制
打造秒级响应竞争力
伴随业务的不断深入，360数科早期应用的OLAP多维分析数据库集群稳定性较低、运维复杂和表关联查询较慢等问题凸显。
360数科系统架构总监黄建庭表示，除此之外，在大数据查询分析场景，基于Spark单一查询引擎分钟级响应，影响数据分析人员工作效率，亟需做出优化和重构。
基于以上需求及痛点，360数科对大数据计算引擎的选型目标提出了明确的需求，即：数据写入性能高、查询响应秒级、兼容标准 SQL 协议、表关联查询性能优秀、支持丰富的数据模型、运维复杂度低、社区活跃以及对商业友好，无法律风险。

黄建庭介绍，Doris的应用，使我们的数据处理分析能力发生了质的飞跃。从效果来讲，Doris不仅支持高并发的实时查询场景，也能支持高吞吐的复杂分析场景。

为提高查询性能，360数科自主研发的多级加速查询引擎，支持多查询引擎动态切换的机制，能够通过识别查询数据的元信息对当次查询做自动的查询引擎（Doris/Presto/Spark/Hive）路由和故障切换。
拥抱新技术
反哺开源
显然，对于Doris的应用并非360数科在开源领域的首次尝试。
在自主开源方面，360数科技术团队贡献的首个自主开源项目Chronus，在完成内部5个里程碑版本后，无缝支持Dubbo协议、Http及SpringCloud等，致力于成为微服务生态轻量级分布式调度平台。

对此，黄建庭认为，受益于开源，就应该反哺开源，这是每一个技术人都会有的信念。

今年6月，Apache Doris成功从 Apache 孵化器毕业，正式成为 Apache 顶级项目，这背后是以360数科为代表的开源社区成员共同努力的结果。
据了解，360数科将继续应用Doris在实时查询引擎加速、实时数仓、用户画像/标签、RTA等业务场景不断优化。

来源：http://www.yidianzixun.com/article/0kpUNSiD
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！