微软的ASG(应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5
PB以上数据，如何构建一个高扩展性的dataaudit服务来保证这样量级的数据完整性和实时性非常具有挑战性。本文将介绍微软ASG大数据团队如何利用Kafka、Spark以及Elasticsearch来解决这个问题。微软的ASG(应用与服务集团)包含Bing,、Office,、Skype。每天产生多达5
PB以上数据，如何构建一个高扩展性的dataaudit服务来保证这样量级的数据
2022-12-14 19:20:16
365KB
1
随着金融业务的发展以及数据源（Hive、Mysql、kafka、strom）的多样化，金融大数据需要有自己的质量监控平台来确保数据的质量问题，防止garbage in garbage out。
全面个性化监控效果：支持开发人员自定义检查规则、告警信息、异常分析、问题跟踪的数据质量处理闭环。
2022-04-06 02:51:32
1.5MB