这是基于python爬虫技术编程写的关单数据爬虫系统,实现全球海关、关单、外贸数据的爬取。框架采用python多线程技术+request+代理IP池,实现了每天几十亿家采购商供应商外贸和关单数据实时采集和更新。
1
一线大厂生产级应用,独家实践经验分享,包括仅用了1年时间,GitHub Star翻了数倍,Apache Flink到底做了什么?日均处理万亿数据,Apache Flink 在快手的应用实践与技术演进之路是怎样的?以及bilibili、美团、小米、OPPO、菜鸟等一线大厂的实时平台的架构与实践,一本以一线大厂最佳实践的方式讲述实时技术架构与演进路线,很不错,快来下载吧
2021-04-27 09:08:48 28.16MB Flink 实时 数据仓库 大数据
华为FusionInsight HD是一个分布式数据处理系统,对外提供大容量的数据存储、查询和分析能力,可解决各大企业的以下需求: •快速地整合和管理不同类型的大容量数据 •对原生形式的信息提供高级分析 •可视化所有的可用数据,供特殊分析使用 •为构建新的分析应用程序提供开发环境 •工作负荷的优化和调度
2021-04-25 15:53:41 69.38MB 大数据 数据仓库
1
数据仓库基础....
2021-04-25 10:21:32 6.66MB 23
1
通过对省各业务系统数据及与地税智能系统所需的相关数据业务源数据的整合,汇集完成XX省地税统一标准化数据仓库的建设,在数据仓库的基础上建立OLAP服务器实现地税数据的多维分析、复杂数据统计和数据挖掘等功能,为地税的税务分析系统,税务监控系统,税务预测系统,税务调度系统等智能分析系统提供完善的数据平台。包括数据仓库建设、公共数据支撑平台、数据平台、指标管理、应用平台
项目围绕数据采集、数据加工、数据存储、数据治理、数据交换、数据开发、数据服务这一主线,实现省-市-区(县)各级教育行政部门和各级各类学校的管理系统和资源系统互联互通为主要抓手,建成市智慧教育大数据融合分析平台。平台包括数据采集、数据目录管理、教育数据仓库、数据治理、数据交换、数据服务、数据开发、教育大数据云图、大数据计算平台、统一用户中心等10个子系统。
通过对XX省税收各业务系统数据及与地税智能系统所需的相关数据业务源数据的整合,汇集完成XX省地税统一标准化数据仓库的建设,在数据仓库的基础上建立OLAP服务器实现地税数据的多维分析、复杂数据统计和数据挖掘等功能,为地税的税务分析系统,税务监控系统,税务预测系统,税务调度系统等智能分析系统提供完善的数据平台。包括数据仓库建设、公共数据支撑平台、数据平台、指标管理、应用平台
hive数据仓库3.1.2
2021-04-23 09:02:59 5KB 大数据 hadoop hive
1
医院数据仓库实例讲解(共40张PPT),基于HIS的医院数据仓库
2021-04-22 10:12:38 6.19MB 数据仓库 实例 医院
1
介绍饿了么数据仓库治理及数据应用,大数据落地应用=数据+系统+算法+应用场景
2021-04-21 21:24:20 2.02MB 大数据
1