在对模型训练时，为了让模型尽快收敛，一件常做的事情就是对数据进行预处理。
这里通过使用sklearn.preprocess模块进行处理。
一、标准化和归一化的区别
归一化其实就是标准化的一种方式，只不过归一化是将数据映射到了[0,1]这个区间中。
标准化则是将数据按照比例缩放，使之放到一个特定区间中。标准化后的数据的均值＝0，标准差＝1，因而标准化的数据可正可负。
二、使用sklearn进行标准化和标准化还原
原理：
即先求出全部数据的均值和方差，再进行计算。
最后的结果均值为0，方差是1，从公式就可以看出。
但是当原始数据并不符合高斯分布的话，标准化后的数据效果并不好。
导入模块
fro
2021-11-09 11:31:42
86KB
1
《中国银保监会银行业金融机构监管数据标准化规范（2021版）（征求意见函）》
2021-10-13 11:01:53
3.67MB
1
基础类数据标准一般包括数据维度标准、主数据标准、逻辑数据模型标准、物理数据模型标准、元数据标准、公共代码标准等。指标类数据标准一般分为基础指标标准和计算指标（又称组合指标）标准。基础指标一般不含维度信息，且具有特定业务和经济含义，计算指标通常由两个以上基础指标计算得出。
2021-10-10 14:58:24
16KB
1
经过20在中国石化数据标准及治理项目的开发、实施的经验，形成一套科学、完整的数据治理实施方法论，同时结合丰富的案例库，为国内超大型集团企业建立一套适应客户的数据业务需求，并且操作性强的数据治理管理体系。形成了数据治理解决方案可以提供包括规划咨询、系统建设/实施、运维服务等在内的全业务线条服务，可以为跨行业不同需求客户提供订制化的数据治理服务和产品组合。
2021-10-09 14:36:09
2.05MB
1
数据归一化方法和原理总结
matlab
中的归一化处理有三种方法
1. premnmx、postmnmx、tramnmx
2. restd、poststd、trastd
3. 自己编程
(1)线性函数转换，表达式如下：
y=(x-MinValue)/(MaxValue-MinValue)
说明：x、y分别为转换前、后的值，MaxValue、MinValue分别为样本的最大值和最小值。
(2)对数函数转换，表达式如下：
y=log10(x)
说明：以10为底的对数函数转换。
(3)反余切函数转换，表达式如下：
y=atan(x)*2/PI
(4)一个归一化代码.
I=double(I);
maxvalue=max(max(I)');%max
在把矩阵每列的最大值找到，并组成一个单行的数组，转置一下就会行转换为列，再max就求一个最大的值，如果不转置，只能求出每列的最大值。
f = 1 - I/maxvalue; %为什么要用1去减？
Image1=f;
2021-09-10 16:41:55
87KB
1
CDISC标准与临床试验数据标准化：目前CDISC标准已被欧,美,日等药监部门接受,广泛应用于临床研究中.然而,在我国药物临床试验数据标准化程度不高,如何推动临床数据标准的统一工作,缩小我国临床研究与国际先进水平的差距是当前亟待解决的问题.本文介绍了我国临床试验数据标准化的现状与问题,CDISC标准及其三个重点模型,并对推进我国临床试验数据标准化工作提出了建议.
2021-09-09 09:54:24
1.93MB
1
2020年9月21日，2020全国大数据标准化工作会议在北京召开。工业和信息化部信息技术发展司副司长杨宇燕参加会议并致辞。
会上，全国信标委大数据标准工作组组长梅宏院士作大数据标准化工作报告。地方主管部门、企业代表围绕我国大数据产业和标准化发展趋势、成效经验等方面话题进行了交流。会议发布了《大数据标准化白皮书（2020版）》等研究成果，启动上线国家大数据标准化公共服务平台。
标准是产业发展的重要支撑，部信息技术发展司深入贯彻国家大数据战略，持续做好顶层设计和统筹规划，聚焦产品创新、企业培育、产业链建设、产业集聚、生态营造、标准研制推广等方面开展了一系列工作，取得了积极进展。
2021-08-13 10:16:52
6.17MB
1