考虑线性回归模型 Y = Xb + 误差，其中误差的分布函数未知，但误差是独立且对称分布的。 该包包含一个名为 LRMDE 的函数，它以 Y 和 X 作为输入并返回模型中参数 b 的最小距离估计量。
2022-09-27 11:30:08
9KB
1
拉丹
自适应学习率的方差及超越
我们处于早期版本的Beta中。 期待一些冒险和艰难的边缘。
目录
介绍
如果热身是答案，那么问题是什么？
Adam的学习速度预热是在某些情况下（或eps调整）进行稳定训练的必备技巧。 但是基本机制尚不清楚。 在我们的研究中，我们提出一个根本原因是自适应学习率的巨大差异，并提供理论和经验支持证据。
除了解释为什么要使用预热之外，我们还提出RAdam ，这是Adam的理论上合理的变体。
动机
如图1所示，我们假定梯度遵循正态分布（均值：\ mu，方差：1）。 模拟了自适应学习率的方差，并将其绘制在图1中（蓝色曲线）。 我们观察到，在训练的早期阶段，自适应学习率具有很大的差异。
将变压器用于NMT时，通常需要进行预热阶段以避免收敛问题（例如，图2中的Adam-vanilla收敛于500 PPL左右，而Adam-warmup成功收敛于10 PPL以下）。 在进
2022-09-26 17:47:33
650KB
1
这是信号频率估计算法仿真与分析的Matlab仿真源代码：
一、文件夹部分：
1、各种噪声生成初步结果在noise_picture文件夹
2、各种窗函数随采样数变化的结果在window function文件夹
3、由主函数f_est_main各种噪声生成的结果在four_noise_picture_new文件夹
4、由主函数f_est_main各种加噪信号生成的结果在four_sig_noise_picture文件夹
5、由于主函数f_est_main生成的最终结果图片数量多、整个文件夹所占的容量大（700M以上），已将其删除，更改参数后运行主函数即可重新生成并自动保存结果图片。
二、m文件部分：
1、f_est_main为主函数
2、f_est_Eric_Peter_P、f_est_Eric_Peter_Q、f_est_max、f_est_max_secMax、f_est_max_secMax_pinyi、f_est_mrife、f_est_mrife1、QUADINT和RIFEVINC是主函数调用的频率估计方法
3、cal_item用于求噪声的某一系数；cal_noiseE用于求噪声能量
4、bubbleplot_6d和grid3用于绘制气泡图，bubbleplot_6D.gif是生成的气泡图动图
2022-09-25 16:18:34
13.37MB
1
估计误差状态方程：
其解为：
如果（A-GC）特征值均有负实部，则 最终必将趋于0，且特征值负实部越大， 逼近x(t)的速度越快。但另一方面，观测器又是一个滤波器，它的输入y中，含有一定的测量噪声，（A-GC）特征值负实部越大，观测器频带越宽，噪声过滤能力越差。
因此在选择G时，应根据实际情况进行折衷考虑，使状态测量既能满足 对x的快速逼近，又不致使其频带太宽，在一定程度上控制高频噪声干扰以及估计误差在衰减过程中的过大超调。
2022-09-24 14:44:36
827KB
1
基于变步长LMS自适应陷波算法的电气信号频率测量基于变步长LMS自适应陷波算法的电气信号频率测量基于变步长LMS自适应陷波算法的电气信号频率测量
2022-09-23 22:25:44
484KB
1
CXCORR 循环互相关函数估计。 CXCORR(a,b)，其中 a 和 b 表示在时间间隔 T 上采集的样本，该时间间隔 T 被假定为两个相应周期信号的公共周期。
a 和 b 应该是长度为 M 的行向量，无论是实数还是复数。 [x,c]=CXCORR(a,b) 返回长度为 M-1 的循环互相关序列 c 和相应的滞后 x。 循环互相关为： c(k) = sum[a(n)*conj(b(n+k))]/[norm(a)*norm(b)]; 其中向量 b 循环移位 k 个样本。
该函数不检查输入向量 a 和 b 的格式！
对于 a 和 b 之间的循环协方差，在中查找 CXCOV(a,b) http://www.mathworks.com/matlabcentral/fileexchange/loadAuthor.do?objectType=author&objectId=1093734
2022-09-23 15:40:07
2KB
1