Machine Learning: A Probabilistic Perspective (Adaptive Computation and Machine Learning series) Today’s Web-enabled deluge of electronic data calls for automated methods of data analysis. Machine learning provides these, developing methods that can automatically detect patterns in data and then use the uncovered patterns to predict future data. This textbook offers a comprehensive and self-contained introduction to the field of machine learning, based on a unified, probabilistic approach. The coverage combines breadth and depth, offering necessary background material on such topics as probability, optimization, and linear algebra as well as discussion of recent developments in the field, including conditional random fields, L1 regularization, and deep learning. The book is written in an informal, accessible style, complete with pseudo-code for the most important algorithms. All topics are copiously illustrated with color images and worked examples drawn from such application domains as biology, text processing, computer vision, and robotics. Rather than providing a cookbook of different heuristic methods, the book stresses a principled model-based approach, often using the language of graphical models to specify models in a concise and intuitive way. Almost all the models described have been implemented in a MATLAB software package–PMTK (probabilistic modeling toolkit)–that is freely available online. The book is suitable for upper-level undergraduates with an introductory-level college math background and beginning graduate students. 标题和描述中提到的知识点可以细化为以下几点： 1. 机器学习的定义和重要性：机器学习是自动化数据分析的方法，能够自动检测数据中的模式，并利用这些模式预测未来的数据。这门技术是应对今天网络上电子数据激增的有效手段。 2. 统计模型和概率方法：本书强调基于概率的机器学习方法。这意味着机器学习模型通常会通过概率论的语言来描述和推断数据中的关系。 3. 机器学习的基本组成部分：包括概率论、优化方法和线性代数等基础知识。这些是构建和理解机器学习算法的基础。 4. 最新机器学习技术：书中介绍了若干最近的机器学习领域的发展，例如条件随机场（Conditional Random Fields）、L1正则化（L1 Regularization）和深度学习（Deep Learning）。 5. 机器学习的应用示例：在介绍理论的同时，书中使用了大量彩色图像和实际应用案例，帮助读者理解算法在生物信息学、文本处理、计算机视觉和机器人技术等领域的应用。 6. 模型驱动的方法：作者提倡使用基于原理的模型驱动方法，这通常涉及到图形模型（Graphical Models），通过图形模型来简洁直观地指定模型。 7. 编程实践和MATLAB软件包：本书不仅讨论理论，还提供了模型的MATLAB实现。这些模型已经包含在PMTK（概率建模工具包）软件包中，该软件包可以在网上免费获取。 8. 教育适用性：这本书适合已经具备基础大学数学背景的高年级本科生和初学者研究生。 9. 作者背景：Kevin P. Murphy是谷歌的研究科学家，并且曾经是不列颠哥伦比亚大学的计算机科学和统计学副教授。 10. 书籍评价：书籍得到了同行的广泛认可，被认为是一本直觉性强、内容丰富、易于理解但又全面深入的教材。它适合于大学学生学习，并且是机器学习领域从业者的必备书籍。 从上述内容可以看出，《Machine Learning: A Probabilistic Perspective》是一本全面介绍概率视角下机器学习方法的教科书。它不仅提供了机器学习基础理论的介绍，还包括了用于实践的算法伪代码以及在不同领域应用的例子。该书强调理论与实践相结合，注重原理模型的构建，并配有相应的编程实践，帮助读者能够更好地理解和运用机器学习技术。

dcase2020_task2_baseline 这是DCASE 2020挑战任务2“用于机器状态监视的异常声音的无监督检测”的基准系统。 描述 基准系统包含两个主要脚本： 00_train.py 该脚本通过使用目录dev_data / / train /或eval_data / / train /来训练每种机器类型的模型。 01_test.py 此脚本在目录dev_data / / test /或eval_data / / test /中，为每个计算机ID生成csv文件，包括每个wav文件的异常分数。 csv文件将存储在目录result /中。 如果模式为“开发”，则还将为每个计算机ID制作包括AUC和pAUC的csv文件。 用法 1.克隆存储库 从Gi

哈密​​顿神经网络 Sam Greydanus，Misko Dzamba，Jason Yosinski | 2019年 论文： 博客： 基本用法 训练哈密顿神经网络（HNN）： 任务1：理想的质量弹簧系统： python3 experiment-spring/train.py --verbose 任务2：理想摆锤： python3 experiment-pend/train.py --verbose 任务3：真正的摆锤（来自本《论文）： python3 experiment-real/train.py --verbose 任务4：两体问题： python3 experiment-2body/train.py --verbose 任务4b：三体问题： python3 experiment-3body/train.py --verbose 任务5：像素摆锤（来自OpenAI G

LaneNet车道检测 使用tensorflow主要基于IEEE IV会议论文“走向端到端的车道检测：实例分割方法”，实现用于实时车道检测的深度神经网络。有关详细信息，请参阅其论文 。 该模型由编码器-解码器阶段，二进制语义分割阶段和使用判别损失函数的实例语义分割组成，用于实时车道检测任务。 主要的网络架构如下： Network Architecture 安装 该软件仅在带有GTX-1070 GPU的ubuntu 16.04（x64），python3.5，cuda-9.0，cudnn-7.0上进行了测试。 要安装此软件，您需要tensorflow 1.12.0，并且尚未测试其他版本的ten

用于数据计算的库你不拥有，看不到 PySyft是用于安全和私有深度学习的Python库。 PySyft解耦模型训练的私人数据，采用，和加密运算（如和主深度学习框架，如PyTorch和TensorFlow内。加入的运动。 常见问题0.2.x :right_arrow: 0.3.x 我们编制了与从0.2.x更改为0.3.x +有关的列表。 有关PySyft 0.2.x的重要说明： PySyft 0.2.x代码库现在在属于其自己的分支，但是OpenMined将不为该版本范围提供官方支持。 如果您是第一次使用PySyft，请忽略此消息并继续阅读！ PySyft详细 有关PySyft的更详细说明，请参见Arxiv。

标题 "machine_learning_predicting_phenotype_eval" 暗示我们正在探讨一个使用机器学习预测表型（phenotype）的评估项目。表型是生物体的可观察特征，如颜色、形状或行为，由基因和环境共同决定。在这个项目中，我们将重点关注如何使用Python进行机器学习来预测这些特征。 描述虽然没有提供具体细节，但我们可以假设它涉及数据预处理、模型选择、训练、验证和评估等标准步骤。项目可能包括对生物数据集的分析，例如基因表达数据或个体的生理测量。 标签 "Python" 提示我们整个过程将使用Python编程语言进行。Python在数据科学领域非常流行，因为它有丰富的库和工具，如Pandas用于数据操作，NumPy和SciPy用于数值计算，以及Scikit-learn（sklearn）用于机器学习。 在文件名称 "machine_learning_predicting_phenotype_eval-main" 中，“main”通常指的是项目的主代码文件或入口点，这可能是运行整个预测流程的脚本。 以下是关于使用Python进行机器学习预测表型可能涉及的关键知识点： 1. 数据预处理：数据清洗，处理缺失值，异常值检测，标准化（如Z-score或min-max缩放），特征编码（如分类变量的one-hot编码）。 2. 特征工程：探索性数据分析（EDA），寻找与表型相关的特征，可能涉及统计分析和可视化。 3. 选择模型：根据问题类型（分类或回归）选择合适的模型，如线性回归、决策树、随机森林、支持向量机（SVM）、梯度提升机（XGBoost）或神经网络。 4. 划分数据集：将数据划分为训练集、验证集和测试集，确保模型的泛化能力。 5. 训练模型：使用训练集拟合模型，调整超参数以优化性能。 6. 验证模型：在验证集上评估模型，防止过拟合，可能使用交叉验证来更准确地评估模型性能。 7. 模型评估：使用各种指标如准确率、精确率、召回率、F1分数（分类问题）或均方误差、R^2得分（回归问题）。 8. 超参数调优：使用网格搜索或随机搜索等方法找到最优模型参数。 9. 结果解释：理解模型的权重和特征重要性，以解释模型的预测结果。 10. 模型部署：如果满足性能要求，将模型打包为API或服务，以便实际应用。 在实践中，这个项目可能还包括数据导入、错误处理、结果可视化以及编写报告或文档，以便清晰地传达研究发现和模型性能。Python的Matplotlib和Seaborn库可用于创建图表，而Jupyter Notebook或Google Colab可以作为交互式开发和展示结果的平台。这个项目涵盖了从数据处理到模型构建的完整机器学习生命周期，涉及多种Python工具和技术。

### 相似性基础方法（基于《Learning from Data》第6章） 在深入探讨相似性基础方法之前，我们首先简要回顾一下林轩田教授在《机器学习基石》与《机器学习技法》中所提到的一些核心概念。这些书籍是学习机器学习领域的经典教材，为读者提供了坚实的理论基础和技术实践指南。 #### 一、相似性基础方法概述 **相似性基础方法**是一种直观的学习策略，它通过比较待分类对象与已有数据集中的对象之间的相似度来进行分类或预测。这种方法简单而有效，尤其适用于那些难以用传统统计模型处理的情况。 例如，在描述中提到的一个5岁小男孩将一个从未见过的生物——半人马，根据其特征与他已知的人类和马进行比较，从而做出了一种合理的分类。这个例子很好地展示了人们如何在日常生活中利用相似性来进行判断和决策。 #### 二、相似性的量化 在实际应用中，我们需要将这种直观的方法转化为一种可以量化的技术框架，以便计算机能够执行。为此，本章节重点讨论了如何量化相似性，并提出了一系列重要的概念和技巧。 ##### 2.1 相似性的定义 - **定义**：相似性是指两个对象之间的相似程度。为了实现这一点，首先需要定义一个合适的相似性度量标准。 - **挑战**：找到一个既能反映对象之间的真实相似度，又适合计算的度量标准并不容易。比如，对于图像中的数字“9”和“6”，直观上看它们非常不同，但如果仅通过像素值来衡量，则可能会得到相反的结果。 ##### 2.2 相似性度量 - **常用度量方法**： - **欧几里得距离**：最常用的度量方式之一，适用于数值型数据。 - **余弦相似度**：适用于文本数据和高维稀疏向量。 - **Jaccard相似系数**：适用于集合类型的数据。 - **预处理步骤**： - **中心化**：移除均值，使每个特征具有零均值。 - **轴对齐**：确保特征在同一尺度上进行比较。 - **归一化**：将特征缩放到同一范围，如[0, 1]区间内。 ##### 2.3 最近邻规则 - **定义**：最近邻规则是最基本的相似性基础方法之一，其原理是给新输入对象分配与之最相似的对象所属的类别。 - **实现**：为了实施最近邻规则，首先需要量化两个对象之间的相似度。然后，对于给定的新输入，找到训练集中与其最相似的对象，并将该对象的类别作为预测结果。 ##### 2.4 实例分析 考虑一个简单的数字识别问题，其中包含三个数字：“6”、“9”、“9”。如果我们使用像素值来衡量相似性，那么两个“9”之间的相似度可能远低于“6”与任何一个“9”之间的相似度，这显然不符合直觉。因此，需要对原始数据进行预处理，例如： - **中心化**：确保数字图像居中。 - **轴对齐**：保持数字的大小和位置一致。 - **归一化**：调整图像的尺寸，使其具有相同的比例。 通过这样的预处理步骤，可以显著提高相似性度量的准确性，进而提升最近邻规则等方法的分类性能。 #### 三、相似性基础方法的应用 相似性基础方法不仅限于简单的分类任务，还可以应用于更广泛的场景，包括但不限于： - **图像检索**：用户上传一张图片，系统返回数据库中最相似的图片。 - **推荐系统**：根据用户过去的喜好，推荐与其兴趣相似的产品或内容。 - **异常检测**：识别与正常模式不相匹配的数据点或序列，用于安全监控、设备故障预警等领域。 #### 四、结论 相似性基础方法提供了一个强大的工具箱，用于解决许多实际问题。通过对相似性的准确量化以及适当的预处理步骤，这种方法能够帮助我们有效地进行分类、预测甚至是发现新的类别。未来的研究将进一步探索如何在高维度数据空间中更高效地计算相似性，并开发出更复杂的相似性度量方法。

压缩AI CompressAI（ compress-ay ）是用于端到端压缩研究的PyTorch库和评估平台。 CompressAI当前提供： 用于基于深度学习的数据压缩的自定义操作，层和模型 官方库的部分端口 预训练的端到端压缩模型，用于学习图像压缩 评估脚本，将学习的模型与经典图像/视频压缩编解码器进行比较 注意：多GPU支持目前处于试验阶段。 安装 CompressAI仅支持python 3.6+（当前对PyTorch的支持<3.9）和PyTorch 1.4+。还需要C ++ 17编译器，最新版本的pip（19.0+）和常见的python软件包（有关完整列表，请参见setup.py ）。 要开始并安装CompressAI，请在运行以下命令： git clone https://github.com/InterDigitalInc/CompressAI compressai cd

由五名研究人员和工程师组成的团队发布了《Deep Learning Tuning Playbook》，来自他们自己训练神经网络的实验结果以及工程师的一些实践建议，目前在Github上已有1.5k星。此版本为中文翻译版，提供给大家免费下载，因为本人知识水平有限，翻译过程中可能有误，随时欢迎大家指出错误，我会随时更正。

强化学习中样本的重要性加权转移 此存储库包含我们的强化学习中的重要性加权样本转移》的代码，该代码已在ICML 2018上接受。我们提供了一个小库，用于RL中的样本转移（名为TRLIB），包括重要性加权拟合Q的实现-迭代（IWFQI）算法[1]以及有关如何重现本文提出的实验的说明。 抽象的 我们考虑了从一组源任务中收集的强化学习（RL）中经验样本（即元组）的转移，以改善给定目标任务中的学习过程。 大多数相关方法都专注于选择最相关的源样本来解决目标任务，但随后使用所有已转移的样本，而无需再考虑任务模型之间的差异。 在本文中，我们提出了一种基于模型的技术，该技术可以自动估计每个源样本的相关性（重要性权重）以解决目标任务。 在所提出的方法中，所有样本都通过批处理RL算法转移并用于解决目标任务，但它们对学习过程的贡献与它们的重要性权重成正比。 通过扩展监督学习文献中提供的重要性加