图书简介 该书将带您学习使用Python的NLP，并研究了由Google，Facebook，Microsoft，OpenAI和Hugging Face等先驱者创建的变压器体系结构中的各种杰出模型和数据集。 这本书分三个阶段训练您。在向RoBERTa，BERT和DistilBERT模型过渡之前，第一阶段向您介绍从原始变压器开始的变压器体系结构。您会发现一些小型变压器的培训方法在某些情况下可以胜过GPT-3。在第二阶段，您将应用自然语言理解（NLU）和自然语言生成（NLG）的转换器。最后，第三阶段将帮助您掌握高级语言理解技术，例如优化社交网络数据集和假新闻识别。 在这本NLP书籍的最后，您将从认知科学的角度理解变压器，并精通将技术巨头预先训练好的变压器模型应用于各种数据集。 您将学到什么 使用最新的预训练变压器模型 掌握原始Transformer，GPT-2，BERT，T5和其他变压器模型的工作原理 使用优于经典深度学习模型的概念创建理解语言的Python程序 使用各种NLP平台，包括Hugging Face，Trax和AllenNLP 将Python，TensorFlow和Keras程序应用于情感分析，文本摘要，语音识别，机器翻译等 测量关键变压器的生产率，以定义其范围，潜力和生产限制

Transformers 为数以千计的预训练模型奠定了基础（包括我们熟知的Bert、GPT、GPT-2、XLM等），支持100多种语言的文本分类、信息抽取、问答、摘要、翻译、文本生成。它的宗旨就是让最先进的 NLP 技术人人易用。Transformer还提供了便于快速下载和使用的API，让你可以把预训练模型用于给定文本上，在自己的数据集上对它们进行微调，然后通过modle hub与社区共享它们。此外，Transformer由三个最热门的深度学习库——Jax、PyTorch和TensorFlow支持，它们之间可以无缝整合。

DETR- End-to-End Object Detection with Transformers (Paper Explained)，来自需要你懂得的网站视频，生肉版本。

DETR学习分享：内含PPT分享

Transformers 正在成为许多神经网络架构的核心部分，被广泛应用于诸如NLP、语音识别、时间序列和计算机视觉等领域。Transformers 经历了许多改编和改造，从而产生了新的技术和方法。《Transformers 机器学习:深度探究》是第一本全面介绍Transformers的书。

AGBT-分子表示-组会PPT

Transformer自然语言处理，Natural Language Processing with Transformers: Building Language Applications with Hugging Face

Transformer自然语言处理，Natural Language Processing with Transformers: Building Language Applications with Hugging Face

Vision Transformers组内汇报PPT

We present a new method, called MEsh TRansfOrmer (METRO), to reconstruct 3D human pose and mesh vertices from a single image. Our method uses a transformer encoder to jointly model vertex-vertex and vertex-joint interactions, and outputs 3D joint coordinates and mesh vertices simultaneously. Compared to existing techniques that regress pose and shape parameters, METRO does not rely on any parametric mesh models like SMPL, thus it can be easily extended to other objects such as hands. We further