ESP32-S3是一款由Espressif Systems公司生产的系统级芯片(SoC)，专为物联网(IoT)设备设计，具有Wi-Fi和蓝牙功能，并集成了高性能的双核处理器。这款芯片是ESP32的升级版，提供了更高的计算能力、更多的内存容量、以及更丰富的外设接口。它支持多种通信协议，适合用于智能家居、穿戴设备、工业控制、环境监测等应用。 1.89寸QSPI屏幕，指的是尺寸为1.89英寸的屏幕，并支持四线串行外设接口(QSPI)。QSPI是一种高速的内存接口技术，能够提供比传统的SPI更高的数据传输速度。这种屏幕通常用于嵌入式系统，如物联网设备、智能手表、电子阅读器等，为用户提供图形化界面。 小摆件，是指体积小巧、设计精美的装饰品，可以是实用型的，也可以是仅具观赏性的。它们通常被摆放在桌面、架子或者任何人们想要装饰的角落。随着技术的进步，现代小摆件越来越多地集成电子技术，使得摆件可以具备一些如显示信息、互动、娱乐等智能化功能。 磁吸充电是一种无线充电技术，通过磁力将充电器和设备连接起来进行充电。这种技术的便捷之处在于它简化了充电过程，用户只需将设备放置在充电器上，无需担心插头是否插对。磁吸充电广泛应用于智能手机、无线耳机等移动设备。 无线充电是一种利用电磁感应、磁共振或者其他无线传输方式来给电子设备充电的技术。它允许用户不需要连接电线即可为设备供电，具有方便、安全等优点。无线充电技术可以分为近场无线充电和远场无线充电。近场充电主要应用于便携式设备，而远场充电则有望用于更广泛的应用场合。 综合以上信息，这个小摆件项目涉及到了物联网技术、无线通信技术、以及新型充电技术，它不仅集合了多种先进技术，还具有美化生活空间的功能。在设计上，它应当考虑如何将这些技术集成到一个小型装置中，同时确保其工作稳定性和用户体验。此外，项目开发中还可能涉及到硬件选择、电路设计、固件编程、交互界面设计等多个方面。

强化学习算法合集（DQN、DDPG、SAC、TD3、MADDPG、QMIX等等）内涵20+强化学习经典算法代码。对应使用教程什么的参考博客： 多智能体（前沿算法+原理） https://blog.csdn.net/sinat_39620217/article/details/115299073?spm=1001.2014.3001.5502 强化学习基础篇（单智能体算法） https://blog.csdn.net/sinat_39620217/category_10940146.html

流行的无模型强化学习算法 PyTorch和Tensorflow 2.0在Openai体育馆环境和自行实现的Reacher环境中均实现了最新的无模型强化学习算法。 算法包括软参与者关键（SAC），深度确定性策略梯度（DDPG），双延迟DDPG（TD3），参与者关键（AC / A2C），近端策略优化（PPO），QT-Opt（包括交叉熵（ CE）方法） ， PointNet ，运输商，循环策略梯度，软决策树等。 请注意，此存储库更多是我在研究和实施期间实施和测试的个人算法集合，而不是正式的开放源代码库/软件包以供使用。 但是，我认为与他人分享它可能会有所帮助，并且我希望对实现进行有益的讨论。 但是我没有花太多时间在清理或构建代码上。 您可能会注意到，每种算法可能都有几种实现方式，在此我特意展示所有这些方式，供您参考和比较。 此外，此存储库仅包含PyTorch实施。 对于RL算法的官方库，

深度强化学习对比,对比了DDPG,PG以及TD3三种方法+含代码操作演示视频 运行注意事项：使用matlab2021a或者更高版本测试，运行里面的Runme.m文件，不要直接运行子函数文件。运行时注意matlab左侧的当前文件夹窗口必须是当前工程所在路径。具体可观看提供的操作录像视频跟着操作。

PyTorch实现软演员- 评论家（SAC），双胞胎延迟DDPG（TD3），演员评论家（AC / A2C），近端策略优化（PPO），QT-Opt，PointNet 流行的无模型强化学习算法 PyTorch 和 Tensorflow 2.0 在 Openai 健身房环境和自我实现的 Reacher 环境中实现了最先进的无模型强化学习算法。 算法包括： 演员兼评论家 （AC/A2C）; 软演员-评论家 （SAC）; 深度确定性策略梯度 （DDPG）; 双延迟 DDPG （TD3）; 近端策略优化; QT-Opt（包括交叉熵（CE）方法）; 点网; 运输机; 经常性政策梯度; 软决策树; 概率专家混合; QMIX Actor-Critic (AC/A2C); Soft Actor-Critic (SAC); Deep Deterministic Policy Gradient (DDPG); Twin Delayed DDPG (TD3); Proximal Policy Optimization (PPO); QT-Opt (including Cross-entropy (CE)

基于深度强化学习的小球弹射控制系统仿真对比DDPG和TD3，matlab2021a仿真测试。

PyRL-Pytorch中的强化学习框架 PyRL是深度强化学习研究的框架。 在PyTorch中实现了以下算法： （在制品） （WIP） （在制品） 该项目仍在积极开发中。 特征 模块化架构 在PyTorch中实现 可读代码 安装 git clone https://github.com/chaovven/pyrl.git pip3 install -r requirements.txt 我强烈建议使用conda环境进行实验。 其中一些示例使用MuJoCo物理模拟器。 有关设置MuJoCo的说明，请参见。 进行实验 示例1： TD3 python3 main.py --alg=td3 with env=InvertedPendulum-v2 默认参数存储在config/default.yaml ，其中所有实验都共享这些参数。 TD3的参数存储在文件config/algs

Actor-Critic方法中的地址函数逼近误差 双延迟深度确定性策略梯度（TD3）的PyTorch实现。 如果您使用我们的代码或数据，请引用。 在连续控制任务上进行了测试。 使用和Python 3.7训练网络。 用法 可以通过运行以下操作来重现论文结果： ./experiments.sh 可以通过调用以下命令来运行单个环境的实验： python main.py --env HalfCheetah-v2 可以使用main.py的不同参数修改超参数。 我们包括了DDPG（DDPG.py）的实现，本文不使用该实现，以便于将超参数与TD3轻松进行比较。 这不是本文中使用的“ Our DDPG”的实现（请参阅OurDDPG.py）。 可以在找到TD3与之比较的算法（PPO，TRPO，ACKTR，DDPG）。 结果 代码不再完全代表本文中使用的代码。 对超参数等进行细微调整，以提高性能。 学

火炬RL RL方法的Pytorch实现 支持具有连续和离散动作空间的环境。 支持具有1d和3d观察空间的环境。 支持多进程环境 要求 一般要求 火炬1.7 健身房（0.10.9） Mujoco（1.50.1） 列表（用于日志） tensorboardX（日志文件输出） 张量板要求 Tensorflow：启动tensorboard或读取tf记录中的日志 安装 使用use environment.yml创建虚拟环境 conda create -f environment.yml source activate py_off 手动安装所有要求 用法 在配置文件中指定算法的参数，并在参数中指定日志目录/种子/设备 python examples/ppo_continuous_vec.py --config config/ppo_halfcheetah.json --seed 0 --device 0 --id ppo_halfcheetah 结帐示例文件夹以获取详细信息 目前包含： 政策上的方法： 加强 A2C（演员评论家） PPO（近端政策优化）

自己写的TD3网络，matlab实现，欢迎提供宝贵意见