通过隐式模块化视听表示进行姿势可控的会说话脸生成（CVPR 2021）
，孙亚生，，，和。
| |
我们提出了可姿势控制的视听系统（PC-AVS） ，该系统可在驱动带有声音的任意说话的面部时实现自由姿势控制。 代替从音频中学习姿势运动，我们利用另一个姿势源视频来仅补偿头部运动。 关键是设计一种隐含的低维姿势代码，该代码不包含嘴巴形状或身份信息。 通过这种方式，将视听表示模块化为三个关键因素的空间：语音内容，头部姿势和身份信息。
要求
使用Python 3.6和 1.3.0。 基本要求在“ requirements.txt”中列出。
pip install -r requirements.txt
快速入门：生成演示结果
下载预训练的检查点。
创建默认的文件夹./checkpoints并解压demo.zip在./checkpoints/demo 。 其中应该有5 pth 。
解压缩mi
2022-05-18 16:34:32
28.48MB
1
这是Demo.安卓软件。安装后运行后，里面有作者联络方式可以索取源码 。这个apk需要安装到安卓手机测试。软件自带2个swf测试文件。可以直接测试。软件nb之处是支持Android 12系统。现在很多之前支持的app现在都不支持的。只有这个能支持，已经非常不错了。玩一下小游戏非常不错的 。
2022-05-18 09:07:19
8.63MB
1
完整代码，需要web服务器，（直接拖动到浏览器可以加载但不能播放）
实现功能需求：
1，禁用默认视频控制栏，自定义视频进度，音量控制栏
2，按空格，上下左右，实现视频暂停，音量加减，视频前进后退（除此在网页内禁用除了f5 f12 及视频操作键以外的键）
3，禁用鼠标在video时的滑轮事件改为音量
4，用input type=“file” 获取文件地址。可以上传多个视频，或文件夹，（过滤非MP4）
5，实现全屏，及全屏修改自定义控制栏样式
6，由于浏览器全屏时不能获取有关节点，则监听窗口变化并判断是否全屏来确定是否正在退出全屏。（全屏暂不兼容ie，有bug）
7，选择完本地视频后出现播放列表，点击播放列表播放对应视频。（默认第一集）
8，如果上传的文件记录和上次一样，自动跳转到上次的播放进度。
9，控制栏控件有进度条，音量条，播放/暂停 ，下一集，全屏的控件。
10，实现拖动进度条，音量条修改视频进度，及音量。
11，鼠标在video节点内无操作隐藏
12，其余见demo实例网页。
2022-05-18 00:32:54
4.54MB
1