Datasets

[wokaodeshang]

您好，感谢您的工作，我想问您一下数据集的具体要求，比如您论文中的演讲说话视频具体的数据内容可以告诉吗，我采用HDTF或者hallo3人脸说话数据训练效果远不及您的效果，因此想问您下您的数据集对人脸说话要求是如何比如角度，视角或者运动幅度上。或者我想问一下您是否愿意公开数据集或者告知下当前公开数据集中哪些可用？

[RobinROAR]

您好，感谢您的工作，我想问您一下数据集的具体要求，比如您论文中的演讲说话视频具体的数据内容可以告诉吗，我采用HDTF或者hallo3人脸说话数据训练效果远不及您的效果，因此想问您下您的数据集对人脸说话要求是如何比如角度，视角或者运动幅度上。或者我想问一下您是否愿意公开数据集或者告知下当前公开数据集中哪些可用？

感谢您的关注。因为Ditto是在motion空间训练DiT，本质是要选择最有共性的面部运动表征，所以对训练视频的质量要求较高，训练数据需要演讲者的口型发音、表情、头部动作与播报内容与节奏匹配，且录制过程中没有过大的位移、和内容无关的面部动作以及遮挡。在实际训练中，我们主要使用的绿幕录制的专业主播播报视频，固定了镜头位置和模特位置。内容以新闻播报为主，以脱口秀和唱歌为辅。再搭配了部分VFHQ、HDTF等开源视频补充音频的多样性。因为肖像权等原因，抱歉无法公开训练集，希望上述信息对您的研究有帮助。