ProPainter

EasyPhoto简介 EasyPhoto是一款Webui UI插件，用于生成ai肖像画，该代码可用于训练与您相关的数字分身。建议使用 5 到 20 张肖像图片进行训练，最好是半身照片且不要佩戴眼镜（少量可以接受）。训练完成后，我们可以在推理部分生成图像。我们支持使用预设模板图片与上传自己的图片进行推理。重点EasyPhoto是一个Webui UI插件，可以生成AI肖像，用于训练与用户相关的数字化替身。EasyPhoto现在支持多人生成和不同基础模型的训练和推理。EasyPhoto可以在Windows和Linux系统上运行，需要大约60GB的硬盘空间用于保存权重和数据集处理。EasyPhoto插件可以从GitHub安装，未来也将支持从Available安装。EasyPhoto的使用包括模型训练和推理两部分，用户可以上传5到20张照片进行训练，推理部分可以选择单人或多人模式。EasyPhoto的算法包括建筑概览、训练详解和推理详解三部分，主要通过稳定扩散模型和Lora模型生成个性化的肖像图像。

GPT-SoVITS简介 GPT-SoVITS，一个声音克隆和文本到语音转换的开源 Python RAG框架，只需1分钟语音即可训练一个自己的TTS模型。完美克隆你的声音！GPT-SoVITS完美适配中文，应该是目前中文支持比较好的模型。github发布地址：https://github.com/RVC-Boss/GPT-SoVITSGPT-SoVITS主要特点：1、零样本TTS： 输入5 秒的声音样本即可体验即时的文本到语音转换。2、小样本 TTS： 只需 1 分钟的训练数据即可微调模型，以提高语音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。跨语言支持： 使用与训练数据集不同的语言进行推理，目前支持英语、日语和中文。3、WebUI工具：集成工具包括语音伴奏分离、自动训练集分割、中文 ASR 和文本标注，帮助初学者创建训练数据集和 GPT/SoVITS 模型。4、适用于不同操作系统： 项目可以在不同的操作系统上安装和运行，包括 Windows。5、预训练模型： 项目提供了一些已经训练好的模型，你可以直接下载使用。如何使用GPT-SoVITS？如果您是 Windows 用户（使用 win>=10 进行测试），您可以直接通过预压缩进行安装。只需下载预压缩，解压并双击 go-webui.bat 即可启动 GPT-SoVITS-WebUI。GPT-SoVITS是一款强大的语音克隆和文本到语音转换工具，它可以实现零样本和少样本的语音克隆，以及跨语言的文本到语音转换。它具有数据量少、质量高、灵活性强、易用性高等优点，可以应用于多种场景。如果你对GPT-SoVITS感兴趣，具体详细步骤，可以去项目开源网址上查看，哔哩哔哩上也有相应的教程。

MagicEdit 简介 MagicEdit 是字节跳动的一款视频编辑工具，它可以高保真度和时间连贯性地编辑视频，通过学习明确区分外观和动作，实现高质量的视频编辑，对视频内容和流畅度的控制更加精细。MagicEdit有多种编辑应用，包括视频风格化、局部编辑、视频混合和视频扩展等功能。MagicEdit 可以让用户可以将源视频转换为具有特定风格的新视频，也可以对视频进行局部修改，或者通过视频混合功能创造出新概念，MagicEdit还支持视频扩展功能，可以在不重新训练的情况下进行视频扩展任务。同时，MagicEdit 还提供了方便的素材管理功能，让用户可以轻松组织和复用素材。整个编辑过程流畅快速，让用户可以更高效地完成视频编辑任务。MagicEdit功能:视频造型 - 将源视频转换成新风格或场景的视频局部编辑 - 局部修改视频而保持其他区域不变视频混合 - 混合两个不同概念的视频创造新概念视频扩充 - 不需要重新训练即可实现视频扩充

TextBase简介 TextBase 是一款简单的框架，用于构建 ai 聊天机器人，它可以帮助开发人员快速搭建和优化聊天机器人。TextBase简单易用，自由可扩展，是聊天机器人开发的首选框架。Textbase的优点在于它简单易用。你只需要实现main.py中的on_message函数，Textbase就会负责其他所有事情。由于Textbase只是Python代码，所以你可以自由使用任何模型、库、向量数据库和API。TextBase 的简洁设计和强大功能，使其成为人工智能领域的新力量。TextBase 的自然语言处理能力出色，能够理解和生成人类语言，从而实现人机交互。此外，TextBase还可以通过机器学习技术不断提升自身的语言理解和应答能力。TextBase 的出现为 AI 聊天机器人的开发带来了新的可能。TextBase功能:简单的Python框架，只需实现on_message函数完全可自定义，可以使用任何模型和技术支持通过pip安装使用可以轻松部署到服务器未来可扩展性强，可集成更多模型

Lumiere简介 Lumiere是谷歌研究院团队开发的基于空间时间的文本到视频扩散模型。Lumiere采用了创新的空间时间U-Net架构，该架构通过模型中的单次传递一次性生成视频的整个时间，不同于其他模型那样逐帧合成视频。确保了生成视频的连贯性和逼真度，Lumiere可以轻松促进广泛的内容创建任务和视频编辑应用程序，包括图像到视频、视频修复和风格化生成。Lumiere功能特点：文本到视频的扩散模型： Lumiere能够根据文本提示生成视频，实现了从文本描述到视频内容的直接转换。图像到视频：该模型通过对第一帧进行调节，将静止图像平滑地转换为视频。空间时间U-Net架构： 与其他需要逐步合成视频的模型不同，Lumiere能够一次性完成整个视频的制作。这种独特的架构允许Lumiere一次性生成整个视频的时间长度，不同于其他模型那样逐帧合成视频。全局时间一致性： 由于其架构的特点，Lumiere更容易实现视频内容的全局时间一致性，确保视频的连贯性和逼真度。多尺度空间时间处理： Lumiere通过在多个空间时间尺度上处理视频来学习直接生成视频，这是一种先进的方法。风格化视频生成： 使用单个参考图像，Lumiere可以按照目标风格生成视频，这种能力在其他视频生成模型中较为罕见。广泛的内容创作和视频编辑应用： Lumiere支持多种内容创作任务和视频编辑应用，如图像到视频、视频修补和风格化生成。视频样式化编辑： 使用文本基础的图像编辑方法，Lumiere可以对视频进行一致性的样式编辑。影像合成能力： 当图像的一部分保持静止而另一部分呈现运动时，可以实现局部运动效果，从而为静止图像增添迷人的美感。视频修复功能： Lumiere 可以根据文本提示对现有视频的任意遮罩区域进行动画处理。这为视频编辑、对象插入和/或删除提供了有趣的可能性。尽管取得了这些进步，但Lumiere在需要在不同场景和镜头之间转换的视频方面仍然受到限制。这种能力差距为未来的扩散模型研究提供了重要方向。

MoneyPrinter简介 MoneyPrinter，一个自动创建YouTube短视频的自动化赚钱项目，只要输入视频文本MoneyPrinter即可自动产生与之相关的短视频。MoneyPrinter主要功能：自动视频生成：只需提供一个视频主题即可在本地自动创建相关的短视频YouTube Shorts。音乐和字体自定义：可以上传自己的MP3文件压缩包和字体，自定义视频音乐背景和字体。自动将生成的视频上传到YouTube的功能。MoneyPrinter用法：1、将文件复制到并填写所需的值.env.example.env2、在浏览器中打开http://localhost:30003、输入要讨论的话题4、点击“生成”按钮5、等待视频生成生成的视频位置是MoneyPrinter/output.mp4，整个过程几乎不需要用户有太多的视频编辑技能，只需要简单的操作和等待程序完成工作。MoneyPrinter是一个强大的视频处理库，能够编辑视频、添加音乐背景和文本等，要使用您自己的音乐，请将所有 MP3 文件压缩成 ZIP 文件并将其上传到某个地方。在前端提供指向 ZIP 文件的链接，您也可以将 MP3 文件移动到文件夹中。MoneyPrinter的背后技术主要依赖于Python编程语言和MoviePy视频编辑库，以及YouTube的API用于视频上传，使得从视频创意到发布的整个流程自动化和无缝连接。

StoryDiffusion简介 StoryDiffusion 是一款由南开大学HVision团队开发的人工智能工具，主要功能包括生成连贯的图像和视频故事，以及漫画生成创作。StoryDiffusion利用一致性自注意力（Consistent Self-Attention）技术，能够在无需训练的情况下生成主题一致的图像，这些图像可以用于讲述故事或作为后续内容生成的输入。StoryDiffusion 能够保持角色的一致性，生成多图漫画和长视频，这对于需要连贯叙事的广告、电影等领域尤为重要。StoryDiffusion主要功能特征：角色连贯性保持：StoryDiffusion能够通过一致性自注意力机制生成主题一致的图像和视频，确保在多图漫画和长视频中角色风格和服装的一致性，从而实现连贯的故事叙述。多场景应用：该工具不仅适用于漫画生成，还可以应用于图像转视频等多种场景。用户可以通过提供一系列条件图像，利用Image-to-Video模型生成视频，这对于广告、电影等领域提供了新的创意方式和制作手段。教育材料设计：教育工作者可以使用StoryDiffusion来设计教育视频或互动故事，这些内容有助于提高学习者的参与度和兴趣。长范围图像生成功能：特别适合制作连贯的广告故事，增强品牌形象。这种功能使得StoryDiffusion在广告和品牌推广方面具有显著优势。即插即用无需训练：研究团队将一致性自注意力插入到现有图像生成模型的U-Net架构中，并重用原有的自注意力权重，以保持无需训练和即插即用的特性。高效能与稳健性：StoryDiffusion在保持角色特性的同时，还能够很好地符合提示描述，显示出其稳健性。这表明该方法在定量指标上取得了最佳性能。StoryDiffusion通过一致性自注意力机制，不仅能够生成连贯的图像和视频，还能应用于多种实际场景，如教育、广告和娱乐等，同时具备高效能和稳健性。GitHub 项目：相关项目已经在 GitHub 上获得了 1k 的 Star 量，GitHub 地址为：https://github.com/HVision-NKU/StoryDiffusion。论文和演示：有关 StoryDiffusion 的更多技术细节和实验结果可以在论文《StoryDiffusion: Consistent Self-Attention for long-range image and video generation》中找到，论文地址为：https://arxiv.org/pdf/2405.01434v1

EchoMimic简介 EchoMimic是一个蚂蚁集团支付宝基于音频驱动的肖像动画生成工具，通过可编辑的特征点条件生成逼真、自然的动画，用户可以根据自己的需求调整动画细节，可用于虚拟主播、视频编辑等，效果比SadTalker、MuseTalk好，表情更丰富动作更顺畅。EchoMimic可以根据人像面部特征和音频来帮人物对口型，结合面部标志点和音频内容生成较为稳定、自然的视频。EchoMimic功能:音频驱动动画，可以根据音频生成人物肖像的动画，比如唱歌、说话视频等。姿势驱动动画，可以根据姿势数据生成人物肖像的动画。音频和姿势混合驱动动画，可以同时使用音频和姿势数据来生成动画。WebUI 和 GradioUI，提供图形界面，易于使用。可编辑的标志调节：用户可以选择特定的面部标志来控制动画，提供更大的灵活性和定制性。支持多语言（包含中文普通话、英语）及多风格，也可应对唱歌等场景。EchoMimic应用：肖像图像动画：使用音频输入从静态图像创建动态视频，可用于娱乐、虚拟化身和数字通信。增强稳定性和自然度：通过结合两种输入，克服音频驱动方法的不稳定性和关键点驱动方法的不自然性。可定制的动画：用户可以编辑特定的面部标志以实现所需的动画效果。ComfyUI EchoMimic：https://github.com/smthemex/ComfyUI_EchoMimicEchoMimic项目：https://badtobest.github.io/echomimic.htmlEchoMimic Github：https://github.com/BadToBest/EchoMimicEchoMimic模型：https://huggingface.co/BadToBest/EchoMimicEchoMimic 由蚂蚁集团支付宝终端技术部开发的音频输入驱动创建逼真肖像动画的技术。它使用可编辑的地标调节来实现逼真的面部动作和表情，从而实现高度可定制且外观自然的动画。