Documate

DeepFaceLive简介 DeepFaceLive 是一款免费开源的实时直播视频ai换脸工具软件，它使用深度学习算法创建逼真的换脸视频。它是一种深度伪造技术，可以将一个人的脸部超级放置在另一个人的身体上的视频中。从而实现非常逼真的面部合成效果。由于其高度逼真的效果，DeepFaceLive 在影视、游戏、虚拟现实 等领域具有广泛的应用前景。使用 DeepFaceLive 非常简单，只需要准备好两个人的面部照片，然后使用 DeepFaceLive 的软件进行面部合成即可。在合成过程中DeepFaceLive 会利用深度学习算法 来分析面部表情和动作，并将其合成到目标脸部上，从而实现高度逼真的效果除了在影视、游戏、虚拟现实等领域应用外，DeepFaceLive 还可以用于医学领域，比如用于仿真手术和医学教育等方面。此外DeepFaceLive 还可以用于人脸识别技术 的研究和开发，从而提高人脸识别技术的准确性和鲁棒性。虽然DeepFaceLive可以用于无害的娱乐，但也引发了人们对其潜在滥用的担忧，例如传播虚假信息或制作虚假色情作品。重要的是要意识到与深度伪造技术相关的潜在风险，并负责任地使用它。DeepFaceLive Github项目地址：https://github.com/iperov/DeepFaceLiveDeepFaceLive中文交流论坛：https://dfldata.cc/DeepFaceLive下载地址：https://mega.nz/folder/m10iELBK#Y0H6BflF9C4k_clYofC7yADeepFaceLive 系统要求：任何支持 DirectX12 的显卡（推荐 RTX 2070+ / Radeon RX 5700 XT+ ）现代的支持 AVX 指令的 CPU4GB RAM，32GB+ 交换文件Windows 10

AI Companion App简介 ai Companion App，一键创建和训练属于你的AI伴侣/女朋友。AI Companion App提供了一套框架和开源工具，你可以根据自己的需求和想象，设定AI伴侣的个性、背景故事和能力，然后使用这个框架进行训练和部署。这样，每个人都可以拥有一个定制的AI伴侣，满足他们特定的需求和期望。你可以在浏览器上或通过SMS与你的AI伴侣进行聊天。AI Companion App允许你确定你的伴侣的个性和背景故事，并使用一个带有相似性搜索的向量数据库来检索和提示，使对话具有更深的深度。它还通过将对话保留在队列中并包含在提示中，提供了一些对话记忆。AI Companion App当前包含两种AI伴侣，一种基于大模型GPT，另一种是基于Vicuna的伴侣，都托管在Replicate平台上的。这些伴侣有很多可能的用例-浪漫（AI女友/男友）、友谊、娱乐、教练等。您可以通过您撰写的背景故事和您选择的模型来引导您的同伴找到理想的用例。

DreaMoving简介 DreaMoving，一种基于扩散的可控视频生成框架，用于生成高质量的定制人类舞蹈视频。具体来说，给定目标身份和姿势序列，DreaMoving 可以生成目标身份在姿势序列驱动下在任何地方跳舞的视频。为此，我们提出了一个用于运动控制的视频控制网络和一个用于身份保留的内容指南。所提出的模型易于使用，并且可以适应大多数风格化的扩散模型以生成不同的结果。DreaMoving项目地址：https://dreamoving.github.io/dreamovingDreaMoving 概述：Video ControlNet 是在每个 U-Net 块之后注入运动块的图像 ControlNet。Video ControlNet 将控制序列（姿态或深度）处理为额外的时间残差。Denoising U-Net 是一种衍生的 Stable-Diffusion U-Net，带有用于视频生成的运动块。内容导览器将输入文本提示和外观表达式（如人脸（布料是可选的））传输到内容嵌入中，以便交叉注意。结果：DreaMoving 可以生成高质量和高保真度的视频，给定指导序列和简单的内容描述，例如文本和参考图像作为输入。具体来说，DreaMoving 通过人脸参考图像、通过姿势序列进行精确运动操作以及由指定文本提示提示的全面视频外观控制来展示身份控制的熟练程度。

EmojiGen简介 EmojiGen是一个开源的表情符号生成器。它由 Replicate 上的 fofr/sdxl-emoji 提供支持。可以根据用户任意的文字描述生成新的表情符号，不同用户可以获得完全定制的个性表情符号，用户只需要在输入框中输入一个词或短语，EmojiGen就会立即生成相关的表情符号。EmojiGen，应该是世界上最大的表情符号库（约 25 万表情）,EmojiGen有大量默认的表情符号，分类为“最新”和“特色”两部分。EmojiGen还有个开源项目，为其他开发者提供了参考，并进行二次开发打造出更多优秀的ai应用。可以利用文本提示生成表情。接受用户的提示，生成一个表情。然后，使用Replicate去除背景。用户可以点击下载并添加到Slack。EmojiGen功能：使用AI技术根据文字生成相关的表情符号。提供大量默认表情符号库（约 25 万表情）。用户可以输入任意文字获得自定义表情符号。生成的图片可以下载保存和在聊天软件中使用。

Linly-Dubbing简介 Linly-Dubbing是一款开源的多语言ai配音和视频翻译工具。Linly-Dubbing可以自动将视频翻译成其他语言并生成字幕、克隆视频中说话者的声音并自动配音、进行口型同步。Linly-Dubbing主要特征：自动下载视频：支持从YouTube等网站下载视频多语言支持：支持中文和多种语言的配音和字幕翻译。AI语音识别：准确的语音识别、语音文本转换和说话人识别。LLM翻译：结合领先的大型语言模型（如GPT），可以快速准确地翻译，保证翻译的专业性和自然性。语音克隆：通过语音克隆技术，生成与原视频配音高度相似的声音，保持情感和语气的一致性。口型同步：通过保持口型同步，配音可以与视频画面高度一致，提高视频的真实性和互动性。灵活的上传和翻译：用户可以上传视频并选择翻译语言和标准，以确保个性化和灵活性。Linly-Dubbing技术细节语音识别WhisperX ：OpenAI Whisper语音识别系统的扩展，可以将语音内容转录为文本，与视频帧精确对齐，生成带时间戳的字幕文件，并支持多说话人识别。FunASR ：一款综合语音识别工具包，提供语音识别、语音活动检测、标点符号恢复等功能，特别针对中文语音进行了优化。语音合成集成了Edge TTS、XTTS、CosyVoice等多种先进的语音合成工具。Edge TTS ：微软提供的高质量文本到语音转换服务，支持多种语言和语音风格，生成自然流畅的语音输出。XTTS ：Coqui 提供的先进的深度学习文本转语音工具包，专注于语音克隆和多语言语音合成，可以通过短音频片段实现语音克隆并生成逼真的语音输出。CosyVoice ：阿里巴巴同义实验室开发的多语言语音理解与合成模型，支持多种语言的高质量语音合成和跨语言语音克隆。字幕翻译使用OpenAI API和Qwen模型进行多语言字幕翻译。OpenAI API ：使用OpenAI的GPT-4和GPT-3.5-turbo进行高质量的字幕翻译。这些模型以其自然语言理解和文本生成能力而闻名，适用于对话生成和文本分析。Qwen ：开源的本地化大规模语言模型，支持多语言翻译，可以经济高效地处理多种语言的文本。谷歌翻译：集成谷歌翻译作为翻译功能的补充，提供广泛的语言支持和良好的翻译质量。声音分离使用 Demucs 和 UVR5 技术将人声与伴奏分开。|Demucs ：Facebook 研究团队开发的声音分离模型，可以分离混合音频中的不同声源，包括乐器、人声和背景声音。广泛应用于音乐制作和影视后期制作。UVR5（Ultimate Vocal Remover） ：一款高效的人声伴奏分离工具，可以提取接近原始立体声的伴奏，性能优于其他类似工具如RX9、RipX和SpectraLayers 9。口型同步借鉴Linly-Talker，我们专注于数字人唇同步技术，结合计算机视觉和语音识别技术，将虚拟角色的唇同步与配音精确匹配，达到高度自然的同步效果。该技术适用于动画人物、虚拟主播、教育视频中的旁白等多种场景。视频处理Linly-Dubbing提供添加字幕、插入背景音乐、调节音量和播放速度等功能，用户可以自定义视频内容，使其更具吸引力和个性化。yt-dlp 的集成： yt-dlp 是一个功能强大的开源命令行工具，设计用于从 YouTube 和其他网站下载视频和音频。该工具具有广泛的参数选项，允许用户根据自己的需要微调下载行为。无论是选择特定格式、分辨率，还是提取音频，yt-dlp 都提供了灵活的解决方案。

AutoStudio简介 AutoStudio，一个多轮对话过程中无论用户在对话中添加或修改什么内容，都能保持图像生成一致性，可以直接产出情节完整的漫画内容的工具。AutoStudio 通过使用四个智能体来分别处理图像生成的各个环节。无论用户在每轮对话中添加或修改什么内容，用户可以生成多样化的图像序列，系统都能确保生成的图像在主题和风格上保持一致。可以用于创建故事或漫画。比如，用户可以逐步生成一个连贯的故事情节，每一帧图像都符合故事的发展。在连续生成的图像中，保证同一个人物在不同场景中的外貌和姿态一致，甚至能能够精确控制每个元素在图像中的位置和大小，生成布局合理的图像。实时交互和编辑：用户还可以在多轮对话中动态地编辑图像。用户可以在生成过程中随时提供新的指令或修改已有指令，系统能够实时响应并生成更新后的图像。例如，用户可以先生成一个场景，然后在后续对话中添加或修改场景中的元素，AutoStudio 会根据新的指令更新图像。AutoStudio功能特征：多轮对话能力：AutoStudio的核心优势在于其卓越的多轮对话能力，无论用户在对话中添加或修改什么内容，系统都能确保生成的图像在主题和风格上保持一致。实时交互和编辑：用户可以在对话过程中动态地编辑图像，系统能够实时响应并生成更新后的图像。多轮对话生成：用户可以逐步构建图像序列，用于创建故事或漫画，每一帧图像都符合故事的发展。主题和风格一致性：AutoStudio通过先进的算法，确保即使在多轮对话中，生成的图像也能在主题和风格上保持一致。智能体协同工作：四个智能体分别负责不同的图像生成任务，确保生成过程的高效和精准。动态指令响应：用户在生成过程中可以随时提供新的指令或修改已有指令，AutoStudio能够实时更新图像。应用：漫画创作：用户可以先生成一个场景，然后在后续对话中根据需要添加或修改场景中的元素。故事板构建：用户可以逐步生成一个连贯的故事情节，每一帧图像都与故事发展相匹配。视觉艺术创作：无论是绘制漫画、构建故事板还是创造视觉艺术，AutoStudio都能助您一臂之力。个性化内容生成：用户可以根据自己的需求，通过连续的对话和指令，创作出一个分镜完整、情节丰富的漫画作品。AutoStudio模型架构

VideoDoodles简介 VideoDoodles是一款能在视频中轻松任意插入手绘动画并与视频内容无缝融合的ai工具，它将视频内容与手绘动画相结合，制作出独特的视频剪辑。通过VideoDoodles你可以在视频中添加手绘涂擦动画，比如你可以画个搞笑的小人或者别 的手绘元素插入到视频中，让视频更吸引人。这些动画不仅能跟随视频中的物体移动，还能自动调整大小和角度。VideoDoodles主要挑战在于确保手绘动画能完美集成到捕获的场景中，当它们相对于相机和场景中的其他对象移动时进行适当的跟踪、透视变形和遮挡。VideoDoodles引入了一种新颖的 UI 和跟踪算法，以解锁通过深度和运动数据（通过现有计算机视觉方法获得）增强的视频的新版本功能。根据通过任意数量的位置和方向关键帧表达的用户意图，VideoDoodles的算法可以通过正确的遮挡、透视变换在视频的任何帧渲染场景感知画布，并使画布跟随移动对象。使得插入的绘画能够自然地融入视频场景，实现追踪、透视变形和遮挡等复杂视觉效果。VideoDoodles 的主要功能：场景感知画布：VideoDoodles让用户可以将平面画布放置在从视频重建的 3D 场景中。这些画布以 3D 方式进行跟踪，然后手绘动画在相对于相机和场景中的其他对象移动时保持正确的透视和遮挡。自定义跟踪算法：VideoDoodles可将画布锚定到视频中的静态或动态对象。这确保画布移动和旋转以跟随这些对象的位置和方向，使动画显示为捕获场景的一部分。用户界面易用：VideoDoodles提供 2D 图像空间 UI，用户可以通过关键帧控制画布的位置和方向。系统通过跟踪视频1中移动对象的运动来插入这些关键帧。深度和运动数据集成：VideoDoodles 利用通过现有计算机视觉方法获得的深度和运动数据来增强动画的真实感。这种集成允许通过正确的遮挡和透视变换准确渲染场景感知画布。VideoDoodles 的应用：娱乐：通过添加与现实世界镜头交互的动画元素来创建有视觉吸引力的视频内容。教育：通过说明性动画增强教育视频，有助于更有效地解释复杂的概念。增强讲故事能力：VideoDoodles 可用于在真人镜头中添加异想天开或说明性元素，从而增强叙事和视觉吸引力。创意广告：品牌可以使用 VideoDoodles 来创建独特的广告，通过将现实世界的镜头与动画元素相结合来让广告更有吸引力。VideoDoodles 通过实现手绘动画与视频内容片段的无缝融合，从而轻松地生成独特有趣的交互式视频视觉内容，从而增强讲故事、教育、营销、社交媒体内容创作的用户体验。

ChatTTS简介 ChatTTS视频演示ChatTTS，一个专门用于对话场景的免费在线文本转语音TTS模型，适用于自然、对话式文本转语音。它支持英文和中文两种语言。这个语音专文本TTS模型 应该是目前对中文支持最好的了，ChatTTS模型经过超过10万小时的训练，公开版本在 HuggingFace 上提供了一个4万小时预训练的模型。它专为对话任务优化，能够支持多种说话人语音，中英文混合等。ChatTTS还能够预测和控制细粒度的韵律特征，如笑声、停顿和插话等，还能进行更细粒度的调整，如语速、音调和情感等。ChatTTS特点：对话式TTS: ChatTTS针对对话式任务进行了优化，实现了自然流畅的语音合成，同时支持多说话人。细粒度控制: 该模型能够预测和控制细粒度的韵律特征，包括笑声、停顿和插入词等。更好的韵律: ChatTTS在韵律方面超越了大部分开源TTS模型。同时提供预训练模型，支持进一步的研究。ChatTTS功能：多语言支持：ChatTTS 的主要功能之一是支持多种语言，包括英语和中文。这使得它能够服务广泛的用户并克服语言障碍。大数据训练：ChatTTS 已经使用大量数据进行了训练，大约有 1000 万小时的中文和英文数据。这种广泛的培训带来了高质量且自然的语音合成。对话框任务兼容性：ChatTTS 非常适合处理通常分配给大型语言模型 LLMs 的对话任务。它可以生成对话响应，并在集成到各种应用程序和服务中时提供更自然、更流畅的交互体验。开源计划：项目团队计划开源一个训练有素的基础模型。这将使社区的学术研究人员和开发人员能够进一步研究和开发该技术。控制和安全：团队致力于提高模型的可控性，添加水印，并与LLMs集成。这些努力保证了模型的安全性和可靠性。使用方便：ChatTTS 为其用户提供易于使用的体验。它只需要输入文本信息，即可生成相应的语音文件。这种简单性为有语音合成需求的用户提供了方便。ChatTTS可以用于哪些用途？ChatTTS可用于各种应用，包括大型语言模型助手的对话任务，生成对话语音，视频介绍，教育和培训内容语音合成，任何需要文本到语音功能的应用或服务。与其他文本转语音模型相比，ChatTTS有何独特之处？ChatTTS专为对话场景进行优化，特别适用于会话应用程序。它支持中文和英文，经过大规模数据集培训，以确保高质量、自然的语音合成。此外，计划开源基于40,000小时数据训练的基础模型使其与众不同，促进该领域的进一步研究和开发。ChatTTS Github开源下地地址：https://github.com/2noise/ChatTTS 相关资讯： 10款优秀的开源TTS语音模型推荐