LivePortrait

Whisper语音识别模型简介 Whisper 是Openai 开源音频转文字的语音识别模型。它在不同音频的大型数据集上进行训练，也是一个多任务模型，可以执行多语言语音识别以及语音翻译和语言识别。Whisper有五种模型尺寸，提供速度和准确性的平衡，其中English-only模型提供了四种选择。下面是可用模型的名称、大致内存需求和相对速度。

Media2Face简介 在人工智能领域，从语音中创建准确的面部唇部动作一直是一个持续的挑战。然而，突破已经到来——Media2Face。Media2Face是通过音频、文本和图像多模态引导的共语言面部动画生成工具。它利用音频、文本和图像输入的引导来自然地模仿人类语言，引入了广义神经参数面部资产 （GNPFA）。这是一种高效替在空间，从而解耦表情和身份。然后，我们利用GNPFA从大量视频中提的变分自动编码器，可将面部几何形状和图像映射到高度广义的表情取高质量的表情和准确的头部姿势。由于高质量的 4D 面部数据有限，从语音合成 3D 面部动画面临着挑战。然而，借助 Media2Face，现在可以从任何音频、图像或文本输入无缝生成逼真且富有表现力的面部动画。Media2Face能够根据声音来生成与语音同步的、表现力丰富的3D面部动画。同时允许用户对生成的面部动画进行更细致的个性化调整，如情感调整，“快乐”或“悲伤”等。Media2Face还能理解多种类型的输入信息（音频、文本、图像），并将这些信息作为生成面部动画的指引。Media2Face实际应用：创造对话场景：根据你写的剧本，电脑可以生成人物对话的动画场景。制作风格化的面部动画：你可以给电脑一个表情符号，它就能根据这个符号创造出动画。情感歌唱：电脑还能根据不同的语言唱歌，表现出对应的情感。个性化动画：最神奇的是，这个项目能够创造出符合不同人种、年龄和性别的个性化面部动画。影视制作公司使用Media2Face生成影片中虚拟人物的面部动画。虚拟主持平台利用Media2Face实现虚拟主持的面部表情生成。游戏开发公司在虚拟角色设计中应用Media2Face进行面部动画生成。Media2Face是如何工作的？Media2Face项目的工作原理涉及几个关键技术和步骤，使其能够从语音合成出具有丰富表情和情感的3D面部动画。下面是该项目的主要工作流程：1. 通用神经参数化面部资产（GNPFA）：首先，研究团队创建了一个特殊的工具（叫做GNPFA），它就像一个大型的面部表情数据库。无论你想要什么样的表情，这个工具都能帮你找到，并且还能确保每个人的面部动画都独一无二，不会和别人混淆。这个过程实现了表情和身份的解耦，即能够在不同的身份之间转换相同的表情。然后，他们用这个工具处理了很多视频，从中提取出了高质量的表情和头部动作。这样就创建了一个巨大的数据集，里面包含了各种各样的面部动画和对应的情感、风格标签。2. 多模态引导的动画生成：Media2Face采用一个扩散模型在GNPFA的潜在空间中进行动画生成，这个模型能够接受来自音频、文本和图像的多模态引导。模型将音频特征和CLIP潜在代码作为条件，与表情潜在代码序列的噪声版本以及头部运动代码（即头部姿势）一起去噪。条件被随机掩蔽，并通过与噪声头部运动代码的交叉注意力进行处理。3. 表情和头部姿势生成：利用GNPFA从大量视频中提取高质量的表情和准确的头部姿势。这呈现了 M2F-D 数据集，这是一个大型、多样化和扫描级别的共同语音3D面部动画数据集，具有注释良好的情感和风格标签。4.表情和风格微调：通过表情编码器提取关键帧表情潜在代码，并通过CLIP提供每帧的风格提示，如“快乐”或“悲伤”，用户可以调整动画的强度和控制范围。通过以上这些技术步骤，Media2Face能够生成与语音同步的、表现力丰富的3D面部动画，支持复杂的情感表达和风格变化，为创建虚拟角色和增强AI数字人的交互体验提供了强大工具，大量实验表明，Media2Face不仅在面部动画合成中实现了高保真度，而且拓宽了3D面部动画的表现力和风格适应性。

CustomNet简介 CustomNet旨在更好地将指定物品的图片融合到新生成的图片中，并确保原物品的样式和纹理细节得以还原。这项技术给商品图融合带来了一线生机。在文本到图像的生成过程中，将自定义对象纳入图像生成是一个极具吸引力的功能。然而，现有的基于优化和基于编码器的方法都存在一些缺陷，如优化耗时长、标识保存不足以及复制粘贴效应普遍存在等。为了克服这些局限性，我们引入了 CustomNet，这是一种新颖的对象定制方法，它将三维新颖视图合成功能明确纳入对象定制流程。这种整合有助于调整空间位置关系和视角，在有效保留对象特征的同时产生多样化的输出。此外，我们还引入了微妙的设计，通过文本描述或特定的用户自定义图像实现位置控制和灵活的背景控制，克服了现有三维新颖视图合成方法的局限性。我们还进一步利用数据集构建管道，更好地处理现实世界中的物体和复杂背景。有了这些设计，我们的方法无需进行测试时间优化就能实现零镜头对象定制，同时提供对位置、视点和背景的控制。因此，我们的自定义网络可确保增强的身份保护，并生成多样、和谐的输出。CustomNet 能够在一个统一的框架内同时控制视角、位置和背景，从而在有效保留物体特征和纹理细节的同时，实现和谐的定制图像生成。背景生成可以通过文本描述（"生成 "分支）或提供特定的用户自定义图像（"合成 "分支）来控制。

Farfalle简介 Farfalle.dev 是一个开源 ai 驱动的答案AI搜索引擎，定位为 Perplexity 的自托管替代品。它允许用户运行本地大型语言模型 (LLMs)，例如 llama3、gemma、mistral 和 phi3，或通过 LiteLLM 使用自定义 LLMs。此外，它还支持 Groq/Llama3 和 OpenAI 的 GPT-4 和 GPT-3.5-turbo 2 4 等云模型。Farfalle主要特征：搜索提供商：Farfalle 与多个搜索提供商集成，包括 Tavily、Searxng、Serper 和 Bing 2。本地和云模型：用户可以使用本地模型（llama3、mistral、gemma、phi3）或云模型（OpenAI/gpt4-o、OpenAI/gpt3.5-turbo、Groq/Llama3）回答问题2。自定义LLMs：通过LiteLLM，Farfalle支持自定义LLMs，增强其灵活性2。技术堆栈：前端使用 Next.js 构建，后端使用 FastAPI 构建。它还使用 Redis 进行速率限制，使用 Logfire 进行日志记录 2。部署选项：Farfalle 可以使用 Docker 或在 Render 和 Vercel 2 4 等平台上部署。Farfalle入门：要在本地开始使用 Farfalle：先决条件：如果运行本地模型，请确保安装了 Docker 和 Ollama。API 密钥：获取 Tavily、Serper、OpenAI、Bing 和 Groq 等可选服务的 API 密钥。运行命令：dockerrun\-p8000:8000-p3000:3000-p8080:8080\--add-host=host.docker.internal:host-gateway\ghcr.io/rashadphz/farfalle:main访问 http://localhost:3000 访问应用程序 .Farfalle源代码可在 GitHub上获取。https://github.com/rashadphz/farfalle

SoraWebui简介 SoraWebui 是一个开源 Web 平台，使用户能够使用 Openai 的 Sora 模型从文本生成视频。SoraWebui简化了视频创建过程，支持在Vercel上进行一键部署，让开发者能够方便地进行使用和测试。使用 SoraWebui，任何人都可以通过简单地输入文本来创建视频，使其成为视频制作和 AI 技术专业人士和爱好者的可访问工具。如何使用 SoraWebui?1、对于普通用户：要使用 SoraWebui，只需访问网站并按照提供的说明进行操作。您通常会找到一个用户友好的界面，您可以在其中输入要创建的视频的文本描述。提交您的描述后，SoraWebui 将使用 OpenAI Sora 模型为您生成视频。视频准备好后，您可以直接在网站上观看并下载供您使用或分享。2、对于网站所有者或开发人员：作为网站所有者或开发人员，您可以按照项目文档中提供的部署说明在自己的平台上部署 SoraWebui。部署后，您可以自定义界面以匹配您网站的品牌，并将其无缝集成到您现有的平台中。您可能还想探索 SoraWebui 提供的其他特性和功能，例如用于自动视频生成的 API 集成或用于控制对服务访问的用户管理工具。总体而言，SoraWebui 提供了一个强大的工具，用于增强您网站的功能并为用户提供独特的视频创作体验。据悉，尽管目前尚无Sora API可用，但开源项目SoraWebui已通过模拟DALL-E3的API接口字段实现。这使得开发者能够提前深入探索该项目，掌握其实现机制和功能亮点，大家如果自己要开发，也可以先基于 FakeSoraAPI ，把整个业务流程走通，等到 Sora 官方 API 上线之后就可以第一时间做一些小改动，就能够让自己的产品可以使用，为Sora未来上线做好充分的开发准备。

易魔声EmotiVoice简介 易魔声EmotiVoice是一个强大的开源TTS引擎，支持中英文双语，包含2000多种不同的音色，以及特色的情感合成功能，支持合成包含快乐、兴奋、悲伤、愤怒等广泛情感的语音。易魔声EmotiVoice提供一个易于使用的web界面，还有用于批量生成结果的脚本接口。当前的实现侧重于通过提示控制情绪/风格。易魔声EmotiVoice只使用音高、速度、能量和情感作为风格因素，而不使用性别。但是将其更改为样式、音色控制并不复杂，类似于PromptTTS的原始闭源实现。所有用户可免费在开源社区GitHub进行下载使用，并通过提供的 web 界面和批量生成结果的脚本接口实现音色的情感合成与应用。

UniVG简介 百度UniVG是一种统一模式ai视频生成系统，能够以文本和图像的任意组合作为输入条件进行视频生成。UniVG系统由百度团队开发，解决现有视频生成模型在处理单一任务或单一目标时的局限性。UniVG开源地址：https://univg-baidu.github.io/UniVG主要功能和特点：高自由度视频生成：使用多条件交叉注意力机制，根据输入的图像或文本生成与语义一致的视频。低自由度视频生成：引入偏置高斯噪声替代完全随机的高斯噪声，以更好地保留输入条件的内容。多任务处理：系统内的视频生成模型被重新划分为高自由度生成和低自由度生成两类，分别适用于不同的生成任务。扩散模型：基于扩散的视频生成方法，在学术和工业界取得了显著成功。UniVG应用场景和优势：灵活输入：用户可以灵活地输入图像和文本条件，单独或组合使用，满足实际应用场景的需求。高质量输出：在MSR-VTT数据库上实现了最低的FVD（Fréchet Video Distance），在人类评估中超过了当前开源方法，并与现有闭源方法Gen2相当。多样化任务：支持文本到视频、图像到视频以及文本和图像结合到视频等多种视频生成任务。UniVG作为一个强大的工具，它通过整合文本和图像输入，推动了视频生成技术向更灵活、更高质量的方向发展，为内容创作、广告、娱乐等多个领域提供更大的推广思路。

DragGAN简介 近日，来自 Google 的研究人员与 Max Planck 信息学研究所和麻省理工学院 CSaiL 一起，发布了一个名为 DragGAN 的图像编辑工具。这是一个非常直观的图像编辑工具，用户只需要控制图像中的像素点和方向，就可以让图像变形。通过DragGAN，任何人都可以通过精确控制像素的位置来变形图像，从而操纵不同类别的姿势、形状、表情和布局。DragGANHugging Face地址:https://huggingface.co/papers/2305.10973DragGAN官方示例网址:https://vcai.mpi-inf.mpg.de/projects/DragGAN/DragGANgithub网址:https://github.com/XingangPan/DragGAN DragGAN在producthunt网址：https://www.producthunt.com/posts/draggan