DreaMoving

MotionAgent一站式视频生成工具简介 MotionAgent是一个能将用户创造的剧本生成视频的深度学习模型工具。用户通过我们提供的工具组合，进行剧本创作、剧照生成、图片/视频生成、背景音乐谱写等工作。其中，通义千问 -7B 模型可以帮助生成高质量的剧本内容，文本生成图片模型可以生成剧照，而核心模型 I2VGen-XL 可以将剧照转化为视频，最后音乐生成模型可以生成想要的音乐。通过 MotionAgent，用户可以将自己的创意轻松变成现实。MotionAgent功能特性1、剧本生成（Script Generation）用户指定故事主题和背景，即可生成剧本，剧本生成模型基于LLM（如Qwen-7B-Chat），MotionAgent可生成多种风格的剧本2、剧照生成（Movie still Generation）通过输入一幕剧本，MotionAgent即可生成对应的剧照场景图片3、视频生成（Video Generation）图生视频，支持高分辨率视频生成4、音乐生成（Music Generation）MotionAgent可自定义风格的背景音乐

AniPortrait简介 AniPortrait是一款由腾讯研究人员开发的音频驱动的肖像动画合成框架，它能够根据音频和静态人脸图片生成逼真的动态视频。AniPortrait的应用场景包括为视频配音或创作逼真的人脸动画、制作创意表情包或独特的动态头像以及为艺术家和创作者提供面部再现和动画生成的工具。AniPortrait功能特征：AniPortrait图片生成视频的功能特征主要包括以下几点：音频驱动的肖像动画合成：AniPortrait是一款能够根据音频和静态人脸图片生成逼真动态视频的工具，它通过提取音频中的3D面部表情来实现这一功能。用户友好性：使用AniPortrait非常简单，用户只需提供音频和人脸图片，即可生成符合特定要求的人脸动画。此外，用户还可以根据需要调整模型和权重配置，以实现个性化的动画效果。三维数据转换：AniPortrait会从音频中提取出三维的中间数据，并将这些数据转换成一连串的二维面部轮廓标记，为后续的人脸动画生成打下基础。高品质动画生成：该工具基于音频和一张参考人脸照片来生成高品质的动画，包括两个主要步骤：首先是从音频中提取三维中间数据，然后进行后续处理。AniPortrait应用场景：AniPortrait图片生成视频的应用场景主要包括以下几个方面：虚拟现实（VR）：AniPortrait可以为VR角色提供逼真的面部动画，增强用户的沉浸感。这意味着在虚拟现实环境中，用户可以通过更加自然和真实的面部表情来与虚拟角色互动，从而提升体验的真实性和互动性。视频游戏：在视频游戏中，AniPortrait的应用可以使得游戏角色的面部表情更加丰富和真实，提高游戏的吸引力和玩家的沉浸感。通过生成逼真的动态视频，可以使游戏角色的表情和反应更加自然，增加游戏的趣味性和互动性。音频驱动的动画合成：AniPortrait支持音频驱动的动画合成，这意味着它可以根据音频内容自动生成相应的面部动画，适用于需要根据特定音频内容生成相应表情或动作的场景。这种应用可以广泛应用于视频制作、电影特效等领域，使得角色的表情和动作更加符合音频内容，提高作品的表现力。高质量动画生成：AniPortrait能够生成高质量的动画，这使得它非常适合于需要高清晰度和细节表现的场合，如电影制作、广告视频等。通过高质量的动画生成，可以确保角色的表情和动作既逼真又细腻，满足专业级别的制作需求。与其他AI工具相比，如阿里推出的EMO，AniPortrait同样能够通过输入一张参考图片和语音音频，创造出生动的视频，展现出丰富的面部表情和多变的头部动作。然而，值得注意的是，AniPortrait比EMO更早开源，这表明腾讯在这一领域的技术创新和开放态度。总的来说，AniPortrait图片生成视频的技术主要依赖于音频和静态人脸图片的输入，通过先进的AI算法处理这些数据，生成逼真且与音频内容匹配的动态视频。这项技术不仅适用于社交媒体、艺术创作等领域，也展现了AI在图像处理和动画生成方面的强大能力。

Beeble AI简介 Beeble ai和纽约大学一起发布的论文，支持一非常低的成本让人物同虚拟环境的光照相融合，效果看起来非常好。使用 Beeble AI 的 SwitchLight 体验 AI Relighting 的强大功能。毫不费力地改变图像和视频中的照明，实现超逼真的效果。使用 Beeble AI 的创新技术，通过逼真的灯光效果增强您的创作。什么是 Beeble Al?Beeble A!是一个尖端的虚拟制片平台，利用人工智能的力量使用户能够实现逼真的图像合成。它采用复杂的 AI模型来重新照亮图像，提供三种主要方法来实现这一目标：HDRI：Beeble 利用高动态范围图像 (HDRI) 重新照亮图像，捕捉场景中的全范围光线。人像：通过使用人像图像，Beeble 将照明从一个场景转移到另一个场景，提供无缝的照明调整。自定义：Beeble 还允许用户使用自定义照明设置来重新照亮图像，从而提供最大的灵活性。Beeble A的特点:逼真的重新照明：Beeble 的 A模型提供了令人惊叹的逼真图像重新照明，使生成的图像看起来就像是在新的照明条件下捕获的一样。通用用例：Beeble 适用于广泛的应用，包括虚拟制片、图像合成和 VFX工作，为专业人士提供充足的创作机会。用户友好的界面：Beeble 的平台易于使用，使用户能够毫不费力地上传他们的图像，选择所需的照明条件，并生成逼真的重新照明图像。BeebleAl的应用：虚拟制片:Beeble 使用户能够创建逼真的虚拟制片，提供看似在真实世界地点拍摄的场景。图像合成:借助 Beeble 的图像合成功能，用户可以无缝地合并来自不同场景的元素，从而产生迷人的视觉合成。视觉特效工作:Beeble帮助视觉特效艺术家生成超逼真的特效，为他们的创作增添了额外的真实性。如何使用Beeble Ai?1、上传图片：首先将您希望重新点亮的图片上传到 Beeble 的平台。2、照明选择：从可用选项(HDRI、纵向或自定义照明)中选择所需的照明条件。3、点击“重新点亮”：通过单击“重新点亮"按钮启动 Ai重新点亮过程。4、逼真的效果：见证您的图像在逼真的照明下被转换，产生令人信服和专业的最终结果。Beeble AI由位于韩国首尔的人工智能研究人员专门团队开发，拥有丰富的人工智能研究经验以及在顶级人工智能会议上发表文章的经验，Beeble AI 旨在通过提供基于人工智能的创新解决方案来释放人类的创造潜力 。

Sora.FM简介 Sora.FM 是用于生成 Sora ai 视频的开源 Web 模板，使用 nextjs 创建。生成视频的接口暂时 Mock，等 Sora API 发布后可快速替换上线。 支持数据读写，可以把全网收集到的Sora视频更新到DB，先做一个 Sora Showcase 网站跑流量。开发者：idoubi艾逗笔，前腾讯高级工程师，微信后台开发；现自由职业。之前开发的一个《AI Cover 红包封面生成器》受到很多人的欢迎。Github开源地址：https://github.com/all-in-aigc/sorafm类似的一个Sora生成器开源模板：SoraWebui

Audio2Photoreal简介 Meta ai最近发布了一项炸裂的技术：Audio2PhotoReal，从音频生成全身逼真的虚拟人物形象。它可以从多人对话中语音中生成与对话相对应的逼真面部表情、完整身体和手势动作。这些生成的虚拟人物不仅在视觉上很逼真，而且能够准确地反映出对话中的手势和表情细节，如指点、手腕抖动、耸肩、微笑、嘲笑等。Audio2PhotoReal工作原理：Audio2PhotoReal结合了向量量化的样本多样性和通过扩散获得的高频细节的优势，以生成更具动态性和表现力的动作。1、数据集捕获：首先捕获了一组丰富的双人对话数据集，这些数据集允许进行逼真的重建。2、运动模型构建：项目构建了一个包括面部运动模型、引导姿势预测器和身体运动模型的复合运动模型。3、面部运动生成：使用预训练的唇部回归器处理音频，提取面部运动相关的特征。利用条件扩散模型根据这些特征生成面部运动。4、身体运动生成：以音频为输入，自回归地输出每秒1帧的向量量化（VQ）引导姿势。将音频和引导姿势一起输入到扩散模型中，以30帧/秒的速度生成高频身体运动。5、虚拟人物渲染：将生成的面部和身体运动传入训练好的虚拟人物渲染器，生成逼真的虚拟人物。6、结果展示：最终展示的是根据音频生成的全身逼真虚拟人物，这些虚拟人物能够表现出对话中的细微表情和手势动作。Audio2Photoreal项目地址：https://github.com/facebookresearch/audio2photoreal/Audio2Photoreal论文地址：https://arxiv.org/pdf/2401.01885.pdf

CodeFormer简介 CodeFormer，超强的ai 视频去码、图片修复，人脸修复神器，它的功能包括人脸清晰化修复、人脸色彩化和人脸去马赛克，可以应用于各种场景。由南洋理工大学 S-Lab 开发。它通过网络架构实现了人脸的变换，包括色彩化、清晰化、去马赛克修复等功能。官方给出的测试对比图显示其修复效果非常出色。测试该工具非常简单，只需下载源码并安装 Pytorch 框架即可。通过命令行输入不同的参数，可以进行人脸清晰化修复、人脸色彩化和人脸去马赛克操作。然而，人脸去马赛克算法只支持白色遮挡，其他颜色则不支持，这可能是该工具的一个缺点。Github 4.8k Stars! | CodeFormer: 地表最强AI马赛克去除神器! (附实战教程) 相关资讯： 如何使用CodeFormer修复老旧照片和去除马赛克？

RMBG-2.0简介 RMBG-2.0是由BRIA ai开发的开源图像背景移除模型，它通过卷积神经网络（CNN），来实现高精度的前景与背景分离。RMBG-2.0模型在精心挑选的数据集上进行了训练，包括：一般图像、电子商务、游戏和广告内容，使其适用于支持大规模企业内容创建的商业用例。其准确性、效率和多功能性目前可与领先的 Source Available 型号相媲美。RMBG-2.0主要功能：高精度背景移除：能够准确地从各种类型的图像中分离前景对象。商业用途支持：适用于电子商务、广告设计和游戏开发等领域，支持大规模的企业级内容创作。云服务器无关架构：设计灵活，可以在不同的云平台和服务器上运行，便于扩展。多模态归因引擎：通过处理多种类型的数据（如图像与文本），增强模型的泛化能力，提高背景移除的准确性。数据训练平台：支持大规模数据训练，持续提升模型性能。RMBG-2.0技术原理与特性：深度学习基础：基于深度学习，尤其是CNN，来识别和分离前景与背景。数据训练：在大量标注数据上训练，学习精确的前景背景区分。多模态处理：利用多模态数据提高模型理解图像内容的能力。云无关性：确保模型的部署不依赖特定云环境，增加灵活性。数据烘焙：通过数据增强和预处理，提升模型对新场景的适应性和鲁棒性。RMBG-2.0如何使用？使用该模型只需简单的Python库调用，使用者可以方便地对图像进行背景去除，例如，通过Hugging Face的库加载模型，并进行图像预处理，即可实现背景移除。用户需要安装torch、torchvision、pillow、kornia和transformers等依赖库。RMBG-2.0许可与应用：RMBG-2.0以Creative Commons许可供非商业使用，商业应用需与BRIA签订协议。相比于前代版本，RMBG-2.0的准确率显著提升，从73.26%增加到90.14%，超越了一些知名的商业工具，如remove.bg。

InvokeAI简介 什么是 Invokeai？InvokeAI 是一个开源项目，它提供了一个简化的过程，具有各种新功能和选项，以帮助使用 Stable Diffusion 模型生成图像过程。稳定扩散模型是一种生成模型，可以从文本或图像提示生成逼真的图像。InvokeAI 支持文本到图像和图像到图像生成，以及各种图像处理任务，例如修复、外绘制、嵌入等。InvokeAI 可在 Windows、Mac 和 Linux 机器上运行，并在低至 4 GB 或 RAM 的 GPU 卡上运行。它提供了行业领先的 Web 界面、交互式命令行界面，并且还充当了多种商业产品的基础。InvokeAI 能做什么？InvokeAI 可以使用最新的 AI 驱动技术生成和创建令人惊叹的视觉媒体。以下是您可以使用 InvokeAI 执行的操作的一些示例：- 从文本提示生成逼真的图像，例如“一条蓝龙飞越城堡”或“一只戴着帽子的可爱猫”。- 根据图像提示生成逼真的图像，例如草图、照片或绘画。- 以各种方式处理图像，例如修复（填充缺失的部分）、外绘（扩展图像）、放大（提高分辨率）等。- 合并多个模型以创建新的和多样化的图像。- 使用文本反转或变体训练您自己的模型。- 使用概念库访问预定义的概念和属性以生成图像。- 使用后处理来提高生成图像的质量和多样性。- 使用 NSFW 检查器过滤掉不适当的图像。如何开始使用 InvokeAI？开始使用 InvokeAI 非常简单。您可以根据自己的偏好和系统要求从不同的安装选项中进行选择。您可以使用自动安装程序、手动安装指南、docker 安装指南或源安装程序。您还可以在其 GitHub 页面或其网站上找到有关如何使用 InvokeAI 的详细文档。安装 InvokeAI 后，您可以开始使用最新的 AI 驱动技术生成和创建令人惊叹的视觉媒体。您可以使用 Web Interface 访问用户友好的图形界面，该界面允许您与 InvokeAI 的模型和功能进行交互。您还可以使用命令行界面访问功能强大且灵活的界面，该界面允许您自定义调用和脚本。您可以在文档页面上找到有关如何使用这两个接口的示例和教程。InvokeAI 是一个开源项目，欢迎任何有兴趣开发和改进它的人做出贡献。您可以加入 Discord 服务器以与其他开发人员和用户联系、报告错误、请求功能、分享想法并获得帮助。您还可以查看 GitHub 页面以查看源代码、提交拉取请求或分叉项目。InvokeAI 是 Stable Diffusion 模型的领先创意引擎，它使专业人士、艺术家和爱好者能够使用最新的 AI 驱动技术生成和创建视觉媒体。如果你有兴趣与人工智能共同创造，我鼓励你尝试一下InvokeAI，看看你能用它创造出什么令人惊奇的东西。InvokeAI优点：这是一个开源项目，它为使用 Stable Diffusion 模型生成高质量图像提供了简化的过程。它提供了行业领先的 Web 界面、交互式命令行界面，并且还作为多种商业产品的基础。它支持低至 4 GB RAM 的 GPU 卡，可在 Windows、Mac 和 Linux 机器上运行。它具有各种功能和选项来帮助图像生成过程，例如修复、出彩、模型合并、后处理、变化等。它有一个庞大而活跃的开发人员和用户社区，他们为项目做出贡献并提供反馈和支持。