Audio2Face

libcom简介 libcom是由上海交通大学BCMI实验室耗资数百万、历经六年时间研发的图像合成工具箱，它在2023年底正式发布，并迅速获得关注，截至2024年10月，其下载量已突破1.2万次。libcom集成了十余项图像合成功能，包括前景背景融合、光照匹配、阴影生成等，结合传统方法与深度学习技术，显著提升合成图像质量。libcom的推出，目的在于提供一个开箱即用的解决方案，让用户无需大量训练微调即可进行图像合成。libcom核心特点与功能：libcom的设计理念是全面覆盖图像合成的各个方面，它集成了十几项核心功能，每项功能都经过精心挑选和优化，以确保简单有效。get_composite_image：通过基础技术如剪切粘贴、alpha融合和泊松融合，实现前景与背景的自然结合。OPAScoreModel：评估合成图像的合理性，给出0到1的评分，帮助用户判断合成效果是否自然。FOPAHeatMapModel：生成热力图，指导用户找到最佳的前景物体放置位置和尺寸，提升合成图像的合理性。color_transfer：实现颜色迁移，帮助合成图像的前景与背景在色彩上更加和谐。ImageHarmonizationModel：通过调整光照，使前景与背景在视觉上更加一致，增强图像的和谐性。此外，libcom还提供了艺术图像和谐化、阴影生成等其他高级功能，以及一系列辅助资源，如awesome-image-composition资源库、在线演示（尽管可能不是最新模型）和一篇持续更新四年的综述文章，为图像合成领域的研究和应用提供了丰富的资料和工具。libcom应用领域：libcom工具箱广泛适用于虚拟现实、艺术创作、电子商务广告设计、以及作为数据增强工具来提升机器学习模型的训练质量等多个领域。如何使用Libcom进行图像合成？1.环境准备：确保你已经安装了Libcom工具箱。可以从其GitHub项目页面下载并安装。2.加载图像：准备好需要合成的前景图像和背景图像。确保前景图像有清晰的边界，以便后续处理。3.使用合成函数：Libcom提供了多个功能来实现图像合成，以下是一些常用的功能：get_composite_image：通过剪切、粘贴和融合技术将前景与背景合成。FOPAHeatMapModel：输入背景和前景，生成合理性分数热力图，帮助确定前景物体的最佳放置位置。ImageHarmonizationModel：调整前景光照，使其与背景和谐。4.执行合成：根据需要选择合适的模型进行合成。例如，使用get_composite_image函数可以直接将前景和背景合成，代码示例如下：composite_image = libcom.get_composite_image(foreground, background)5.评估合成效果：使用OPAScoreModel等模型评估合成后的图像质量，确保前景物体的位置和大小合理。可以通过以下代码获取分数：score = libcom.OPAScoreModel(composite_image, foreground_mask)6.后处理：如果需要，可以使用阴影生成模型（如ShadowGenerationModel）为合成图添加阴影，以增强真实感。7.保存结果：完成合成后，将结果保存为新图像文件，以便后续使用。libcom的推出不仅仅是图像合成技术的一次飞跃，更是开源社区的一大贡献。

长臂猿AIGC系统简介 长臂猿aiGC系统内置智能聊天对话机器人，AI绘图，AI模型训练，营销内容创作，企业虚拟AI员工等数十项AI功能，可以训练自己的AI机器人，不限制用户数量，支持源码私有化部署，可以用自己品牌掘金AI蓝海市。长臂猿AIGC系统提供基于AI的聊天机器人和AI绘图系统产品，多用户支持，源码程序私有化部署，自带分销功能。长臂猿AIGC系统功能：1、智能对话机器人以对话形式实现创作 客服等工作，并可以通过训练拥有自己的机器人2、AIGC系统内置多种训练模型，可以做所有文字类内容创作、图片创作和设计3、企业AI工作平台用AI驱动企业发展，提高人效，企业级AI系统基于大模型开发训练4、AI训练及开发专业技术团队提供各种基于AI的开发服务长臂猿AIGC系统演示地址：https://ai.changbiyuan.com/#/?org_id=1092&invite=64qTNpVtPi

Stirling-PDF简介 Stirling-PDF，一个基于Web强大的开源PDF操作工具。它使您能够对 PDF 文件执行各种操作，包括拆分、合并、转换、重组、添加图像、旋转、压缩等。Stirling-PDF非常注意安全，所有文件和 PDF 要么仅存在于客户端，要么仅在任务执行期间驻留在服务器内存中，要么仅临时驻留在文件中以执行任务。当完成任务后，用户上传的任何文件都将会从服务器中删除。Stirling-PDF特征：深色模式支持。自定义下载选项（例如，请参阅此处）并行文件处理和下载用于与外部脚本集成的 API可选的登录和身份验证支持（请参阅此处的文档）PDF 功能Stirling-PDF页面操作查看和修改 PDF - 通过自定义查看、排序和搜索查看多页 PDF。加上页面编辑功能，如注释、绘制和添加文本和图像。（将 PDF.js 与 Joxit 和 Liberation.Liberation 字体一起使用）用于合并/拆分/旋转/移动 PDF 及其页面的完整交互式 GUI。将多个 PDF 合并到一个生成的文件中。将 PDF 拆分为指定页码的多个文件，或将所有页面提取为单个文件。将 PDF 页面重新组织为不同的顺序。以 90 度的增量旋转 PDF。删除页面。多页布局（将 PDF 格式化为多页页面）。按设置百分比缩放页面内容大小调整对比度。裁剪 PDF。自动拆分 PDF（使用物理扫描的页面分隔符）。提取页面。将 PDF 转换为单个页面。转换操作将 PDF 与图像相互转换。将任何通用文件转换为 PDF（使用 LibreOffice）。将 PDF 转换为 Word/Powerpoint/其他（使用 LibreOffice）。将 HTML 转换为 PDF。URL 到 PDF。Markdown 转换为 PDF。安全与权限添加和删除密码。更改/设置 PDF 权限。添加水印。对 PDF 进行认证/签名。清理 PDF。自动编辑文本。其他操作添加/生成/写入签名。修复 PDF。检测并删除空白页。比较 2 个 PDF 并显示文本差异。将图像添加到 PDF。压缩 PDF 以减小其文件大小（使用 OCRMyPDF）。从 PDF 中提取图像。从扫描中提取图像。添加页码。通过检测PDF标题文本自动重命名文件。PDF 上的 OCR（使用 OCRMyPDF）。PDF/A 转换（使用 OCRMyPDF）。编辑元数据。拼合 PDF。获取 PDF 上的所有信息以查看或导出为 JSON。Stirling PDF 有 3 个不同的版本，完整版、精简版和超精简版。根据您使用的功能和空间大小来选择。

TryOnDiffusion简介 TryOnDiffusion是一种基于两个UNet的扩散架构，旨在生成穿在输入人物身上的服装的可视化效果图。该方法能够在保留服装细节的同时，适应显著的身体姿势和形状变化。TryOnDiffusion在定性和定量上都取得了最先进的性能，是一种非常有效的虚拟试衣技术。TryOnDiffusion 可以将两幅图片进行合成，帮照片中的人物更换不同的服饰。一张是展示某个人，另一张是展示另一个人所穿的服装——生成一张图像，展示这件服装可能在输入的人身上的样子。此前这类模型通常会存在缺乏服饰细节的缺点。传统的合成方法通常只能接受造型区别不大的两张图片，否则合成出来的新图片会出现服装变形严重的情况。而 TryOnDiffusion 利用一种被称为并行 UNet 的扩散式架构，让合成的照片可以在保留服饰细节的情况下适应人体的姿势以及形状变化。TryOnDiffusion特点：该模型使用扩散技术，展示不同体型和姿势的人穿着衣物的效果。新的ai模型能够生成高质量、逼真的试穿图像。该模型使用图像扩散和交叉注意力技术，而非文本输入。为了提高准确性，该模型使用Google购物图谱进行训练。虚拟试衣间功能现已支持Anthropologie、LOFT、H&M和Everlane等品牌的女士上衣。该功能将逐步扩展到更多品牌。目前没有开源。

AniPortrait简介 AniPortrait是一款由腾讯研究人员开发的音频驱动的肖像动画合成框架，它能够根据音频和静态人脸图片生成逼真的动态视频。AniPortrait的应用场景包括为视频配音或创作逼真的人脸动画、制作创意表情包或独特的动态头像以及为艺术家和创作者提供面部再现和动画生成的工具。AniPortrait功能特征：AniPortrait图片生成视频的功能特征主要包括以下几点：音频驱动的肖像动画合成：AniPortrait是一款能够根据音频和静态人脸图片生成逼真动态视频的工具，它通过提取音频中的3D面部表情来实现这一功能。用户友好性：使用AniPortrait非常简单，用户只需提供音频和人脸图片，即可生成符合特定要求的人脸动画。此外，用户还可以根据需要调整模型和权重配置，以实现个性化的动画效果。三维数据转换：AniPortrait会从音频中提取出三维的中间数据，并将这些数据转换成一连串的二维面部轮廓标记，为后续的人脸动画生成打下基础。高品质动画生成：该工具基于音频和一张参考人脸照片来生成高品质的动画，包括两个主要步骤：首先是从音频中提取三维中间数据，然后进行后续处理。AniPortrait应用场景：AniPortrait图片生成视频的应用场景主要包括以下几个方面：虚拟现实（VR）：AniPortrait可以为VR角色提供逼真的面部动画，增强用户的沉浸感。这意味着在虚拟现实环境中，用户可以通过更加自然和真实的面部表情来与虚拟角色互动，从而提升体验的真实性和互动性。视频游戏：在视频游戏中，AniPortrait的应用可以使得游戏角色的面部表情更加丰富和真实，提高游戏的吸引力和玩家的沉浸感。通过生成逼真的动态视频，可以使游戏角色的表情和反应更加自然，增加游戏的趣味性和互动性。音频驱动的动画合成：AniPortrait支持音频驱动的动画合成，这意味着它可以根据音频内容自动生成相应的面部动画，适用于需要根据特定音频内容生成相应表情或动作的场景。这种应用可以广泛应用于视频制作、电影特效等领域，使得角色的表情和动作更加符合音频内容，提高作品的表现力。高质量动画生成：AniPortrait能够生成高质量的动画，这使得它非常适合于需要高清晰度和细节表现的场合，如电影制作、广告视频等。通过高质量的动画生成，可以确保角色的表情和动作既逼真又细腻，满足专业级别的制作需求。与其他AI工具相比，如阿里推出的EMO，AniPortrait同样能够通过输入一张参考图片和语音音频，创造出生动的视频，展现出丰富的面部表情和多变的头部动作。然而，值得注意的是，AniPortrait比EMO更早开源，这表明腾讯在这一领域的技术创新和开放态度。总的来说，AniPortrait图片生成视频的技术主要依赖于音频和静态人脸图片的输入，通过先进的AI算法处理这些数据，生成逼真且与音频内容匹配的动态视频。这项技术不仅适用于社交媒体、艺术创作等领域，也展现了AI在图像处理和动画生成方面的强大能力。

Zero123简介 今天，我们发布了稳定版 Zero123，这是我们内部训练的模型，用于生成视图条件图像。与之前最先进的 Zero123-XL 相比，稳定的 Zero123 产生了显着改善的结果。这是通过 3 项关键创新实现的：1、改进的训练数据集，从 Objaverse 中大量过滤，只保留高质量的 3D 对象，我们渲染的对象比以前的方法更加真实。2、在训练和推理过程中，我们为模型提供了估计的摄像机角度。这种海拔调节使其能够做出更明智、更高质量的预测。3、预先计算的数据集（预先计算的潜在变量）和改进的数据加载器支持更高的批量大小，与第一个创新相结合，与 Zero123-XL 相比，训练效率提高了 40 倍。Zero123特征：稳定的 Zero123 可以生成物体的新颖视图，展示从各个角度对物体外观的 3D 理解，由于训练数据集和高程条件的改进，其质量比 Zero1-to-3 或 Zero123-XL 显着提高。该模型基于稳定扩散 1.5，消耗与 SD1.5 相同数量的 VRAM 来生成 1 个新视图。使用 Stable Zero123 生成 3D 对象需要更多时间和内存（建议使用 24GB VRAM）。为了实现 3D 对象生成方面的开放研究，我们改进了 Threestudio 开源代码的开源代码，以支持 Zero123 和 Stable Zero123。 Stable 3D 流程的简化版本目前处于私人预览阶段。从技术角度来说，这使用分数蒸馏采样 (SDS) 来使用稳定的 Zero123 模型来优化 NeRF，稍后我们可以从中创建纹理 3D 网格。该过程可以适用于文本到 3D 生成，首先使用 SDXL 生成单个图像，然后使用 Stable Zero123 生成 3D 对象。Zero123项目：https://github.com/cvlab-columbia/zero123Zero123试用：https://huggingface.co/spaces/cvlab/zero123-liveZero123论文：https://arxiv.org/abs/2303.11328该模型现已发布在 Hugging Face 上，研究人员和非商业用户可以下载并进行实验。

APISR简介 APISR是一个专注于动漫图像超分辨率的项目，旨在恢复和增强来自现实世界场景的低质量、低分辨率动漫图像和视频源。APISR支持多种上采样因子权重，如2x、4x等，以提高图像和视频的质量。APISR不仅支持动漫图像的超分辨率，还支持动漫视频，通过提升视频中每一帧的清晰度和质量，整个视频的视觉效果也会相应提升。并且用户可以实时与系统交互，根据自定义需求生成图像，强调了其灵感来源于动漫制作，目的是为了提升超高清图像的增强效果。APISR在线演示：huggingface.co/spaces/HikariDawn/APISRComfyUI-APISR：github.com/ZHO-ZHO-ZHO/ComfyUI-APISRAPISR技术特点：动漫图像和视频的超分辨率处理：APISR是一个专门针对动漫图像和视频的超分辨率工具，旨在通过先进的算法提升图像质量和分辨率。支持多倍放大：APISR提供了灵活的放大选项，支持2倍、4倍等不同级别的放大，以满足用户对高清动漫图像的需求。实时在线转换：利用APISR技术，用户可以通过在线平台快捷上传需要处理的动漫图片或视频，无需等待长时间处理，实现快速高清化。处理真实世界退化图像：特别设计算法来处理现实世界中遇到的各种图像退化问题，如模糊、噪声、压缩伪影等，有效改善动漫图像在实际应用场景中的表现。APISR的应用场景：APISR的应用场景主要集中在动漫爱好者对于高清放大动漫图片和视频的需求上，主要是针对动漫图像和视频的恢复和增强。它能够处理低质量、低分辨率的动漫图像和视频，通过超分辨率增强技术显著提高其分辨率和图像质量，旨在为用户提供更加清晰、高质量的视觉体验。APISR作为一个利用人工智能技术，特别是超分辨率技术，来改善和提升动漫图像及视频质量的工具或软件，通过模拟动漫制作过程中的视觉效果，对现实世界的低质量动漫图像和视频进行处理，以达到更高的视觉效果。

ComflowySpace简介 我们认为开源 ai 图像、视频生成工具值得有更好的交互体验设计，而不是 WebUI 和 ComfyUI 那样原生的样子。很多人不愿意学习或者参与到 AI 生成这个浪潮中，最关键的原因是工具门槛太高。而这正是 Comflowy 要解决的问题，为此我们开发了一款更易用 & 更有用的 AI 图像、视频生成工具 - ComflowySpace。ComflowySpace 的目标是让 ComfyUI & Stable Diffusion 成为普通人都能使用的产品，从下载安装到插件管理、工作流模板、流程编辑，每一个步骤都有良好的设计。Comflowyspace功能：安装更便捷安装 ComfyUI 操作繁琐之余，还常常会遇到各种奇奇怪怪的问题，最后导致安装失败。为了解决这个难题，ComflowySpace 提供了一键安装功能，让你可以在几分钟内完成安装。使用更高效ComflowySpace 提供了一个 workflow 管理功能，你可以在此查看你的所有历史 workflow。有了它，你不再需要手动导出保存 workflow。另外，我们还提供了多 tab 功能，让你可以同时打开和运行多个 workflow，提升多任务操作效率。搭建更简单在 ComflowySpace 中，你可以利用各种模板来搭建 workflow，从而使得搭建 workflow 更加简单和便捷。体验更友好我们优化了非常多的细节体验，让你的使用更加顺畅。同时，ComflowySpace 还和我们的教程打通，降低你的学习门槛。