XHS-Downloader

ComflowySpace简介 我们认为开源 ai 图像、视频生成工具值得有更好的交互体验设计，而不是 WebUI 和 ComfyUI 那样原生的样子。很多人不愿意学习或者参与到 AI 生成这个浪潮中，最关键的原因是工具门槛太高。而这正是 Comflowy 要解决的问题，为此我们开发了一款更易用 & 更有用的 AI 图像、视频生成工具 - ComflowySpace。ComflowySpace 的目标是让 ComfyUI & Stable Diffusion 成为普通人都能使用的产品，从下载安装到插件管理、工作流模板、流程编辑，每一个步骤都有良好的设计。Comflowyspace功能：安装更便捷安装 ComfyUI 操作繁琐之余，还常常会遇到各种奇奇怪怪的问题，最后导致安装失败。为了解决这个难题，ComflowySpace 提供了一键安装功能，让你可以在几分钟内完成安装。使用更高效ComflowySpace 提供了一个 workflow 管理功能，你可以在此查看你的所有历史 workflow。有了它，你不再需要手动导出保存 workflow。另外，我们还提供了多 tab 功能，让你可以同时打开和运行多个 workflow，提升多任务操作效率。搭建更简单在 ComflowySpace 中，你可以利用各种模板来搭建 workflow，从而使得搭建 workflow 更加简单和便捷。体验更友好我们优化了非常多的细节体验，让你的使用更加顺畅。同时，ComflowySpace 还和我们的教程打通，降低你的学习门槛。

VideoDoodles简介 VideoDoodles是一款能在视频中轻松任意插入手绘动画并与视频内容无缝融合的ai工具，它将视频内容与手绘动画相结合，制作出独特的视频剪辑。通过VideoDoodles你可以在视频中添加手绘涂擦动画，比如你可以画个搞笑的小人或者别 的手绘元素插入到视频中，让视频更吸引人。这些动画不仅能跟随视频中的物体移动，还能自动调整大小和角度。VideoDoodles主要挑战在于确保手绘动画能完美集成到捕获的场景中，当它们相对于相机和场景中的其他对象移动时进行适当的跟踪、透视变形和遮挡。VideoDoodles引入了一种新颖的 UI 和跟踪算法，以解锁通过深度和运动数据（通过现有计算机视觉方法获得）增强的视频的新版本功能。根据通过任意数量的位置和方向关键帧表达的用户意图，VideoDoodles的算法可以通过正确的遮挡、透视变换在视频的任何帧渲染场景感知画布，并使画布跟随移动对象。使得插入的绘画能够自然地融入视频场景，实现追踪、透视变形和遮挡等复杂视觉效果。VideoDoodles 的主要功能：场景感知画布：VideoDoodles让用户可以将平面画布放置在从视频重建的 3D 场景中。这些画布以 3D 方式进行跟踪，然后手绘动画在相对于相机和场景中的其他对象移动时保持正确的透视和遮挡。自定义跟踪算法：VideoDoodles可将画布锚定到视频中的静态或动态对象。这确保画布移动和旋转以跟随这些对象的位置和方向，使动画显示为捕获场景的一部分。用户界面易用：VideoDoodles提供 2D 图像空间 UI，用户可以通过关键帧控制画布的位置和方向。系统通过跟踪视频1中移动对象的运动来插入这些关键帧。深度和运动数据集成：VideoDoodles 利用通过现有计算机视觉方法获得的深度和运动数据来增强动画的真实感。这种集成允许通过正确的遮挡和透视变换准确渲染场景感知画布。VideoDoodles 的应用：娱乐：通过添加与现实世界镜头交互的动画元素来创建有视觉吸引力的视频内容。教育：通过说明性动画增强教育视频，有助于更有效地解释复杂的概念。增强讲故事能力：VideoDoodles 可用于在真人镜头中添加异想天开或说明性元素，从而增强叙事和视觉吸引力。创意广告：品牌可以使用 VideoDoodles 来创建独特的广告，通过将现实世界的镜头与动画元素相结合来让广告更有吸引力。VideoDoodles 通过实现手绘动画与视频内容片段的无缝融合，从而轻松地生成独特有趣的交互式视频视觉内容，从而增强讲故事、教育、营销、社交媒体内容创作的用户体验。

MagicEdit 简介 MagicEdit 是字节跳动的一款视频编辑工具，它可以高保真度和时间连贯性地编辑视频，通过学习明确区分外观和动作，实现高质量的视频编辑，对视频内容和流畅度的控制更加精细。MagicEdit有多种编辑应用，包括视频风格化、局部编辑、视频混合和视频扩展等功能。MagicEdit 可以让用户可以将源视频转换为具有特定风格的新视频，也可以对视频进行局部修改，或者通过视频混合功能创造出新概念，MagicEdit还支持视频扩展功能，可以在不重新训练的情况下进行视频扩展任务。同时，MagicEdit 还提供了方便的素材管理功能，让用户可以轻松组织和复用素材。整个编辑过程流畅快速，让用户可以更高效地完成视频编辑任务。MagicEdit功能:视频造型 - 将源视频转换成新风格或场景的视频局部编辑 - 局部修改视频而保持其他区域不变视频混合 - 混合两个不同概念的视频创造新概念视频扩充 - 不需要重新训练即可实现视频扩充

DreamTalk简介 DreamTalk，一个由清华大学、阿里巴巴和华中科大共同开发的一个基于扩散模型可以让人物照片说话，支持包括歌曲、多种语言的语音、嘈杂的音频在内的各种声音匹配让人物头像说话的框架。DreamTalk演示地址：https://dreamtalk-project.github.ioDreamTalk项目地址：https://dreamtalk-project.github.io/DreamTalk论文地址：https://arxiv.org/abs/2312.09767DreamTalk使用场景：使用 DreamTalk 生成具有多样化语言和表情风格的说话人脸应用 DreamTalk 在影视制作中实现逼真的虚拟角色表情动作使用 DreamTalk 在人机交互场景中实现自然的面部表情和嘴唇运动DreamTalk功能：具体来说，DreamTalk 由三个关键组件组成：降噪网络、风格感知唇部专家和风格预测器。基于扩散的降噪网络能够在不同的表情中一致地合成高质量的音频驱动的面部运动。为了提高嘴唇动作的表现力和准确性，我们引入了一位具有风格意识的嘴唇专家，可以在注意说话风格的同时指导嘴唇同步。为了消除对表情参考视频或文本的需求，使用额外的基于扩散的样式预测器直接从音频中预测目标表情。1、去噪网络：这是核心组件之一，负责生成音频驱动的面部动作。去噪网络使用扩散模型来逐步去除噪声，从而生成清晰、高质量的面部表情。这个过程涉及从带有噪声的数据中逐步恢复出清晰的面部动作。2、风格感知的嘴唇专家：这个组件专注于提高嘴唇动作的表现力和准确性。它通过分析说话风格来引导嘴唇同步，确保生成的动画既自然又符合说话者的风格。3、风格预测器：为了消除对表情参考视频或文本的依赖，DreamTalk引入了一个基于扩散的风格预测器。这个预测器可以直接从音频预测目标表情，无需额外的表情参考视频或文本。4、音频和视频处理：处理音频输入，提取关键的音频特征，并将这些特征用于驱动面部动画。同时，它还能处理视频输入，以提取和模仿特定的表情和风格。5、数据和模型训练：为了实现这些功能，DreamTalk需要大量的数据来训练其模型，包括不同表情和说话风格的面部动画数据。通过这些数据，模型学习如何准确地生成与输入音频匹配的面部动作。DreamTalk可以利用强大的扩散模型有效地生成富有表现力的面孔，并减少对昂贵的风格参考的依赖。实验结果表明，DreamTalk能够生成具有不同说话风格的逼真的说话面孔，并实现准确的嘴唇动作，超越了现有的最先进的同类产品。DreamTalk不仅能够处理和生成它在训练过程中见过的面部类型和表情，还能有效处理和生成它之前未见过的、来自不同数据集的面部类型和表情。包括不同种族、年龄、性别的人物肖像，以及各种不同的表情和情绪。

YOLO-World简介 YOLO-World，腾讯ai实验室开发的一个实时目标检测工具，它能够自动识别和定位图像中的各种对象。YOLO-World在速度和准确性方面都优于许多最先进的方法。YOLO-World 是下一代 YOLO 检测器，旨在实时开放词汇目标检测。YOLO-World在大规模视觉语言数据集（包括Objects365、GQA、Flickr30K和CC3M）上进行了预训练，这使得YOLO-World具有强大的零样本开放词汇能力和图像落地能力，无需训练即可进行实时目标检测，即便某些物品之前没有见过，YOLO-World适用于物体检测和开放词汇实例分割。YOLO-World功能特点：1、大规模学习：YOLO-World通过学习大量的图片和对应的描述（如物品名称），获得了丰富的视觉知识和语言知识，这使得它能识别出广泛的物品。该项目在包括Objects365、GQA、Flickr30K和CC3M在内的大规模视觉-语言数据集上进行了预训练，赋予了YOLO-World强大的零样本开放词汇能力和图像中的定位能力。2、快速准确：YOLO-World在LVIS数据集上的零样本评估中达到了35.4 AP，并且在V100上的处理速度为52.0 FPS，速度和准确性均超过许多最先进的方法。即使是在包含复杂场景的图片中也能保持高准确率。YOLO-World 声称比 GroundingDINO 快 20 倍。3、零样本检测：最令人印象深刻的是，即便某些物品YOLO-World之前没有见过，它也能凭借先前的学习和理解能力，通过图片中的线索和上下文信息，成功识别和定位这些新物品，这意味着我们不必训练它来让它检测新的一类物体。我们只需要给出类名作为输入文本提示，模型将返回这些对象的边界框（如果存在）。4、理解物体：YOLO-World不仅依靠视觉信息，还结合了语言信息。它理解人类的语言描述，这让它能够识别出即使是之前没有直接见过的物体。5、与现有的开放词汇检测方法相比，YOLO-World模型至少快 20 倍。每秒可以处理大约 52 帧。6、在LVIS对象检测数据集上设置了最先进的新数据集。

HiDiffusion简介 HiDiffusion大幅提升扩散模型的图像生成质速度提升6倍，由字节跳动的研究团队开发，HiDiffusion无需训练，只需要一行代码就可以提高 SD 生成图像的清晰度和生成速度。支持将图像生成的分辨率提高至4096×4096，同时将图像生成速度提升1.5至6倍。还能在高分辨率图像生成中将推理时间减少 40%-60%，支持所有 SD 模型同时也支持 SD 模型的下游模型，比如Playground。HiDiffusion功能特征：支持的模型： HiDiffusion 支持多种稳定扩散模型，包括 Stable Diffusion XL、Stable Diffusion XL Turbo、Stable Diffusion v2 和 Stable Diffusion v1。此外，它还支持基于这些模型的下游扩散模型，如 Ghibli-Diffusion 和 Playground 等。支持的任务： HiDiffusion 支持多种任务，包括文本到图像的生成、ControlNet 控制网络任务和Inpainting 图像修复。易于使用： 通过Huggface Diffusers库，使用 HiDiffusion 生成图像极为简单，只需添加一行代码即可。通过广泛的实验验证，HiDiffusion不仅解决了对象重复和高计算负荷的问题，还在生成高分辨率图像的任务上达到了前所未有的效果。HiDiffusion测试地址：https://huggingface.co/spaces/multimodalart/HiDiffusion

Stirling-PDF简介 Stirling-PDF，一个基于Web强大的开源PDF操作工具。它使您能够对 PDF 文件执行各种操作，包括拆分、合并、转换、重组、添加图像、旋转、压缩等。Stirling-PDF非常注意安全，所有文件和 PDF 要么仅存在于客户端，要么仅在任务执行期间驻留在服务器内存中，要么仅临时驻留在文件中以执行任务。当完成任务后，用户上传的任何文件都将会从服务器中删除。Stirling-PDF特征：深色模式支持。自定义下载选项（例如，请参阅此处）并行文件处理和下载用于与外部脚本集成的 API可选的登录和身份验证支持（请参阅此处的文档）PDF 功能Stirling-PDF页面操作查看和修改 PDF - 通过自定义查看、排序和搜索查看多页 PDF。加上页面编辑功能，如注释、绘制和添加文本和图像。（将 PDF.js 与 Joxit 和 Liberation.Liberation 字体一起使用）用于合并/拆分/旋转/移动 PDF 及其页面的完整交互式 GUI。将多个 PDF 合并到一个生成的文件中。将 PDF 拆分为指定页码的多个文件，或将所有页面提取为单个文件。将 PDF 页面重新组织为不同的顺序。以 90 度的增量旋转 PDF。删除页面。多页布局（将 PDF 格式化为多页页面）。按设置百分比缩放页面内容大小调整对比度。裁剪 PDF。自动拆分 PDF（使用物理扫描的页面分隔符）。提取页面。将 PDF 转换为单个页面。转换操作将 PDF 与图像相互转换。将任何通用文件转换为 PDF（使用 LibreOffice）。将 PDF 转换为 Word/Powerpoint/其他（使用 LibreOffice）。将 HTML 转换为 PDF。URL 到 PDF。Markdown 转换为 PDF。安全与权限添加和删除密码。更改/设置 PDF 权限。添加水印。对 PDF 进行认证/签名。清理 PDF。自动编辑文本。其他操作添加/生成/写入签名。修复 PDF。检测并删除空白页。比较 2 个 PDF 并显示文本差异。将图像添加到 PDF。压缩 PDF 以减小其文件大小（使用 OCRMyPDF）。从 PDF 中提取图像。从扫描中提取图像。添加页码。通过检测PDF标题文本自动重命名文件。PDF 上的 OCR（使用 OCRMyPDF）。PDF/A 转换（使用 OCRMyPDF）。编辑元数据。拼合 PDF。获取 PDF 上的所有信息以查看或导出为 JSON。Stirling PDF 有 3 个不同的版本，完整版、精简版和超精简版。根据您使用的功能和空间大小来选择。

Audio2Face简介 Audio2Face，一款由ai驱动的应用程序，通过语音生成富有表现力的3D面部动画。Audio2Face 简化了 3D 角色的动画，以匹配任何画外音轨道，无论您是为游戏、电影、实时数字助理制作角色动画，还是只是为了好玩。您可以将该应用程序用于交互式实时应用程序或作为传统的面部动画创作工具。Audio2Face是如何工作的？Omniverse Audio2Face 应用基于 NVIDIA Research 的原创论文。Audio2Face 预装了“数字标记”——一个 3D 角色模型，可以用您的音轨制作动画，因此入门很简单。只需选择您的音频并将其上传到应用程序中即可。该技术将音频输入输入到预先训练的深度神经网络中，网络的输出实时驱动角色的面部动画。用户可以选择编辑各种后处理参数以编辑角色的表演。然后，网络的输出驱动角色网格的 3D 顶点以创建面部动画。您在此页面上看到的结果大多是 Audio2Face 的原始输出，几乎没有编辑任何后期处理参数。Audio2Face 的实际应用：语言Audio2Face将能够轻松处理任何语言。我们会定期添加越来越多的语言。查看这些英语、法语、意大利语和俄语的测试。Misty 动画聊天机器人在 GTC Spring 2020 上展示的 Misty 是一个交互式天气机器人，在运行时由 Audio2Face 驱动。我们演示了从逼真的人类网格到风格化角色网格的重定向，以用作交互式服务代理。Omniverse 机械Audio2Face 在 GeForce 30 系列发布会上亮相，出现在 Omniverse Machinima 演示中。众所周知，面部动画非常复杂且成本高昂。Audio2Face 可自动执行详细的面部动画，使 3D 内容创建过程民主化。人脸Audio2Face可以使用任何对话驱动的音轨，并最终能够重新定位到任何3D人脸，无论是逼真的还是风格化的。观看此测试，我们将从 Digital Mark 重新定位到 Rain。实验角色生物和外星人此功能允许您重新定位和驱动奇幻生物和外星人的面部动画。在这里，我们有数字标记推动了外星人的性能。