XHS-Downloader

Lumiere简介 Lumiere是谷歌研究院团队开发的基于空间时间的文本到视频扩散模型。Lumiere采用了创新的空间时间U-Net架构，该架构通过模型中的单次传递一次性生成视频的整个时间，不同于其他模型那样逐帧合成视频。确保了生成视频的连贯性和逼真度，Lumiere可以轻松促进广泛的内容创建任务和视频编辑应用程序，包括图像到视频、视频修复和风格化生成。Lumiere功能特点：文本到视频的扩散模型： Lumiere能够根据文本提示生成视频，实现了从文本描述到视频内容的直接转换。图像到视频：该模型通过对第一帧进行调节，将静止图像平滑地转换为视频。空间时间U-Net架构： 与其他需要逐步合成视频的模型不同，Lumiere能够一次性完成整个视频的制作。这种独特的架构允许Lumiere一次性生成整个视频的时间长度，不同于其他模型那样逐帧合成视频。全局时间一致性： 由于其架构的特点，Lumiere更容易实现视频内容的全局时间一致性，确保视频的连贯性和逼真度。多尺度空间时间处理： Lumiere通过在多个空间时间尺度上处理视频来学习直接生成视频，这是一种先进的方法。风格化视频生成： 使用单个参考图像，Lumiere可以按照目标风格生成视频，这种能力在其他视频生成模型中较为罕见。广泛的内容创作和视频编辑应用： Lumiere支持多种内容创作任务和视频编辑应用，如图像到视频、视频修补和风格化生成。视频样式化编辑： 使用文本基础的图像编辑方法，Lumiere可以对视频进行一致性的样式编辑。影像合成能力： 当图像的一部分保持静止而另一部分呈现运动时，可以实现局部运动效果，从而为静止图像增添迷人的美感。视频修复功能： Lumiere 可以根据文本提示对现有视频的任意遮罩区域进行动画处理。这为视频编辑、对象插入和/或删除提供了有趣的可能性。尽管取得了这些进步，但Lumiere在需要在不同场景和镜头之间转换的视频方面仍然受到限制。这种能力差距为未来的扩散模型研究提供了重要方向。

Diffuse to Choose简介 Diffuse to Choose主要用于虚拟试穿场景。它能够在修复图像时保留参考物品的细节，并且能够进行准确的语义操作。Diffuse to Choose能让你在将任何商品放入任何环境中，同时和环境完美融合，并结合感知损失来进一步保留参考物品的细节，该模型在快速推理和高保真细节方面取得了良好的平衡。比如您可以使用Diffuse to Choose装饰您的房间，或者不受任何限制地尝试不同的衣服组合,改变衣服的风格，例如塞进衣服或卷起袖子。Diffuse to Choose能够帮助用户更好地了解产品在真实环境中的样子，提高了在线购物的体验。Diffuse to Choose功能：1、虚拟试穿技术：允许用户在不同环境中虚拟放置商品，实现逼真的在线购物体验。2、与传统扩散模型相比，DTC模型能更好地捕捉商品细节，提升修复质量。采用特殊的算法，将来自参考图像的细粒度特征直接融入主扩散模型的潜在特征图中，保证产品与环境的高度融合。3、高效平衡：在快速推断与保持高保真细节方面达到了有效的平衡。4、广泛测试与评估：在不同数据集上测试，证明了DTC模型相较于现有技术的优越性。5、场景适应性：能够处理多种场景中的图像，确保产品与场景的无缝整合。6、快速推断能力：提供快速且高效的零次射推断，加快虚拟试穿过程。7、修复图像：在虚拟试穿应用中修复图像，为产品图像添加缺失的细节。

CodeFormer简介 CodeFormer，超强的ai 视频去码、图片修复，人脸修复神器，它的功能包括人脸清晰化修复、人脸色彩化和人脸去马赛克，可以应用于各种场景。由南洋理工大学 S-Lab 开发。它通过网络架构实现了人脸的变换，包括色彩化、清晰化、去马赛克修复等功能。官方给出的测试对比图显示其修复效果非常出色。测试该工具非常简单，只需下载源码并安装 Pytorch 框架即可。通过命令行输入不同的参数，可以进行人脸清晰化修复、人脸色彩化和人脸去马赛克操作。然而，人脸去马赛克算法只支持白色遮挡，其他颜色则不支持，这可能是该工具的一个缺点。Github 4.8k Stars! | CodeFormer: 地表最强AI马赛克去除神器! (附实战教程) 相关资讯： 如何使用CodeFormer修复老旧照片和去除马赛克？

DUIX简介 硅基智能开源了DUIX，DUIX是2D 真人级、aiGC 实时渲染数字人模型！DUIX（Dialogue User Interface System）是硅基智能打造的AI数字人智能交互平台。通过将数字人交互能力开源，开发者可自行接入多方大模型、语音识别（ASR）、语音合成（TTS）能力，实现数字人实时交互，并在Android和iOS多终端一键部署，让每个开发者可轻松创建智能化、个性化的数字人Agent，并应用到各行各业。开发者可自行接入多方大模型、语音识别（ASR）、语音合成（TTS）能力实现数字人实时交互可在Android和iOS多终端一键部署，DUIX还提供了 14 个数字人模板支持低成本快速部署在 iOS、安卓或者大屏上，在平板、车载系统上也能流畅运行支持 50 帧/秒的流畅画面，视频生成效率超过 1:0.5、满足直播等一些对实时性要求很高的场景能精准的模拟动作、说话的唇形、微表情DUIX适用场景：部署成本低: 无需客户提供技术团队进行配合，支持低成本快速部署在多种终端及大屏。网络依赖小: 适合地铁、银行、政务等多种场景的虚拟助理自助服务。功能多样化: 可根据客户需求满足视频、媒体、客服、金融、广电等多个行业的多样化需求。DUIX核心功能：部署成本低: 无需客户提供技术团队进行配合，支持低成本快速部署在多种终端及大屏。网络依赖小: 适合地铁、银行、政务等多种场景的虚拟助理自助服务。功能多样化: 可根据客户需求满足视频、媒体、客服、金融、广电等多个行业的多样化需求。实时视频交流：用户可以与数字人进行实时对话。个性化定制：用户可以根据个人兴趣，选择自己喜欢的外观和声音，打造独特的交互体验。多角色扮演：数字人可以成为你的伴侣、爱人或“百科全书”，满足需求。情感联系：通过互动，用户与数字人建立情感纽带，享受陪伴的乐趣。时刻：数字人的“时刻”展示了他们的虚拟生活，用户可以更深入地了解他们的个性和兴趣。DUIX常见问题：1.可以支持数字人定制吗？是基于照片还是视频？答：可以支持数字人定制，我们是基于视频进行数字人定制。您可以定制专属的数字人用于SDK中。但定制的数字人属于付费服务，您可以联系客服邮箱。2.如何定制形象？答：定制硅基数字人需要拍摄一段 3-5 分钟的真人出镜口播视频，具体出镜姿势、口播内容，可以根据最终的真实使用场景来确定。比如用来制作法律咨询相关视频，即可选择正装出镜，口播法律相关内容，这样整体情景比较一致。3.定制形象如何收费？答：我们提供与SDK开源接口配套的数字人定制，定制价格为9800元/套，包括形象+声音，若有更多定制需求，可以联系客服邮箱。4.数字人形象怎么更新？答：目前开源的主要提供公共模特，有需求可以定制5.形象克隆有API接口么？答：训练服务目前只支持部署在我们的内部服务器进行调用6.播报的wav文件，支持流式数据吗？答：流式驱动正在做改造优化，暂时还不支持；7.播报开始结束有没有相关回调方法？答：播报开始结束的回调方法详见sdk文档8.数字人动作有没有相关api控制？答：数字人动作API，暂时还不支持DUIX商业案例展示：https://apps.apple.com/us/app/duix-your-ai-companion/id6451088879

EasyPhoto简介 EasyPhoto是一款Webui UI插件，用于生成ai肖像画，该代码可用于训练与您相关的数字分身。建议使用 5 到 20 张肖像图片进行训练，最好是半身照片且不要佩戴眼镜（少量可以接受）。训练完成后，我们可以在推理部分生成图像。我们支持使用预设模板图片与上传自己的图片进行推理。重点EasyPhoto是一个Webui UI插件，可以生成AI肖像，用于训练与用户相关的数字化替身。EasyPhoto现在支持多人生成和不同基础模型的训练和推理。EasyPhoto可以在Windows和Linux系统上运行，需要大约60GB的硬盘空间用于保存权重和数据集处理。EasyPhoto插件可以从GitHub安装，未来也将支持从Available安装。EasyPhoto的使用包括模型训练和推理两部分，用户可以上传5到20张照片进行训练，推理部分可以选择单人或多人模式。EasyPhoto的算法包括建筑概览、训练详解和推理详解三部分，主要通过稳定扩散模型和Lora模型生成个性化的肖像图像。

LucidDreamer简介 随着VR设备和内容的广泛使用，对3D场景生成技术的需求越来越普遍。然而，现有的 3D 场景生成模型将目标场景限制在特定领域，这主要是因为它们使用的 3D 扫描数据集与现实世界相去甚远。为了解决这种局限性，我们提出了LucidDreamer，这是一个无域场景生成管道，它充分利用了现有大规模基于扩散的生成模型的强大功能。LucidDreamer项目地址：https://luciddreamer-cvlab.github.io/我们的 LucidDreamer 有两个交替步骤：做梦和对齐。首先，为了从输入生成多视图一致的图像，我们将点云设置为每次生成图像的几何参考。具体来说，我们将一部分点云投影到所需的视图，并提供投影作为使用生成模型进行修复的指导。使用估计的深度图将绘制的图像提升到 3D 空间，从而组成一个新点。其次，为了将新点聚合到3D场景中，我们提出了一种对齐算法，该算法将新生成的3D场景的各个部分和谐地集成在一起。最终得到的3D场景是优化高斯飞溅的初始点。与以前的 3D 场景生成方法相比，LucidDreamer 生成的高斯飞溅非常详细，对目标场景的域没有限制。LucidDreamer 可以接受一系列文本提示来生成场景，从而实现细粒度的控制。基于 CLIP 的 Stable Diffusion 生成的图像对生成的场景进行定量比较。 我们使用 CLIP-Score 和 CLIP-IQA 与 RGBD2 对结果进行定量比较。 对于 CLIP-IQA，我们使用质量、色彩鲜艳和清晰的标准。 LucidDreamer 在所有指标上都显示出占主导地位的结果。根据初始SfM点的来源重建高斯飞溅的度量。我们使用 COLMAP并比较重建结果。使用我们的点云始终如一地显示出更好的重建指标。

小红旅计简介 小红旅计，能够高效地帮助您收集小红书上的旅游素材，并基于这些素材创建个性化的旅行计划。可以轻松的收藏旅行目的地的精选笔记，还能嵌入Google地图、高德地图等丰富的行程规划体验。小红旅计功能特征？基于小红书的丰富内容：小红旅计使您能够轻松收集目的地的各种旅行素材，包括景点攻略、餐厅推荐、拍照打卡点等。PC的高效编辑体验：在PC上创建旅行计划，享受更大屏幕和更强大功能的高效生产体验。一键分享旅行计划：轻松一键分享旅行计划给朋友和家人，让他们通过一个简单的链接即可访问。一键跳转小红书：在您的旅行计划中加入的小红书内容，可以通过一键直接跳转到小红书App，方便您查看详细笔记。一键跳转地图：提前在旅行计划中加入高德地图或Google地图的路线，一键跳转到地图App，确保您的出行顺畅无忧。小红旅计如何使用？第1步：在小红书网页版收集素材登录网页版，浏览你期望你的小红书笔记。基于小红旅计悬浮球，你可以轻松的将你喜欢的笔记收藏到作为你的旅途素材。第2步：进入小红旅计Chrome扩展点击Chrome浏览器「扩展程序」（浏览器右上角），进入小红旅计。你的小红书的素材已经在这里等待你的编辑。第3步：编辑并分享你的旅行计划点击「查看行程」，进入你的旅行计划。你可以高效的编辑你的日程，并在日程中添加小红书笔记、高德地图、美食、景点等素材。编辑完成后，你可以与你的朋友和家人分享你的旅行计划。最后：舒心的去旅行吧！带上手机和你的旅行计划，一起去旅行吧！你可以在旅途中查看你的行程，并一键跳转小红书笔记和你的地图。交通方式、打卡点、拍摄机位这些都在你的掌握之中。祝你旅途愉快！小红旅计是个人开发者开发的产品，目前还是处于内测阶段。希望你在多多包含现有不足的同时，能够给我提出意见。

GPT-SoVITS简介 GPT-SoVITS，一个声音克隆和文本到语音转换的开源 Python RAG框架，只需1分钟语音即可训练一个自己的TTS模型。完美克隆你的声音！GPT-SoVITS完美适配中文，应该是目前中文支持比较好的模型。github发布地址：https://github.com/RVC-Boss/GPT-SoVITSGPT-SoVITS主要特点：1、零样本TTS： 输入5 秒的声音样本即可体验即时的文本到语音转换。2、小样本 TTS： 只需 1 分钟的训练数据即可微调模型，以提高语音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。跨语言支持： 使用与训练数据集不同的语言进行推理，目前支持英语、日语和中文。3、WebUI工具：集成工具包括语音伴奏分离、自动训练集分割、中文 ASR 和文本标注，帮助初学者创建训练数据集和 GPT/SoVITS 模型。4、适用于不同操作系统： 项目可以在不同的操作系统上安装和运行，包括 Windows。5、预训练模型： 项目提供了一些已经训练好的模型，你可以直接下载使用。如何使用GPT-SoVITS？如果您是 Windows 用户（使用 win>=10 进行测试），您可以直接通过预压缩进行安装。只需下载预压缩，解压并双击 go-webui.bat 即可启动 GPT-SoVITS-WebUI。GPT-SoVITS是一款强大的语音克隆和文本到语音转换工具，它可以实现零样本和少样本的语音克隆，以及跨语言的文本到语音转换。它具有数据量少、质量高、灵活性强、易用性高等优点，可以应用于多种场景。如果你对GPT-SoVITS感兴趣，具体详细步骤，可以去项目开源网址上查看，哔哩哔哩上也有相应的教程。