CustomNet

Make-A-Character简介 Make-A-Character，通过一句话描述人的脸型、五官、发型特征，即可高效率、规模化地生成具备全栈式美术能力的超写实3D数字人。生成结果包含人头人体，配饰服装，并支持表情动画资产进行驱动，让3D数字人栩栩如生地动态化展示。你也可以自定义面部特征，例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子，以及添加皱纹和雀斑等。Make-A-Character支持英文和中文提示。Make-A-Character项目地址：https://human3daigc.github.io/MACH/Make-A-Character演示地址：https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/summaryMake-A-Character主要特征：1、高度逼真：角色基于真实人类扫描数据集生成，发型为实际发丝而非网格，使用Unreal Engine的物理基础渲染（PBR）技术渲染，以实现高质量实时渲染效果。2、完整模型：每个角色都是完整模型，包括眼睛、舌头、牙齿、全身和服装，无需额外建模即可立即使用。3、可动画化：角色配备复杂的骨骼装置，支持标准动画，增强其逼真外观和多样化应用。4、可控制性：用户可以详细自定义面部特征，例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子，以及添加皱纹和雀斑等。5、行业兼容：生成的3D角色可以无缝集成到现有的计算机图形（CG）工作流程中，特别是在游戏和电影行业中常用的工作流程。Make-A-Character原理：Make-A-Character（MACH）结合了大语言模型、视觉模型和3D生成技术。该框架利用大型语言模型（LLM）来提取各种面部属性（例如，脸型、 眼睛形状、嘴巴形状、发型和颜色、眼镜类型）。然后，这些语义属性被映射到 相应的视觉线索，进而指导使用Stable生成参考人像图像 与 ControlNet 一起扩散。通过一系列的2D人脸解析和3D生成模块，网格 并生成目标面部的纹理，并将其与其他匹配的配件一起组装。 参数化表示可以轻松制作生成的 3D 头像的动画。Make-A-Character使用：1、输入人脸描述2、点击生成并等待2分钟3、查看生成效果通过这些步骤，Make-A-Character可以快速从简单的文本描述中生成逼真的、完整的、可动画化的3D角色，适用于各种娱乐和专业场景。

LabelLLM简介 LabelLLM是一个开源的数据标注平台，致力于优化对于大型语言模型（LLM）开发不可或缺的数据标注过程。LabelLLM的设计理念旨在成为独立开发者和中小型研究团队提高标注效率的有力工具。LabelLLM的核心在于通过提供全面的任务管理解决方案和多样化的多模态数据支持，简化并增强模型训练的数据注释过程的效率。LabelLLM特色功能：灵活的配置：LabelLLM以其可适应性强的框架而脱颖而出，提供了一系列可定制的任务特定工具，以满足数据标注项目的多样化需求。这种灵活性允许平台无缝集成到各种任务参数中，使其成为模型训练数据准备阶段的宝贵资产。多模态数据支持：LabelLLM认识到数据多样性的重要性，并将其能力扩展到包括音频、图像和视频在内的多种数据类型。这种全面的方法确保用户可以在一个统一的平台上进行包含多种数据类型的复杂标注项目。全面的任务管理：为确保体现最高标准的质量和效率，LabelLLM设有全方位的任务管理系统。该系统提供实时监控标注进度和质量控制，从而保证所有项目的数据准备阶段的完整性和时效性。人工智能辅助标注：LabelLLM支持预标注数据的一键载入，用户可以根据实际需要对其进行细化和调整。这一特性提高了标注的效率和准确性。LabelLLM产品特性：多功能性： LabelLLM为用户提供了广泛的数据标注工具，旨在处理各种任务，而不会损害标注的效果或准确性。用户友好： 除了功能强大之外，LabelLLM还非常注重用户体验，提供直观的配置和工作流程，简化了数据标注任务的设置和分配。效率提升： 通过整合人工智能辅助的标注，LabelLLM大幅提高了标注效率

Sora.FM简介 Sora.FM 是用于生成 Sora ai 视频的开源 Web 模板，使用 nextjs 创建。生成视频的接口暂时 Mock，等 Sora API 发布后可快速替换上线。 支持数据读写，可以把全网收集到的Sora视频更新到DB，先做一个 Sora Showcase 网站跑流量。开发者：idoubi艾逗笔，前腾讯高级工程师，微信后台开发；现自由职业。之前开发的一个《AI Cover 红包封面生成器》受到很多人的欢迎。Github开源地址：https://github.com/all-in-aigc/sorafm类似的一个Sora生成器开源模板：SoraWebui

StreamMultiDiffusion简介 StreamMultiDiffusion，一个使用区域文本提示来实时生成图像的项目，主要用于图像生成和编辑应用。它基于扩散模型在文本到图像合成中的成功，旨在通过减少推理时间和提高生成图像的质量来提高扩散模型的可用性。该方法专注于基于紧密和粗糙区域的生成，以及文本到全景的生成，并且它可以与用户提供的精确分割掩模一起使用，过程涉及基于优化任务的新生成过程，该优化任务将多个扩散路径绑定在一起以进行受控图像生成。也就是你可以通过在多个特定区域内分别输入不同的文本提示来指导ai画图，一个提示负责一个区域，精准控制而且这个过程是交互式的，实时完成，你能立马看到生成效果，非常炸裂。StreamMultiDiffusion主要特性和应用：实时交互式生成：StreamMultiDiffusion 通过基于区域的语义控制实现实时交互式生成，使其适用于各种最终用户应用程序的图像生成和编辑。基于区域的语义控制：该方法可以使用紧密、准确的分割掩模和粗糙掩模，为具有不同图像编辑专业知识水平的用户提供灵活性。文本到全景生成：StreamMultiDiffusion 可用于文本到全景生成，生成具有无缝过渡的高质量全景图像。图像质量优化任务：该方法涉及一个优化任务，将不一致的方向融合到全局去噪步骤中，从而产生高质量的无缝图像。语义调色板：引入了一种新的绘画范式，用户不仅可以绘制颜色，还可以绘制具有特定语义的内容，例如“蓝天”、“绿草”等，从而在创作过程中加入更丰富的意义层次。图像修复和编辑：提供了实时图像修复和编辑功能，用户可以在任何上传的照片或艺术作品上进行绘画，自由修改和美化现有图像。这些优势使 StreamMultiDiffusion 成为适用于各种最终用户应用程序的多功能且强大的工具，在实时图像生成和编辑方面提供可用性和质量。StreamMultiDiffusion实施与整合StreamMultiDiffusion 集成到扩散器中，可以使用特定流程运行。它还为其方法提供了Gradio UI，允许用户通过用户友好的界面与生成过程进行交互。此外，该方法通过网络演示提供空间控制，为用户提供进一步的灵活性和定制选项。StreamMultiDiffusion限制和建议值得注意的是，StreamMultiDiffusion 最适合生成 2048 x 512 的全景景观图像。此外，该方法还针对切片大小和重叠提供了具体建议，以优化速度和图像质量。例如，在 MultiDiffusion 3 的情况下，建议选择 64 - 160 之间的图块大小值和 32 或 48 之间的重叠值。StreamMultiDiffusion作为一款用于实时交互式图像生成和编辑的强大工具，提供基于区域的语义控制、文本到全景生成和空间控制等功能，同时还提供最佳使用建议。

ClotheDreamer简介 ClotheDreamer，一个虚拟试穿项目，可以从文本生成可穿戴3D服装，ClotheDreamer是上海大学、上海交通大学、复旦大学和腾讯优图实验室出的。ClotheDreamer功能特征：支持自定义服装模板，实现多样化、个性化3D服装生成生成的服装可以适应不同身材，并支持自动拟合ClotheDreamer，一种用于文本引导服装生成的新型系统，它使用 3D 高斯曲面 （3D GS） 对不同的服装几何形状进行建模。ClotheDreamer 允许用户从文本描述生成 3D 服装模型，从而实现更直观、更具表现力的服装设计。ClotheDreamer利用大型语言模型和 3D 高斯曲面的强大功能来生成详细、高质量的服装网格，以捕捉复杂的形状和褶皱。ClotheDreamer 这个工具允许你通过文字描述来创建衣服的3D模型。您无需使用复杂的 3D 建模软件自己设计衣服，只需输入描述，系统就会为您生成 3D 服装模型。ClotheDreamer 的关键创新是使用 3D 高斯曲面 （3D GS） 来表示服装的形状。高斯曲面是一种描述 3D 形状的数学方法，可以捕捉复杂的细节，如衣服上的褶皱和悬垂。通过将这种 3D 建模技术与强大的语言模型相结合，ClotheDreamer 可以将您的文本描述转换为高度逼真的 3D 服装模型。这使得设计衣服的过程更加直观和容易获得，因为您不需要专门的 3D 建模技能。您可以简单地描述您心目中的服装，ClotheDreamer 将以 3D 形式将其变为现实。这对于时装设计师、3D 艺术家或任何想要创建定制服装设计的人都很有用。ClotheDreamer技术说明ClotheDreamer 使用 GaussianDreamer： Fast Generation from Text to 3D 架构，根据文本描述生成 3D 服装模型。它利用预先训练的语言模型对输入文本进行编码，然后用于调节表示服装几何形状的 3D 高斯曲面的生成。ClotheDreamer在大型 3D 服装模型数据集及其相应的文本描述上进行训练。在推理过程中，使用语言模型对输入文本进行编码，此表示用于预测将形成最终服装网格的 3D 高斯曲面的参数。通过使用 3D 高斯曲面，ClotheDreamer 能够捕捉复杂的服装几何形状，包括褶皱、窗帘和其他复杂的细节。这使得系统能够生成高度逼真和多样化的服装模型，这些模型与输入的文本描述非常匹配。作者还提出了对基本 ClotheDreamer 模型的扩展，包括 LAGA：通过文本生成和自定义分层 3D 头像和着装代码：从文本生成服装的自回归缝纫，这进一步扩展了系统的服装生成和定制功能。ClotheDreamer局限性分析ClotheDreamer 系统代表了文本到 3D 生成领域的一个令人印象深刻的进步，展示了大型语言模型和 3D 高斯曲面在直观服装设计方面的潜力。将自然语言描述转换为高质量 3D 服装模型的能力可能会对时尚、3D 艺术和其他领域产生重大影响。然而，本文确实承认了当前方法的一些局限性。该系统在相对较小的 3D 服装模型数据集上进行训练，这可能会限制其推广到更多样化或非常规服装风格的能力。此外，3D 高斯曲面表示虽然可以有效地捕获复杂的几何图形，但可能并非适用于所有类型的服装特征，例如尖锐的折痕或高度不对称的形状。进一步的研究可以探索扩展数据集、改进 3D 表示以及增强系统处理更广泛的服装类型和款式的能力的方法。正如相关工作中所暗示的那样，将 ClotheDreamer 与其他 3D 建模工具或头像生成系统集成，也可以解锁该技术的新应用和用例。总的来说，ClotheDreamer代表了在寻求使3D服装设计更易于访问和直观方面迈出的令人兴奋的一步。随着文本到3D生成领域的不断发展，像 ClotheDreamer 这样的系统可能会成为设计师、艺术家和任何想要在数字领域将他们的服装创意变为现实的人越来越有价值的工具。

Motionshop简介 Motionshop，ai角色动画工具，通过先进的视频处理和3D渲染技术，Motionshop能够自动检测视频中的人物，并替换成3D卡通角色模型，生成有趣的AI视频。同时不改变视频中的其他场景和人物，被替换的3D角色能完整复刻原视频中人物的动作，动作保持一致。Motionshop项目主页：https://aigc3d.github.io/motionshop/Motionshop的技术原理：1、视频处理和背景提取： 利用视频处理技术，从原始视频中分离出人物，留下无人的背景。这一步涉及复杂的图像分析和处理，以确保背景的完整性和连贯性。角色检测： Motionshop使用基于变换器的框架紧密融合文本信息与现有封闭集检测器，实现零样本对象检测。分割与追踪： 成功检测目标后，通过视频对象分割追踪方法跟踪像素级目标区域。修补： 视频中剩余的图像区域通过视频修补技术完成，包括递归流完成、图像和特征域的双域传播等。2、姿势估计： 这一步骤使用姿势估计技术来分析视频中人物的动作。它涉及到对人体动作的捕捉和分析，使用CVFFS方法估计稳定的人体姿势，并采用SMPL人体模型表示3D人体。3、3D卡通角色动画生成： 根据估计出的姿势和动作，生成相应的3D动画人物。这个过程需要确保3D模型的动作与原视频中的人物动作相匹配。4、光照估计： 为了让3D模型更自然地融入原视频背景，需要估计视频中的光照条件，并对3D模型进行相应的光照处理。5、高性能渲染： Motionshop使用如TIDE这样的高性能光线追踪渲染器对3D卡通角色模型进行渲染，确保其具有高度的真实感和视觉效果。6、视频合成： 最后，Motionshop将渲染好的3D卡通角色合成回无人背景视频中，生成最终的视频成果。Motionshop如何使用：上传一段视频，AI自动识别视频中的运动主体人物，并一键替换成有趣的3D角色模型，生成与众不同的AI视频。第一步：上传一个包含人物的视频（请保证人物完整，视频时长不超过15秒）；第二步：选择视频中要替换的人物（自动选择）；第三步：选择要替换的虚拟角色模型并点击生成，等待10分钟即可生成结果。Motionshop基本上可以平替Wonder Studio。Wonder Studio可以自动化将现实场景中的人物转换替代成CG 角色，还可以进行动画、灯光和合成。

Open WebUI简介 Open WebUI，为大模型提供用户友好界面，支持 Ollama 并兼容 Openai API。特色有直观聊天界面、响应式设计。支持代码高亮、Markdown、LaTeX、RAG 集成、网页浏览、预设提示、RLHF 注释、模型管理、多模型和多模态、历史记录管理、语音输入、高级参数调整等。Open WebUI功能特征：直观的界面：我们的聊天界面从 ChatGPT 中汲取灵感，确保用户友好的体验。响应式设计：在桌面和移动设备上享受无缝体验。快速响应：享受快速响应的性能。轻松设置：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）无缝安装，获得轻松的体验。代码语法高亮：使用我们的语法高亮功能增强代码可读性。完整的 Markdown 和 LaTeX 支持：通过全面的 Markdown 和 LaTeX 功能提升您的 LLM 体验，以丰富交互。本地 RAG 集成：通过开创性的检索增强生成 （RAG） 支持深入了解聊天交互的未来。此功能将文档交互无缝集成到您的聊天体验中。您可以将文档直接加载到聊天中或将文件添加到文档库中，使用提示符中的命令轻松访问它们。在 alpha 阶段，当我们积极改进和增强此功能以确保最佳性能和可靠性时，可能会偶尔出现问题。#网页浏览功能：使用命令后跟 URL 将网站无缝集成到您的聊天体验中。此功能允许您将 Web 内容直接合并到您的对话中，从而增强互动的丰富性和深度。#提示预设支持：使用聊天输入中的命令立即访问预设提示。毫不费力地加载预定义的对话启动器并加快您的交互速度。通过Open WebUI社区集成轻松导入提示。/RLHF 注释：通过竖起大拇指和竖起大拇指对消息进行评分来增强您的消息，从而促进创建用于人类反馈强化学习 （RLHF） 的数据集。利用您的消息来训练或微调模型，同时确保本地保存数据的机密性。对话标记：轻松分类和定位特定聊天，以便快速参考和简化数据收集。下载/删除模型：直接从 Web UI 轻松下载或删除模型。文件模型创建：通过直接从 Web UI 上传 GGUF 文件，轻松创建 Ollama 模型。简化流程，可选择从您的机器上传或从 Hugging Face 下载 GGUF 文件。多模式支持：在不同的聊天模式之间无缝切换，实现多样化的互动。多模态支持：与支持多模态交互的模型无缝交互，包括图像（例如 LLava）。模型文件生成器：通过 Web UI 轻松创建 Ollama 模型文件。创建和添加角色/代理，自定义聊天元素，并通过Open WebUI社区集成轻松导入模型文件。多模型对话：毫不费力地同时与各种模型互动，利用它们的独特优势获得最佳响应。通过并行利用一组不同的模型来增强您的体验。协作聊天：通过无缝编排群组对话，利用多个模型的集体智慧。使用该命令指定模型，从而在聊天界面中启用动态和多样化的对话。让自己沉浸在编织在聊天环境中的集体智慧中。@OpenAI API 集成：毫不费力地集成与 OpenAI 兼容的 API，以便与 Ollama 模型进行多功能对话。自定义 API 基本 URL 以链接到 LMStudio、Mistral、OpenRouter 等。再生历史访问：轻松重新访问和探索您的整个再生历史。聊天记录：轻松访问和管理您的对话记录。导入/导出聊天记录：无缝地将您的聊天数据移入和移出平台。语音输入支持：通过语音交互与您的模型互动;享受直接与模特交谈的便利。此外，探索在静音 3秒后自动发送语音输入的选项，以获得简化的体验。使用高级参数进行微调控制：通过调整温度等参数和定义系统提示来获得更深层次的控制，以根据您的特定偏好和需求定制对话。外部 Ollama 服务器连接：通过配置环境变量，无缝链接到托管在不同地址上的外部 Ollama 服务器。基于角色的访问控制 （RBAC）：使用受限权限确保安全访问;只有经过授权的个人才能访问您的 Ollama，并且为管理员保留独家模型创建/提取权限。后端反向代理支持：通过Open WebUI后端和Ollama之间的直接通信来增强安全性。此关键功能消除了通过 LAN 公开 Ollama 的需要。从 Web UI 向“/ollama/api”路由发出的请求从后端无缝重定向到 Ollama，从而增强了整体系统的安全性。持续更新：我们致力于通过定期更新和新功能来改进 Open WebUI。

Audio2Face简介 Audio2Face，一款由ai驱动的应用程序，通过语音生成富有表现力的3D面部动画。Audio2Face 简化了 3D 角色的动画，以匹配任何画外音轨道，无论您是为游戏、电影、实时数字助理制作角色动画，还是只是为了好玩。您可以将该应用程序用于交互式实时应用程序或作为传统的面部动画创作工具。Audio2Face是如何工作的？Omniverse Audio2Face 应用基于 NVIDIA Research 的原创论文。Audio2Face 预装了“数字标记”——一个 3D 角色模型，可以用您的音轨制作动画，因此入门很简单。只需选择您的音频并将其上传到应用程序中即可。该技术将音频输入输入到预先训练的深度神经网络中，网络的输出实时驱动角色的面部动画。用户可以选择编辑各种后处理参数以编辑角色的表演。然后，网络的输出驱动角色网格的 3D 顶点以创建面部动画。您在此页面上看到的结果大多是 Audio2Face 的原始输出，几乎没有编辑任何后期处理参数。Audio2Face 的实际应用：语言Audio2Face将能够轻松处理任何语言。我们会定期添加越来越多的语言。查看这些英语、法语、意大利语和俄语的测试。Misty 动画聊天机器人在 GTC Spring 2020 上展示的 Misty 是一个交互式天气机器人，在运行时由 Audio2Face 驱动。我们演示了从逼真的人类网格到风格化角色网格的重定向，以用作交互式服务代理。Omniverse 机械Audio2Face 在 GeForce 30 系列发布会上亮相，出现在 Omniverse Machinima 演示中。众所周知，面部动画非常复杂且成本高昂。Audio2Face 可自动执行详细的面部动画，使 3D 内容创建过程民主化。人脸Audio2Face可以使用任何对话驱动的音轨，并最终能够重新定位到任何3D人脸，无论是逼真的还是风格化的。观看此测试，我们将从 Digital Mark 重新定位到 Rain。实验角色生物和外星人此功能允许您重新定位和驱动奇幻生物和外星人的面部动画。在这里，我们有数字标记推动了外星人的性能。