IP-Adapter-FaceID

Magi简介 Magi模型，可以自动将漫画转录成文字并自动生成剧本，还可以通过识别漫画页面上的面板、文字块和角色，重新排序和关联，输出连贯的对话内容，准确地为每幅漫画生成文本记录，从而保证输出文本的逻辑性，使整个流程更加高效。Magi模型由牛津大学工程科学系的视觉几何组开发。Magi适用于那些需要将漫画图片自动化生成文本的研究人员、开发者或者漫画爱好者。它为这些用户提供了方便快捷的工具，从而帮助他们轻松进行数字化漫画内容及索引。Magi GitHub源码：https://github.com/ragavsachdeva/magiMagi论文：https://arxiv.org/abs/2401.10224Magi模型主要功能：面板检测：精确识别漫画页面上的各个面板,即画家绘制的独立矩形画框,这是理解漫画页面布局和内容的第一步。文本检测：在每个面板内部定位文字区域，提取包含重要对话或叙述的文本块，这是理解面板内容的基础。角色检测：检测每个面板内出现的角色，获取其在图像中的边界框、姿态、表情等视觉信息，这对后续分析至关重要。角色识别：基于检测结果，识别每个角色的身份信息，如名字、称呼等，这可以帮助跟踪故事中的人物。角色聚类：根据面部特征、服装特征等信息，将同一角色的不同姿态图片聚类到一起，从而区分页面上的不同角色。语音分配：判断文本块属于页面上哪个角色的对话，将语音正确分配给对应的角色，这对生成精确的剧本必不可少。阅读排序：根据面板位置、阅读顺序,将分散的文本块重新排序和连接，输出连贯的对话内容，从而保证输出文本的逻辑性。Magi如何使用?1、上传漫画图片2、系统自动识别并提取漫画图片相关信息生成文本3、用户根据需要对文本进行编辑和修改通过Magi的这些功能，Magi能够自动将漫画页面转化为详细的文字剧本，解决漫画页面的自动理解和剧本生成问题，包含角色对话和相应的动作或情境描述，这使得漫画内容的数字化处理变得轻松快捷，使读者能够通过阅读文本来完整地体验漫画故事。

LucidDreamer简介 随着VR设备和内容的广泛使用，对3D场景生成技术的需求越来越普遍。然而，现有的 3D 场景生成模型将目标场景限制在特定领域，这主要是因为它们使用的 3D 扫描数据集与现实世界相去甚远。为了解决这种局限性，我们提出了LucidDreamer，这是一个无域场景生成管道，它充分利用了现有大规模基于扩散的生成模型的强大功能。LucidDreamer项目地址：https://luciddreamer-cvlab.github.io/我们的 LucidDreamer 有两个交替步骤：做梦和对齐。首先，为了从输入生成多视图一致的图像，我们将点云设置为每次生成图像的几何参考。具体来说，我们将一部分点云投影到所需的视图，并提供投影作为使用生成模型进行修复的指导。使用估计的深度图将绘制的图像提升到 3D 空间，从而组成一个新点。其次，为了将新点聚合到3D场景中，我们提出了一种对齐算法，该算法将新生成的3D场景的各个部分和谐地集成在一起。最终得到的3D场景是优化高斯飞溅的初始点。与以前的 3D 场景生成方法相比，LucidDreamer 生成的高斯飞溅非常详细，对目标场景的域没有限制。LucidDreamer 可以接受一系列文本提示来生成场景，从而实现细粒度的控制。基于 CLIP 的 Stable Diffusion 生成的图像对生成的场景进行定量比较。 我们使用 CLIP-Score 和 CLIP-IQA 与 RGBD2 对结果进行定量比较。 对于 CLIP-IQA，我们使用质量、色彩鲜艳和清晰的标准。 LucidDreamer 在所有指标上都显示出占主导地位的结果。根据初始SfM点的来源重建高斯飞溅的度量。我们使用 COLMAP并比较重建结果。使用我们的点云始终如一地显示出更好的重建指标。

DuckDB-NSQL简介 DuckDB-NSQL，一个专门为DuckDB数据库设计的文本到SQL的模型，你可以使用自然语言说描述你的需求，它会自动转换成SQL代码，也就是可以使用自然语言来和你的数据库聊天。DuckDB-NSQL大大简化了数据库查询的过程，使得即使是不太懂SQL语言的用户也能轻松地与数据库进行交互和数据处理。DuckDB-NSQL-7B模型是基于大约200,000条合成生成并验证的DuckDB SQL查询以及来自Numbers Station的超过250,000条一般性文本到SQL问题训练而成的。DuckDB-NSQL不仅能生成有用的DuckDB代码片段，还能生成用于回答分析问题的SQL查询。Hugging Face：https://huggingface.co/spaces/motherduckdb/DuckDB-NSQL-7BDuckDB-NSQL主要特点：1、自然语言处理能力： 能够理解和处理自然语言输入，将用户用普通话语描述的数据查询需求转换成SQL查询代码。2、针对DuckDB优化： 专为DuckDB-NSQL数据库定制，能够充分利用DuckDB的特性和功能。3、高效的查询生成： 对于常见的数据查询任务，如创建表、选择数据、排序和过滤等，都能快速生成准确的SQL代码。4、用户友好的交互： 用户无需深入了解SQL语法，只需通过自然的语言描述就可以进行复杂的数据查询。5、文档式的查询指导： 模型知识覆盖DuckDB 0.9.2中记录的所有功能，包括官方扩展，类似于一个随时可用的文档查询工具。6、低延迟： 为了提供低延迟的SQL辅助特性，该模型采用了相对较小的模型大小，使得推理过程更快、成本更低。7、广泛的应用场景： 不仅能生成DuckDB-NSQL的代码片段，还能生成用于回答分析性问题的SQL查询。8、开源和易于访问： 模型权重在Hugging Face上完全公开，方便用户下载和使用。9、本地运行支持： 支持与llama.cpp一起在本地完全体验，提供了完整的本地运行指导。

Make-A-Character简介 Make-A-Character，通过一句话描述人的脸型、五官、发型特征，即可高效率、规模化地生成具备全栈式美术能力的超写实3D数字人。生成结果包含人头人体，配饰服装，并支持表情动画资产进行驱动，让3D数字人栩栩如生地动态化展示。你也可以自定义面部特征，例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子，以及添加皱纹和雀斑等。Make-A-Character支持英文和中文提示。Make-A-Character项目地址：https://human3daigc.github.io/MACH/Make-A-Character演示地址：https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/summaryMake-A-Character主要特征：1、高度逼真：角色基于真实人类扫描数据集生成，发型为实际发丝而非网格，使用Unreal Engine的物理基础渲染（PBR）技术渲染，以实现高质量实时渲染效果。2、完整模型：每个角色都是完整模型，包括眼睛、舌头、牙齿、全身和服装，无需额外建模即可立即使用。3、可动画化：角色配备复杂的骨骼装置，支持标准动画，增强其逼真外观和多样化应用。4、可控制性：用户可以详细自定义面部特征，例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子，以及添加皱纹和雀斑等。5、行业兼容：生成的3D角色可以无缝集成到现有的计算机图形（CG）工作流程中，特别是在游戏和电影行业中常用的工作流程。Make-A-Character原理：Make-A-Character（MACH）结合了大语言模型、视觉模型和3D生成技术。该框架利用大型语言模型（LLM）来提取各种面部属性（例如，脸型、 眼睛形状、嘴巴形状、发型和颜色、眼镜类型）。然后，这些语义属性被映射到 相应的视觉线索，进而指导使用Stable生成参考人像图像 与 ControlNet 一起扩散。通过一系列的2D人脸解析和3D生成模块，网格 并生成目标面部的纹理，并将其与其他匹配的配件一起组装。 参数化表示可以轻松制作生成的 3D 头像的动画。Make-A-Character使用：1、输入人脸描述2、点击生成并等待2分钟3、查看生成效果通过这些步骤，Make-A-Character可以快速从简单的文本描述中生成逼真的、完整的、可动画化的3D角色，适用于各种娱乐和专业场景。

EchoMimic简介 EchoMimic是一个蚂蚁集团支付宝基于音频驱动的肖像动画生成工具，通过可编辑的特征点条件生成逼真、自然的动画，用户可以根据自己的需求调整动画细节，可用于虚拟主播、视频编辑等，效果比SadTalker、MuseTalk好，表情更丰富动作更顺畅。EchoMimic可以根据人像面部特征和音频来帮人物对口型，结合面部标志点和音频内容生成较为稳定、自然的视频。EchoMimic功能:音频驱动动画，可以根据音频生成人物肖像的动画，比如唱歌、说话视频等。姿势驱动动画，可以根据姿势数据生成人物肖像的动画。音频和姿势混合驱动动画，可以同时使用音频和姿势数据来生成动画。WebUI 和 GradioUI，提供图形界面，易于使用。可编辑的标志调节：用户可以选择特定的面部标志来控制动画，提供更大的灵活性和定制性。支持多语言（包含中文普通话、英语）及多风格，也可应对唱歌等场景。EchoMimic应用：肖像图像动画：使用音频输入从静态图像创建动态视频，可用于娱乐、虚拟化身和数字通信。增强稳定性和自然度：通过结合两种输入，克服音频驱动方法的不稳定性和关键点驱动方法的不自然性。可定制的动画：用户可以编辑特定的面部标志以实现所需的动画效果。ComfyUI EchoMimic：https://github.com/smthemex/ComfyUI_EchoMimicEchoMimic项目：https://badtobest.github.io/echomimic.htmlEchoMimic Github：https://github.com/BadToBest/EchoMimicEchoMimic模型：https://huggingface.co/BadToBest/EchoMimicEchoMimic 由蚂蚁集团支付宝终端技术部开发的音频输入驱动创建逼真肖像动画的技术。它使用可编辑的地标调节来实现逼真的面部动作和表情，从而实现高度可定制且外观自然的动画。

AniPortrait简介 AniPortrait是一款由腾讯研究人员开发的音频驱动的肖像动画合成框架，它能够根据音频和静态人脸图片生成逼真的动态视频。AniPortrait的应用场景包括为视频配音或创作逼真的人脸动画、制作创意表情包或独特的动态头像以及为艺术家和创作者提供面部再现和动画生成的工具。AniPortrait功能特征：AniPortrait图片生成视频的功能特征主要包括以下几点：音频驱动的肖像动画合成：AniPortrait是一款能够根据音频和静态人脸图片生成逼真动态视频的工具，它通过提取音频中的3D面部表情来实现这一功能。用户友好性：使用AniPortrait非常简单，用户只需提供音频和人脸图片，即可生成符合特定要求的人脸动画。此外，用户还可以根据需要调整模型和权重配置，以实现个性化的动画效果。三维数据转换：AniPortrait会从音频中提取出三维的中间数据，并将这些数据转换成一连串的二维面部轮廓标记，为后续的人脸动画生成打下基础。高品质动画生成：该工具基于音频和一张参考人脸照片来生成高品质的动画，包括两个主要步骤：首先是从音频中提取三维中间数据，然后进行后续处理。AniPortrait应用场景：AniPortrait图片生成视频的应用场景主要包括以下几个方面：虚拟现实（VR）：AniPortrait可以为VR角色提供逼真的面部动画，增强用户的沉浸感。这意味着在虚拟现实环境中，用户可以通过更加自然和真实的面部表情来与虚拟角色互动，从而提升体验的真实性和互动性。视频游戏：在视频游戏中，AniPortrait的应用可以使得游戏角色的面部表情更加丰富和真实，提高游戏的吸引力和玩家的沉浸感。通过生成逼真的动态视频，可以使游戏角色的表情和反应更加自然，增加游戏的趣味性和互动性。音频驱动的动画合成：AniPortrait支持音频驱动的动画合成，这意味着它可以根据音频内容自动生成相应的面部动画，适用于需要根据特定音频内容生成相应表情或动作的场景。这种应用可以广泛应用于视频制作、电影特效等领域，使得角色的表情和动作更加符合音频内容，提高作品的表现力。高质量动画生成：AniPortrait能够生成高质量的动画，这使得它非常适合于需要高清晰度和细节表现的场合，如电影制作、广告视频等。通过高质量的动画生成，可以确保角色的表情和动作既逼真又细腻，满足专业级别的制作需求。与其他AI工具相比，如阿里推出的EMO，AniPortrait同样能够通过输入一张参考图片和语音音频，创造出生动的视频，展现出丰富的面部表情和多变的头部动作。然而，值得注意的是，AniPortrait比EMO更早开源，这表明腾讯在这一领域的技术创新和开放态度。总的来说，AniPortrait图片生成视频的技术主要依赖于音频和静态人脸图片的输入，通过先进的AI算法处理这些数据，生成逼真且与音频内容匹配的动态视频。这项技术不仅适用于社交媒体、艺术创作等领域，也展现了AI在图像处理和动画生成方面的强大能力。

LabelLLM简介 LabelLLM是一个开源的数据标注平台，致力于优化对于大型语言模型（LLM）开发不可或缺的数据标注过程。LabelLLM的设计理念旨在成为独立开发者和中小型研究团队提高标注效率的有力工具。LabelLLM的核心在于通过提供全面的任务管理解决方案和多样化的多模态数据支持，简化并增强模型训练的数据注释过程的效率。LabelLLM特色功能：灵活的配置：LabelLLM以其可适应性强的框架而脱颖而出，提供了一系列可定制的任务特定工具，以满足数据标注项目的多样化需求。这种灵活性允许平台无缝集成到各种任务参数中，使其成为模型训练数据准备阶段的宝贵资产。多模态数据支持：LabelLLM认识到数据多样性的重要性，并将其能力扩展到包括音频、图像和视频在内的多种数据类型。这种全面的方法确保用户可以在一个统一的平台上进行包含多种数据类型的复杂标注项目。全面的任务管理：为确保体现最高标准的质量和效率，LabelLLM设有全方位的任务管理系统。该系统提供实时监控标注进度和质量控制，从而保证所有项目的数据准备阶段的完整性和时效性。人工智能辅助标注：LabelLLM支持预标注数据的一键载入，用户可以根据实际需要对其进行细化和调整。这一特性提高了标注的效率和准确性。LabelLLM产品特性：多功能性： LabelLLM为用户提供了广泛的数据标注工具，旨在处理各种任务，而不会损害标注的效果或准确性。用户友好： 除了功能强大之外，LabelLLM还非常注重用户体验，提供直观的配置和工作流程，简化了数据标注任务的设置和分配。效率提升： 通过整合人工智能辅助的标注，LabelLLM大幅提高了标注效率

Open WebUI简介 Open WebUI，为大模型提供用户友好界面，支持 Ollama 并兼容 Openai API。特色有直观聊天界面、响应式设计。支持代码高亮、Markdown、LaTeX、RAG 集成、网页浏览、预设提示、RLHF 注释、模型管理、多模型和多模态、历史记录管理、语音输入、高级参数调整等。Open WebUI功能特征：直观的界面：我们的聊天界面从 ChatGPT 中汲取灵感，确保用户友好的体验。响应式设计：在桌面和移动设备上享受无缝体验。快速响应：享受快速响应的性能。轻松设置：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）无缝安装，获得轻松的体验。代码语法高亮：使用我们的语法高亮功能增强代码可读性。完整的 Markdown 和 LaTeX 支持：通过全面的 Markdown 和 LaTeX 功能提升您的 LLM 体验，以丰富交互。本地 RAG 集成：通过开创性的检索增强生成 （RAG） 支持深入了解聊天交互的未来。此功能将文档交互无缝集成到您的聊天体验中。您可以将文档直接加载到聊天中或将文件添加到文档库中，使用提示符中的命令轻松访问它们。在 alpha 阶段，当我们积极改进和增强此功能以确保最佳性能和可靠性时，可能会偶尔出现问题。#网页浏览功能：使用命令后跟 URL 将网站无缝集成到您的聊天体验中。此功能允许您将 Web 内容直接合并到您的对话中，从而增强互动的丰富性和深度。#提示预设支持：使用聊天输入中的命令立即访问预设提示。毫不费力地加载预定义的对话启动器并加快您的交互速度。通过Open WebUI社区集成轻松导入提示。/RLHF 注释：通过竖起大拇指和竖起大拇指对消息进行评分来增强您的消息，从而促进创建用于人类反馈强化学习 （RLHF） 的数据集。利用您的消息来训练或微调模型，同时确保本地保存数据的机密性。对话标记：轻松分类和定位特定聊天，以便快速参考和简化数据收集。下载/删除模型：直接从 Web UI 轻松下载或删除模型。文件模型创建：通过直接从 Web UI 上传 GGUF 文件，轻松创建 Ollama 模型。简化流程，可选择从您的机器上传或从 Hugging Face 下载 GGUF 文件。多模式支持：在不同的聊天模式之间无缝切换，实现多样化的互动。多模态支持：与支持多模态交互的模型无缝交互，包括图像（例如 LLava）。模型文件生成器：通过 Web UI 轻松创建 Ollama 模型文件。创建和添加角色/代理，自定义聊天元素，并通过Open WebUI社区集成轻松导入模型文件。多模型对话：毫不费力地同时与各种模型互动，利用它们的独特优势获得最佳响应。通过并行利用一组不同的模型来增强您的体验。协作聊天：通过无缝编排群组对话，利用多个模型的集体智慧。使用该命令指定模型，从而在聊天界面中启用动态和多样化的对话。让自己沉浸在编织在聊天环境中的集体智慧中。@OpenAI API 集成：毫不费力地集成与 OpenAI 兼容的 API，以便与 Ollama 模型进行多功能对话。自定义 API 基本 URL 以链接到 LMStudio、Mistral、OpenRouter 等。再生历史访问：轻松重新访问和探索您的整个再生历史。聊天记录：轻松访问和管理您的对话记录。导入/导出聊天记录：无缝地将您的聊天数据移入和移出平台。语音输入支持：通过语音交互与您的模型互动;享受直接与模特交谈的便利。此外，探索在静音 3秒后自动发送语音输入的选项，以获得简化的体验。使用高级参数进行微调控制：通过调整温度等参数和定义系统提示来获得更深层次的控制，以根据您的特定偏好和需求定制对话。外部 Ollama 服务器连接：通过配置环境变量，无缝链接到托管在不同地址上的外部 Ollama 服务器。基于角色的访问控制 （RBAC）：使用受限权限确保安全访问;只有经过授权的个人才能访问您的 Ollama，并且为管理员保留独家模型创建/提取权限。后端反向代理支持：通过Open WebUI后端和Ollama之间的直接通信来增强安全性。此关键功能消除了通过 LAN 公开 Ollama 的需要。从 Web UI 向“/ollama/api”路由发出的请求从后端无缝重定向到 Ollama，从而增强了整体系统的安全性。持续更新：我们致力于通过定期更新和新功能来改进 Open WebUI。