LibreChat

libcom简介 libcom是由上海交通大学BCMI实验室耗资数百万、历经六年时间研发的图像合成工具箱，它在2023年底正式发布，并迅速获得关注，截至2024年10月，其下载量已突破1.2万次。libcom集成了十余项图像合成功能，包括前景背景融合、光照匹配、阴影生成等，结合传统方法与深度学习技术，显著提升合成图像质量。libcom的推出，目的在于提供一个开箱即用的解决方案，让用户无需大量训练微调即可进行图像合成。libcom核心特点与功能：libcom的设计理念是全面覆盖图像合成的各个方面，它集成了十几项核心功能，每项功能都经过精心挑选和优化，以确保简单有效。get_composite_image：通过基础技术如剪切粘贴、alpha融合和泊松融合，实现前景与背景的自然结合。OPAScoreModel：评估合成图像的合理性，给出0到1的评分，帮助用户判断合成效果是否自然。FOPAHeatMapModel：生成热力图，指导用户找到最佳的前景物体放置位置和尺寸，提升合成图像的合理性。color_transfer：实现颜色迁移，帮助合成图像的前景与背景在色彩上更加和谐。ImageHarmonizationModel：通过调整光照，使前景与背景在视觉上更加一致，增强图像的和谐性。此外，libcom还提供了艺术图像和谐化、阴影生成等其他高级功能，以及一系列辅助资源，如awesome-image-composition资源库、在线演示（尽管可能不是最新模型）和一篇持续更新四年的综述文章，为图像合成领域的研究和应用提供了丰富的资料和工具。libcom应用领域：libcom工具箱广泛适用于虚拟现实、艺术创作、电子商务广告设计、以及作为数据增强工具来提升机器学习模型的训练质量等多个领域。如何使用Libcom进行图像合成？1.环境准备：确保你已经安装了Libcom工具箱。可以从其GitHub项目页面下载并安装。2.加载图像：准备好需要合成的前景图像和背景图像。确保前景图像有清晰的边界，以便后续处理。3.使用合成函数：Libcom提供了多个功能来实现图像合成，以下是一些常用的功能：get_composite_image：通过剪切、粘贴和融合技术将前景与背景合成。FOPAHeatMapModel：输入背景和前景，生成合理性分数热力图，帮助确定前景物体的最佳放置位置。ImageHarmonizationModel：调整前景光照，使其与背景和谐。4.执行合成：根据需要选择合适的模型进行合成。例如，使用get_composite_image函数可以直接将前景和背景合成，代码示例如下：composite_image = libcom.get_composite_image(foreground, background)5.评估合成效果：使用OPAScoreModel等模型评估合成后的图像质量，确保前景物体的位置和大小合理。可以通过以下代码获取分数：score = libcom.OPAScoreModel(composite_image, foreground_mask)6.后处理：如果需要，可以使用阴影生成模型（如ShadowGenerationModel）为合成图添加阴影，以增强真实感。7.保存结果：完成合成后，将结果保存为新图像文件，以便后续使用。libcom的推出不仅仅是图像合成技术的一次飞跃，更是开源社区的一大贡献。

TryOnDiffusion简介 TryOnDiffusion是一种基于两个UNet的扩散架构，旨在生成穿在输入人物身上的服装的可视化效果图。该方法能够在保留服装细节的同时，适应显著的身体姿势和形状变化。TryOnDiffusion在定性和定量上都取得了最先进的性能，是一种非常有效的虚拟试衣技术。TryOnDiffusion 可以将两幅图片进行合成，帮照片中的人物更换不同的服饰。一张是展示某个人，另一张是展示另一个人所穿的服装——生成一张图像，展示这件服装可能在输入的人身上的样子。此前这类模型通常会存在缺乏服饰细节的缺点。传统的合成方法通常只能接受造型区别不大的两张图片，否则合成出来的新图片会出现服装变形严重的情况。而 TryOnDiffusion 利用一种被称为并行 UNet 的扩散式架构，让合成的照片可以在保留服饰细节的情况下适应人体的姿势以及形状变化。TryOnDiffusion特点：该模型使用扩散技术，展示不同体型和姿势的人穿着衣物的效果。新的ai模型能够生成高质量、逼真的试穿图像。该模型使用图像扩散和交叉注意力技术，而非文本输入。为了提高准确性，该模型使用Google购物图谱进行训练。虚拟试衣间功能现已支持Anthropologie、LOFT、H&M和Everlane等品牌的女士上衣。该功能将逐步扩展到更多品牌。目前没有开源。

AI Companion App简介 ai Companion App，一键创建和训练属于你的AI伴侣/女朋友。AI Companion App提供了一套框架和开源工具，你可以根据自己的需求和想象，设定AI伴侣的个性、背景故事和能力，然后使用这个框架进行训练和部署。这样，每个人都可以拥有一个定制的AI伴侣，满足他们特定的需求和期望。你可以在浏览器上或通过SMS与你的AI伴侣进行聊天。AI Companion App允许你确定你的伴侣的个性和背景故事，并使用一个带有相似性搜索的向量数据库来检索和提示，使对话具有更深的深度。它还通过将对话保留在队列中并包含在提示中，提供了一些对话记忆。AI Companion App当前包含两种AI伴侣，一种基于大模型GPT，另一种是基于Vicuna的伴侣，都托管在Replicate平台上的。这些伴侣有很多可能的用例-浪漫（AI女友/男友）、友谊、娱乐、教练等。您可以通过您撰写的背景故事和您选择的模型来引导您的同伴找到理想的用例。

TextBase简介 TextBase 是一款简单的框架，用于构建 ai 聊天机器人，它可以帮助开发人员快速搭建和优化聊天机器人。TextBase简单易用，自由可扩展，是聊天机器人开发的首选框架。Textbase的优点在于它简单易用。你只需要实现main.py中的on_message函数，Textbase就会负责其他所有事情。由于Textbase只是Python代码，所以你可以自由使用任何模型、库、向量数据库和API。TextBase 的简洁设计和强大功能，使其成为人工智能领域的新力量。TextBase 的自然语言处理能力出色，能够理解和生成人类语言，从而实现人机交互。此外，TextBase还可以通过机器学习技术不断提升自身的语言理解和应答能力。TextBase 的出现为 AI 聊天机器人的开发带来了新的可能。TextBase功能:简单的Python框架，只需实现on_message函数完全可自定义，可以使用任何模型和技术支持通过pip安装使用可以轻松部署到服务器未来可扩展性强，可集成更多模型

OOTDiffusion简介 OOTDiffusion：一个高度可控的虚拟服装试穿开源工具，可以根据不同性别和体型自动调整，和模特非常贴合。也可以根据自己的需求和偏好调整试穿效果，OOTDiffusion支持半身模型和全身模型两种模式。OOTDiffusionGitHub：https://github.com/levihsu/OOTDiffusionOOTDiffusion核心功能：OOTDiffusion基于潜在扩散模型技术，实现了高质量的服装图像生成和融合，确保试穿效果自然且逼真。OOTDiffusion支持两种模型虚拟试穿，一个是半身模型，专为上半身的服装试穿设计，适合T恤、衬衫等上身服装。另外一个是全身模型，支持全身的服装试穿，包括上身、下身和连衣裙等服装类型，用户可以根据需求选择适合的模型进行试穿。OOTDiffusion支持参数调整，你可以通过调整模型路径、服装路径、缩放比例和采样次数等参数来精细控制试穿的细节和效果，以满足不同的试穿需求。通过精心设计的算法，OOTDiffusion能够将选定的服装自然且逼真地融合到用户提供的模型图像中，无论是纹理、光影还是服装的自然摆动都能精确呈现。不过，试玩一下后，发现用OOTDiffusion自己的DEMO图片效果非常好，换了自已上传的素材，效果差很多，说明对人像位置体型，以及服装款式的要求还是比较高的。OOTDiffusion如何用？选择好性别、体型和右边的服装，然后点下面的RUN按钮，稍等十几秒就可以生成了。

Linly-Dubbing简介 Linly-Dubbing是一款开源的多语言ai配音和视频翻译工具。Linly-Dubbing可以自动将视频翻译成其他语言并生成字幕、克隆视频中说话者的声音并自动配音、进行口型同步。Linly-Dubbing主要特征：自动下载视频：支持从YouTube等网站下载视频多语言支持：支持中文和多种语言的配音和字幕翻译。AI语音识别：准确的语音识别、语音文本转换和说话人识别。LLM翻译：结合领先的大型语言模型（如GPT），可以快速准确地翻译，保证翻译的专业性和自然性。语音克隆：通过语音克隆技术，生成与原视频配音高度相似的声音，保持情感和语气的一致性。口型同步：通过保持口型同步，配音可以与视频画面高度一致，提高视频的真实性和互动性。灵活的上传和翻译：用户可以上传视频并选择翻译语言和标准，以确保个性化和灵活性。Linly-Dubbing技术细节语音识别WhisperX ：OpenAI Whisper语音识别系统的扩展，可以将语音内容转录为文本，与视频帧精确对齐，生成带时间戳的字幕文件，并支持多说话人识别。FunASR ：一款综合语音识别工具包，提供语音识别、语音活动检测、标点符号恢复等功能，特别针对中文语音进行了优化。语音合成集成了Edge TTS、XTTS、CosyVoice等多种先进的语音合成工具。Edge TTS ：微软提供的高质量文本到语音转换服务，支持多种语言和语音风格，生成自然流畅的语音输出。XTTS ：Coqui 提供的先进的深度学习文本转语音工具包，专注于语音克隆和多语言语音合成，可以通过短音频片段实现语音克隆并生成逼真的语音输出。CosyVoice ：阿里巴巴同义实验室开发的多语言语音理解与合成模型，支持多种语言的高质量语音合成和跨语言语音克隆。字幕翻译使用OpenAI API和Qwen模型进行多语言字幕翻译。OpenAI API ：使用OpenAI的GPT-4和GPT-3.5-turbo进行高质量的字幕翻译。这些模型以其自然语言理解和文本生成能力而闻名，适用于对话生成和文本分析。Qwen ：开源的本地化大规模语言模型，支持多语言翻译，可以经济高效地处理多种语言的文本。谷歌翻译：集成谷歌翻译作为翻译功能的补充，提供广泛的语言支持和良好的翻译质量。声音分离使用 Demucs 和 UVR5 技术将人声与伴奏分开。|Demucs ：Facebook 研究团队开发的声音分离模型，可以分离混合音频中的不同声源，包括乐器、人声和背景声音。广泛应用于音乐制作和影视后期制作。UVR5（Ultimate Vocal Remover） ：一款高效的人声伴奏分离工具，可以提取接近原始立体声的伴奏，性能优于其他类似工具如RX9、RipX和SpectraLayers 9。口型同步借鉴Linly-Talker，我们专注于数字人唇同步技术，结合计算机视觉和语音识别技术，将虚拟角色的唇同步与配音精确匹配，达到高度自然的同步效果。该技术适用于动画人物、虚拟主播、教育视频中的旁白等多种场景。视频处理Linly-Dubbing提供添加字幕、插入背景音乐、调节音量和播放速度等功能，用户可以自定义视频内容，使其更具吸引力和个性化。yt-dlp 的集成： yt-dlp 是一个功能强大的开源命令行工具，设计用于从 YouTube 和其他网站下载视频和音频。该工具具有广泛的参数选项，允许用户根据自己的需要微调下载行为。无论是选择特定格式、分辨率，还是提取音频，yt-dlp 都提供了灵活的解决方案。

DreamTalk简介 DreamTalk，一个由清华大学、阿里巴巴和华中科大共同开发的一个基于扩散模型可以让人物照片说话，支持包括歌曲、多种语言的语音、嘈杂的音频在内的各种声音匹配让人物头像说话的框架。DreamTalk演示地址：https://dreamtalk-project.github.ioDreamTalk项目地址：https://dreamtalk-project.github.io/DreamTalk论文地址：https://arxiv.org/abs/2312.09767DreamTalk使用场景：使用 DreamTalk 生成具有多样化语言和表情风格的说话人脸应用 DreamTalk 在影视制作中实现逼真的虚拟角色表情动作使用 DreamTalk 在人机交互场景中实现自然的面部表情和嘴唇运动DreamTalk功能：具体来说，DreamTalk 由三个关键组件组成：降噪网络、风格感知唇部专家和风格预测器。基于扩散的降噪网络能够在不同的表情中一致地合成高质量的音频驱动的面部运动。为了提高嘴唇动作的表现力和准确性，我们引入了一位具有风格意识的嘴唇专家，可以在注意说话风格的同时指导嘴唇同步。为了消除对表情参考视频或文本的需求，使用额外的基于扩散的样式预测器直接从音频中预测目标表情。1、去噪网络：这是核心组件之一，负责生成音频驱动的面部动作。去噪网络使用扩散模型来逐步去除噪声，从而生成清晰、高质量的面部表情。这个过程涉及从带有噪声的数据中逐步恢复出清晰的面部动作。2、风格感知的嘴唇专家：这个组件专注于提高嘴唇动作的表现力和准确性。它通过分析说话风格来引导嘴唇同步，确保生成的动画既自然又符合说话者的风格。3、风格预测器：为了消除对表情参考视频或文本的依赖，DreamTalk引入了一个基于扩散的风格预测器。这个预测器可以直接从音频预测目标表情，无需额外的表情参考视频或文本。4、音频和视频处理：处理音频输入，提取关键的音频特征，并将这些特征用于驱动面部动画。同时，它还能处理视频输入，以提取和模仿特定的表情和风格。5、数据和模型训练：为了实现这些功能，DreamTalk需要大量的数据来训练其模型，包括不同表情和说话风格的面部动画数据。通过这些数据，模型学习如何准确地生成与输入音频匹配的面部动作。DreamTalk可以利用强大的扩散模型有效地生成富有表现力的面孔，并减少对昂贵的风格参考的依赖。实验结果表明，DreamTalk能够生成具有不同说话风格的逼真的说话面孔，并实现准确的嘴唇动作，超越了现有的最先进的同类产品。DreamTalk不仅能够处理和生成它在训练过程中见过的面部类型和表情，还能有效处理和生成它之前未见过的、来自不同数据集的面部类型和表情。包括不同种族、年龄、性别的人物肖像，以及各种不同的表情和情绪。

Open WebUI简介 Open WebUI，为大模型提供用户友好界面，支持 Ollama 并兼容 Openai API。特色有直观聊天界面、响应式设计。支持代码高亮、Markdown、LaTeX、RAG 集成、网页浏览、预设提示、RLHF 注释、模型管理、多模型和多模态、历史记录管理、语音输入、高级参数调整等。Open WebUI功能特征：直观的界面：我们的聊天界面从 ChatGPT 中汲取灵感，确保用户友好的体验。响应式设计：在桌面和移动设备上享受无缝体验。快速响应：享受快速响应的性能。轻松设置：使用 Docker 或 Kubernetes（kubectl、kustomize 或 helm）无缝安装，获得轻松的体验。代码语法高亮：使用我们的语法高亮功能增强代码可读性。完整的 Markdown 和 LaTeX 支持：通过全面的 Markdown 和 LaTeX 功能提升您的 LLM 体验，以丰富交互。本地 RAG 集成：通过开创性的检索增强生成 （RAG） 支持深入了解聊天交互的未来。此功能将文档交互无缝集成到您的聊天体验中。您可以将文档直接加载到聊天中或将文件添加到文档库中，使用提示符中的命令轻松访问它们。在 alpha 阶段，当我们积极改进和增强此功能以确保最佳性能和可靠性时，可能会偶尔出现问题。#网页浏览功能：使用命令后跟 URL 将网站无缝集成到您的聊天体验中。此功能允许您将 Web 内容直接合并到您的对话中，从而增强互动的丰富性和深度。#提示预设支持：使用聊天输入中的命令立即访问预设提示。毫不费力地加载预定义的对话启动器并加快您的交互速度。通过Open WebUI社区集成轻松导入提示。/RLHF 注释：通过竖起大拇指和竖起大拇指对消息进行评分来增强您的消息，从而促进创建用于人类反馈强化学习 （RLHF） 的数据集。利用您的消息来训练或微调模型，同时确保本地保存数据的机密性。对话标记：轻松分类和定位特定聊天，以便快速参考和简化数据收集。下载/删除模型：直接从 Web UI 轻松下载或删除模型。文件模型创建：通过直接从 Web UI 上传 GGUF 文件，轻松创建 Ollama 模型。简化流程，可选择从您的机器上传或从 Hugging Face 下载 GGUF 文件。多模式支持：在不同的聊天模式之间无缝切换，实现多样化的互动。多模态支持：与支持多模态交互的模型无缝交互，包括图像（例如 LLava）。模型文件生成器：通过 Web UI 轻松创建 Ollama 模型文件。创建和添加角色/代理，自定义聊天元素，并通过Open WebUI社区集成轻松导入模型文件。多模型对话：毫不费力地同时与各种模型互动，利用它们的独特优势获得最佳响应。通过并行利用一组不同的模型来增强您的体验。协作聊天：通过无缝编排群组对话，利用多个模型的集体智慧。使用该命令指定模型，从而在聊天界面中启用动态和多样化的对话。让自己沉浸在编织在聊天环境中的集体智慧中。@OpenAI API 集成：毫不费力地集成与 OpenAI 兼容的 API，以便与 Ollama 模型进行多功能对话。自定义 API 基本 URL 以链接到 LMStudio、Mistral、OpenRouter 等。再生历史访问：轻松重新访问和探索您的整个再生历史。聊天记录：轻松访问和管理您的对话记录。导入/导出聊天记录：无缝地将您的聊天数据移入和移出平台。语音输入支持：通过语音交互与您的模型互动;享受直接与模特交谈的便利。此外，探索在静音 3秒后自动发送语音输入的选项，以获得简化的体验。使用高级参数进行微调控制：通过调整温度等参数和定义系统提示来获得更深层次的控制，以根据您的特定偏好和需求定制对话。外部 Ollama 服务器连接：通过配置环境变量，无缝链接到托管在不同地址上的外部 Ollama 服务器。基于角色的访问控制 （RBAC）：使用受限权限确保安全访问;只有经过授权的个人才能访问您的 Ollama，并且为管理员保留独家模型创建/提取权限。后端反向代理支持：通过Open WebUI后端和Ollama之间的直接通信来增强安全性。此关键功能消除了通过 LAN 公开 Ollama 的需要。从 Web UI 向“/ollama/api”路由发出的请求从后端无缝重定向到 Ollama，从而增强了整体系统的安全性。持续更新：我们致力于通过定期更新和新功能来改进 Open WebUI。