ChatTTS-Forge

ChatGPT-Plus简介 ChatGPT-PLUS 基于 ai 大语言模型 API 实现的 AI 助手全套开源解决方案，自带运营管理后台，开箱即用。集成了 ChatGPT, Azure, ChatGLM,讯飞星火，文心一言等多个平台的大语言模型。支持 MJ AI 绘画，Stable Diffusion AI 绘画，微博热搜等插件工具。采用 Go + Vue3 + element-plus 实现。ChatGPT-PLUS主要功能：完整的开源系统，前端应用和后台管理系统皆可开箱即用。基于 Websocket 实现，完美的打字机体验。内置了各种预训练好的角色应用，比如小红书写手，英语翻译大师，苏格拉底，孔子，乔布斯，周报助手等。轻松满足你的各种聊天和应用需求。支持 OPenAI，Azure，文心一言，讯飞星火，清华 ChatGLM等多个大语言模型。支持 Midjourney / Stable Diffusion AI 绘画集成，开箱即用。支持使用个人微信二维码作为充值收费的支付渠道，无需企业支付通道。已集成支付宝支付功能，微信支付，支持多种会员套餐和点卡购买功能。集成插件 API 功能，可结合大语言模型的 function 功能开发各种强大的插件，已内置实现了微博热搜，今日头条，今日早报和 AI 绘画函数插件。ChatGPT-Plus功能截图：ChatGPT-PLUS全套完整的开源系统，前端应用和后台管理系统皆可开箱即用，基于 MIT 开源协议，集成支付系统，可以直接商用变现。

ToucanTTS简介 ToucanTTS，一套用于最先进语音合成的工具包，由斯图加特大学自然语言处理研究所（IMS）开发的超全文本转语音（Text-to-Speech, TTS）模型。ToucanTTS覆盖超过7,000种语言的大型多语言模型。ToucanTTS不仅支持多语言，还具备多说话人语音合成功能，可以模拟不同说话人的节奏、重音和语调。它还提供了多种应用的交互演示，包括语音设计、风格克隆、多语言语音合成和人工编辑诗歌朗读，展示了其多功能性和强大性能。ToucanTTS功能：多语言支持：ToucanTTS 能够合成 7,000 多种语言的语音，使其成为可用的最多语言的 TTS 模型。这种广泛的语言支持迎合了广泛的国际受众。多说话人语音合成：ToucanTTS可能多人语音合成，用户能够模仿不同说话人的节奏、重音和语调。对于需要风格多样性和语音定制的应用程序来说，特别的有用呢。人机交互编辑：ToucanTTS可以让用户自定义合成语音来满足特定要求，对于文学研究和诗歌阅读作业特别有用的呐。架构：ToucanTTS 基于 FastSpeech 2 架构构建，并受到 PortaSpeech 的启发进行了改进。它包括一个基于归一化流的 PostNet 和一个经过连接主义时间分类 (CTC) 和频谱图重建训练的独立对齐器，可以实现高质量、听起来自然的语音合成 。发音表示：ToucanTTS 的一项独特功能是使用音素的发音表示作为输入。可以通过利用多语言数据提高了低资源语言语音合成的质量和可用性。交互式演示：ToucanTTS 为各种应用提供交互式演示，例如语音设计、风格克隆、多语言语音合成和人工编辑的诗歌朗读。这些演示展示了该工具包的多功能性和稳健性。训练和推理：该工具包提供了有关安装依赖项、配置存储、下载预训练模型和运行训练管道的全面说明。它支持从预训练模型进行微调和从头开始训练 。ToucanTTS特点：多语言和多说话者支持：通过大规模的多语言预训练模型，支持涵盖超过7,000种语言的多语言语音合成。实现多说话者语音合成，并克隆节奏、重音和语调等韵律跨说话者。人机协同编辑：允许对合成语音进行人机协同编辑，例如用于诗歌朗诵和文学研究。交互式演示：提供大规模多语言语音合成、跨说话者风格克隆、语音设计和人工编辑的诗歌朗诵的交互式演示架构和组件：主要基于FastSpeech 2架构，具有一些修改，例如受PortaSpeech启发的基于正规化流的PostNet。包括经CTC训练的自包含对齐器和各种应用的谱图重建。提供多语言模型、对齐器、嵌入函数、声码器和嵌入GAN的预训练模型。易用性：完全采用Python和PyTorch构建，旨在简单且适合初学者，同时功能强大。口腔表征：IMS Toucan系统将音素的口腔表征作为输入，使多语言数据可以惠及低资源语言。ToucanTTS应用：多语言应用程序的语音合成：ToucanTTS 支持 7,000 多种语言，非常有利于创建多语言应用程序，比如全球客户服务平台、教育工具和非母语人士的辅助功能 。语音设计和定制：多扬声器语音合成功能允许创建可用于各种应用的定制语音，例如虚拟助理、有声读物和个性化营销信息。人机交互编辑：此功能在文学研究和诗歌阅读作业中特别有用，因为在这些作业中需要精确控制语音输出以满足特定的文体要求。如何使用ToucanTTS？只需简单几步，即可开始使用ToucanTTS。1、从GitHub下载从GitHub下载代码。git clone https://github.com/2noise/ToucanTTS下载ToucanTTS2、安装依赖项在开始之前，请确保已安装所需的软件包。您将需要torch和ToucanTTS。如果尚未安装，可以使用pip安装：3、导入所需库为您的脚本导入必要的库。您将需要torch、ToucanTTS和IPython.display中的Audio。4、初始化ToucanTTS，创建ToucanTTS类的实例并加载预训练模型。5、准备文本，定义要转换为语音的文本。将<YOUR TEXT HERE>替换为您想要的文本。6、生成语音，使用infer方法从文本生成语音。设置use_decoder=True以启用解码器。7、播放音频使用IPython.display中的Audio类播放生成的音频。将采样率设置为24,000 Hz并启用自动播放。8、完成脚本ToucanTTS的GitHub链接：https://github.com/DigitalPhonetics/IMS-Toucan在线演示链接：https://huggingface.co/spaces/Flux9665/MassivelyMultilingualTTS数据集链接：https://huggingface.co/datasets/Flux9665/BibleMMS

LibreChat简介 LibreChat，一个增强版的ChatGPT程序，一个免费开源的聊天机器人平台，集成了多种 ai 模型，例如 ChatGPT、OpenAI、BingAI、PaLM 2 等。 LibreChat 允许您与不同的 AI 进行自然且引人入胜的对话，并使用各种功能和插件定制您的体验。LibreChat还集成并增强了原始客户端功能，例如对话和消息搜索、提示模板和插件。项目地址：https://github.com/danny-avila/LibreChatLibreChat功能列表：多功能聊天界面： LibreChat 提供类似于ChatGPT的用户界面，包括深色模式、流式传输。多模式聊天： 支持GPT-4V 和 Gemini Vision分析图像。多语言用户界面： 支持多种语言，包括英语、中文、德语、西班牙语、法语、意大利语等。AI模型选择：包括OpenAI API、Azure、BingAI、ChatGPT、Google Vertex AI、Anthropic（Claude）、插件等。用户可以创建、保存并共享自己的自定义预设Agent。提供会话分支功能，允许编辑、重新提交和继续消息。导出对话： 支持将对话导出为截图、Markdown、文本和 JSON 格式。消息/对话搜索： 提供全面的消息和对话搜索功能。插件支持： 包括 Web 访问、使用 DALL-E-3 生成图像等插件。多用户安全认证： 提供多用户安全认证，包括监督和令牌消费工具。配置选项： 配置代理、反向代理、Docker、许多部署选项，并且完全开源。文档和支持： 提供详细的文档和指南，帮助用户安装、配置软件，并使用高级功能。LibreChat 将助理 AI 的未来与 OpenAI 的 ChatGPT 的革命性技术结合在一起。为了庆祝原始风格，LibreChat 使您能够集成多个 AI 模型。它还集成并增强了原始客户端功能，例如对话和消息搜索、提示模板和插件。使用 LibreChat，您不再需要选择 ChatGPT Plus，而是可以使用免费或按通话付费的 API。我们欢迎贡献、克隆和分叉，以增强这个高级聊天机器人平台的功能。官方GitHub：https://librechat.ai文档：https://docs.librechat.ai加入我们的 Discord：https://discord.librechat.ai

SoraWebui简介 SoraWebui 是一个开源 Web 平台，使用户能够使用 Openai 的 Sora 模型从文本生成视频。SoraWebui简化了视频创建过程，支持在Vercel上进行一键部署，让开发者能够方便地进行使用和测试。使用 SoraWebui，任何人都可以通过简单地输入文本来创建视频，使其成为视频制作和 AI 技术专业人士和爱好者的可访问工具。如何使用 SoraWebui?1、对于普通用户：要使用 SoraWebui，只需访问网站并按照提供的说明进行操作。您通常会找到一个用户友好的界面，您可以在其中输入要创建的视频的文本描述。提交您的描述后，SoraWebui 将使用 OpenAI Sora 模型为您生成视频。视频准备好后，您可以直接在网站上观看并下载供您使用或分享。2、对于网站所有者或开发人员：作为网站所有者或开发人员，您可以按照项目文档中提供的部署说明在自己的平台上部署 SoraWebui。部署后，您可以自定义界面以匹配您网站的品牌，并将其无缝集成到您现有的平台中。您可能还想探索 SoraWebui 提供的其他特性和功能，例如用于自动视频生成的 API 集成或用于控制对服务访问的用户管理工具。总体而言，SoraWebui 提供了一个强大的工具，用于增强您网站的功能并为用户提供独特的视频创作体验。据悉，尽管目前尚无Sora API可用，但开源项目SoraWebui已通过模拟DALL-E3的API接口字段实现。这使得开发者能够提前深入探索该项目，掌握其实现机制和功能亮点，大家如果自己要开发，也可以先基于 FakeSoraAPI ，把整个业务流程走通，等到 Sora 官方 API 上线之后就可以第一时间做一些小改动，就能够让自己的产品可以使用，为Sora未来上线做好充分的开发准备。

Diffutoon简介 Diffutoon 是一项突破性的卡通着色进步，植根于扩散模型，可将逼真的视频无缝地转变为动漫视觉风格。该方法将卡通着色挑战分解为四个可辨别的方面：风格化、一致性增强、结构指导和着色。其主要卡通着色管道由植根于动漫风格扩散原理的多模块去噪模型推动，拥有令人印象深刻的渲染详细、高分辨率和长时间视频的能力。编辑分支的合并有助于根据提供的提示进行内容操作。通过闪存注意力的战略集成巧妙地缓解了 GPU 内存限制，从而实现高达 1536 x 1536 的分辨率。Diffutoon 能够以动漫风格渲染出细致、高分辨率、以及延长时间的视频。它还可以通过额外的分支编辑内容。Diffutoon 的有效性通过数值指标和人类评估进行评估。值得注意的是，Diffutoon 在我们的实验中超越了开源和闭源基线方法。Diffutoon 的主要功能：将真实感视频转换成各种动漫风格根据用户提示编辑视频内容，例如改变颜色或添加特效。详细保留了光照、头发和姿势等细节，同时保持了与动画风格密切相关的视觉效果。保持视频内容的一致性，避免闪烁和失真。能够生成高分辨率、长时间的视频。Diffutoon 的主要特点：高分辨率输出：Diffutoon 可以处理超高分辨率的视频，使其适合专业级动画和视频项目。一致性增强：它确保跨帧的风格化一致，这对于保持动画序列的视觉连贯性至关重要。可编辑内容：该方法允许根据提示进行内容编辑，为创作过程提供灵活性。结构指导和着色：Diffutoon 结合了结构指导和着色，以增强风格化输出的视觉吸引力和准确性。Diffutoon应用：动画制作：Diffutoon 可用于动画创作，将真人镜头或其他类型的视频转换为动画风格的动画。视频编辑：它能够根据提示编辑视频内容，这使其成为希望将动漫美学融入其项目的视频编辑者的强大工具。创意项目：艺术家和创作者可以使用 Diffutoon 在其视频内容中尝试不同的风格和效果。论文：https://arxiv.org/pdf/2401.16224Github：https://github.com/modelscope/DiffSynth-Studio项目：https://ecnu-cilab.github.io/DiffutoonProjectPage/

Whisper语音识别模型简介 Whisper 是Openai 开源音频转文字的语音识别模型。它在不同音频的大型数据集上进行训练，也是一个多任务模型，可以执行多语言语音识别以及语音翻译和语言识别。Whisper有五种模型尺寸，提供速度和准确性的平衡，其中English-only模型提供了四种选择。下面是可用模型的名称、大致内存需求和相对速度。

Emote Portrait Alive简介 Emote Portrait Alive是阿里巴巴发布的EMO，一种音频驱动的AI肖像视频生成框架。输入单个参考图像和声音音频，例如说话和唱歌，Emote Portrait Alive就可以生成具有表情丰富的面部表情和各种头部姿势的声音肖像视频，让照片中的人物根据音频内容自然地张嘴说话或唱歌，面部表情和头部姿态非常逼真。同时，我们可以根据输入视频的长度生成任意持续时间的视频。Emote Portrait Alive功能和特点：音频驱动的视频生成：EMO能够根据输入的音频（如说话或唱歌）直接生成视频，无需依赖于预先录制的视频片段或3D面部模型。高表现力和逼真度：生成的视频具有高度的表现力，能够捕捉并再现人类面部表情的细微差别，包括微妙的微表情，以及与音频节奏相匹配的头部运动。无缝帧过渡：确保视频帧之间的过渡自然流畅，避免了面部扭曲或帧间抖动的问题，从而提高了视频的整体质量。身份保持：通过FrameEncoding模块，EMO能够在视频生成过程中保持角色身份的一致性，确保角色的外观与输入的参考图像保持一致。稳定的控制机制：采用了速度控制器和面部区域控制器等稳定控制机制，以增强视频生成过程中的稳定性，避免视频崩溃等问题。灵活的视频时长：可以根据输入音频的长度生成任意时长的视频，为用户提供了灵活的创作空间。跨语言和跨风格：训练数据集涵盖了多种语言和风格，包括中文和英文，以及现实主义、动漫和3D风格，使得EMO能够适应不同的文化和艺术风格。Emote Portrait Alive应用场景：唱歌视频生成：输入一张人物肖像照片和唱歌音频，EMO可以生成与音频同步且富有表现力的唱歌视频。说话视频生成：不仅限于唱歌，还可以处理说话音频，生成与语音同步的说话视频。多语言支持：支持多种语言的音频输入，能够生成不同语言下的人物肖像视频。跨风格应用：可以将不同风格（如动漫、3D模型等）的肖像图像与音频结合，生成具有特定风格的视频内容。Emote Portrait Alive不仅限于处理唱歌的音频输入，还可以容纳各种语言的口语音频。此外，Emote Portrait Alive还能够将过去的老照片、绘画以及 3D 模型和AI生成的内容制作成视频，为它们注入逼真的动作和真实感。

易魔声EmotiVoice简介 易魔声EmotiVoice是一个强大的开源TTS引擎，支持中英文双语，包含2000多种不同的音色，以及特色的情感合成功能，支持合成包含快乐、兴奋、悲伤、愤怒等广泛情感的语音。易魔声EmotiVoice提供一个易于使用的web界面，还有用于批量生成结果的脚本接口。当前的实现侧重于通过提示控制情绪/风格。易魔声EmotiVoice只使用音高、速度、能量和情感作为风格因素，而不使用性别。但是将其更改为样式、音色控制并不复杂，类似于PromptTTS的原始闭源实现。所有用户可免费在开源社区GitHub进行下载使用，并通过提供的 web 界面和批量生成结果的脚本接口实现音色的情感合成与应用。