DUIX

AI Comic Factory简介 ai Comic Factory 是一个基于Hugging Face的免费开源的在线AI漫画生成工具，使用LLM + SDXL开发，用户只需输入文字描述提示词，AI就能生成精美的漫画作品，生成的照片支持直接无损放大，无需学习成本，适用于各年龄层，广泛应用于社交平台和短视频应用。AI Comic Factory提供多种漫画风格可选择，支持自定义人物形象、背景等元素。并可以利用NLP技术分析输入文本的情感，自动绘制出符合剧情的面部表情及动作，可以将生成的漫画图片下载并用于创作，大大降低了创作漫画的门槛，使普通用户也可以轻松完成漫画创作。AI Comic Factory是一个真正实现了科技与艺术相融合的工具，让每个人都可以轻松地创作出独一无二的漫画风格照片。无论你是漫画爱好者，还是喜欢尝试新技术的科技爱好者，都可以尝试使用这个免费的开源AI漫画生成器，开启你的创意之旅。AI Comic Factory功能：1、智能漫画生成：AI Comic Factory的核心功能是其出色的智能漫画生成能力。它可以将用户提供的文本、故事情节或概念转化为漫画画面，自动选择配色方案、布局和字体，使用户能够以独特而富有创意的方式呈现故事。2、多样化的风格选择：AI Comic Factory提供了多种漫画风格和主题可供选择，从传统的黑白漫画到彩色、卡通风格，满足不同用户的创作需求。这使得用户可以为不同类型的故事选择最合适的风格。3、社区分享和合作：AI Comic Factory还具有社交化的功能，用户可以将他们的漫画作品分享到社区中，与其他创作者互动、合作和获取灵感。这个社区不仅是一个展示作品的平台，还是学习和成长的资源。4、简化的工作流程：该应用程序的用户界面友好，使新手用户和有经验的漫画创作者都能够轻松上手。AI Comic Factory通过简化漫画制作的工作流程，节省了用户的时间和精力。5、CPU支持：AI Comic Factory在CPU上运行，这意味着用户无需拥有高端的GPU或专业的硬件，即可享受到其功能。这种灵活性使更多人能够尝试并享受漫画创作。AI Comic Factory使用步骤：1、输入场景和故事的描述2、选择样式风格；3、选择布局；4、选择字幕；5、生成页面；6、更改页面；7、打印页面；8、保存页面；如果您打算创建多页漫画书，请继续第二页。

ChatTTS-Forge简介 ChatTTS-Forge是一个围绕 TTS生成模型开发的项目，为用户提供灵活的TTS生成能力，支持多种音色、风格控制、长文本推理等功能，ChatTTS-Forge提供了各种API（应用程序编程接口），开发人员可以直接使用这些API轻松将文本转换为语音。ChatTTS-Forge 是一个围绕 TTS（文本转语音）生成模型开发的项目。为用户提供灵活的TTS生成能力，支持多种音色、风格控制、长文本推理等功能。ChatTTS-Forge提供了各种API（应用程序编程接口），开发人员可以直接使用这些API轻松将文本转换为语音。此外，它还提供了易于使用的网页界面（WebUI），允许用户直接在网页上输入文本并生成语音，无需编程。ChatTTS-Forge的主要特点：TTS生成：支持多种TTS模型推理，包括ChatTTS、CosyVoice、FishSpeech、GPT-SoVITS等，用户可以自由选择和切换语音。音调管理：内置多种音调，并且可以上传自定义音调。用户可以通过上传音频或文本来创建和使用自定义铃声。风格控制：提供多种风格控制选项，包括调整语音速度、音调、音量，以及添加语音增强（Enhancer）以提高输出质量。长文本处理：支持超长文本自动切分和推理，可以处理生成长文本音频内容。SSML支持：使用类似XML的SSML语法进行高级TTS合成控制，适合更详细的语音生成场景。ASR（自动语音识别） ：集成Whisper模型，支持语音转文本功能。ChatTTS-Forge的技术和方法：API服务器：用Python编写的API服务器提供高效的TTS服务，支持多个并发请求和自定义配置。WebUI ：基于Gradio的用户界面，用户可以通过简单的操作界面体验TTS功能。Docker 支持：提供 Docker 容器化部署选项，以简化本地和服务器上的部署过程。ChatTTS-Forge WebUI 的特点:TTS（文本到语音） ：通过WebUI，用户可以使用各种不同的TTS模型输入文本并生成语音。音调切换：支持多种预设音调切换，用户可以选择不同的声音来生成语音。自定义语音上传：用户可以上传自己的语音文件，实时生成个性化语音。风格控制：您可以调整语音的风格，包括语速、音高、音量等参数，以生成满足特定需求的语音。长文本处理：支持处理很长的文本，自动将长文本分割成小段并按顺序生成语音，适合生成长音频内容。批量处理：用户可以设置批量大小，以提高长文本的推理速度。精炼器：这个工具 允许您微调文本以优化生成的语音，对于处理无限长度的文本特别有用。语音增强：集成增强模型以提高生成语音的质量并使其听起来更自然。生成历史：保存最近的3次生成结果，方便用户比较不同设置下的语音效果。多模型支持：WebUI支持多种TTS模型，包括ChatTTS、CosyVoice、FishSpeech、GPT-SoVITS等，用户可以根据自己的需求选择合适的模型。SSML支持：使用类似XML的SSML语法来控制语音合成过程，适合需要更复杂控制的场景。播客工具：帮助用户从博客脚本创建长格式、多字符的音频内容。字幕生成：从字幕文件创建 SSML 脚本以生成各种语音内容。GitHub：https://github.com/lenML/ChatTTS-Forge在线体验：https://huggingface.co/spaces/lenML/ChatTTS-Forge

Make-A-Character简介 Make-A-Character，通过一句话描述人的脸型、五官、发型特征，即可高效率、规模化地生成具备全栈式美术能力的超写实3D数字人。生成结果包含人头人体，配饰服装，并支持表情动画资产进行驱动，让3D数字人栩栩如生地动态化展示。你也可以自定义面部特征，例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子，以及添加皱纹和雀斑等。Make-A-Character支持英文和中文提示。Make-A-Character项目地址：https://human3daigc.github.io/MACH/Make-A-Character演示地址：https://www.modelscope.cn/studios/XR-3D/InstructDynamicAvatar/summaryMake-A-Character主要特征：1、高度逼真：角色基于真实人类扫描数据集生成，发型为实际发丝而非网格，使用Unreal Engine的物理基础渲染（PBR）技术渲染，以实现高质量实时渲染效果。2、完整模型：每个角色都是完整模型，包括眼睛、舌头、牙齿、全身和服装，无需额外建模即可立即使用。3、可动画化：角色配备复杂的骨骼装置，支持标准动画，增强其逼真外观和多样化应用。4、可控制性：用户可以详细自定义面部特征，例如脸型、眼睛颜色、发型、眉毛类型、嘴巴和鼻子，以及添加皱纹和雀斑等。5、行业兼容：生成的3D角色可以无缝集成到现有的计算机图形（CG）工作流程中，特别是在游戏和电影行业中常用的工作流程。Make-A-Character原理：Make-A-Character（MACH）结合了大语言模型、视觉模型和3D生成技术。该框架利用大型语言模型（LLM）来提取各种面部属性（例如，脸型、 眼睛形状、嘴巴形状、发型和颜色、眼镜类型）。然后，这些语义属性被映射到 相应的视觉线索，进而指导使用Stable生成参考人像图像 与 ControlNet 一起扩散。通过一系列的2D人脸解析和3D生成模块，网格 并生成目标面部的纹理，并将其与其他匹配的配件一起组装。 参数化表示可以轻松制作生成的 3D 头像的动画。Make-A-Character使用：1、输入人脸描述2、点击生成并等待2分钟3、查看生成效果通过这些步骤，Make-A-Character可以快速从简单的文本描述中生成逼真的、完整的、可动画化的3D角色，适用于各种娱乐和专业场景。

EchoMimic简介 EchoMimic是一个蚂蚁集团支付宝基于音频驱动的肖像动画生成工具，通过可编辑的特征点条件生成逼真、自然的动画，用户可以根据自己的需求调整动画细节，可用于虚拟主播、视频编辑等，效果比SadTalker、MuseTalk好，表情更丰富动作更顺畅。EchoMimic可以根据人像面部特征和音频来帮人物对口型，结合面部标志点和音频内容生成较为稳定、自然的视频。EchoMimic功能:音频驱动动画，可以根据音频生成人物肖像的动画，比如唱歌、说话视频等。姿势驱动动画，可以根据姿势数据生成人物肖像的动画。音频和姿势混合驱动动画，可以同时使用音频和姿势数据来生成动画。WebUI 和 GradioUI，提供图形界面，易于使用。可编辑的标志调节：用户可以选择特定的面部标志来控制动画，提供更大的灵活性和定制性。支持多语言（包含中文普通话、英语）及多风格，也可应对唱歌等场景。EchoMimic应用：肖像图像动画：使用音频输入从静态图像创建动态视频，可用于娱乐、虚拟化身和数字通信。增强稳定性和自然度：通过结合两种输入，克服音频驱动方法的不稳定性和关键点驱动方法的不自然性。可定制的动画：用户可以编辑特定的面部标志以实现所需的动画效果。ComfyUI EchoMimic：https://github.com/smthemex/ComfyUI_EchoMimicEchoMimic项目：https://badtobest.github.io/echomimic.htmlEchoMimic Github：https://github.com/BadToBest/EchoMimicEchoMimic模型：https://huggingface.co/BadToBest/EchoMimicEchoMimic 由蚂蚁集团支付宝终端技术部开发的音频输入驱动创建逼真肖像动画的技术。它使用可编辑的地标调节来实现逼真的面部动作和表情，从而实现高度可定制且外观自然的动画。

DreamTalk简介 DreamTalk，一个由清华大学、阿里巴巴和华中科大共同开发的一个基于扩散模型可以让人物照片说话，支持包括歌曲、多种语言的语音、嘈杂的音频在内的各种声音匹配让人物头像说话的框架。DreamTalk演示地址：https://dreamtalk-project.github.ioDreamTalk项目地址：https://dreamtalk-project.github.io/DreamTalk论文地址：https://arxiv.org/abs/2312.09767DreamTalk使用场景：使用 DreamTalk 生成具有多样化语言和表情风格的说话人脸应用 DreamTalk 在影视制作中实现逼真的虚拟角色表情动作使用 DreamTalk 在人机交互场景中实现自然的面部表情和嘴唇运动DreamTalk功能：具体来说，DreamTalk 由三个关键组件组成：降噪网络、风格感知唇部专家和风格预测器。基于扩散的降噪网络能够在不同的表情中一致地合成高质量的音频驱动的面部运动。为了提高嘴唇动作的表现力和准确性，我们引入了一位具有风格意识的嘴唇专家，可以在注意说话风格的同时指导嘴唇同步。为了消除对表情参考视频或文本的需求，使用额外的基于扩散的样式预测器直接从音频中预测目标表情。1、去噪网络：这是核心组件之一，负责生成音频驱动的面部动作。去噪网络使用扩散模型来逐步去除噪声，从而生成清晰、高质量的面部表情。这个过程涉及从带有噪声的数据中逐步恢复出清晰的面部动作。2、风格感知的嘴唇专家：这个组件专注于提高嘴唇动作的表现力和准确性。它通过分析说话风格来引导嘴唇同步，确保生成的动画既自然又符合说话者的风格。3、风格预测器：为了消除对表情参考视频或文本的依赖，DreamTalk引入了一个基于扩散的风格预测器。这个预测器可以直接从音频预测目标表情，无需额外的表情参考视频或文本。4、音频和视频处理：处理音频输入，提取关键的音频特征，并将这些特征用于驱动面部动画。同时，它还能处理视频输入，以提取和模仿特定的表情和风格。5、数据和模型训练：为了实现这些功能，DreamTalk需要大量的数据来训练其模型，包括不同表情和说话风格的面部动画数据。通过这些数据，模型学习如何准确地生成与输入音频匹配的面部动作。DreamTalk可以利用强大的扩散模型有效地生成富有表现力的面孔，并减少对昂贵的风格参考的依赖。实验结果表明，DreamTalk能够生成具有不同说话风格的逼真的说话面孔，并实现准确的嘴唇动作，超越了现有的最先进的同类产品。DreamTalk不仅能够处理和生成它在训练过程中见过的面部类型和表情，还能有效处理和生成它之前未见过的、来自不同数据集的面部类型和表情。包括不同种族、年龄、性别的人物肖像，以及各种不同的表情和情绪。

SoraWebui简介 SoraWebui 是一个开源 Web 平台，使用户能够使用 Openai 的 Sora 模型从文本生成视频。SoraWebui简化了视频创建过程，支持在Vercel上进行一键部署，让开发者能够方便地进行使用和测试。使用 SoraWebui，任何人都可以通过简单地输入文本来创建视频，使其成为视频制作和 AI 技术专业人士和爱好者的可访问工具。如何使用 SoraWebui?1、对于普通用户：要使用 SoraWebui，只需访问网站并按照提供的说明进行操作。您通常会找到一个用户友好的界面，您可以在其中输入要创建的视频的文本描述。提交您的描述后，SoraWebui 将使用 OpenAI Sora 模型为您生成视频。视频准备好后，您可以直接在网站上观看并下载供您使用或分享。2、对于网站所有者或开发人员：作为网站所有者或开发人员，您可以按照项目文档中提供的部署说明在自己的平台上部署 SoraWebui。部署后，您可以自定义界面以匹配您网站的品牌，并将其无缝集成到您现有的平台中。您可能还想探索 SoraWebui 提供的其他特性和功能，例如用于自动视频生成的 API 集成或用于控制对服务访问的用户管理工具。总体而言，SoraWebui 提供了一个强大的工具，用于增强您网站的功能并为用户提供独特的视频创作体验。据悉，尽管目前尚无Sora API可用，但开源项目SoraWebui已通过模拟DALL-E3的API接口字段实现。这使得开发者能够提前深入探索该项目，掌握其实现机制和功能亮点，大家如果自己要开发，也可以先基于 FakeSoraAPI ，把整个业务流程走通，等到 Sora 官方 API 上线之后就可以第一时间做一些小改动，就能够让自己的产品可以使用，为Sora未来上线做好充分的开发准备。

易魔声EmotiVoice简介 易魔声EmotiVoice是一个强大的开源TTS引擎，支持中英文双语，包含2000多种不同的音色，以及特色的情感合成功能，支持合成包含快乐、兴奋、悲伤、愤怒等广泛情感的语音。易魔声EmotiVoice提供一个易于使用的web界面，还有用于批量生成结果的脚本接口。当前的实现侧重于通过提示控制情绪/风格。易魔声EmotiVoice只使用音高、速度、能量和情感作为风格因素，而不使用性别。但是将其更改为样式、音色控制并不复杂，类似于PromptTTS的原始闭源实现。所有用户可免费在开源社区GitHub进行下载使用，并通过提供的 web 界面和批量生成结果的脚本接口实现音色的情感合成与应用。

HiDiffusion简介 HiDiffusion大幅提升扩散模型的图像生成质速度提升6倍，由字节跳动的研究团队开发，HiDiffusion无需训练，只需要一行代码就可以提高 SD 生成图像的清晰度和生成速度。支持将图像生成的分辨率提高至4096×4096，同时将图像生成速度提升1.5至6倍。还能在高分辨率图像生成中将推理时间减少 40%-60%，支持所有 SD 模型同时也支持 SD 模型的下游模型，比如Playground。HiDiffusion功能特征：支持的模型： HiDiffusion 支持多种稳定扩散模型，包括 Stable Diffusion XL、Stable Diffusion XL Turbo、Stable Diffusion v2 和 Stable Diffusion v1。此外，它还支持基于这些模型的下游扩散模型，如 Ghibli-Diffusion 和 Playground 等。支持的任务： HiDiffusion 支持多种任务，包括文本到图像的生成、ControlNet 控制网络任务和Inpainting 图像修复。易于使用： 通过Huggface Diffusers库，使用 HiDiffusion 生成图像极为简单，只需添加一行代码即可。通过广泛的实验验证，HiDiffusion不仅解决了对象重复和高计算负荷的问题，还在生成高分辨率图像的任务上达到了前所未有的效果。HiDiffusion测试地址：https://huggingface.co/spaces/multimodalart/HiDiffusion