CodeFormer

CosyVoice简介 CosyVoice是一款基于语音量化编码的语音生成大模型，一个可以深度融合文本理解和语音生成的一项新型语音合成技术，它对语音进行离散化编码，并依托大模型技术，实现自然流畅的语音生成体验。与传统语音生成技术相比，CosyVoice能够精准解析并诠释各类文本内容，将其转化为宛如真人般的自然语音。你只需提供3~10s的原始音频，CosyVoice即可生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。CosyVoice项目官网：https://www.modelscope.cn/studios/iic/CosyVoice-300MCosyVoice源码地址：https://github.com/FunAudioLLM/CosyVoiceCosyVoice API地址：https://help.aliyun.com/zh/model-studio/developer-reference/cosvoice-large-model-for-speech-synthesis/?spm=a2c4g.11186623.0.0.56f01751Ke29mhCosyVoice功能特征：高度拟人化：采用阿里通义语音实验室自研的CosyVoice 生成式神经网络语音大模型算法，使生成的语音在语调、韵律、情感表达等方面达到超拟人程度。多语言：CosyVoice支持中英日粤韩5种语言的生成，专注自然语音生成，支持多语言、音色和情感控制，效果显著优于传统语音生成模型。多样化音色选择：提供海量优质的音库资源，包括不同性别、年龄、方言以及各种特色声音，满足用户在不同场景下的个性化需求。无论是新闻播报的庄重严肃，还是故事讲述的情感丰富，都能轻松驾驭。实时高效合成：系统具有出色的响应速度和流式语音合成处理能力，无论是长篇文档还是短句指令，都能实现快速、准确的实时语音合成。情感和韵律控制：CosyVoice支持富语言声音事件以及多情感的高拟人语音生成，例如笑声、语气词等，以及不同情感表现的高拟人语音生成。声音克隆：只需提供3~10s的原始音频，CosyVoice即可克隆生成模拟音色，甚至包括韵律、情感等细节，包括跨语种语音生成。CosyVoice应用：CosyVoice适用于多种应用场景，如智能客服、有声读物、车载导航、教育辅导等。智能设备/机器人播报的语音内容，如智能客服机器人、智能音箱、数字人、语音助手等。音视频创作中需要将文字转为语音播报的场景，如小说阅读、新闻播报、影视解说、剧本配音等。CosyVoice极大地拓宽了语音交互的可能性，提升用户体验的同时，也为企业智能化转型提供了强大支持。同最近大火的ChatTTS对比，可以发现CosyVoice的合成音频在内容一致性上更高，CosyVoice对生成语音的情感、韵律进行细粒度的控制，生音频在情感表现力上得到明显提升，并且没有很少存在幻觉额外多字的现象。CosyVoice很好地建模了合成文本中的语义信息，在内容一致性和说话人相似度上超越人类。

EmojiGen简介 EmojiGen是一个开源的表情符号生成器。它由 Replicate 上的 fofr/sdxl-emoji 提供支持。可以根据用户任意的文字描述生成新的表情符号，不同用户可以获得完全定制的个性表情符号，用户只需要在输入框中输入一个词或短语，EmojiGen就会立即生成相关的表情符号。EmojiGen，应该是世界上最大的表情符号库（约 25 万表情）,EmojiGen有大量默认的表情符号，分类为“最新”和“特色”两部分。EmojiGen还有个开源项目，为其他开发者提供了参考，并进行二次开发打造出更多优秀的ai应用。可以利用文本提示生成表情。接受用户的提示，生成一个表情。然后，使用Replicate去除背景。用户可以点击下载并添加到Slack。EmojiGen功能：使用AI技术根据文字生成相关的表情符号。提供大量默认表情符号库（约 25 万表情）。用户可以输入任意文字获得自定义表情符号。生成的图片可以下载保存和在聊天软件中使用。

VideoSrt简介 VideoSrt是一个可以识别视频语音自动生成字幕SRT文件的开源软件工具。基于Golang语言，使用lxn/walk Windows-GUI工具包开发的开源软件工具。适用于快速、批量的为媒体（视频/音频）生成中/英文字幕、文本文件的业务场景。VideoSrt具有易用的界面和多种强大功能，使其成为处理媒体字幕的理想选择。VideoSrt需要注册阿里云账号，接入语音引擎，用于语音识别生成字幕文件（和Autosub-ahk功能一样，只不过Autosub-ahk接入的是Google Speech V2 API），也需要注册百度翻译开放平台账号或者腾讯云账号，接入翻译引擎，用于将英文字幕文件翻译为中文字幕文件，具体教程看GitHub简介VideoSrt应用场景：识别视频/音频的语音生成字幕文件（支持中英互译，双语字幕）提取视频/音频的语音文本批量翻译、过滤处理/编码SRT字幕文件VideoSrt优势：使用阿里云语音识别接口，准确度高，标准普通话/英语识别率95%以上视频识别无需上传原视频，方便快速且节省时间支持多任务多文件批量处理支持视频、音频常见多种格式文件支持同时输出字幕SRT文件、LRC文件、普通文本3种类型支持语气词过滤、自定义文本过滤、正则过滤等，使软件生成的字幕更加精准支持字幕中英互译、双语字幕输出，及日语、韩语、法语、德语、西班牙语、俄语、意大利语、泰语等支持多翻译引擎（百度翻译、腾讯云翻译）支持批量翻译、编码SRT字幕文件

HiDiffusion简介 HiDiffusion大幅提升扩散模型的图像生成质速度提升6倍，由字节跳动的研究团队开发，HiDiffusion无需训练，只需要一行代码就可以提高 SD 生成图像的清晰度和生成速度。支持将图像生成的分辨率提高至4096×4096，同时将图像生成速度提升1.5至6倍。还能在高分辨率图像生成中将推理时间减少 40%-60%，支持所有 SD 模型同时也支持 SD 模型的下游模型，比如Playground。HiDiffusion功能特征：支持的模型： HiDiffusion 支持多种稳定扩散模型，包括 Stable Diffusion XL、Stable Diffusion XL Turbo、Stable Diffusion v2 和 Stable Diffusion v1。此外，它还支持基于这些模型的下游扩散模型，如 Ghibli-Diffusion 和 Playground 等。支持的任务： HiDiffusion 支持多种任务，包括文本到图像的生成、ControlNet 控制网络任务和Inpainting 图像修复。易于使用： 通过Huggface Diffusers库，使用 HiDiffusion 生成图像极为简单，只需添加一行代码即可。通过广泛的实验验证，HiDiffusion不仅解决了对象重复和高计算负荷的问题，还在生成高分辨率图像的任务上达到了前所未有的效果。HiDiffusion测试地址：https://huggingface.co/spaces/multimodalart/HiDiffusion

AniPortrait简介 AniPortrait是一款由腾讯研究人员开发的音频驱动的肖像动画合成框架，它能够根据音频和静态人脸图片生成逼真的动态视频。AniPortrait的应用场景包括为视频配音或创作逼真的人脸动画、制作创意表情包或独特的动态头像以及为艺术家和创作者提供面部再现和动画生成的工具。AniPortrait功能特征：AniPortrait图片生成视频的功能特征主要包括以下几点：音频驱动的肖像动画合成：AniPortrait是一款能够根据音频和静态人脸图片生成逼真动态视频的工具，它通过提取音频中的3D面部表情来实现这一功能。用户友好性：使用AniPortrait非常简单，用户只需提供音频和人脸图片，即可生成符合特定要求的人脸动画。此外，用户还可以根据需要调整模型和权重配置，以实现个性化的动画效果。三维数据转换：AniPortrait会从音频中提取出三维的中间数据，并将这些数据转换成一连串的二维面部轮廓标记，为后续的人脸动画生成打下基础。高品质动画生成：该工具基于音频和一张参考人脸照片来生成高品质的动画，包括两个主要步骤：首先是从音频中提取三维中间数据，然后进行后续处理。AniPortrait应用场景：AniPortrait图片生成视频的应用场景主要包括以下几个方面：虚拟现实（VR）：AniPortrait可以为VR角色提供逼真的面部动画，增强用户的沉浸感。这意味着在虚拟现实环境中，用户可以通过更加自然和真实的面部表情来与虚拟角色互动，从而提升体验的真实性和互动性。视频游戏：在视频游戏中，AniPortrait的应用可以使得游戏角色的面部表情更加丰富和真实，提高游戏的吸引力和玩家的沉浸感。通过生成逼真的动态视频，可以使游戏角色的表情和反应更加自然，增加游戏的趣味性和互动性。音频驱动的动画合成：AniPortrait支持音频驱动的动画合成，这意味着它可以根据音频内容自动生成相应的面部动画，适用于需要根据特定音频内容生成相应表情或动作的场景。这种应用可以广泛应用于视频制作、电影特效等领域，使得角色的表情和动作更加符合音频内容，提高作品的表现力。高质量动画生成：AniPortrait能够生成高质量的动画，这使得它非常适合于需要高清晰度和细节表现的场合，如电影制作、广告视频等。通过高质量的动画生成，可以确保角色的表情和动作既逼真又细腻，满足专业级别的制作需求。与其他AI工具相比，如阿里推出的EMO，AniPortrait同样能够通过输入一张参考图片和语音音频，创造出生动的视频，展现出丰富的面部表情和多变的头部动作。然而，值得注意的是，AniPortrait比EMO更早开源，这表明腾讯在这一领域的技术创新和开放态度。总的来说，AniPortrait图片生成视频的技术主要依赖于音频和静态人脸图片的输入，通过先进的AI算法处理这些数据，生成逼真且与音频内容匹配的动态视频。这项技术不仅适用于社交媒体、艺术创作等领域，也展现了AI在图像处理和动画生成方面的强大能力。

Stirling-PDF简介 Stirling-PDF，一个基于Web强大的开源PDF操作工具。它使您能够对 PDF 文件执行各种操作，包括拆分、合并、转换、重组、添加图像、旋转、压缩等。Stirling-PDF非常注意安全，所有文件和 PDF 要么仅存在于客户端，要么仅在任务执行期间驻留在服务器内存中，要么仅临时驻留在文件中以执行任务。当完成任务后，用户上传的任何文件都将会从服务器中删除。Stirling-PDF特征：深色模式支持。自定义下载选项（例如，请参阅此处）并行文件处理和下载用于与外部脚本集成的 API可选的登录和身份验证支持（请参阅此处的文档）PDF 功能Stirling-PDF页面操作查看和修改 PDF - 通过自定义查看、排序和搜索查看多页 PDF。加上页面编辑功能，如注释、绘制和添加文本和图像。（将 PDF.js 与 Joxit 和 Liberation.Liberation 字体一起使用）用于合并/拆分/旋转/移动 PDF 及其页面的完整交互式 GUI。将多个 PDF 合并到一个生成的文件中。将 PDF 拆分为指定页码的多个文件，或将所有页面提取为单个文件。将 PDF 页面重新组织为不同的顺序。以 90 度的增量旋转 PDF。删除页面。多页布局（将 PDF 格式化为多页页面）。按设置百分比缩放页面内容大小调整对比度。裁剪 PDF。自动拆分 PDF（使用物理扫描的页面分隔符）。提取页面。将 PDF 转换为单个页面。转换操作将 PDF 与图像相互转换。将任何通用文件转换为 PDF（使用 LibreOffice）。将 PDF 转换为 Word/Powerpoint/其他（使用 LibreOffice）。将 HTML 转换为 PDF。URL 到 PDF。Markdown 转换为 PDF。安全与权限添加和删除密码。更改/设置 PDF 权限。添加水印。对 PDF 进行认证/签名。清理 PDF。自动编辑文本。其他操作添加/生成/写入签名。修复 PDF。检测并删除空白页。比较 2 个 PDF 并显示文本差异。将图像添加到 PDF。压缩 PDF 以减小其文件大小（使用 OCRMyPDF）。从 PDF 中提取图像。从扫描中提取图像。添加页码。通过检测PDF标题文本自动重命名文件。PDF 上的 OCR（使用 OCRMyPDF）。PDF/A 转换（使用 OCRMyPDF）。编辑元数据。拼合 PDF。获取 PDF 上的所有信息以查看或导出为 JSON。Stirling PDF 有 3 个不同的版本，完整版、精简版和超精简版。根据您使用的功能和空间大小来选择。

Diffuse to Choose简介 Diffuse to Choose主要用于虚拟试穿场景。它能够在修复图像时保留参考物品的细节，并且能够进行准确的语义操作。Diffuse to Choose能让你在将任何商品放入任何环境中，同时和环境完美融合，并结合感知损失来进一步保留参考物品的细节，该模型在快速推理和高保真细节方面取得了良好的平衡。比如您可以使用Diffuse to Choose装饰您的房间，或者不受任何限制地尝试不同的衣服组合,改变衣服的风格，例如塞进衣服或卷起袖子。Diffuse to Choose能够帮助用户更好地了解产品在真实环境中的样子，提高了在线购物的体验。Diffuse to Choose功能：1、虚拟试穿技术：允许用户在不同环境中虚拟放置商品，实现逼真的在线购物体验。2、与传统扩散模型相比，DTC模型能更好地捕捉商品细节，提升修复质量。采用特殊的算法，将来自参考图像的细粒度特征直接融入主扩散模型的潜在特征图中，保证产品与环境的高度融合。3、高效平衡：在快速推断与保持高保真细节方面达到了有效的平衡。4、广泛测试与评估：在不同数据集上测试，证明了DTC模型相较于现有技术的优越性。5、场景适应性：能够处理多种场景中的图像，确保产品与场景的无缝整合。6、快速推断能力：提供快速且高效的零次射推断，加快虚拟试穿过程。7、修复图像：在虚拟试穿应用中修复图像，为产品图像添加缺失的细节。

RMBG-2.0简介 RMBG-2.0是由BRIA ai开发的开源图像背景移除模型，它通过卷积神经网络（CNN），来实现高精度的前景与背景分离。RMBG-2.0模型在精心挑选的数据集上进行了训练，包括：一般图像、电子商务、游戏和广告内容，使其适用于支持大规模企业内容创建的商业用例。其准确性、效率和多功能性目前可与领先的 Source Available 型号相媲美。RMBG-2.0主要功能：高精度背景移除：能够准确地从各种类型的图像中分离前景对象。商业用途支持：适用于电子商务、广告设计和游戏开发等领域，支持大规模的企业级内容创作。云服务器无关架构：设计灵活，可以在不同的云平台和服务器上运行，便于扩展。多模态归因引擎：通过处理多种类型的数据（如图像与文本），增强模型的泛化能力，提高背景移除的准确性。数据训练平台：支持大规模数据训练，持续提升模型性能。RMBG-2.0技术原理与特性：深度学习基础：基于深度学习，尤其是CNN，来识别和分离前景与背景。数据训练：在大量标注数据上训练，学习精确的前景背景区分。多模态处理：利用多模态数据提高模型理解图像内容的能力。云无关性：确保模型的部署不依赖特定云环境，增加灵活性。数据烘焙：通过数据增强和预处理，提升模型对新场景的适应性和鲁棒性。RMBG-2.0如何使用？使用该模型只需简单的Python库调用，使用者可以方便地对图像进行背景去除，例如，通过Hugging Face的库加载模型，并进行图像预处理，即可实现背景移除。用户需要安装torch、torchvision、pillow、kornia和transformers等依赖库。RMBG-2.0许可与应用：RMBG-2.0以Creative Commons许可供非商业使用，商业应用需与BRIA签订协议。相比于前代版本，RMBG-2.0的准确率显著提升，从73.26%增加到90.14%，超越了一些知名的商业工具，如remove.bg。