Ai开源项目

MinerU简介 MinerU是一款将PDF转化为机器可读格式的工具（如markdown、json），可以很方便地抽取为任意格式。 MinerU诞生于书生-浦语的预训练过程中。MinerU能保留原PDF文档结构，提取文字、图片、图片描述、表格等内容，自动识别并转换LaTeX格式、HTML格式，自动OCR，支持多语言。MinerU主要功能：删除页眉、页脚、脚注、页码等元素，确保语义连贯输出符合人类阅读顺序的文本，适用于单栏、多栏及复杂排版保留原文档的结构，包括标题、段落、列表等提取图像、图片描述、表格、表格标题及脚注自动识别并转换文档中的公式为LaTeX格式自动识别并转换文档中的表格为HTML格式自动检测扫描版PDF和乱码PDF，并启用OCR功能OCR支持84种语言的检测与识别支持多种输出格式，如多模态与NLP的Markdown、按阅读顺序排序的JSON、含有丰富信息的中间格式等支持多种可视化结果，包括layout可视化、span可视化等，便于高效确认输出效果与质检支持CPU和GPU环境兼容Windows、Linux和Mac平台MinerU核心功能与优势：Magic-PDF模块：专注于PDF文档处理，能够智能识别并去除非正文内容如页眉、页脚，同时精准保留标题、段落、列表等结构，支持图片、表格、公式的提取，确保转换后的Markdown格式既准确又易于阅读。Magic-Doc模块：针对网页和电子书，能够从网页中提取正式内容。多模态内容处理：MinerU不仅处理文本，还能有效提取和处理图像、表格、公式等多模态内容。多语言支持：MinerU支持包括繁简中文在内的84种语言。格式多样：支持多种输出格式和可视化结果，适配 CPU 和 GPU 环境，兼容多平台。自动识别转换：识别并转换公式为 LaTeX 格式，表格为 LaTeX 或 HTML 格式，还能自动检测并启用 OCR 功能，。MinerU只要应用于学术研究、市场分析、法律文档处理、知识管理等领域，使得我们能高效地从大量文档中提取关键信息，从而加速数据准备过程，为大模型训练、知识图谱构建等提供高质量的数据支持。MinerU由上海人工智能实验室（上海ai实验室）大模型数据基座OpenDataLab团队开发，并在2024年的WAIC（世界人工智能大会）上发布，迅速在GitHub上获得关注，成为Python的热门项目。

DreaMoving简介 DreaMoving，一种基于扩散的可控视频生成框架，用于生成高质量的定制人类舞蹈视频。具体来说，给定目标身份和姿势序列，DreaMoving 可以生成目标身份在姿势序列驱动下在任何地方跳舞的视频。为此，我们提出了一个用于运动控制的视频控制网络和一个用于身份保留的内容指南。所提出的模型易于使用，并且可以适应大多数风格化的扩散模型以生成不同的结果。DreaMoving项目地址：https://dreamoving.github.io/dreamovingDreaMoving 概述：Video ControlNet 是在每个 U-Net 块之后注入运动块的图像 ControlNet。Video ControlNet 将控制序列（姿态或深度）处理为额外的时间残差。Denoising U-Net 是一种衍生的 Stable-Diffusion U-Net，带有用于视频生成的运动块。内容导览器将输入文本提示和外观表达式（如人脸（布料是可选的））传输到内容嵌入中，以便交叉注意。结果：DreaMoving 可以生成高质量和高保真度的视频，给定指导序列和简单的内容描述，例如文本和参考图像作为输入。具体来说，DreaMoving 通过人脸参考图像、通过姿势序列进行精确运动操作以及由指定文本提示提示的全面视频外观控制来展示身份控制的熟练程度。

Omnivore简介 Omnivore是一个开源的“稍后阅读”应用，它允许用户保存、标记和分享文章，还支持PDF文件和邮件添加文章。Omnivore提供了跨平台应用和浏览器扩展，方便用户在不同设备上使用。用户可以离线访问已保存的内容，并通过Logseq和Obsidian插件将Omnivore集成到他们的工作流程中。项目完全开源，用户可以自由扩展和部署。Omnivore主要功能：保存文章和PDF：使用Omnivore的移动应用和浏览器扩展保存文章和PDF文件，稍后在无干扰的阅读器中阅读。集中管理RSS订阅和新闻简报：将新闻简报直接发送到Omnivore库中，避免分散在多个邮箱中的干扰。组织阅读列表：使用标签、过滤器、规则和全文搜索来组织和管理阅读列表，构建适合自己的系统。添加高亮和笔记：在阅读时高亮显示关键部分并添加笔记，这些标注会永久保存在文章中，随时访问。与知识管理系统同步：Omnivore与Logseq、Obsidian和Notion等个人知识管理系统同步，将所有保存的阅读内容、高亮和笔记整合到一个地方。文本转语音：在iOS应用中使用文本转语音功能，通过逼真的ai语音朗读保存的文章，减轻眼睛疲劳。Omnivore全部功能：标记和笔记：用户可以在文章中高亮显示重要内容并添加笔记，方便以后参考。全文搜索：支持对保存的文章进行全文搜索，快速找到需要的信息。分享功能：用户可以轻松地分享他们保存和标记的内容。键盘导航：全键盘导航，提升使用体验。自动保存进度：在长文章中自动保存阅读位置，方便下次继续阅读。邮件添加文章：通过电子邮件添加新闻简报文章（支持Substack）。PDF支持：支持保存和阅读PDF文件。跨平台应用：提供基于Node.js和TypeScript的Web应用，原生iOS和Android应用，进步型Web应用（PWA）以及浏览器扩展（Chrome、Safari、Firefox和Edge）。标签功能：支持对文章进行标签分类。离线支持：即使在没有网络连接时也能访问已保存的内容。文本转语音：iOS平台上支持将文章转换为语音播放。插件支持：支持Logseq和Obsidian插件，方便用户在这些平台上使用Omnivore的功能。Omnivore支持的平台和扩展：iOSmacOSAndroid（预览版）Chrome扩展Firefox扩展Safari扩展Edge扩展Omnivore技术栈：后端和前端主要使用TypeScript。前端使用Next.js，并托管在Vercel上。数据获取使用SWR，组件样式使用Stitches，页面可读性提升使用Mozilla Readability。iOS应用使用Swift GraphQL生成GraphQL查询，Android应用使用Apollo GraphQL。Docker支持：提供了Docker Compose配置，便于本地开发和自托管部署。部署指南：提供详细的本地开发和自托管部署指南，包括Postgres数据库、API服务和内容抓取微服务的配置。GitHub：https://github.com/omnivore-app/omnivore在线体验：https://omnivore.app/

Farfalle简介 Farfalle.dev 是一个开源 ai 驱动的答案AI搜索引擎，定位为 Perplexity 的自托管替代品。它允许用户运行本地大型语言模型 (LLMs)，例如 llama3、gemma、mistral 和 phi3，或通过 LiteLLM 使用自定义 LLMs。此外，它还支持 Groq/Llama3 和 OpenAI 的 GPT-4 和 GPT-3.5-turbo 2 4 等云模型。Farfalle主要特征：搜索提供商：Farfalle 与多个搜索提供商集成，包括 Tavily、Searxng、Serper 和 Bing 2。本地和云模型：用户可以使用本地模型（llama3、mistral、gemma、phi3）或云模型（OpenAI/gpt4-o、OpenAI/gpt3.5-turbo、Groq/Llama3）回答问题2。自定义LLMs：通过LiteLLM，Farfalle支持自定义LLMs，增强其灵活性2。技术堆栈：前端使用 Next.js 构建，后端使用 FastAPI 构建。它还使用 Redis 进行速率限制，使用 Logfire 进行日志记录 2。部署选项：Farfalle 可以使用 Docker 或在 Render 和 Vercel 2 4 等平台上部署。Farfalle入门：要在本地开始使用 Farfalle：先决条件：如果运行本地模型，请确保安装了 Docker 和 Ollama。API 密钥：获取 Tavily、Serper、OpenAI、Bing 和 Groq 等可选服务的 API 密钥。运行命令：dockerrun\-p8000:8000-p3000:3000-p8080:8080\--add-host=host.docker.internal:host-gateway\ghcr.io/rashadphz/farfalle:main访问 http://localhost:3000 访问应用程序 .Farfalle源代码可在 GitHub上获取。https://github.com/rashadphz/farfalle

Teable简介 Teable 是一个基于 Postgres 构建的超快速、实时、专业、开发人员友好的无代码数据库。airtable替代品，类似操作电子表格一样创建复杂的企业级数据库应用，无需编写代码。Teable使用简单的、类似电子表格的界面来创建复杂的企业级数据库应用程序。通过无代码实现高效的应用程序开发，摆脱数据安全性和可扩展性的障碍。Teable特点：直观的界面：提供类似电子表格的界面，方便数据输入、编辑、排序、过滤、汇总等操作多样的视图：支持表格视图、表单视图、看板视图、日历视图等性能：基于 PostgreSQL 数据库，可以处理海量数据，并提供自动索引保证速度支持 SQL 语句，可以与其他工具无缝集成支持自建数据库，可以完全掌控自己的数据支持实时协作，方便团队成员共同编辑和管理数据支持扩展和自动化集成了 AI 能力，可以快速创建应用程序、分析数据、创建视图、执行操作等支持SQLite、PostgreSQL、MySQL、MariaDB、TiDB 等多种数据库类似电子表格的界面单元格编辑：直接单击并编辑单元格内的内容。公式支持：输入数学和逻辑公式以自动计算值。数据排序和过滤：根据一列或多列对数据进行排序；使用过滤器查看特定的数据行。聚合功能：自动汇总每列的统计数据，提供总和、平均值、计数、最大值和最小值等即时计算，以简化数据分析。数据格式化：格式化数字、日期等。分组：根据列值将行组织成可折叠的组，以便于数据分析和导航。冻结列：冻结表格的左列，以便它们在滚动时保持可见。导入/导出功能：导入和导出其他格式的数据，例如.csv、.xlsx。行样式和条件格式：根据特定条件自动更改行样式。 （即将推出）图表和可视化工具：从表格数据创建图表，例如条形图、饼图、折线图等（即将推出）数据验证：限制或验证输入到单元格中的数据。 （即将推出）撤消/重做：撤消或重做最近的更改。 （即将推出）评论和注释：将评论附加到行，为其他用户提供解释或反馈。 （即将推出）多个视图以最适合其特定任务的各种方式可视化数据并与数据交互。网格视图：表的默认视图，以类似电子表格的格式显示数据。表单视图：以表单格式输入数据，这对于收集数据很有用。看板视图：在看板中显示数据，这是列和卡中数据的可视化表示。日历视图：以日历格式显示数据，这对于跟踪日期和事件非常有用。 （即将推出）图库视图：以图库格式显示数据，这对于显示图像和其他媒体很有用。 （即将推出）甘特视图：以甘特图显示数据，这对于跟踪项目进度很有用。 （即将推出）时间线视图：以时间线格式显示数据，这对于跟踪一段时间内的事件很有用。 （即将推出）超快惊人的响应速度和数据容量百万数据轻松处理，筛选排序无压力自动数据库索引以获得最大速度支持一次性批量数据操作全功能 SQL 支持与您熟悉的软件无缝集成Metabase PowerBi 等 BI 工具...像 Appsmith 这样的无代码工具...使用原生 SQL 直接检索数据隐私第一尽管有云，您仍拥有自己的数据自带数据库（即将推出）实时协作专为团队设计无需刷新页面，数据实时更新无缝集成协作成员邀请和管理完善的权限管理机制，从表到列级别...从本质上讲，Teable 不仅仅是另一个无代码解决方案，它是对现代软件开发不断变化的需求的全面解决方案，确保每个人，无论其技术熟练程度如何，都拥有一个适合其需求的平台。

MoneyPrinter简介 MoneyPrinter，一个自动创建YouTube短视频的自动化赚钱项目，只要输入视频文本MoneyPrinter即可自动产生与之相关的短视频。MoneyPrinter主要功能：自动视频生成：只需提供一个视频主题即可在本地自动创建相关的短视频YouTube Shorts。音乐和字体自定义：可以上传自己的MP3文件压缩包和字体，自定义视频音乐背景和字体。自动将生成的视频上传到YouTube的功能。MoneyPrinter用法：1、将文件复制到并填写所需的值.env.example.env2、在浏览器中打开http://localhost:30003、输入要讨论的话题4、点击“生成”按钮5、等待视频生成生成的视频位置是MoneyPrinter/output.mp4，整个过程几乎不需要用户有太多的视频编辑技能，只需要简单的操作和等待程序完成工作。MoneyPrinter是一个强大的视频处理库，能够编辑视频、添加音乐背景和文本等，要使用您自己的音乐，请将所有 MP3 文件压缩成 ZIP 文件并将其上传到某个地方。在前端提供指向 ZIP 文件的链接，您也可以将 MP3 文件移动到文件夹中。MoneyPrinter的背后技术主要依赖于Python编程语言和MoviePy视频编辑库，以及YouTube的API用于视频上传，使得从视频创意到发布的整个流程自动化和无缝连接。

Stirling-PDF简介 Stirling-PDF，一个基于Web强大的开源PDF操作工具。它使您能够对 PDF 文件执行各种操作，包括拆分、合并、转换、重组、添加图像、旋转、压缩等。Stirling-PDF非常注意安全，所有文件和 PDF 要么仅存在于客户端，要么仅在任务执行期间驻留在服务器内存中，要么仅临时驻留在文件中以执行任务。当完成任务后，用户上传的任何文件都将会从服务器中删除。Stirling-PDF特征：深色模式支持。自定义下载选项（例如，请参阅此处）并行文件处理和下载用于与外部脚本集成的 API可选的登录和身份验证支持（请参阅此处的文档）PDF 功能Stirling-PDF页面操作查看和修改 PDF - 通过自定义查看、排序和搜索查看多页 PDF。加上页面编辑功能，如注释、绘制和添加文本和图像。（将 PDF.js 与 Joxit 和 Liberation.Liberation 字体一起使用）用于合并/拆分/旋转/移动 PDF 及其页面的完整交互式 GUI。将多个 PDF 合并到一个生成的文件中。将 PDF 拆分为指定页码的多个文件，或将所有页面提取为单个文件。将 PDF 页面重新组织为不同的顺序。以 90 度的增量旋转 PDF。删除页面。多页布局（将 PDF 格式化为多页页面）。按设置百分比缩放页面内容大小调整对比度。裁剪 PDF。自动拆分 PDF（使用物理扫描的页面分隔符）。提取页面。将 PDF 转换为单个页面。转换操作将 PDF 与图像相互转换。将任何通用文件转换为 PDF（使用 LibreOffice）。将 PDF 转换为 Word/Powerpoint/其他（使用 LibreOffice）。将 HTML 转换为 PDF。URL 到 PDF。Markdown 转换为 PDF。安全与权限添加和删除密码。更改/设置 PDF 权限。添加水印。对 PDF 进行认证/签名。清理 PDF。自动编辑文本。其他操作添加/生成/写入签名。修复 PDF。检测并删除空白页。比较 2 个 PDF 并显示文本差异。将图像添加到 PDF。压缩 PDF 以减小其文件大小（使用 OCRMyPDF）。从 PDF 中提取图像。从扫描中提取图像。添加页码。通过检测PDF标题文本自动重命名文件。PDF 上的 OCR（使用 OCRMyPDF）。PDF/A 转换（使用 OCRMyPDF）。编辑元数据。拼合 PDF。获取 PDF 上的所有信息以查看或导出为 JSON。Stirling PDF 有 3 个不同的版本，完整版、精简版和超精简版。根据您使用的功能和空间大小来选择。