StarryDivineSky

精选了10K+项目，包括机器学习、深度学习、NLP、GNN、推荐系统、生物医药、机器视觉等内容。

Selected more than 10K projects, including machine learning, deep learning, NLP, GNN, recommendation system, biomedicine, machine vision, etc.

让更多优秀的项目被人发现，让更多的人感受开源的魅力。

Let more excellent projects be discovered by people, let more people feel the charm of open source.

持续更新！欢迎🌟star！😀😀😀 Continue to update! Welcome to star! 😀😀😀

目录

• 机器学习与深度学习
• NLP自然语言处理
  • 大语言对话模型及数据
• 网络与前后端开发
• 机器视觉
• 语音识别与合成
• 推荐系统
• 因果推断
• 金融股票与时间序列
• 强化学习
• 生物医药
• 图数据库 图算法
• 图神经网络GNN
• 大数据
• 虚拟化
• 安全与渗透
• 硬件
• 其他项目

Tips注意

• 文件内容较长，建议clone后阅读或搜索。The file content is long, it is recommended to read or search after cloning.

Star🌟数变化

• 

加入社区

A01_机器学习与深度学习

A01_机器学习教程

• Coursera-ML-AndrewNg-Notes 吴恩达老师的机器学习课程个人笔记。Machine Learning(机器学习)是研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演译。在过去的十年中，机器学习帮助我们自动驾驶汽车，有效的语音识别，有效的网络搜索，并极大地提高了人类基因组的认识。机器学习是当今非常普遍，你可能会使用这一天几十倍而不自知。很多研究者也认为这是最好的人工智能的取得方式。在本课中，您将学习最有效的机器学习技术，并获得实践，让它们为自己的工作。更重要的是，你会不仅得到理论基础的学习，而且获得那些需要快速和强大的应用技术解决问题的实用技术。最后，你会学到一些硅谷利用机器学习和人工智能的最佳实践创新。 本课程提供了一个广泛的介绍机器学习、数据挖掘、统计模式识别的课程。主题包括： （一）监督学习（参数/非参数算法，支持向量机，核函数，神经网络）。 （二）无监督学习（聚类，降维，推荐系统，深入学习推荐）。 （三）在机器学习的最佳实践（偏差/方差理论；在机器学习和人工智能创新过程）。本课程还将使用大量的案例研究，您还将学习如何运用学习算法构建智能机器人（感知，控制），文本的理解（Web搜索，反垃圾邮件），计算机视觉，医疗信息，音频，数据挖掘，和其他领域。 本课程需要10周共18节课，相对以前的机器学习视频，这个视频更加清晰，而且每课都有ppt课件，推荐学习。

• parrt/dtreeviz 用于决策树可视化和模型解释的 python 库。决策树是梯度提升机和随机森林 （tm） 的基本构建块，这可能是结构化数据中两种最流行的机器学习模型。在了解这些模型的工作原理和解释模型时，可视化决策树是一个巨大的帮助。可视化效果的灵感来自 R2D3 的教育动画;机器学习的视觉介绍。请参阅如何可视化决策树，以更深入地讨论我们的决策树可视化库和我们所做的可视化设计决策。目前 dtreeviz 支持：scikit-learn、XGBoost、Spark MLlib、LightGBM 和 Tensorflow。作者：特伦斯·帕尔 （Terence Parr） 是谷歌的技术主管，直到 2022 年，他是旧金山大学的数据科学/计算机科学教授，并于 2012 年担任旧金山大学数据科学硕士课程的创始主任。Tudor Lapusan ；Prince Grover。主要代码和可视化清理由 Matthew Epland （@mepland） 完成。

• pytorch/serve 在生产环境中提供、优化和扩展 PyTorch 模型。特色：模型管理 API：通过优化从角色到模型的分配进行多模型管理、推理 API：对批量推理的 REST 和 gRPC 支持、TorchServe 工作流：使用多个相互依赖的模型部署复杂的 DAG、导出模型以进行优化推理：开箱即用的Torchscript，ORT和ONNX，IPEX，TensorRT，FasterTransformer、性能指南：内置支持优化、基准测试和分析 PyTorch 和 TorchServe 性能、富有表现力的处理程序：一种富有表现力的处理程序体系结构，通过开箱即用的支持，支持对用例的推理变得微不足道、指标 API：通过 Prometheus 导出、自定义指标和 PyTorch 分析器支持对系统级指标的开箱即用支持

• finos/perspective 数据可视化和分析组件，特别适用于大型和/或流数据集。使用它来创建用户可配置的报告、仪表板、笔记本和应用程序，然后在浏览器中独立部署，或与 Python 和/或 Jupyterlab 协同部署。一个快速、内存高效的流式查询引擎，用 C++ 编写并针对 WebAssembly 和 Python 编译，具有用于 Apache Arrow 的读/写/流式处理，以及基于 ExprTK 的高性能列式表达式语言。一个与框架无关的用户界面，打包为自定义元素，通过 WebAssembly 在浏览器内提供支持，或通过 WebSocket 服务器 （Python/Node） 虚拟提供支持。JupyterLab 小部件和 Python 客户端库，用于笔记本中的交互式数据分析，以及可扩展的生产 Voila 应用程序。

• rmcelreath/rethinking rethinking是一个 R 包，用于贝叶斯数据分析，它与 McElreath的《统计重思考》一书配套使用。该包提供工具进行后验分布的快速二次近似和哈密顿蒙特卡洛模拟（通过 RStan 或 cmdstanr）。该包的独特之处在于它要求用户以显式分布假设列表的形式指定模型，这比传统的公式化工具更繁琐，但也更灵活、更强大，最重要的是，更有利于教学和学习。用户必须写出模型的每一个细节，才能真正理解模型。该包还提供了一个名为 quap 的函数，用于进行二次近似，并支持向量化参数，方便处理分类变量。该包没有在 CRAN 上发布，用户需要从 GitHub 上安装。

• jupyterhub/jupyterhub JupyterHub是一个多用户 Jupyter 笔记本服务器，它可以为多个用户提供独立的 Jupyter 笔记本服务器。它通过一个中心 Hub 来管理用户登录、启动和代理单个用户的 Jupyter 笔记本服务器。JupyterHub 使用 Node.js 构建的代理服务器来将用户请求转发到相应的笔记本服务器。JupyterHub 还提供了一个 REST API，用于管理 Hub 和用户。安装 JupyterHub 需要 Python 3.8 或更高版本、Node.js/npm 和一个 PAM 模块（如果使用默认的 PAM 身份验证器）。JupyterHub 可以使用 conda 或 pip 安装，并需要额外的软件包，例如 JupyterLab 或 Jupyter notebook，才能在本地运行笔记本服务器。

• galaxyproject/galaxy Galaxy是一个开源平台，旨在为每个人提供数据密集型科学分析能力。它提供了一个用户友好的界面，允许用户执行各种生物信息学分析，无需编写代码。Galaxy 通过工具箱和工作流程来实现，这些工具箱和工作流程可用于执行数据分析任务。用户可以轻松地共享和重用这些工具和工作流程，从而促进科学发现。Galaxy 还提供了一个强大的管理界面，允许管理员管理和配置服务器。要开始使用Galaxy，请访问 https://getgalaxy.org/ 安装并运行 Galaxy。您可以在 https://docs.galaxyproject.org/ 找到文档，在 https://training.galaxyproject.org/ 找到教程。

• EmuKit/emukit Emukit是一个基于Python的工具箱，用于在决策、不确定性量化和统计仿真中使用各种方法，包括多保真度、实验设计、贝叶斯优化、贝叶斯积分等。它适用于数据稀缺或难以获取的复杂系统，通过传播校准良好的不确定性估计，有效地利用有限资源。Emukit支持多保真度仿真、贝叶斯优化、实验设计/主动学习、敏感性分析和贝叶斯积分等功能，并与Python生态系统中的各种机器学习工具兼容。用户可以通过pip install emukit安装Emukit，并参考教程笔记本和文档了解更多信息。

• raghakot/keras-vis keras-vis是一个用于可视化和调试训练好的 Keras 神经网络模型的高级工具包，支持激活最大化、显著性映射和类别激活映射等可视化方法，并可用于 N 维图像输入。该工具包将所有可视化方法抽象为能量最小化问题，提供简洁易用的接口，兼容 Theano 和 TensorFlow 后端，并支持 "channels_first" 和 "channels_last" 数据格式。你可以通过定义加权损失函数和配置优化器来最小化损失，从而生成自然逼真的图像。项目还提供了多种示例，方便你快速上手。

• srush/GPU-Puzzles GPUPuzzles 项目是一个通过解决一系列 GPU 编程谜题来学习 CUDA 的交互式教程。它使用 NUMBA 将 Python 代码直接映射到 CUDA 内核，让用户能够在无需深入了解底层 CUDA 代码的情况下学习 GPU 编程。项目提供一系列谜题，从简单的向量加法开始，逐步引导用户学习更复杂的 GPU 编程概念，最终能够理解深度学习中常用的算法。项目还提供 Colab 笔记本，方便用户快速上手。此外，项目还提供一个 YouTube 视频教程，详细讲解项目内容。

• DataExpert-io/data-engineer-handbook 这是一个包含数据工程学习资源的仓库，涵盖了从入门到精通的各个方面。它提供了一个2024年数据工程学习路线图，以及免费的6周YouTube数据工程训练营，并包含了大量书籍、社区、公司和工具的链接。其中包括数据工程必读书籍、热门数据工程社区、数据工程相关公司以及数据湖、数据仓库、数据质量、数据集成等领域的相关工具。该仓库还提供了数据分析和可视化工具的链接，以及数据工程学习和面试准备的资源。

• tensorflow/lingvo Lingvo是一个基于 TensorFlow 的神经网络构建框架，尤其擅长构建序列模型。它提供了一系列预训练模型，包括自动语音识别、机器翻译、图像处理和语言建模等。Lingvo 支持 TensorFlow 2.9 及以上版本，并提供了快速入门指南，帮助用户快速上手使用。Lingvo 还包含 GShard 变压器模型，可以用于构建大型语言模型。此外，Lingvo 还提供了 3D 物体检测模型。用户可以参考 Lingvo 文档，了解其详细功能和使用方法。

• selfteaching/the-craft-of-selfteaching 这是一个名为 "the-craft-of-selfteaching" 的 GitHub 项目，旨在帮助人们掌握自学技巧。项目作者认为自学能力是未来成功的关键，并通过一系列 Jupyter Notebook 文件，提供了一套完整的自学方法论。该项目以编程学习为切入点，强调阅读、练习和实践的重要性，并提供 JupyterLab 安装和使用指南，方便读者学习和实践。项目还包含了如何使用 Pull Request 贡献内容的说明，鼓励读者参与其中。

• fairlearn/fairlearn Fairlearn是一个Python包，帮助开发者评估和改善机器学习模型的公平性。它包含了用于评估模型的公平性指标和用于缓解不公平问题的算法。Fairlearn定义了两种类型的伤害：分配伤害和服务质量伤害，并通过组公平性方法来识别受影响的群体。Fairlearn提供了多种公平性指标和算法，帮助开发者评估和缓解模型中的不公平问题。用户可以通过Fairlearn的文档和示例代码了解如何使用它。

• apple/corenet CoreNet是一个深度神经网络工具包，允许研究人员和工程师训练标准和新型的小型和大规模模型，用于各种任务，包括基础模型（例如CLIP 和 LLM）、目标分类、目标检测和语义分割。它包含用于音频和视频处理的可选依赖项，并支持使用 Git LFS进行测试和 Jupyter 笔记本运行。CoreNet 还包含了 Apple 使用该库进行研究的出版物列表，以及链接到预训练模型的训练和评估配方。

• zetane/viewer 免费的 Zetane Viewer 是一款帮助理解和加速机器学习和人工神经网络发现的工具。它可以通过可视化和理解模型的架构和内部数据（特征图、权重、偏差和层输出张量）来打开 AI 黑匣子。它可以被认为是一种工具，用于对人工神经网络和机器学习算法进行神经成像或脑成像。您还可以使用 Zetane Python API 通过几个命令直接从现有脚本或笔记本启动您自己的 Zetane 工作区。

• karpathy/nn-zero-to-hero 这是一个从零开始学习神经网络的课程，包含一系列 YouTube 视频，通过代码和训练神经网络来学习。课程内容涵盖基础知识，如反向传播、语言建模等，并提供 Jupyter 笔记本和练习。该项目特色是使用微型梯度库 (micrograd) 和 makemore项目来演示神经网络的构建和训练过程，并深入探讨了反向传播、语言建模、多层感知器 (MLP)、激活函数、批量归一化等关键概念。

• TingsongYu/PyTorch-Tutorial-2nd 《Pytorch实用教程》（第二版）是一本从零基础到深度学习工程化应用的全面指南，涵盖Pytorch在计算机视觉、自然语言处理和大规模项目中的应用实例，适合初学者和进阶开发者。本书更新了多个深度学习应用示例和工程实践章节，旨在帮助读者快速掌握Pytorch并应用于实际项目。项目地址：PyTorch实用教程，请Star支持！

• WeiHongLee/Awesome-Multi-Task-Learning Awesome-Multi-Task-Learning 是一个持续更新的多任务学习资源列表，包含了相关领域的论文、研究、基准数据集、代码库等。该项目旨在为研究人员和开发者提供一个方便的资源库，帮助他们了解多任务学习的最新进展，并进行相关研究和开发。项目内容包括：多任务学习综述、基准数据集和代码、论文、多领域多任务学习、研讨会、在线课程和相关资源列表。

• loveunk/machine-learning-deep-learning-notes 机器学习、深度学习的学习路径及知识总结，始于2016年Alpha Go事件后，人工智能技术在科研和工业领域展现出巨大应用价值，大幅提升了算法效率和准确率。我们在实践中学习并过渡到新的技术融合路径，系统地完善了深度学习及其相关技术。文档记录了我们在学习过程中总结的内容，帮助理解和分析机器学习算法，涵盖数学基础、Python编程等关键领域。

• MIND-Lab/OCTIS OCTIS是一个用于优化和比较主题模型的Python包，它使用贝叶斯优化方法来估计主题模型的最佳超参数。该项目已被EACL2021演示环节接受。OCTIS提供预处理数据集、多种主题模型（包括经典模型和神经模型）、多种评估指标、贝叶斯优化超参数以及Python库和Web仪表板等功能。用户可以使用预处理的基准数据集，或使用自己的数据集，并通过教程快速上手。

• markdregan/Bayesian-Modelling-in-Python 这是一个使用 PyMC3 库进行贝叶斯建模的 Python 教程，它旨在为那些了解贝叶斯统计基础并希望学习如何使用 Python 构建贝叶斯模型的人提供一个编程指南。教程涵盖了从参数估计到模型检查、层次模型、贝叶斯回归、生存分析、A/B测试等多个主题，并提供了相应的代码示例和解释。教程还鼓励用户贡献，并提供了一些学习贝叶斯统计的推荐资源。

• fehiepsi/rethinking-numpyro 这是一个将 Richard McElreath 的《统计思维》（第二版）中的代码移植到 NumPyro的项目，旨在帮助 NumPyro/Pyro 用户以及想要用 Python 进行贝叶斯统计的人。该项目提供了 Jupyter 笔记本，涵盖了书中的所有示例和练习，并使用 Arviz、NetworkX、Daft 等工具进行可视化和分析。此外，项目还提供了部分练习的解决方案，方便学习者理解和实践。

• personqianduixue/Math_Model 数学建模、美赛、美国大学生数学建模竞赛、全国大学生数学建模竞赛、华为杯研究生数学建模、国赛LaTeX模板、美赛LaTeX模板、mathorcup、电工杯、华中赛、APMCM、深圳杯、中青杯、华东杯、数维杯、东三省数学建模、认证杯、数学建模书籍、常用matlab算法、国赛评阅要点、软件模型算法汇总、智能算法、优化算法、现代的算法

• ClimbsRocks/auto_ml auto_ml是一个用于生产和分析的自动化机器学习库，支持多种机器学习模型，包括深度学习、XGBoost、LightGBM和CatBoost。它可以自动选择最佳模型并进行训练，并提供快速高效的预测功能，适用于生产环境。用户只需提供数据和目标变量，auto_ml就能自动完成模型训练、评估和预测，并支持模型保存和加载，方便部署和使用。

• google/objax Objax是一个开源机器学习框架，它通过极简的 面向对象设计和易读的代码库来加速研究和学习。它结合了 Object 和JAX 框架，旨在为研究人员提供一个简单易懂的框架，方便他们阅读、理解、扩展和修改代码以满足自身需求。用户可以通过 pip 安装 Objax，并使用示例代码测试安装。Objax 支持 GPU，但需要用户自行安装 CUDA。

• Yorko/mlcourse.ai 由 OpenDataScience （ods.ai） 领导的开放式机器学习课程，由 Yury Kashnitsky（Yorko）领导。Yury拥有应用数学博士学位和Kaggle竞赛大师级学位，旨在设计一门在理论与实践之间取得完美平衡的ML课程。因此，该课程在讲座中为您提供数学公式，并以作业和 Kaggle 课堂竞赛的形式进行大量练习。目前，该课程处于自定进度模式。

• ericmjl/bayesian-stats-modelling-tutorial 该项目是一个使用 NumPy 和 PyMC3 进行贝叶斯统计建模的教程，提供 Jupyter Notebook 文件，涵盖了贝叶斯统计建模的基础知识，包括模型构建、参数估计、模型比较和模型诊断等内容。用户可以选择在 Binder 上运行教程，或通过 Anaconda 或 pipenv 在本地环境中运行。教程还提供了详细的安装和配置步骤，方便用户快速上手。

• Azure/MachineLearningNotebooks 这是一个使用 Azure 机器学习 Python SDK 的机器学习和深度学习示例的 Python 笔记本仓库，但已弃用，建议使用新的 v2 SDK 示例仓库。该仓库提供使用 Azure 机器学习 Python SDK 的示例，推荐在 Azure 机器学习计算实例中使用，但也可以在其他开发环境中使用。仓库包含快速入门教程，并提供安装说明和贡献指南。

• dformoso/machine-learning-mindmap 该项目是一个关于机器学习概念的思维导图，涵盖了从数据分析到深度学习的各个方面。它以PDF格式呈现，包含数据处理、数学基础、机器学习概念、模型等内容，并提供配套的Jupyter Notebook和深度学习思维导图。该项目旨在帮助学习者快速掌握机器学习的核心知识，并提供相关资源链接。

• AccumulateMore/CV 最全面的深度学习笔记，涵盖土堆Pytorch、李沐《动手学深度学习》、吴恩达《深度学习》等内容，包括视频讲解和代码链接。项目附有PDF下载链接（提取码：7vfm），可直接访问GitHub页面下载。使用Pycharm的Jupyter Notebook编写时，图片可能无法显示，建议使用Anaconda的Jupyter Notebook进行编写。

• pymc-devs/pymc-resources 该项目提供PyMC3的学习资源，包括将其他书籍（如"Bayesian Modeling and Computationin Python"、"Statistical Rethinking"、"Bayesian Cognitive Modeling"等）中的模型移植到PyMC3。项目还包含贡献指南，帮助用户参与资源的开发和维护。所有代码均遵循MIT许可证，除非目录中另有说明。

• HuaizhengZhang/AI-System-School 这是一个针对机器学习系统的综合项目，涵盖机器学习、大型语言模型（LLM）和生成式AI（GenAI）。项目包括基础设施、白皮书、视频教程等内容，涉及OSDI、NSDI、SIGCOMM等会议。该项目包含数据处理、训练系统、推理系统、视频系统、联邦学习系统等多个领域，并提供相关代码链接。

• hesamsheikh/ml-retreat 一个中级到高级机器学习主题的学习笔记，涵盖图神经网络等主题，包括基础知识深入理解及相关必读资源，目标是研究伊利亚·苏斯克韦尔的30篇必读论文、Distilled AI博客、Artem Kirsanov和Andrej Karpathy的课程，并深入理解变换器、大语言模型及其相关话题、幻觉、量子机器学习和Jax。

• microsoft/AI-System 该项目是微软 AI 教育资源库的一部分，提供关于人工智能系统设计的课程。课程内容涵盖了人工智能系统的设计原理，并以“System for AI”为主题，旨在帮助学生了解人工智能系统的架构和工作原理。课程以代码示例和实践项目为主，旨在帮助学生掌握人工智能系统的实际应用。

• Vay-keen/Machine-learning-learning-notes 周志华《机器学习》又称西瓜书是一本较为全面的书籍，书中详细介绍了机器学习领域不同类型的算法(例如：监督学习、无监督学习、半监督学习、强化学习、集成降维、特征选择等)，记录了本人在学习过程中的理解思路与扩展知识点，希望对新人阅读西瓜书有所帮助！

• udlbook/udlbook Understanding Deep Learning(UDL) 是由 Simon J.D. Prince 编写的深度学习入门书籍，其 GitHub 项目 udlbook/udlbook 提供了该书的代码和示例，涵盖了深度学习的基础知识、神经网络架构、训练方法、应用案例等内容，并使用 Python 和 TensorFlow 库进行演示，适合初学者学习和实践。

• krasserm/bayesian-machine-learning 该项目是一个关于贝叶斯机器学习的 Jupyter 笔记本集合，包含贝叶斯线性回归、高斯过程回归与分类、稀疏高斯过程、贝叶斯优化、贝叶斯神经网络等主题，并提供使用 NumPy、SciPy、scikit-learn、GPy、PyMC3、JAX、Keras、Tensorflow 2 和 Tensorflow Probability 等库的示例实现。

• fuzzylabs/awesome-open-mlops MLOps（机器学习操作）是一门帮助人们在生产环境中成功训练、部署和运行机器学习模型的学科。因为这是一个快速发展的新领域，所以有很多工具，而且新的工具一直在出现。这是 Fuzzy Labs 指南，介绍了免费和开源 MLOps 工具的世界。

• D-X-Y/Awesome-AutoDL 自动化深度学习：神经架构搜索不是终点（AutoDL 资源精选列表和深入分析）。自动化深度学习相关资源的精选列表。灵感来自令人敬畏的深度愿景、令人敬畏的对抗性机器学习、令人敬畏的深度学习论文和令人敬畏的架构搜索。

• TrickyGo/Dive-into-DL-TensorFlow2.0 本项目是《动手学深度学习》中文版教材的TensorFlow 2.0实现版本，由李沐老师认可，将原书的MXNet代码改写为TensorFlow 2.0代码，方便读者学习和实践深度学习，包含代码和文档两部分，基于Jupyter Notebook，并参考了PyTorch版本实现。

• amusi/AI-Job-Notes AI算法岗求职攻略：涵盖校招时间表、准备攻略、刷题指南、内推、AI公司清单和答疑等资料。AI算法岗方向涉及：AIGC、大模型、深度学习、机器学习、计算机视觉、自然语言处理、图像处理、自动驾驶、元宇宙、AIGC、SLAM等。

• datasciencemasters/go 开源数据科学硕士项目旨在通过开放源代码教育促进数据科学的普及和多样性，以应对数据科学领域的伦理和社会问题，构建包容性和可持续的未来。项目强调数据科学和数据素养的广泛性、可访问性和对社会的积极影响。

• TingsongYu/PyTorch_Tutorial 该项目是《Pytorch模型训练实用教程》的配套代码，提供了深度学习应用案例和教程，涵盖CV、NLP和LLM等领域，并包含ONNX和TensorRT的学习内容。教程内容包括模型训练、深度学习应用案例和原理讲解，适合入门和进阶学习。

• microsoft/ai-edu 微软人工智能教育与学习共建社区。由基础教程、实践案例、实践项目三大模块构成，通过系统化的理论教程和丰富多样的实践案例，帮助学习者学习并掌握人工智能的知识，并锻炼在实际项目中的开发能力。

• aladdinpersson/Machine-Learning-Collection 在此存储库中，您将找到与机器学习相关的教程和项目。我尝试使代码尽可能清晰，目标是用作学习资源和查找问题以解决特定问题的方法。对于大多数人，如果您想要代码的演练，我还在YouTube上做了视频解释。

• src-d/awesome-machine-learning-on-source-code 一个关于将机器学习应用于源代码的精选资源列表，包括研究论文、数据集和软件项目。该项目不再维护，建议使用ml4code.github.io。涵盖了程序合成与归纳、源代码分析与语言建模、神经网络架构与算法等内容。

• GokuMohandas/Made-With-ML 了解如何设计、开发、部署和迭代生产级 ML 应用程序。在本课程中，将从实验（设计 + 开发）到生产（部署 + 迭代）。我们将通过激励组件来迭代地做到这一点，这些组件将使我们能够构建可靠的生产系统。

• hibayesian/awesome-automl-papers 自动化机器学习论文、文章、教程、幻灯片和项目的精选列表，自动化机器学习 （AutoML） 提供了使机器学习可供非机器学习专家使用的方法和流程，以提高机器学习的效率并加速机器学习的研究。

• ahmedbahaaeldin/From-0-to-Research-Scientist-resources-guide 为本科生或任何想在扎实基础上深入研究人工智能领域的任何人提供详细和量身定制的指南。本指南适用于任何具有基本编程知识或计算机科学背景的人，有兴趣成为深度学习和 NLP 研究科学家。

• tangyudi/Ai-Learn 人工智能学习路线图，整理近200个实战案例与项目，免费提供配套教材，零基础入门，就业实战！包括：Python，数学，机器学习，数据分析，深度学习，计算机视觉，自然语言处理，等热门领域

• PAIR-code/facets 包含两个用于理解和分析机器学习数据集的可视化效果：Facets Overview 和 Facets Dive。可视化作为 Polymer Web 组件实现，由 Typescript 代码提供支持，可以轻松嵌入到 Jupyter 笔记本或网页中。

• donnemartin/data-science-ipython-notebooks 数据科学Python笔记本：深度学习（TensorFlow，Theano，Caffe，Keras），scikit-learn，Kaggle，大数据（Spark，Hadoop MapReduce，HDFS），matplotlib，pandas，NumPy，SciPy，Python essentials，AWS和各种命令行。

• zergtant/pytorch-handbook pytorch handbook是一本开源的书籍，目标是帮助那些希望和使用PyTorch进行深度学习开发和研究的朋友快速入门，其中包含的Pytorch教程全部通过测试保证可以成功运行

• d2l-ai/d2l-en 交互式深度学习书籍，包含多框架代码、数学和讨论。被斯坦福大学、麻省理工学院、哈佛大学和剑桥大学等 60 个国家的 400 所大学采用。

• cbamls/AI_Tutorial 精选机器学习，NLP，图像识别， 深度学习等人工智能领域学习资料，搜索，推荐，广告系统架构及算法技术资料整理。算法大牛笔记汇总

• baifanxxx/awesome-active-learning 很棒的主动学习精选列表。主动学习是机器学习的特殊情况，它可以与专家进行交互（或其他信息源），再使用输出的新样本进行学习。

• mrdbourke/machine-learning-roadmap 2020 年机器学习路线图（2023 年仍有 90% 有效）,连接机器学习中许多最重要概念的路线图，如何学习它们以及使用哪些工具来执行它们。

• abmlai/annotated_deep_learning_paper_implementations 神经网络和相关算法的简单 PyTorch 实现的集合。将这些呈现为并排格式化的笔记。我们相信这些将帮助您更好地理解这些算法。

• dragen1860/TensorFlow-2.x-Tutorials TensorFlow 2.x版本的教程和示例，包括CNN，RNN，GAN，Auto-Encoders，FasterRCNN，GPT，BERT示例等。 TF 2.0版入门实例代码，实战教程。

• pytorch/tutorials PyTorch 教程。熟悉 PyTorch 概念和模块。在本快速入门指南中了解如何加载数据、构建深度神经网络、训练和保存模型。

• chenyuntc/pytorch-book 书籍《深度学习框架PyTorch：入门与实践（第2版）》的对应代码，但是也可以作为一个独立的PyTorch入门指南和教程。

• louisfb01/best_AI_papers_2021 按发布日期列出的人工智能最新突破（2021 年）的精选列表，附有清晰的视频说明、更深入文章的链接和代码。

• louisfb01/start-machine-learning 机器学习 （ML）、人工智能 （AI） 的完整指南，无需任何该领域背景，并随时了解最新消息和最先进的技术！

• girls-in-ai/Girls-In-AI 免费学代码系列：小白python入门、数据分析data analyst、机器学习machine learning、深度学习deep learning、kaggle实战

• ageron/handson-ml2 一系列Jupyter笔记本，引导您使用Scikit-Learn，Keras和TensorFlow 2了解Python中的机器学习和深度学习的基础知识。

• ageron/handson-ml3 一系列Jupyter笔记本，引导您使用Scikit-Learn，Keras和TensorFlow 2了解Python中的机器学习和深度学习的基础知识。

• ujjwalkarn/Machine-Learning-Tutorials 包含机器学习和深度学习教程、文章和其他资源的主题精选列表。其他很棒的列表可以在此列表中找到。

• d2l-ai/d2l-zh 《动手学深度学习》：面向中文读者、能运行、可讨论。中英文版被60多个国家的400多所大学用于教学。

• kmario23/deep-learning-drizzle 通过从这些令人兴奋的讲座中学习，让自己沉浸在深度学习、强化学习、机器学习、计算机视觉和 NLP

• ShusenTang/Deep-Learning-with-PyTorch-Chinese 将PyTorch官方书籍《Deep learning with PyTorch》（基本摘录版）翻译成中文版并给出可运行的相关代码。

• ritchieng/the-incredible-pytorch 一个精选的教程、项目、库、视频、论文、书籍以及与令人难以置信的 PyTorch 相关的任何内容。

• lexfridman/mit-deep-learning 麻省理工学院深度学习相关课程的教程、作业和竞赛。deeplearning.mit.edu

• dusty-nv/jetson-inference Hello AI World 指南，介绍如何使用 TensorRT 和 NVIDIA Jetson 部署深度学习推理网络和深度视觉基元。

• datawhalechina/pumpkin-book 本书旨在对西瓜书里比较难理解的公式加以解析，以及对部分公式补充具体的推导细节。

• ShusenTang/Dive-into-DL-PyTorch 本项目将《动手学深度学习》(Dive into Deep Learning)原书中的MXNet实现改为PyTorch实现。

• bharathgs/Awesome-pytorch-list github上pytorch相关内容的完整列表，例如不同的模型，实现，帮助程序库，教程等。

• Jack-Cherish/Machine-Learning 机器学习实战（Python3）：kNN、决策树、贝叶斯、逻辑回归、SVM、线性回归、树回归

• aws/amazon-sagemaker-examples 示例 Jupyter 笔记本，演示如何使用 Amazon SageMaker 构建、训练和部署机器学习模型

• fastai/fastbook 这些笔记本介绍了深度学习、fastai 和 PyTorch。fastai 是用于深度学习的分层 API。

• wesm/pydata-book Wes McKinney的“Python for Data Analysis”材料和IPython笔记本，由O‘Reilly Media出版

• microsoft/AI-For-Beginners Microsoft的 Azure 云倡导者很高兴提供为期 12 周、每节课的人工智能课程。

• EthicalML/awesome-production-machine-learning 精选的开源库列表，用于部署、监控、版本控制和扩展您的机器学习

• jakevdp/PythonDataScienceHandbook 包含完整的 Python 数据科学手册，其形式为 （免费！Jupyter 笔记本。

• trekhleb/homemade-machine-learning 流行的机器学习算法的Python示例，并解释了交互式Jupyter演示和数学

• floodsung/Deep-Learning-Papers-Reading-Roadmap 深度学习论文阅读路线图，适合任何渴望学习这项惊人技术的人！

• PKUFlyingPig/cs-self-learning 计算机自学指南深度学习入门开源书，基于TensorFlow 2.0案例实战。

• rougier/scientific-visualization-book 一本关于使用 python 和 matplotlib 进行科学可视化的开放获取书籍

• fastai/numerical-linear-algebra 用于计算线性代数课程 fast.ai Jupyter 笔记本的免费在线教科书

• owainlewis/awesome-artificial-intelligence 人工智能 （AI） 课程、书籍、视频讲座和论文的精选列表。

• eugeneyan/applied-ml 生产中的数据科学和机器学习的精选论文、文章和博客。

• pytorch/examples 一组关于 pytorch 在视觉、文本、强化学习等方面的示例。

• fengdu78/deeplearning_ai_books deeplearning.ai（吴恩达老师的深度学习课程笔记及资源）

• mrdbourke/pytorch-deep-learning 学习用于深度学习的 PyTorch：从零到精通课程的材料。

• NirantK/awesome-project-ideas 机器学习、NLP、视觉、推荐系统项目创意的精选列表

• MorvanZhou/PyTorch-Tutorial 轻松快速地构建您的神经网络， 莫烦Python中文教学

• mli/paper-reading 深度学习经典、新论文逐段精读。包括视频讲解。

• ashishpatel26/500-AI-Machine-learning-Deep-learning-Computer-vision-NLP-Projects-with-code 500个AI机器学习 深度学习 计算机视觉 NLP 代码项目

• dragen1860/Deep-Learning-with-TensorFlow-book 深度学习入门开源书，基于TensorFlow 2.0案例实战。

• dair-ai/ML-YouTube-Courses 在 YouTube 上发现最新的机器学习/人工智能课程。

• sgrvinod/Deep-Tutorials-for-PyTorch 使用 PyTorch 自行实现深度学习模型的深入教程。

• ZuzooVn/machine-learning-for-software-engineers 学习成为机器学习工程师的完整日常计划。

• ukas/ml-class 专为工程师设计的机器学习课程和教学项目

• bangoc123/learn-machine-learning-in-two-months 在 2 个月内学习好机器学习所需的知识。

• kailashahirwar/cheatsheets-ai 深度学习和机器学习工程师的基本备忘单

• microsoft/ML-For-Beginners 微软给初学者开源了一份机器学习课程。

• afshinea/stanford-cs-229-machine-learning 斯坦福大学 CS 229 机器学习的 VIP 备忘单

• Dod-o/Statistical-Learning-Method_Code 实现李航《统计学习方法》中全部算法

• ChristosChristofidis/awesome-deep-learning 精选深度学习教程、项目和社区列表。

• josephmisiti/awesome-machine-learning 机器学习框架、库和软件的精选列表

• fengdu78/lihang-code 《统计学习方法》第二版的代码实现

• nndl/nndl.github.io 《神经网络与深度学习》 邱锡鹏著

• datawhalechina/leedl-tutorial 《李宏毅深度学习教程》，PDF下载

• mml-book/mml-book.github.io 《机器学习数学》一书的配套网页

• roatienza/Deep-Learning-Experiments 了解深度学习的视频、笔记和实验

• AMAI-GmbH/AI-Expert-Roadmap 2022年成为人工智能专家的路线图

• FavioVazquez/ds-cheatsheets 统治世界的数据科学备忘单列表

• yunjey/pytorch-tutorial 深度学习研究人员的 PyTorch 教程

• Hvass-Labs/TensorFlow-Tutorials 带有 YouTube 视频的 TensorFlow 教程

• datastacktv/data-engineer-roadmap 2021 年成为数据工程师的路线图

• microsoft/Data-Science-For-Beginners 10 周20 节课，全民数据科学！

• lazyprogrammer/machine_learning_examples 机器学习示例和教程的集合。

• Mikoto10032/DeepLearning 深度学习入门教程, 优秀文章

• MorvanZhou/tutorials 莫烦Python 机器学习相关教程

• chefyuan/algorithm-base 用动画将算法说的通俗易懂

• dair-ai/ML-Papers-Explained ML 中关键概念的解释

• MorvanZhou/tutorials 机器学习相关教程

• apachecn/pytorch-doc-zh Pytorch 中文文档

其他_机器学习与深度学习

• HIPS/autograd Autograd 可以自动区分原生 Python 和 Numpy 代码。它可以处理 Python 的大部分功能，包括循环、ifs、递归和闭包，甚至可以采用导数的导数的导数。它支持反向模式微分（又名反向传播），这意味着它可以有效地采用关于数组值参数的标量值函数的梯度，以及正向模式微分，并且两者可以任意组合。Autograd 的主要预期应用是基于梯度的优化。假设您想为您的数据测试一个新的机器学习模型。这通常意味着提出一些损失函数来捕捉模型与数据的拟合程度，并根据模型参数优化该损失。如果有很多模型参数（神经网络可以有数百万个），那么你需要梯度。然后，您有两个选择：自己派生和编码它们，或者使用 Theano 或 TensorFlow 等系统的语法和语义约束来实现您的模型。我们想提供第三种方法：只需使用像 Numpy 这样的标准数值库写下损失函数，Autograd 就会给你它的梯度。如何使用 Autograd？Autograd 的 grad 函数接受一个函数，并为您提供一个计算其导数的函数。您的函数必须具有标量值输出（即 float）。这涵盖了您想要使用渐变来优化某些内容时的常见情况。Autograd 适用于包含所有常用控制结构的普通 Python 和 Numpy 代码，包括 while 循环、if 语句和闭包。幕后发生了什么？要计算梯度，Autograd 首先必须记录在转换为函数输出时应用于输入的每个转换。为此，Autograd 包装函数（使用函数原语），以便在调用它们时，它们会将自己添加到执行的操作列表中。Autograd 的核心有一个表，将这些包装的基元映射到它们相应的渐变函数（或者更准确地说，它们的向量雅可比乘积函数）。为了标记我们采用梯度的变量，我们使用 Box 类包装它们。您永远不必考虑 Box 类，但在打印调试信息时可能会注意到它。评估函数后，Autograd 有一个图表，指定了对我们要区分的输入执行的所有操作。这是函数计算的计算图。为了计算导数，我们只需将微分规则应用于图中的每个节点。反向模式微分：给定一个由多个嵌套函数调用组成的函数，有几种方法可以计算其导数。例如，给定 L（x） = F（G（H（x））），链式规则表示其梯度为 dL/dx = dF/dG * dG/dH * dH/dx。如果我们从右到左评估这个乘积：（dF/dG * （dG/dH * dH/dx）），则执行与计算本身相同的顺序，这称为前向模式微分。如果我们从左到右评估这个乘积：（（dF/dG * dG/dH） * dH/dx），则计算本身的相反顺序，这称为逆模微分。与有限差分或正向模式相比，反向模式微分是迄今为止更实用的微分方法，用于区分采用大向量并输出单个数字的函数。在机器学习社区中，逆模微分被称为“反向传播”，因为梯度通过函数向后传播。这特别好，因为您不需要显式实例化中间雅可比矩阵，而只依赖于应用一系列无矩阵向量雅可比乘积函数 （VJP）。由于 Autograd 也支持高等导数，因此也可以使用 Hessian 向量积（二阶导数的一种形式）并高效计算。如何支持 ifs、while 循环和递归？某些 autodiff 软件包（例如 TensorFlow）的工作原理是让您指定函数执行的计算图，包括所有控制流（例如 if 和 for 循环），然后将该图转换为另一个计算梯度的图。这有一些好处（例如允许编译时优化），但它需要你用这些包知道如何处理的有限迷你语言来表达控制流。（例如，TensorFlow 中的 tf.while 和 tf.cond 操作）。相比之下，Autograd 不必知道用于决定调用哪些操作的任何 if、分支、循环或递归。要计算特定输入的梯度，只需知道哪些连续转换应用于该特定输入，而不需要知道可能已应用了哪些其他转换。由于 Autograd 会单独跟踪每个函数调用的相关操作，因此所有 Python 控制流操作对 Autograd 不可见都不是问题。事实上，它大大简化了实现。

• chrisstroemel/Simple Simple(x) 是一种比贝叶斯优化更可扩展的全局优化算法。与贝叶斯优化一样，它具有很高的样本效率，能够在尽可能少的样本中收敛到全局最优解。与贝叶斯优化不同的是，它的运行时间复杂度为 O(log(n))，而不是O(n^3)（或使用近似值时为 O(n^2)），并且常数因子大约小三个数量级。Simple 的运行时间性能，加上它在高维空间中优越的样本效率，使该算法能够轻松扩展到具有大量设计变量的问题。对于典型的优化工作负载，贝叶斯优化消耗的 CPU 时间以分钟为单位，而Simple 使用的 CPU 时间以毫秒为单位。Simple 通过构建目标函数行为的内部代理模型来工作。该算法从代理模型预测具有高目标值和大量信息增益的点进行采样，以在未来的迭代中做出更准确的预测。Simple 通过将优化域分解成一组相互独立的离散局部插值来构建其代理模型。每个局部插值都采用单纯形的形式，单纯形是三角形几何概念在更高维度的数学术语。通过测试每个单纯形内部的一个点，该算法可以将父插值分解成 dim+1 个更小、更准确的子插值。Simple 通过将全局优化问题转化为动态规划问题，实现了比贝叶斯优化快得多的速度。由于每个插值都基于纯粹的局部信息，因此可以对单个样本进行采样，而无需重新计算整个搜索空间的更新代理模型。在每一步中，Simple 从其优先队列中获取具有最高获取函数值（最高组合插值值和信息增益）的局部插值，并在该插值的测试点处评估目标函数。然后，该算法使用新的样本信息将父插值细分为更小的子插值，并将其添加回优先队列。每个单纯形都有一个候选测试位置，该位置由几何确定，以帮助保证收敛并抑制创建精度较低的高纵横比插值。更详细地说，获取函数由 acquisition = interpolated_value + exploration_preference* opportunity_cost 给出。探索偏好是一个可调超参数，用于告知算法应该给予探索优化域多少重要性，而不是追求 exploitation。

• tensorflow/neural-structured-learning TensorFlow神经结构化学习 (NSL) 是一个新的学习范式，通过利用结构化信号来训练神经网络，除了特征输入之外。结构可以是显式的，如由图表示 [1,2,5]，也可以是隐式的，如由对抗性扰动诱导 [3,4]。结构化信号通常用于表示样本之间的关系或相似性，这些样本可能是标记的或未标记的。在神经网络训练期间利用这些信号可以利用标记和未标记数据，从而提高模型精度，尤其是在标记数据量相对较少的情况下。此外，使用对抗性扰动生成的样本训练的模型已被证明对恶意攻击具有鲁棒性，这些攻击旨在误导模型的预测或分类。NSL 泛化到神经图学习 [1] 以及对抗性学习 [3]。TensorFlow 中的 NSL 框架为开发人员提供以下易于使用的API 和工具，用于使用结构化信号训练模型：* Keras API，用于启用使用图（显式结构）和对抗性扰动（隐式结构）的训练。* TF 操作和函数，用于在使用较低级别 TensorFlow API 时启用使用结构的训练。* 工具，用于构建图并构建用于训练的图输入。NSL 框架设计灵活，可用于训练任何类型的神经网络。例如，前馈、卷积和循环神经网络都可以使用 NSL 框架进行训练。除了监督学习和半监督学习（少量监督）之外，NSL 理论上可以推广到无监督学习。仅在训练期间合并结构化信号，因此服务/推理工作流的性能保持不变。请查看我们的教程以了解 NSL 的实际介绍。

• jmschrei/pomegranate Pomegranate是一个 Python 库，用于概率建模，它以其模块化实现和将所有模型视为概率分布的特点而著称。模块化实现允许用户轻松地将正态分布放入混合模型中以创建高斯混合模型，就像将伽马分布和泊松分布放入混合模型中以创建异构混合模型一样。此外，由于每个模型都被视为概率分布，贝叶斯网络可以像正态分布一样轻松地放入混合模型中，而隐马尔可夫模型可以放入贝叶斯分类器中以创建序列分类器。这两种设计选择共同实现了其他任何概率建模包都无法比拟的灵活性。最近，Pomegranate (v1.0.0)使用 PyTorch 进行了重写，以替换过时的 Cython 后端。这次重写让我有机会修复我在作为一名软件工程师时所做的一些糟糕的设计选择。不幸的是，许多更改不向后兼容，会破坏工作流程。另一方面，这些更改显著加快了大多数方法，改进和简化了代码，修复了多年来社区提出的许多问题，并使贡献变得更加容易。我将在下面详细说明，但您现在可能来这里是因为您的代码已损坏，这是简短的说明。Pomegranate 支持使用 pip install pomegranate进行安装，如果需要重写之前的 Cython 版本，可以使用 pip install pomegranate==0.14.8。您可能需要手动安装 v3 之前的 Cython 版本。重写的动机主要有四个：速度、功能、社区贡献和互操作性。

• facebookexperimental/Robyn Robyn 是来自 Meta Marketing Science 的一个实验性的、由 AI/ML 支持的开源营销组合建模 (MMM) 包。我们的使命是使建模知识民主化，通过创新激励行业，减少建模过程中的人为偏见并建立强大的开源营销科学社区。罗宾是什么？ ：Robyn 是来自 Meta Marketing Science 的实验性、半自动化和开源营销组合建模 (MMM) 软件包。它使用各种机器学习技术（岭回归、用于超参数优化的多目标进化算法、趋势和季节的时间序列分解、基于梯度的预算分配优化、聚类等）来定义媒体渠道效率和有效性，探索adstock 费率和饱和曲线。它是为具有许多自变量的精细数据集而构建的，因此特别适合具有丰富数据源的数字和直接响应广告商。我们为什么要这样做？ ：MMM曾经是一种资源密集型技术，只有“大玩家”才能负担得起。随着测量领域隐私需求的发展，对现代 MMM 作为隐私安全解决方案的需求明显增加。在 Meta Marketing Science，我们的使命是通过转变基于数据和科学的营销实践来帮助所有企业发展。它与我们的使命高度一致，即使 MMM 民主化并让各种规模的广告商都可以使用它。通过 Robyn 项目，我们希望为测量领域做出贡献，激励行业，并围绕 MMM 和营销科学的未来建立一个交流和创新的社区。

• zenml-io/zenml 构建可移植、生产就绪的 MLOps 管道。ZenML 是一个 MLOps 框架，适用于希望标准化机器学习实践的数据科学家或 ML 工程师。只需将@step和@pipeline添加到现有的 Python 函数中即可开始使用。轻松预配 MLOps 堆栈或重用现有基础架构：该框架是从业者构建复杂 ML 管道的温和切入点，几乎不需要了解底层基础设施的复杂性。ZenML 管道可以在 AWS、GCP、Azure、Airflow、Kubeflow 甚至 Kubernetes 上运行，而无需更改任何代码或了解底层内部结构。ZenML提供了不同的功能，可以帮助人们在远程环境中快速上手。如果要在所选云提供商上从头开始部署远程堆栈，可以通过仪表板使用一键式部署功能。在生产基础架构上轻松运行工作负载：配置 MLOps 堆栈后，可以轻松地在其上运行工作负载；跟踪模型、管道和工件：创建生成人员、地点以及生成数据和模型的完整谱系，您将能够找出谁在什么时间生成了哪个模型，使用哪些数据以及代码的哪个版本。这保证了完全的可重复性和可审计性。专为机器学习而构建，可集成到您喜爱的工具中：虽然 ZenML 带来了很多盒子的价值，但它也可以集成到您现有的工具和基础设施中，而您不必被锁定。

• reservoirpy/reservoirpy ReservoirPy是一个简单易用的Python库，用于实现高效的储层计算（RC）架构，特别是回声状态网络（ESN）。它提供灵活的接口，支持离线和在线训练、并行实现、稀疏矩阵计算、快速谱初始化和高级学习规则等功能。用户可以轻松创建包含多个储层、读出和复杂反馈回路的复杂架构。该库还包含图形工具，可以帮助用户使用hyperopt库探索超参数。此外，它还包含多个教程，介绍了奇特的架构和科学论文的复现示例。该库适用于Python 3.8及更高版本。水库计算(Reservoir computing)是一种从循环神经网络理论中衍生出的计算框架，通过一个称为水库的固定非线性系统的动力学，将输入信号映射到更高维的计算空间。在将输入信号输入到被视为“黑盒”的水库后，训练一个简单的读取机制来读取水库的状态并将其映射到所需的输出。这个框架的第一个关键优势是，训练仅在读取阶段进行，因为水库的动力学是固定的。第二个优势是，可以使用自然存在的系统（包括经典和量子力学系统）的计算能力来降低有效的计算成本。

• replicate/cog Cog 是一个开源工具，可让您将机器学习模型打包到标准的生产就绪容器中。特色：Docker 容器没有痛苦，编写自己的 Dockerfile 可能是一个令人困惑的过程，使用 Cog，您可以使用一个简单的配置文件来定义您的环境，它会生成一个包含所有最佳实践的 Docker 镜像：Nvidia 基础镜像、依赖项的高效缓存、安装特定的 Python 版本、合理的环境变量默认值等。不再有 CUDA 地狱，Cog 知道哪些 CUDA/cuDNN/PyTorch/Tensorflow/Python 组合是兼容的，并会为您正确设置。使用标准 Python 定义模型的输入和输出，Cog 生成一个 OpenAPI 架构，并使用 Pydantic 验证输入和输出。自动 HTTP 预测服务器：您的模型类型用于使用 FastAPI 动态生成 RESTful HTTP API。自动队列工作程序，长时间运行的深度学习模型或批处理最好使用队列进行架构，Cog 模型开箱即用。Redis 目前受支持，更多支持正在开发中。云存储，文件可以直接读取和写入 Amazon S3 和 Google Cloud Storage。为生产做好准备，将模型部署到运行 Docker 映像的任何位置。您自己的基础设施或 Replicate。

• arrayfire/arrayfire ArrayFire是一个通用张量库，简化了针对CPU、GPU和其他硬件加速设备的并行架构的软件开发过程。它提供数百种加速的张量计算函数，涵盖数组处理、计算机视觉、图像处理、线性代数、机器学习、标准数学、信号处理、统计和向量算法等领域。ArrayFire拥有易于使用、稳定且文档齐全的API，并通过严格的基准测试和测试确保最佳性能和数值精度。它支持CUDA、oneAPI、OpenCL和原生CPU，可在Windows、Mac和Linux上运行。ArrayFire还内置了通过Forge实现的可视化功能，并提供商业友好的开源许可和企业支持。ArrayFire通过af::array对象提供对加速器上数据的抽象，开发者编写对ArrayFire数组进行操作的代码，这些代码会自动转换为在计算设备上执行的近乎最佳的内核。ArrayFire可在从低功耗移动电话到高性能GPU支持超级计算机的各种设备上运行。它支持来自所有主要供应商（英特尔、AMD、ARM）的CPU，来自主要制造商（AMD、英特尔、英伟达和高通）的GPU，以及Windows、Mac和Linux上的各种其他加速器设备。

• modelscope/modelscope ModelScope 建立在“模型即服务”（MaaS） 的概念之上。它旨在汇集来自人工智能社区的最先进的机器学习模型，并简化在实际应用中利用人工智能模型的过程。此存储库中开源的核心 ModelScope 库提供了允许开发人员执行模型推理、训练和评估的接口和实现。特别是，ModelScope 库具有丰富的 API 抽象层，可提供统一的体验，以探索跨 CV、NLP、语音、多模态和科学计算等领域的最先进模型。不同领域的模型贡献者可以通过分层 API 将模型集成到 ModelScope 生态系统中，从而轻松统一地访问他们的模型。集成后，只需几行代码即可完成模型推理、微调和评估。同时，还提供了灵活性，以便在必要时可以定制模型应用程序中的不同组件。除了包含各种不同模型的实现外，ModelScope 库还支持与 ModelScope 后端服务进行必要的交互，尤其是与 Model-Hub 和 Dataset-Hub 的交互。这种交互有助于在后台无缝执行各种实体（模型和数据集）的管理，包括实体查找、版本控制、缓存管理等。

• deepchecks/deepchecks Deepchecks：用于持续验证ML模型和数据的测试。Deepchecks 是一个整体的开源解决方案，可满足您所有的 AI 和 ML 验证需求，能够彻底测试您的数据和模型，从研究到生产。Deepchecks 是一个全面的开源解决方案，可满足您所有的 AI 和 ML 验证需求，使您能够彻底测试从研究到生产的数据和模型。Deepchecks的核心包括各种内置检查，用于测试所有类型的数据和模型相关问题。这些检查针对各种模型和数据类型（表格、NLP、视觉）实现，并且可以轻松自定义和扩展。检查结果可用于自动对模型的生产准备情况做出明智的决策，并在生产中随时间推移对其进行监控。检查结果可以通过可视化报告进行检查（通过将它们保存到 HTML 文件，或在 Jupyter 中查看它们），使用代码进行处理（使用其 pythonic / json 输出），并使用 Deepchecks 的动态 UI 进行检查和协作（用于检查测试结果和生产监控）。

• ml-explore/mlx Apple 机器学习研究团队推出的基于 Apple 芯片的机器学习阵列框架。主要功能包括：熟悉的 API：MLX 有一个紧跟 NumPy 的 Python API。MLX 还有一个功能齐全的 C++ API，它与 Python API 非常相似。MLX 具有更高级别的包，例如 API mlx.optimizers ，这些包与 PyTorch 密切相关， mlx.nn 以简化构建更复杂的模型。可组合函数变换：MLX支持可组合函数变换，实现自动微分、自动矢量化、计算图优化等功能。延迟计算：MLX 中的计算是延迟的。数组仅在需要时具体化。动态图构建：MLX中的计算图是动态构建的。更改函数参数的形状不会触发缓慢的编译，并且调试简单直观。多设备：操作可以在任何受支持的设备（当前为 CPU 和 GPU）上运行。统一内存：与 MLX 和其他框架的显着区别是统一内存模型。MLX 中的数组位于共享内存中。可以在任何受支持的设备类型上执行对 MLX 阵列的操作，而无需传输数据。

• feast-dev/feast 用于机器学习的开源功能存储。Feast 是管理现有基础设施的最快途径，用于生产用于模型训练和在线推理的分析数据。通过管理离线存储（用于处理用于横向扩展批量评分或模型训练的历史数据）、低延迟在线存储（支持实时预测）和经过实战测试的功能服务器（用于在线提供预先计算的功能），使功能始终可用于训练和服务。通过生成时间点正确的特征集来避免数据泄露，以便数据科学家可以专注于特征工程，而不是调试容易出错的数据集连接逻辑，这可确保将来的特征值不会在训练期间泄漏到模型中。通过提供单个数据访问层将特征存储从特征检索中抽象出来，将 ML 与数据基础架构分离，确保模型在从训练模型迁移到服务模型、从批处理模型迁移到实时模型以及从一个数据基础设施系统迁移到另一个数据基础设施时保持可移植性。

• nextflow-io/nextflow Nextflow是一个用于创建可扩展、可移植和可重复工作流程的系统，它基于数据流编程模型，简化了并行和分布式管道的编写，使您专注于数据和计算流程。Nextflow可以在多种执行平台上部署工作流程，包括本地机器、HPC调度器、AWS Batch、Azure Batch、Google Cloud Batch和Kubernetes。此外，它支持多种管理软件依赖项的方式，包括Conda、Spack、Docker、Podman、Singularity等。您可以通过单个命令安装Nextflow，并从Bioconda安装它。Nextflow的文档可在最新稳定版和边缘版中获取。您可以在Nextflow社区论坛或Nextflow Slack中提问并获得帮助，并通过GitHub问题报告错误和功能请求。Nextflow社区非常活跃，定期举办社区会议、活动、播客等。您可以在Nextflow和nf-core的YouTube频道上查看大部分内容。nf-core项目是一个社区努力，汇集了高质量的Nextflow工作流程，供所有人使用。

• IDSIA/sacred Sacred 是一个帮助您配置、组织、记录和重现实验的工具。它旨在完成您在实际实验中需要完成的所有繁琐的日常工作，以便：跟踪实验的所有参数，轻松运行不同设置的实验，将各个运行的配置保存在数据库中。重现你的结果，Sacred 通过以下主要机制实现这一目标：配置范围函数中局部变量的一种非常方便的方法来定义实验使用的参数；配置注入：您可以从每个函数访问配置的所有参数。它们是按名称自动注入的；命令行界面：每个实验都有一个强大的命令行界面，可用于更改参数并运行不同的变体；观察者：Sacred 提供了观察者来记录有关您的实验、其依赖项、您使用的配置、运行的机器，当然还有结果的各种信息；这些可以保存到 MongoDB，以便以后轻松访问；自动播种有助于控制实验中的随机性，从而使结果保持可重复性。

• rusty1s/pytorch_scatter PyTorchScatter 是一个 PyTorch 扩展库，提供高度优化的稀疏更新（散射和分割）操作，弥补了 PyTorch 主库的不足。它基于给定的“分组索引”张量实现类似于归约操作的散射和分割操作，其中分割操作要求“分组索引”张量已排序，而散射操作则没有此要求。该库包含基于任意索引的散射、基于排序索引的 segment_coo 和基于压缩索引的segment_csr 等操作，并提供 sum、mean、min、max 等多种归约类型。此外，它还提供 scatter_std、scatter_logsumexp、scatter_softmax 和 scatter_log_softmax 等复合函数，这些函数利用 scatter_* 操作。所有操作都可广播，支持各种数据类型，并在 CPU 和 GPU 上实现，并提供相应的反向传播实现，且完全可追踪。该库可以通过 Anaconda 或 pip 安装，并提供适用于各种操作系统、PyTorch 和 CUDA 版本的二进制文件。

• Thinklab-SJTU/awesome-ml4co 用于组合优化论文的出色机器学习资源。包括图论问题: 图形匹配、旅行商问题、最大独立集、哈密顿循环问题、图着色、最大公共子图等。这类问题通常涉及到图的结构和性质，寻找图中的最优解。组合优化问题: 背包问题、车辆路径问题、作业车间调度问题、设施位置问题等。这类问题主要涉及到离散变量的优化，寻找满足约束条件下的最优组合。整数规划问题: 混合整数规划问题。这类问题是组合优化问题的一种特殊形式，变量取值为整数。其他问题: 投资组合优化、影响力最大化、因果发现、博弈论语义、可微优化、电子设计自动化、虚拟网络嵌入、预测+优化、最佳功率流、排序和排名、组合药物推荐、随机组合优化等。这些问题涉及到更广泛的领域，如机器学习、人工智能、经济学等。

• scikit-learn-contrib/DESlib DESlib是一个易于使用的集成学习库，专注于实现最先进的动态分类器和集成选择技术。该库基于scikit-learn，使用相同的函数签名：fit、predict、predict_proba和score。所有动态选择技术都是根据[1]中的定义实现的。动态选择（DS）指的是在测试时根据每个新样本动态选择基础分类器的方法。只有最称职的分类器或最称职的分类器集合被选中来预测特定测试样本的标签。这些技术的原理是，池中的每个分类器都不是所有未知样本的专家，而是每个基础分类器都是特征空间不同局部区域的专家。DS是多分类器系统（MCS）中最有希望的方法之一，因为越来越多的实证研究表明，与静态组合方法相比，它具有更好的性能。这些技术在处理小尺寸和不平衡数据集时，尤其能获得更好的分类性能。

• smarco/WFA2-lib WFA2-lib 是一个实现 Wavefront Alignment (WFA) 算法的库，该算法是一种精确的 gap-affine 对齐算法，通过利用序列之间的同源区域来加速对齐过程。与传统的动态规划算法相比，WFA 的时间复杂度为 O(ns+s^2)，其中 n 是序列长度，s 是对齐得分，内存使用量为 O(s^2) (或使用 ultralow/BiWFA 模式时为 O(s))。WFA2-lib 支持多种距离函数 (如 indel、edit、gap-linear、gap-affine 和 dual-gap gap-affine)，并允许计算得分或完整对齐 (CIGAR)。此外，它还支持全局对齐和自由端对齐 (包括半全局、glocal 和扩展对齐)，并提供低内存模式以减少内存使用。除了精确对齐模式，WFA2-lib 还实现了启发式模式以加速对齐计算。该库还提供许多其他支持函数，用于显示和验证对齐结果，控制内存使用等。

• skypilot-org/skypilot SkyPilot：在任何基础设施（Kubernetes 或 12+ 云）上运行 AI 和批处理作业。通过简单的界面实现统一执行、成本节约和高可用性。SkyPilot 消除了基础设施负担：在任何基础设施上启动开发集群、作业和服务；轻松的作业管理：对许多作业进行排队、运行和自动恢复。SkyPilot 支持多个集群、云和硬件 （Sky）：带上您的预留 GPU、Kubernetes 集群或 12+ 云，灵活预置 GPU、TPU、CPU，具有自动重试功能。SkyPilot降低您的云成本并最大化GPU可用性：Autostop：自动清理空闲资源；托管 Spot：使用 Spot 实例节省 3-6 倍的成本，并具有抢占自动恢复功能；优化器：通过自动选择最便宜和最可用的基础设施，节省2倍的成本。SkyPilot 支持您现有的 GPU、TPU 和 CPU 工作负载，无需更改代码。

• feathr-ai/feathr Feathr是一个可扩展的统一数据和 AI 工程平台，在 LinkedIn 生产环境中应用多年，于 2022 年开源。它允许用户使用 Pythonic API定义数据和特征转换，并注册转换以便在 AI 建模、合规性、市场营销等各种用例中获取转换后的数据（特征）。Feathr 尤其适用于 AI 建模，它能自动计算特征转换并将其加入训练数据，使用时间点正确语义避免数据泄露，并支持物化和部署特征以供在线生产使用。Feathr 具有云原生集成、可扩展的架构、丰富的转换 API、Pythonic API 和高度可定制的用户定义函数 (UDF) 等特点，并支持 PySpark和 Spark SQL，降低了数据科学家的学习曲线。Feathr 内置的注册表使命名转换和数据/特征重用变得轻而易举。可以通过 Feathr Sandbox 轻松体验 Feathr 的功能。

• PAIR-code/lit LIT(Learning Interpretability Tool) 是一个可视化、交互式的机器学习模型理解工具，支持文本、图像和表格数据。它可以作为独立服务器运行，也可以在 Colab、Jupyter 和 Google Cloud Vertex AI 笔记本等笔记本环境中运行。LIT 旨在回答诸如“我的模型在哪些类型的示例上表现不佳？”、“为什么我的模型做出这个预测？”、“如果我改变文本风格、动词时态或代词性别，我的模型是否会保持一致？”等问题。LIT 通过基于浏览器的 UI 支持各种调试工作流程，包括局部解释、聚合分析、反事实生成、并排模式和高度可扩展性。它与 TensorFlow、PyTorch 等框架无关。LIT 拥有一个网站，其中包含实时演示、教程、设置指南等。可以通过 pip 或从源代码构建来安装 LIT。

• flashlight/flashlight Flashlight是一个完全用 C++ 编写的快速、灵活的机器学习库，由 Facebook AI Research 和 Torch、TensorFlow、Eigen 和 Deep Speech 的创建者开发。其核心特性包括：完全可修改性（包括用于张量计算的内部 API）、小巧的占地面积（核心代码不到 10MB，20k 行 C++ 代码）、高性能默认设置（通过 ArrayFire 张量库使用现代 C++ 进行即时内核编译）、注重效率和可扩展性。Flashlight 在 C++ 中提供原生支持，并易于扩展，使其成为一个强大的研究框架，能够在新的实验设置和算法上快速迭代，同时保持性能。在一个代码库中，Flashlight 提供了用于跨多个领域进行研究的应用程序，例如：自动语音识别（以前称为 wav2letter 项目）、图像分类、目标检测、语言建模。

• facebookresearch/CrypTen CrypTen是一个基于 PyTorch 的隐私保护机器学习框架，旨在让安全计算技术更易于被机器学习从业者使用。它使用安全多方计算(MPC) 作为安全计算后端，为 ML 研究人员提供三个主要优势：1. 以机器学习为先，通过 CrypTensor 对象提供协议，该对象与 PyTorch 的 Tensor 具有相同的行为，允许用户使用自动微分和神经网络模块。2. 基于库，与 PyTorch 一样实现了一个张量库，使从业者更容易调试、实验和探索 ML 模型。3. 框架考虑了现实世界的挑战，没有简化安全协议的实现。CrypTen 目前运行在Linux 和 Mac 上，支持 Python 3.7 和 GPU 计算，但不支持 Windows。该项目提供了多个示例，包括线性 SVM、LeNet、TFE 基准测试、Bandit 和 ImageNet，涵盖了各种模型。

• jeshraghian/snntorch snntorch是一个基于PyTorch的Python包，用于使用脉冲神经网络进行基于梯度的学习。它扩展了PyTorch的功能，利用其GPU加速的张量计算，并将其应用于脉冲神经元网络。预先设计的脉冲神经元模型与PyTorch框架无缝集成，可以作为循环激活单元进行处理。snntorch包含一个脉冲神经元库、一个用于脉冲生成和数据转换的库、一个用于可视化基于脉冲数据的工具库、一个用于可选代理梯度函数的库，以及一个数据集实用程序函数库。snntorch旨在与PyTorch直观地使用，就好像每个脉冲神经元只是一个层序列中的另一个激活一样。因此，它与全连接层、卷积层、残差连接等无关。目前，神经元模型由递归函数表示，这消除了存储膜电位的需要。

• explainX/explainx explainX是一个面向数据科学家和商业用户的模型可解释性/可理解性框架，它可以帮助用户通过一行代码来解释和调试任何黑盒机器学习模型。explainX 可以帮助用户理解模型的整体行为，解释模型预测背后的原因，消除数据偏差，并为商业利益相关者创建令人信服的解释。用户可以通过 explainX 回答诸如“为什么我的模型犯了错误？”、“我的模型有偏差吗？如果有，在哪里？”、“如何理解和信任模型的决策？”、“我的模型是否满足法律和监管要求？”等问题。explainX 提供了一个完整的可解释性仪表板，包含所有可解释性技术，用户也可以单独访问这些技术。该项目正在寻找合作者，感兴趣的可以联系 [email protected]。

• MegEngine/MegEngine MegEngine 是一个快速、可拓展、易于使用且支持自动求导的深度学习框架。MegEngine 是一个快速、可扩展且用户友好的深度学习框架，具有 3 个关键功能。训练和推理的统一框架；量化、动态形状/图像预处理，甚至使用单个模型进行推导；训练后，将所有内容放入模型中，以便在任何平台上快速、精确地进行推理。最低的硬件要求，启用DTR算法后，GPU的内存使用量可以减少到原来内存使用量的三分之一，利用我们的下推内存规划器实现内存使用率最低的推理模型。在所有平台上高效推理，在 x86、Arm、CUDA 和 RoCM 上进行快速且高精度的推理。支持Linux、Windows、iOS、Android、TEE等。利用我们的高级功能优化性能和内存使用。

• dssg/aequitas Aequitas是一个开源的偏差审计和公平机器学习工具包，专为数据科学家、机器学习研究人员和政策制定者设计。它提供了一个易于使用且透明的工具，用于审计机器学习模型的预测，以及在二元分类设置中使用公平机器学习方法来尝试“纠正有偏差的模型”。该项目还提供详细的教程和相关出版物，帮助用户了解如何在人工智能/机器学习系统中处理偏差和公平问题。Aequitas 1.0.0 版本引入了 Aequitas Flow，它将偏差审计与偏差缓解相结合，并通过新的简化功能增强了公平机器学习方法的实验。用户可以使用示例笔记本进行模型审计、模型预测纠正、公平机器学习实验，以及将自定义方法添加到 Aequitas Flow 工具包。

• tensorflow/compression TensorFlow Compression(TFC) 是一个 TensorFlow 库，提供数据压缩工具，用于构建包含端到端优化数据压缩的机器学习模型。它可以帮助您找到数据的存储效率表示（图像、特征、示例等），同时仅牺牲一小部分模型性能。该库包含 C++ 编写的灵活 TF 操作形式的范围编码（也称为算术编码）实现，熵模型类，以及其他 TensorFlow 函数和 Keras 层，这些函数和层在学习数据压缩的背景下很有用。TFC 现已进入维护模式，这意味着功能集已固定，但将继续维护修复。从 TensorFlow 2.15 开始，TFC 包将不再与 Keras 兼容，因此发布了一个新的包 tensorflow-compression-ops，其中只包含 C++ 操作，并将在未来更新以支持更新的 TensorFlow 版本。

• cornellius-gp/gpytorch GPyTorch是一个基于 PyTorch 的高性能高斯过程库，旨在简化可扩展、灵活和模块化高斯过程模型的创建。GPyTorch采用数值线性代数技术（如预处理共轭梯度法）进行推断，与许多现有方法不同。通过提供内核矩阵及其导数的矩阵乘法例程，或通过组合已有的 LinearOperators，可以轻松实现可扩展的 GP 方法。这不仅简化了流行的可扩展 GP 技术的实现，而且与基于 Cholesky 分解的求解器相比，通常可以显著提高 GPU 计算的利用率。GPyTorch 提供了显著的 GPU 加速（通过基于 MVM 的推断）、最先进的算法实现（如 SKI/KISS-GP、随机 Lanczos 展开、LOVE、SKIP、随机变分、深度内核学习等）以及与深度学习框架的轻松集成。

• google/differential-privacy Google的差分隐私库，提供了一系列工具用于生成 ε- 和 (ε, δ)- 差分隐私统计数据，包括：Privacy on Beam（基于 Apache Beam的端到端差分隐私框架）、PipelineDP4j（针对 JVM 语言的端到端差分隐私框架）、C++、Go 和 Java的差分隐私构建块库（实现基本噪声添加原语和差分隐私聚合）、随机测试器、差分隐私会计库、用于运行差分隐私 SQL 查询的命令行界面以及用于审核差分隐私保证的 DP Auditorium 库。该库支持多种算法，包括拉普拉斯机制、高斯机制、计数、求和、平均值、方差、标准差、分位数、自动边界近似、截断几何阈值、拉普拉斯阈值、高斯阈值和预阈值。该库适用于研究、实验或生产用例。

• huggingface/evaluate 🤗 Evaluate是一个用于轻松评估机器学习模型和数据集的库，它包含数十种流行指标的实现，涵盖从 NLP 到计算机视觉的各种任务，并提供数据集特定的指标。用户可以使用简单的命令（如 accuracy = load("accuracy")）加载任何指标，并将其用于评估任何框架（Numpy/Pandas/PyTorch/TensorFlow/JAX）中的 ML 模型。Evaluate 还提供模型比较和数据集评估工具，以及一个简单的方法来将新的评估模块添加到 🤗 Hub。每个指标都附带一个卡片，描述其值、限制和范围，并提供使用和用途的示例。用户可以轻松地添加自己的指标，并与他人协作。Evaluate 可以通过pip 安装，并提供类型检查、社区指标等功能。

• pymc-devs/pymc PyMC是一个用于贝叶斯统计建模的 Python 包，专注于先进的马尔可夫链蒙特卡罗 (MCMC) 和变分推断 (VI) 算法。其灵活性和可扩展性使其适用于各种问题。它提供直观的模型规范语法，例如 x ~ N(0,1)，并支持强大的采样算法，如 No U-Turn Sampler，允许对具有数千个参数的复杂模型进行建模。PyMC 还支持变分推断，包括 ADVI 和 mini-batch ADVI，用于快速近似后验估计。它依赖于 PyTensor，提供计算优化、动态 C 或 JAX 编译、NumPy广播和高级索引以及线性代数运算符。PyMC 还透明地支持缺失值插补。例如，可以使用 PyMC 建立线性回归模型，以预测植物生长与阳光照射时间、浇水量和土壤氮含量之间的关系。

• PAIR-code/what-if-tool What-If Tool(WIT) 是一个用于深入理解黑盒分类或回归机器学习模型的工具，它提供了一个易于使用的界面，可以对大量示例进行推理并以多种方式可视化结果。用户可以手动或以编程方式编辑示例，并重新运行模型以查看更改带来的结果。WIT 还包含用于调查模型性能和公平性的工具，并能够在数据集子集上进行分析。WIT 的目标是为用户提供一个简单、直观且强大的方式，让他们无需编写任何代码即可通过可视化界面与训练好的机器学习模型进行交互。WIT 可以通过 TensorBoard 访问，也可以作为 Jupyter 或 Colab 笔记本的扩展使用。该项目提供了一系列Web 和 Colab 演示，用户可以轻松上手体验。

• Trusted-AI/AIF360 AI Fairness 360 (AIF360) 是一个开源工具包，包含了用于检测和减轻机器学习模型中偏差的技术。它提供了一套全面的数据集和模型公平性指标，以及用于解释这些指标和减轻数据集和模型偏差的算法。AIF360 支持多种偏差缓解算法，包括优化预处理、差异影响消除器、均衡几率后处理、重新加权、拒绝选项分类、偏见消除正则化、校准均衡几率后处理、学习公平表示、对抗性去偏、公平分类元算法、丰富子组公平性、指数梯度减少、网格搜索减少、公平数据自适应等。该工具包可在 Python 和 R中使用，并提供交互式体验、教程和完整 API 文档，旨在将算法研究从实验室转化到现实应用中。

• xenova/transformers.js 最先进的 Web 机器学习。直接在浏览器中运行🤗Transformers，无需服务器！ 被设计为在功能上等同于 Hugging Face 的 transformers python 库，这意味着您可以使用非常相似的 API 运行相同的预训练模型。这些模型支持不同模式的常见任务，例如：自然语言处理：文本分类、命名实体识别、问答、语言建模、摘要、翻译、多项选择和文本生成。计算机视觉：图像分类、物体检测和分割。音频：自动语音识别和音频分类。多模态：零样本图像分类。Transformers.js使用 ONNX 运行时在浏览器中运行模型。最好的部分是，您可以使用 🤗 Optimum 轻松地将预训练的 PyTorch、TensorFlow 或 JAX 模型转换为 ONNX。

• tensorflow/transform TensorFlow Transform(TFT) 是一个用于使用 TensorFlow 预处理数据的库。它适用于需要完整数据遍历的预处理任务，例如：使用均值和标准差对输入值进行归一化，通过生成所有输入值的词汇表将字符串转换为整数，根据观察到的数据分布将浮点数分配到桶中。TFT 扩展了 TensorFlow 对单个示例或示例批次的处理能力，支持对示例数据进行完整遍历。TFT 的输出以 TensorFlow 图的形式导出，用于训练和服务。使用相同的图进行训练和服务可以防止数据偏差，因为两个阶段都应用了相同的转换。TFT 需要 TensorFlow、Apache Beam 和 Apache Arrow。它支持本地模式和分布式模式，例如使用 Google Cloud Dataflow。

• jupyter/docker-stacks Jupyter Docker Stacks提供了一系列预构建的 Docker 镜像，包含 Jupyter 应用和交互式计算工具，方便用户快速启动 Jupyter Server、JupyterHub 以及其他 Jupyter 应用。用户可以使用这些镜像轻松地创建个人 Jupyter Server、团队 JupyterHub 或自定义项目 Dockerfile。该项目提供多种镜像，例如 jupyter/scipy-notebook和 jupyter/datascience-notebook，用户可以通过简单的 Docker 命令启动这些镜像，并通过浏览器访问 JupyterLab。此外，用户还可以使用 -v 选项将本地目录挂载到容器中，方便进行数据访问和项目开发。该项目文档详细介绍了各种镜像、使用方法和功能，用户可以参考文档进行更深入的了解。

• google-research/rliable rliable是一个开源 Python 库，用于在强化学习和机器学习基准测试中进行可靠的评估，即使只有少量运行也能做到。它使用分层引导置信区间来解决性能评估中的不确定性问题，并通过性能概况来展示不同任务和运行之间的性能差异，而不是仅仅使用表格形式的平均分数。rliable 还提供了诸如跨所有运行的四分位数均值 (IQM) 等聚合指标，以更全面地评估基准测试性能。该库还包含一个交互式 Colab 笔记本，展示了如何使用 rliable，并提供了在 Atari 100k、ALE、DM Control 和 Procgen 等广泛使用的基准测试上对已发表算法的示例。rliable 的相关论文获得了 NeurIPS 2021 的杰出论文奖。

• oegedijk/explainerdashboard ExplainerDashboard是一个Python库，可以快速构建可解释的AI仪表板，以展示所谓的“黑盒”机器学习模型的内部工作原理。它提供交互式图表，展示模型性能、特征重要性、特征对单个预测的贡献、“如果”分析、偏依赖图、SHAP（交互）值、单个决策树的可视化等。用户可以在笔记本/colab环境中交互式地探索仪表板的组件，或设计具有自定义布局和解释的仪表板。仪表板可以从运行的仪表板直接导出到静态html，或作为自动化CI/CD部署过程的一部分以工件的形式进行编程导出。该库支持scikit-learn、xgboost、catboost、lightgbm和skorch（用于表格PyTorch模型的sklearn包装器）等库。

• tensorflow/fairness-indicators Tensorflow's Fairness Indicators是一个用于评估、改进和比较模型公平性的工具包，它与Tensorflow工具包协同工作。该工具包能够计算二元和多分类模型的常见公平性指标，并支持对大型数据集和模型进行评估。它可以评估数据集的分布，以及模型在不同用户群中的表现，并提供置信区间和多阈值评估。此外，它还允许深入分析单个切片，以探索根本原因并寻找改进机会。该工具包包含Tensorflow Data Validation (TFDV)用于分析数据集分布，Tensorflow Model Analysis (TFMA)用于分析模型性能，以及Fairness Indicators用于添加公平性指标和跨切片比较性能。它还提供夜间包，可以通过pip安装。

• kedro-org/kedro 用于生产就绪型数据科学的工具箱。它使用软件工程最佳实践来帮助你创建可重现、可维护和模块化的数据工程和数据科学管道。基于Cookiecutter数据科学的标准、可修改且易于使用的项目模板。一系列轻量级数据连接器，用于跨多种不同的文件格式和文件系统（包括本地和网络文件系统、云对象存储和 HDFS）保存和加载数据。数据目录还包括基于文件的系统的数据和模型版本控制。使用 Kedro-Viz 自动解析纯 Python 函数和数据管道可视化之间的依赖关系。部署策略，包括单机或分布式计算机部署，以及对在 Argo、Prefect、Kubeflow、AWS Batch 和 Databricks 上部署的额外支持。

• yosinski/deep-visualization-toolbox DeepVis Toolbox是一个用于深度神经网络可视化的工具箱，它允许用户通过正则化优化生成神经元级别的可视化。该工具箱提供了两种主要功能：1. 前向/反向传播：用户可以使用该工具箱对图像进行前向传播，以可视化网络中的激活，并使用反向传播计算任何单元相对于其他单元的导数。2. 单元级可视化：该工具箱支持三种类型的单元级可视化，包括最大图像、最大图像的反卷积和通过正则化优化进行的激活最大化。用户可以使用该工具箱可视化自己的模型，但需要预先计算单元级可视化，因为它们计算成本很高。该工具箱还包含CaffeNet模型的预计算单元级可视化。

• featureform/featureform Featureform是一个虚拟特征存储，它可以将您现有的数据基础设施转变为特征存储。它允许数据科学家定义、管理和提供其 ML 模型的特征。Featureform 位于您现有的基础设施之上，并对其进行编排，使其像传统的特征存储一样工作。使用 Featureform，数据科学团队可以解决以下组织问题：增强协作、组织实验、简化部署、提高可靠性、保持合规性。Featureform 通过将转换、特征、标签和训练集推送到具有元数据（如名称、变体、血统和所有者）的集中式特征存储库来实现这些目标。它还通过其编排器处理重试逻辑并自动解决其他常见分布式系统问题来确保可靠性。

• BloodAxe/pytorch-toolbelt PyTorch-toolbelt 是一个 Python 库，为 PyTorch 提供了一系列工具，用于快速进行 R&D 原型设计和 Kaggle 比赛。它包含易于使用的编码器-解码器架构、各种模块（如 CoordConv、SCSE、Hypercolumn、深度可分离卷积等）、GPU 友好的测试时间增强（TTA）用于分割和分类、GPU 友好的大图像（5000x5000）推理、日常常用例程（修复/恢复随机种子、文件系统工具、指标）、损失函数（如 BinaryFocalLoss、Focal、ReducedFocal、Lovasz、Jaccard 和 Dice 损失、Wing Loss 等）以及 Catalyst 库的扩展（批预测可视化、额外指标）。该库旨在补充 Catalyst、Ignite 和 fast.ai 等高级框架，而不是取代它们。

• NannyML/nannyml NannyML是一个开源的 Python 库，用于在模型部署后估计模型性能（无需访问目标数据），检测数据漂移，并将数据漂移警报与模型性能变化智能地关联起来。它专为数据科学家设计，提供易于使用的界面、交互式可视化，完全与模型无关，目前支持所有表格用例，包括分类和回归。NannyML 的核心贡献者研究并开发了多种用于估计模型性能的新算法：基于置信度的性能估计(CBPE) 和直接损失估计 (DLE)。Nansters 还发明了一种使用基于 PCA 的数据重建来检测多变量数据漂移的新方法。如果您喜欢我们的工作，请加入我们的社区 Slack 并为我们提供 GitHub 星标。

• ScottfreeLLC/AlphaPy AlphaPy是一个用 Python 编写的机器学习框架，专为交易者和数据科学家设计，使用 scikit-learn、pandas 等库，以及其他用于特征工程和可视化的工具。AlphaPy 可以用于运行机器学习模型（包括 scikit-learn、Keras、xgboost、LightGBM 和 CatBoost），生成混合或堆叠集成，使用 MarketFlow 分析市场，使用 SportFlow 预测体育赛事，以及使用 MarketFlow 和 Quantopian 的 pyfolio开发交易系统和分析投资组合。AlphaPy 还提供 MarketFlow 和 SportFlow 等功能，用于构建交易系统和分析市场，并提供 GamePT 等示例项目。用户可以通过 Github 提交问题寻求支持，并通过 Twitter关注项目最新动态。

• pykale/pykale PyKale是一个基于 PyTorch 生态的机器学习库，旨在通过弥合数据、软件和最终用户之间的差距，使机器学习更易于跨学科研究。PyKale 采用统一的管道式 API，专注于多模态学习和迁移学习，目前支持图、图像和视频，并提供深度学习和降维模型。PyKale 通过绿色机器学习理念，如减少重复和冗余、重用现有资源以及跨领域循环利用学习模型，来实现标准化和最小化。PyKale 将促进和加速跨学科、知识感知的机器学习研究，应用于生物信息学、图分析、图像/视频识别和医学影像等领域，其总体主题是利用来自多个来源的知识进行准确且可解释的预测。

• PaddlePaddle/VisualDL VisualDL是飞桨深度学习可视化工具，提供多种图表展示参数趋势，可视化模型结构、数据样本、张量直方图、PR曲线、ROC曲线和高维数据分布等，帮助用户更清晰直观地理解训练过程和模型结构，高效优化模型。VisualDL提供实时跟踪指标、可视化模型结构、展示数据样本、可视化超参数与模型指标关系、展示张量分布变化、展示PR曲线、将高维数据投影到低维空间等多种可视化功能。VisualDL还提供VDL.service，方便开发者保存、跟踪和分享实验的可视化结果。VisualDL原生支持Python，开发者只需在训练前添加几行Python代码即可获取丰富的可视化结果。

• google/flax Flax是一个为 JAX 设计的灵活的神经网络库，它允许用户通过修改训练循环而不是添加框架功能来尝试新的训练形式。Flax与 JAX 团队紧密合作开发，提供从神经网络 API（如 Dense、Conv、{Batch|Layer|Group} Norm、Attention、Pooling、{LSTM|GRU} Cell、Dropout）到实用工具和模式（如复制训练、序列化和检查点、指标、设备预取）、教育示例（如 MNIST、LSTM seq2seq、图神经网络、序列标记）以及快速、经过调优的大规模端到端示例（如 CIFAR10、ImageNet 上的 ResNet、Transformer LM1b）等一系列功能，帮助用户快速开始研究。用户可以使用 pip install flax 命令安装 Flax。

• microsoft/responsible-ai-toolbox MicrosoftResponsible AI Toolbox 是一个工具套件，提供模型和数据探索以及评估用户界面和库，帮助更好地理解 AI 系统。这些界面和库使AI 系统的开发人员和利益相关者能够更负责任地开发和监控 AI，并做出更好的数据驱动决策。该工具箱包含三个仓库：Responsible-AI-Toolbox 仓库包含四个可视化小部件，用于模型评估和决策：Responsible AI 仪表板、错误分析仪表板、可解释性仪表板和公平性仪表板；Responsible-AI-Toolbox-Mitigations 仓库包含用于缓解 AI 系统中偏差和公平问题的工具；Responsible-AI-Widgets 仓库包含用于构建 Responsible AI工具箱的 UI 组件。

• jupyter-widgets/ipyleaflet ipyleaflet是一个 Jupyter 和 Leaflet.js 之间的桥梁，它允许在 Jupyter笔记本中创建交互式地图。该项目提供了丰富的功能，包括选择底图、加载 GeoJSON 地图、使用 Leaflet.js 原生组件、使用 Splitmap 控件、显示速度数据、创建 Choropleth 图层以及使用小部件控件。您可以使用 conda 或 pip 安装 ipyleaflet，并通过详细的文档快速上手。该项目还包含一个名为 jupyter-leaflet 的 npm 包，它是一个前端组件，以及一个名为 ipyleaflet 的 Python 包，它是 Python Jupyter 内核的后端。类似地，xleaflet 项目为 C++ Jupyter 内核 "xeus-cling" 提供了 jupyter-leaflet 的后端。

• microsoft/FLAML FLAML是一个轻量级的Python库，用于高效地自动化机器学习和AI操作。它基于大型语言模型、机器学习模型等自动执行工作流程，并优化其性能。FLAML支持快速、经济的自动调优，能够处理具有异构评估成本和复杂约束/指导/提前停止的大型搜索空间。它还支持构建下一代GPT-X应用程序，基于多代理对话，并最大限度地提高GPT-X模型的性能。FLAML由微软研究院和宾夕法尼亚州立大学、史蒂文斯理工学院、华盛顿大学和滑铁卢大学等合作者的一系列研究成果提供支持。它还拥有.NET实现，名为ML.NET，这是一个开源的跨平台机器学习框架。

• weld-project/weld Weld是一个用于提升数据密集型应用性能的语言和运行时。它通过使用通用中间表示来表达库中核心计算，并在每个框架之间进行优化，从而跨库和函数进行优化。现代分析应用结合了来自不同库和框架的多个函数来构建复杂的流程。即使单个函数可以在隔离状态下实现高性能，但由于函数之间存在大量数据移动，组合流程的性能通常比硬件限制低一个数量级。Weld 通过延迟构建整个流程的计算，然后仅在需要结果时对其进行优化和评估来解决此问题。您可以加入我们的 Google Group 或 Weld 邮件列表，参与关于 Weld 的讨论。

• m3dev/gokart Gokart是一个用于机器学习管道的Python库，旨在解决可重复性、任务依赖关系、代码质量约束和易用性问题。它通过将每个任务的元数据（如输出数据、导入的模块版本、处理时间、随机种子、日志和参数）存储在单独的pkl文件中，并使用哈希值进行标识，来确保可重复性。Gokart还支持自动重新运行管道，并支持使用GCS和S3作为中间结果的存储。此外，它还提供了一些额外的功能，如数据类型检查、自动目录结构生成、种子固定和SOLID原则支持。Gokart已被m3.inc使用超过3年，并在Nishika.inc的自然语言处理竞赛中获得第二名。

• iterative/cml CML是一个开源的命令行工具，用于为机器学习实施持续集成和持续交付（CI/CD），专注于MLOps。它可以帮助自动化开发工作流程，包括机器配置、模型训练和评估、跨项目历史比较ML实验以及监控数据集变化。CML可以帮助训练和评估模型，并在每个拉取请求中自动生成包含结果和指标的可视化报告。CML遵循GitFlow原则，使用GitLab或GitHub管理ML实验，并使用DVC对数据和模型进行编码，而不是推送到Git仓库。它还自动生成包含指标和图表的ML实验报告，并支持使用GitLab、Bitbucket或GitHub构建自己的ML平台，无需额外的服务。

• workflowr/workflowr workflowr是一个 R 包，帮助研究人员组织他们的分析，促进项目管理、可重复性、协作和结果共享。它结合了 literate programming（knitr 和rmarkdown）和版本控制（Git，通过 git2r）来生成一个网站，其中包含带时间戳、版本化和文档化的结果。任何 R 用户都可以快速轻松地使用 workflowr。它提供了组织化的项目模板、代码和结果混合、Git 版本控制、可重复性（显示代码版本、隔离的 R 会话、会话信息记录、随机数生成种子设置）、可共享性（创建网站展示结果、文档化免费托管网站、创建过去版本结果链接）等功能。

• tensorpack/tensorpack 基于图模式 TensorFlow 的神经网络训练接口。另一个 TF 高级 API，具有以下亮点：注重训练速度。Tensorpack 的速度是免费的——它以高效的方式使用 TensorFlow，没有额外的开销。在普通的 CNN 上，它的训练速度比等效的 Keras 代码快 1.2~5 倍。如果使用 Tensorpack 编写，您的训练可能会更快。可扩展的数据并行多 GPU/分布式训练策略是现成的。有关更多基准测试，请参阅 tensorpack/benchmarks。符号编程（例如 tf.data ）不提供研究所需的数据处理灵活性。Tensorpack 通过各种自动并行化策略从纯 Python 中榨取最大的性能。

• HigherOrderCO/HVM 基于Rust的一个大规模并行交互的高阶虚拟机。通过将高级语言（如 Python 和 Haskell）的程序编译为 HVM，可以直接在大规模并行硬件（如 GPU）上运行这些语言，并具有近乎理想的加速。HVM2 是 HVM1 的继任者，HVM1 是该概念的 2022 年原型。与其前身相比，HVM2 更简单、更快，最重要的是更正确。HOC为其PAPER上列出的所有功能提供长期支持。该存储库提供了用于指定 HVM2 网络的低级 IR 语言，以及从该语言到 C 和 CUDA 的编译器。它不适合直接供人类使用。如果您正在寻找一种与 HVM2 交互的高级语言，请选Bend。

• KevinMusgrave/pytorch-metric-learning PyTorch Metric Learning是一个易于使用的深度度量学习库，它提供模块化、灵活且可扩展的组件，并用PyTorch编写。该库包含9个模块，可以独立使用或组合在一起，用于完整的训练/测试流程。其工作原理是通过损失函数和挖掘器来优化模型，使模型能够学习到更有意义的特征表示，从而提高相似性搜索、图像检索等任务的性能。例如，TripletMarginLoss 损失函数会计算所有可能的triplet，并根据标签形成 anchor-positive 和 anchor-negative 对，而挖掘器则可以帮助找到更难的正负样本对，从而提高模型的学习效果。

• learnables/learn2learn learn2learn是一个用于元学习研究的 PyTorch 库，它旨在加速元学习研究的快速原型设计和正确可重复性。learn2learn 提供低级实用程序和统一接口来创建新的算法和领域，以及现有算法的高质量实现和标准化基准。它与 torchvision、torchaudio、torchtext、cherry 和任何其他基于 PyTorch 的库兼容。该库包含用于创建少样本任务的 Taskset 和转换，用于计算机视觉和少样本学习的模型、数据集和基准，用于元强化学习的环境和实用程序，以及现有元学习算法的高级包装器和用于可微优化和元下降的实用程序和算法。

• sdv-dev/SDV SDV是一个用于生成表格数据的Python库，它使用机器学习算法从真实数据中学习模式并将其模拟到合成数据中。SDV提供了多种模型，从经典的统计方法（如高斯Copula）到深度学习方法（如CTGAN），可以生成单个表格、多个连接表格或顺序表格的数据。此外，SDV还提供数据评估和可视化功能，可以比较合成数据与真实数据，并生成质量报告以获得更多见解。用户还可以预处理、匿名化数据，并定义约束条件，以提高合成数据的质量。SDV提供了丰富的文档、教程和社区支持，方便用户学习和使用。

• thomasp85/patchwork patchwork是一个用于组合 ggplot 图表的 R 包，它提供了一种简单易用的 API，可以将多个 ggplot 图表组合成一个图形，支持任意复杂的布局和对齐方式。它类似于 gridExtra::grid.arrange() 和 cowplot::plot_grid()，但更易于使用，并支持更复杂的布局。用户可以通过简单的加号运算符将多个 ggplot 图表组合在一起，并使用括号和斜杠定义复杂的布局，例如将三个图表并排放置，然后在下方放置一个图表。patchwork 提供了丰富的功能，用户可以参考官方文档学习更多关于组合、布局、注释和跨页对齐等功能。

• gugarosa/opytimizer Opytimizer是一个基于 Python 的元启发式优化算法库，它提供了一系列易于使用的元启发式优化算法实现，涵盖从代理到搜索空间、从内部函数到外部通信等各个方面。你可以使用 Opytimizer 创建自己的优化算法，设计或使用预加载的优化任务，混合和匹配不同的策略来解决你的问题。Opytimizer 兼容 Python 3.6+，并提供丰富的示例和集成，例如 Learnergy、NALP、OPFython、PyTorch、Scikit-Learn 和 Tensorflow。Opytimizer 的结构包含核心组件、函数、数学工具、优化器、空间和实用工具，并以最小化问题为核心。

• trent-b/iterative-stratification iterative-stratification 是一个为多标签数据提供分层交叉验证器的 scikit-learn兼容项目。它扩展了 scikit-learn 的交叉验证器，使其能够对多标签数据进行分层，并提供 MultilabelStratifiedKFold、RepeatedMultilabelStratifiedKFold 和 MultilabelStratifiedShuffleSplit等实现，其分层算法基于 Sechidis 等人 (2011) 的论文。该项目支持 Python 3.4 到 3.9，依赖于 scipy、numpy 和 scikit-learn。用户可以通过 pip 安装该项目，并像使用其他交叉验证器一样使用其提供的多标签交叉验证器，例如与 cross_val_score 或 cross_val_predict 一起使用。

• KindXiaoming/pykan Kolmogorov-Arnold 网络 （KAN） 是多层感知器 （MLP） 的有前途的替代品。KAN 与 MLP 一样具有强大的数学基础：MLP 基于通用近似定理，而 KAN 基于 Kolmogorov-Arnold 表示定理。KAN 和 MLP 是双重的：KAN 在边缘具有激活函数，而 MLP 在节点上具有激活函数。这个简单的变化使KAN在模型准确性和可解释性方面都比MLP更好。KAN 比 MLP 具有更快的扩展速度，KAN 比参数较少的 MLP 具有更好的准确性。KAN可以直观地可视化。KAN 提供 MLP 无法提供的可解释性和交互性。我们可以使用KAN来潜在地发现新的科学定律。

• google/caliban Caliban是一个帮助研究人员在隔离、可重复的计算环境中启动和跟踪其数值实验的工具。它由机器学习研究人员和工程师开发，使研究人员能够轻松地将运行在工作站上的简单原型扩展到在云端运行的数千个实验作业。使用 Caliban，您可以：在本地开发实验代码并在隔离的（Docker）环境中进行测试；轻松地遍历实验参数；将您的实验作为云作业提交，这些作业将在相同的隔离环境中运行；控制和跟踪作业。Caliban 需要 Docker 和 Python 3.6 或更高版本。您可以使用 pip install caliban 安装 Caliban。

• pyqtgraph/pyqtgraph PyQtGraph是一个用纯Python编写的图形库，专为数学、科学和工程应用而设计。它利用NumPy进行数值计算，利用Qt的GraphicsView框架进行二维显示，利用OpenGL进行三维显示，因此速度很快。该项目支持Python 3.10+、Qt 5.15、6.2+以及PyQt5、PyQt6、PySide2或PySide6。此外，通过第三方库（如SciPy、PyOpenGL、h5py、colorcet、Matplotlib、CuPy、Numba和Jupyter_rfb）可以添加额外的功能，例如图像处理、3D图形、HDF5格式导出、感知一致颜色映射、Matplotlib图形导出、CUDA加速图像处理、更快的图像处理以及Jupyter Notebook支持。

• NVIDIA/DALI NVIDIA DALI是一个 GPU 加速的数据加载和预处理库，旨在加速深度学习训练和推理应用。它提供了一组高度优化的构建块，用于加载和处理图像、视频和音频数据，可以作为流行深度学习框架中内置数据加载器和数据迭代器的可移植替代方案。DALI 通过将数据预处理卸载到 GPU 来解决 CPU 瓶颈问题，并利用其自己的执行引擎来最大化输入管道的吞吐量。它支持多种数据格式，可移植到 TensorFlow、PyTorch、PaddlePaddle 和 JAX 等框架，并提供易于使用的 Python API 和可扩展的自定义管道构建能力。

• tidyverse/ggplot2 ggplot2是一个基于“图形语法”的 R 语言绘图系统，它允许用户通过声明式的方式创建图形。用户只需提供数据，并告诉 ggplot2如何将变量映射到美学属性、使用哪些图形基元，ggplot2 就会自动处理细节，生成图形。ggplot2 已经稳定发展超过十年，被数百万用户用于制作数百万张图表。用户可以通过 ggplot() 函数开始绘图，并添加图层（例如 geom_point() 或 geom_histogram()）、比例尺（例如 scale_colour_brewer()）、分面规范（例如 facet_wrap()）和坐标系（例如 coord_flip()）来定制图形。

• modAL-python/modAL modAL是一个模块化的主动学习框架，专为 Python3 设计，以模块化、灵活性和可扩展性为目标。它基于 scikit-learn，允许你快速创建主动学习工作流程，并提供几乎完全的自由度。此外，你可以轻松地用自定义解决方案替换部分组件，方便你轻松设计新算法。主动学习通过智能地查询你对信息量最大的实例进行标注，来提高分类性能。modAL 提供了一组工具来处理这类问题，它允许你将 scikit-learn 或 Keras 模型无缝集成到你的算法中，并轻松定制你的自定义查询策略和不确定性度量。

• DmitryUlyanov/Multicore-TSNE Multicore-TSNE 是一个基于 Barnes-Hut t-SNE 的多核并行实现，使用 Python 和 Torch 进行了封装。它比 sklearn.TSNE在单核上运行速度更快，并且在多核环境下能够显著提升效率。该项目利用并行计算加速了最近邻搜索步骤，从而提升了数据预处理的效率，但在梯度下降优化步骤的并行化方面还有提升空间。该项目适用于大规模数据集和高维数据，尤其是在数据维度较高时，并行计算带来的加速效果更加明显。用户可以通过 pip 安装该项目，并使用 Python 代码调用其 API 进行 t-SNE 降维操作。

• spring-projects/spring-ai Spring AI是一个面向 AI 应用开发的 Spring 友好型框架，旨在将 Spring生态系统的可移植性和模块化设计理念应用于 AI 领域，并推广使用 POJO 作为 AI 应用的构建块。它通过提供 Spring 友好的 API 和抽象，连接企业数据和 API 与 AI 模型，并支持所有主要 AI 模型提供商（如 Anthropic、OpenAI、Microsoft、Amazon、Google 和 Ollama）和向量数据库提供商，提供可移植的 API、结构化输出、工具/函数调用、可观察性、ETL 框架、AI 模型评估和 ChatClient API 等功能，帮助开发者构建下一代生成式 AI 应用。

• h2oai/h2o-3 H2O是一个开源的、分布式的、快速且可扩展的机器学习平台，支持多种算法，包括深度学习、梯度提升（GBM和XGBoost）、随机森林、广义线性模型（带弹性网络）、K-Means、PCA、广义加性模型（GAM）、RuleFit、支持向量机（SVM）、堆叠集成、自动机器学习（AutoML）等。H2O使用熟悉的接口，如R、Python、Scala、Java、JSON和Flow笔记本/Web界面，并与Hadoop和Spark等大数据技术无缝集成。H2O模型可以下载并加载到H2O内存中进行评分，或导出为POJO或MOJO格式，以便在生产环境中进行快速评分。

• orchest/orchest Orchest是一个用于简化数据管道构建的工具，无需框架或YAML配置，只需使用Python、R或Julia编写数据处理代码。它提供用户友好的界面来可视化构建管道，支持在笔记本和脚本中编写代码，并允许运行管道的任何子集。Orchest可以轻松定义依赖项，并在任何机器上运行，并提供跨整个管道运行的服务。它还支持使用Git对项目进行版本控制。Orchest目前处于beta阶段，其团队正在开发路线图以添加更多功能。用户可以查看示例项目以快速上手，也可以使用Orchest Cloud服务直接体验。

• stan-dev/pystan PyStan是一个 Python 接口，用于访问 Stan，一个用于贝叶斯推断的平台。Stan 是一个用于统计建模和高性能统计计算的先进平台，被成千上万的用户用于社会、生物和物理科学、工程和商业领域的统计建模、数据分析和预测。PyStan 的主要特点包括：自动缓存编译后的 Stan 模型、自动缓存 Stan 模型的样本、类似于 RStan 的接口以及开源软件 (ISC 许可证)。使用 pip install pystan 安装 PyStan，它可以在 Linux 和 macOS 上运行。您还需要一个 C++ 编译器，例如 gcc u003e= 9.0 或 clang u003e= 10.0。

• amundsen-io/amundsen Amundsen是一个元数据驱动的应用程序，旨在提高数据分析师、数据科学家和工程师在与数据交互时的效率。它通过索引数据资源（表格、仪表盘、流等）并基于使用模式（例如，高查询频率的表格比低查询频率的表格显示得更早）提供类似 PageRank 的搜索功能来实现这一点。可以将其视为数据的 Google 搜索。该项目以挪威探险家罗阿尔德·阿蒙森的名字命名，他是第一个发现南极的人。Amundsen 由 LF AI & Data 基金会托管，包含三个微服务、一个数据摄取库和一个公共库。

• ContinualAI/avalanche Avalanche是一个基于 PyTorch 的端到端持续学习库，由 ContinualAI开发，旨在为持续学习算法的快速原型设计、训练和可重复评估提供一个共享的、协作的开源代码库（MIT 许可）。Avalanche 包含四个主要模块：基准测试、训练、评估和模型，分别提供数据处理、模型训练、评估指标和模型扩展等功能。Avalanche 帮助研究人员减少代码编写量，提高可重复性、模块化和可重用性，并增强研究成果的影响力和可用性。该项目还提供预训练模型和流行的架构，可用于持续学习实验。

• ropensci/skimr skimr是一个用于生成数据摘要统计的 R 包，它提供了一种无缝的、可管道化的方式来处理数据摘要统计。它遵循“最小惊讶原则”，以用户可以快速浏览的方式显示摘要统计信息，帮助用户快速理解数据。skimr 支持多种数据类型，并返回一个 skim_df 对象，该对象可以包含在管道中或以易于人类阅读的方式显示。skimr 提供比 summary() 函数更多的统计信息，包括缺失值、完整值、计数和标准差，并按数据类型单独报告。它还支持基于 pillar 包的火花条和火花线。

• google-deepmind/dm-haiku Haiku是一个基于 JAX 的神经网络库，由 DeepMind 开发，旨在简化 JAX 上的神经网络构建，并提供与 Sonnet（TensorFlow 神经网络库）类似的编程体验。Haiku 提供了 hk.Module 模块抽象和 hk.transform 函数转换，允许用户使用面向对象的编程模型，同时保留 JAX 的纯函数转换能力。Haiku 已在 DeepMind 内部广泛应用，并被用于各种大规模实验，包括图像和语言处理、生成模型和强化学习。Haiku 的目标是成为一个轻量级的库，而不是一个框架，以便与其他库和 JAX 生态系统良好集成。

• tencentmusic/cube-studio 开源云原生一站式机器学习/深度学习AI平台，支持sso登录，多租户/多项目组，数据资产对接，notebook在线开发，拖拉拽任务流pipeline编排，多机多卡分布式算法训练，超参搜索，推理服务VGPU，多集群调度，边缘计算，serverless，标注平台，自动化标注，数据集管理，大模型一键微调，llmops，私有知识库，AI应用商店，支持模型一键开发/推理/微调，私有化部署，支持国产cpu/gpu/npu芯片，支持RDMA，支持pytorch/ tf/ mxnet/ deepspeed/ paddle/ colossalai/ horovod/ spark/ ray/ volcano分布式

• interpretml/DiCE DiCE (DiverseCounterfactual Explanations) 是一个开源库，用于生成机器学习模型的多种反事实解释。它可以帮助用户理解模型的决策过程，并提供可操作的建议，例如，用户可以了解需要改变哪些特征才能获得不同的预测结果。DiCE 使用多种方法生成反事实解释，例如，使用遗传算法或基于梯度的优化方法。它支持各种机器学习模型，包括线性模型、决策树、神经网络等。DiCE 的目标是为机器学习模型提供更全面、更易于理解的解释，从而提高模型的可信度和透明度。

• WecoAI/aideml AIDE是一个先进的机器学习工程师代理，能够根据自然语言描述生成机器学习解决方案代码。它在OpenAI的MLE-bench基准测试中表现出色，在75个Kaggle机器学习任务中取得了领先成绩，获得的奖牌数量是第二名代理架构的四倍。AIDE能够使用自然语言描述任务，并生成经过测试的机器学习管道Python脚本，支持迭代优化，并提供可视化工具来了解其实验过程。用户可以通过命令行运行AIDE，只需提供数据目录、目标描述和可选的评估指标，即可让AIDE自动生成解决方案。

• PAIR-code/saliency Saliency是一个框架无关的库，提供了最先进的显著性方法的实现，包括XRAI、BlurIG、SmoothGrad等。该库包含了多种显著性技术，并提供了Performance Information Curve (PIC)指标用于评估显著性方法的质量。用户可以使用pip安装该库，并通过core和tf1两个子包使用库中的功能。core子包使用通用的call_model_function，可以与任何机器学习框架一起使用，而tf1子包则接受输入/输出张量，并为每种方法设置必要的图操作。该库还提供了可视化模块，用于可视化显著性结果。

• maximtrp/scikit-posthocs scikit-posthocs 是一个 Python 包，提供用于成对多重比较的后验检验，通常在统计数据分析中执行，以评估组水平之间的差异，前提是 ANOVA 检验已获得统计学上的显著结果。scikit-posthocs 与 Pandas DataFrames 和 NumPy 数组紧密集成，以确保快速计算和方便的数据导入和存储。该包对使用 Python 进行工作的统计学家、数据分析师和研究人员很有用。它提供了多种参数和非参数后验检验，以及异常值检测和基本绘图方法，旨在弥补 Python 统计生态系统中与 R 包相比的不足。

• slundberg/shap 一种博弈论方法，用于解释任何机器学习模型的输出。SHAP（SHapley Additive exPlanations）是一种博弈论方法，用于解释任何机器学习模型的输出。它将最优信用分配与局部解释联系起来，使用博弈论中的经典Shapley值及其相关扩展（有关详细信息和引用，请参阅论文）。虽然SHAP可以解释任何机器学习模型的输出，但我们已经为树集成方法开发了一种高速精确算法（请参阅我们的Nature MI论文）。XGBoost，LightGBM，CatBoost，scikit-learn和pyspark tree模型支持快速C++实现。

• kelvins/awesome-mlops 精选的精彩 MLOps 工具列表。包括：AutoML 自动机器学习、用于机器学习的 CI/CD、Cron作业监控、数据目录、数据扩充、数据探索、数据管理、数据处理、数据验证、数据可视化、漂移检测、特征工程、功能商店、超参数调优、知识共享、机器学习平台、模型公平性和隐私性、模型可解释性、模型生命周期、模型服务、模型测试和验证、优化工具、简化工具、可视化分析与调试、工作流工具、资源、文章、书、事件、其他列表、播客、Slack、网站链接、贡献

• polyaxon/polyaxon 用于构建、训练和监控大规模深度学习应用程序的平台。我们正在制作一个系统来解决机器学习应用程序的可重复性、自动化和可扩展性问题。Polyaxon 可部署到任何数据中心、云提供商中，也可以由 Polyaxon 托管和管理，并且它支持所有主要的深度学习框架，如 Tensorflow、MXNet、Caffe、Torch 等。Polyaxon 通过智能容器和节点管理管理工作负载，使开发深度学习应用程序变得更快、更轻松、更高效。它将 GPU 服务器转变为您的团队或组织的共享自助服务资源。

• rstudio/rstudio RStudio是一个用于 R 编程语言的集成开发环境 (IDE)，提供定制化的工作台，集成了控制台、源代码编辑器、绘图工具、工作空间、帮助文档、历史记录等功能，支持语法高亮、代码自动补全，可直接从源代码编辑器执行代码，并完全支持 Sweave 和 TeX 文档的编写。RStudio 可以在 Windows、Mac 和 Linux 上运行，并提供社区维护的 FreeBSD 版本。此外，它还可以作为服务器运行，允许多个用户通过 Web 浏览器访问 RStudio IDE。更多信息请访问项目网站：https://posit.co/。

• clab/dynet DyNet是一个由卡内基梅隆大学开发的动态神经网络工具包，用C++编写（并提供Python绑定），它在CPU或GPU上运行效率很高，并能很好地处理动态结构网络，这些网络在每个训练实例中都会发生变化。DyNet被用于构建用于句法分析、机器翻译、形态词语变化等领域的最新系统。它提供自动批处理功能，可以提高训练效率。DyNet依赖于CMake和Eigen库，需要手动下载特定版本的Eigen库才能编译。用户可以参考文档和教程开始使用DyNet，并可以加入用户组寻求帮助。

• tensorflow/data-validation TensorFlow Data Validation(TFDV) 是一个用于探索和验证机器学习数据的库，旨在高度可扩展并与 TensorFlow 和 TensorFlow Extended (TFX) 协同工作。TFDV 包含：可扩展的训练和测试数据摘要统计计算，与数据分布和统计信息查看器集成，以及面部比较功能对，自动数据模式生成以描述数据期望，模式查看器以帮助检查模式，异常检测以识别异常（例如缺失特征、超出范围的值或错误的特征类型），以及异常查看器以查看哪些特征存在异常并学习更多信息以纠正它们。

• Microsoft/MMdnn MMdnn是一个跨框架工具，用于转换、可视化和诊断深度学习模型。它支持模型在 Caffe、Keras、MXNet、TensorFlow、CNTK、PyTorch Onnx 和 CoreML 等框架之间转换，并提供模型检索、可视化和部署功能。MMdnn 还提供代码片段，简化模型的重新训练和推理过程，并提供指南帮助用户将模型部署到其他硬件平台，例如 Android 和 TensorRT。此外，MMdnn 还与其他 Microsoft 开源项目（如 OpenPAI、FrameworkController、NNI、NeuronBlocks 和 SPTAG）协同工作，以提升 AI 和深度学习的生产力。

• GPflow/GPflow GPflow是一个基于 TensorFlow 的 Python 库，用于构建高斯过程模型。它实现了现代高斯过程推理，支持可组合的核函数和似然函数。GPflow 基于 TensorFlow 2.4+ 和 TensorFlow Probability，可在 GPU 上快速执行计算。该项目由 James Hensman 和 Alexander G. deG. Matthews 创建，并由 Artem Artemev、Mark van der Wilk、ST John 和 Vincent Dutordoir 等人维护。GPflow 依赖TensorFlow 2.4+ 和 TensorFlow Probability 0.12+，支持 Python 3.7+。可以通过 pip install gpflow 安装最新稳定版，或从 GitHub 获取最新开发版。

• tensorflow/probability TensorFlow Probability(TFP) 是一个用于在 TensorFlow 中进行概率推理和统计分析的库。它整合了概率方法和深度网络，通过自动微分实现基于梯度的推理，并利用硬件加速（如 GPU）和分布式计算扩展到大型数据集和模型。TFP 还可以在纯 JAX 中用作“Tensor 友好的概率”。其主要组成部分包括：基础的 TensorFlow 数值运算，统计构建块（如概率分布和双射变换），模型构建工具（如联合分布和概率层），以及概率推理算法（如马尔可夫链蒙特卡罗和变分推理）。

• Netflix/vectorflow Vectorflow是一个轻量级的、专门针对稀疏数据和单机环境优化的神经网络库，由Netflix开发。它使用D语言编写，并以dub包的形式发布。Vectorflow没有外部依赖，只需要一个最新的D编译器，推荐使用LDC编译器以获得最佳运行速度。该库提供了一系列示例，包括RCV1（稀疏逻辑回归）示例，用户可以通过dub test命令运行测试。用户可以通过dub build -b ddox && dub run -b ddox命令构建和本地服务文档，也可以使用其他DDOC编译器。更多信息请参考仓库的Wiki页面。

• windmaple/awesome-AutoML Awesome-AutoML 是一个收集 AutoML 相关研究、工具、项目和其他资源的列表。AutoML 是指使用机器学习方法和流程来自动化机器学习系统并使其更易于访问的技术。近年来，AutoML 领域发展迅速，一些公司已经将该技术商业化。AutoML 包括神经网络架构搜索、超参数优化、优化器搜索、数据增强搜索、学习学习/元学习等多种类型。该项目整理了大量 AutoML相关的研究论文，包括 AutoML 综述、神经网络架构搜索等方面的论文，并提供了相关工具和项目的链接。

• manujosephv/pytorch_tabular PyTorch Tabular是一个用于表格数据深度学习模型的标准框架，旨在简化深度学习在表格数据上的应用，并将其应用于现实世界案例和研究。该库的核心设计原则包括易用性、可定制性和可扩展性。它基于 PyTorch 和 PyTorch Lightning，提供多种模型，例如 FeedForwardNetwork、Neural Oblivious Decision Ensembles、TabNet、Mixture Density Networks 和 AutoInt，并支持多种功能，例如自定义模型、数据预处理和模型训练。用户可以通过 pip 安装 PyTorch Tabular，并参考文档进行使用。

• lowRISC/opentitan OpenTitan是一个开源硅信任根 (RoT) 项目。使企业、平台提供商和芯片制造商的硅 RoT 设计和实现更加透明、可信和安全，以生产高质量的开放 IP 以作为全功能产品的实例化。制造商越来越多地开始关注防篡改处理器（或其中一部分），通常被称为“安全区域（Secure Enclave）”，以阻止各种攻击。芯片中使用“信任根（Root of Trust）”，在系统每次启动时进行加密检查，确保没有任何内容被恶意篡改。如果发现问题，安全区域会阻止计算机启动。

• pytorchbearer/torchbearer torchbearer是一个为深度学习和可微分编程研究人员（或任何需要它的人）设计的 PyTorch 模型拟合库。它旨在显著减少编写样板代码的数量，同时不限制 PyTorch 的功能和开放性。torchbearer 提供了用于训练、验证和测试模型的简化接口，以及用于跟踪指标、保存模型和可视化结果的回调。它还支持使用不同的优化器、损失函数和数据加载器。从 2月底开始，torchbearer 将不再积极维护，但会继续修复发现的错误并确保它在 PyTorch 的新版本上运行。

• google/neural-tangents Neural Tangents是一个 Python 库，用于定义、训练和评估无限宽度的复杂神经网络，它可以像处理有限网络一样轻松地处理无限网络。该库利用 JAX 和 XLA，可以在 CPU、GPU 或 TPU 上运行，并针对速度和内存效率进行了优化，可以自动分布在多个加速器上。Neural Tangents 允许用户构建由卷积、池化、残差连接、非线性等常见构建块组成的模型，并获得有限模型和相应的 GP 核函数。该库已在 100 多篇论文中使用，可用于研究神经网络的无限宽度极限。

• bqplot/bqplot bqplot是一个基于 Jupyter 的 2D 可视化系统，它利用 Grammar of Graphics 的概念，将图表中的每个组件都设计为交互式小部件。这使得用户能够将可视化与其他 Jupyter 交互式小部件集成，只需几行 Python 代码就能创建完整的 GUI。bqplot 依赖于ipywidgets、traitlets、traittypes、numpy 和 pandas 等库。用户可以通过 pip 或 conda 进行安装，并使用 JupyterLab 或 Jupyter Notebook 进行使用。bqplot 提供了 pyplot API 和 Object Model API，并包含丰富的示例，方便用户快速上手。

• zyushun/Adam-mini Adam-mini是 Adam 优化器的精简版本，它在保留与 AdamW 相当或更好的性能的同时，将内存占用减少了 50%。Adam-mini通过减少 Adam 中学习率资源（即 $1/\sqrt{v}$）来实现内存节省。它根据 Hessian 结构将参数划分为块，并为每个块分配一个最佳学习率，从而有效地减少了学习率资源。该项目提供了 Adam-mini 的 PyTorch 实现，并支持DDP、FSDP、DeepSpeed、Huggingface Trainer、Torchtitan 和 LLaMA-Factory 等框架。项目还提供了 GPT2 和 Llama 系列模型预训练的示例代码。

• hbaniecki/adversarial-explainable-ai 该项目是一个关于可解释人工智能 (XAI) 中对抗性攻击和防御的综述，它涵盖了如何攻击和防御解释方法，以确保其安全性和可靠性。该项目还提供了一个统一的符号和分类法，以方便研究人员和从业人员理解对抗性机器学习 (AdvML) 和 XAI领域之间的交叉研究。项目特色包括：对现有 XAI 安全漏洞的总结，以及对抗性 XAI (AdvXAI) 中新兴研究方向的概述。该项目还提供了一个关于对抗性攻击和防御方法的调查，以及如何设计鲁棒的解释方法。

• PennyLaneAI/pennylane PennyLane是一个跨平台的Python库，用于量子计算、量子机器学习和量子化学。它允许你像训练神经网络一样训练量子计算机。它支持与PyTorch、TensorFlow、JAX、Keras和NumPy等框架集成，并提供即时编译功能，支持自适应电路、实时测量反馈和无限循环等高级特性。PennyLane还支持多种量子硬件后端，包括Strawberry Fields、Amazon Braket、IBM Q、Google Cirq、Rigetti Forest、Qulacs、Pasqal和Honeywell等。它还包含用于量子机器学习、优化和量子化学的内置工具。

• hrbrmstr/hrbrthemes hrbrthemes是一个专注于排版风格的 ggplot2 主题和主题组件包。它提供了多种主题，例如 theme_ipsum，使用 Arial Narrow字体，该字体在大多数现代系统上都已安装。该包还包含其他主题，例如 theme_ipsum_gs (Goldman Sans Condensed)、theme_ipsum_es (Econ Sans Condensed)、theme_ipsum_rc (Roboto Condensed) 等，以及与这些主题相匹配的调色板和颜色，例如 ipsum_pal 和 ft_cols。此外，它还提供了用于设置刻度标签格式的函数，例如 scale_x_comma 和 scale_y_percent。

• JetBrains/lets-plot Lets-Plot是一个基于图形语法 (Grammar of Graphics) 的跨平台绘图库，灵感来自 Leland Wilkinson 的著作《图形语法》。它允许用户通过组合独立组件创建各种图形，类似于 R 语言中的 ggplot2 包。该库提供 Python 和 Kotlin 版本，支持在 Jupyter Notebook、Kotlin Notebook、Datalore 和Compose Multiplatform 等环境中使用，并提供 JVM 和 Kotlin/JS 版本。此外，Lets-Plot 还提供一个名为“Lets-Plot in SciView”的插件，为 PyCharm 和 IntelliJ IDEA 的科学模式添加交互式绘图功能。

• SimonVandenhende/Multi-Task-Learning-PyTorch 该项目使用PyTorch实现多任务学习架构，包括MTI-Net（ECCV2020），并提供了一个多任务学习资源库。项目代码基于论文"Multi-Task Learning for Dense Prediction Tasks: A Survey"和"MTI-Net: Multi-Scale Task Interaction Networks for Multi-Task Learning"。用户可以根据自己的需求修改代码，例如更改数据集路径、输出目录和模型配置等。项目支持PASCAL和NYUD数据集，并提供语义分割、深度估计、法线估计、边缘检测、显著性检测和人体部位分割等任务。

• YihongDong/FAN FAN (Fourier Analysis Networks) 是一种新型神经网络，它通过将傅里叶分析融入神经网络结构，有效地提升了模型对周期性信号的建模能力。FAN 层使用余弦和正弦函数来提取输入信号的频率信息，并结合非线性激活函数，从而在保留原始信息的同时，增强了模型对周期性模式的识别能力。该项目提供多个应用场景的代码，包括周期性建模、情感分析、时间序列预测、符号公式表示和图像识别，并提供详细的运行说明和数据集获取方式。

• XiaoMi/mace MACE是一个针对移动端异构计算平台优化的深度学习推理框架，支持 Android、iOS、Linux 和 Windows 设备。MACE 旨在提升性能、降低功耗、提高响应速度、优化内存使用和库体积，并提供模型保护功能。MACE 支持 TensorFlow、Caffe 和 ONNX 模型格式，并提供丰富的模型库，可在 MACE Model Zoo 中找到。用户可以通过 文档 学习如何使用 MACE，并可通过 GitHub 问题、Slack 和 QQ 群与开发团队交流。

• ebhy/budgetml BudgetML是一个快速、低成本的机器学习模型部署工具，它利用Google Cloud Platform的预抢占实例（比普通实例便宜80%），并自动生成安全的HTTPS API端点，确保最低的运行成本和最小的停机时间。它使用FastAPI构建，提供交互式Swagger文档，并支持通过LetsEncrypt和docker-swag生成SSL证书。BudgetML还提供完整的OAuth2安全端点，支持密码和Bearer模式。与传统云函数或Kubernetes集群相比，BudgetML更轻量级，更易于使用，适合快速部署模型并降低成本。

• chartdb/chartdb ChartDB是一个免费开源的数据库图表编辑器，可以通过单个查询可视化和设计您的数据库。它支持多种数据库，包括 PostgreSQL、MySQL、SQL Server、MariaDB、SQLite 和 ClickHouse。ChartDB 使用智能查询快速检索数据库模式并将其可视化为 JSON 格式，方便您进行文档记录、团队讨论或数据理解。它还提供 AI 驱动的导出功能，可以生成不同数据库方言的 DDL 脚本，简化数据库迁移。您可以在网页上使用 ChartDB，也可以通过 Docker 容器在本地部署。

• NVIDIA/cuda-samples NVIDIA/cuda-samples 是一个 CUDA 开发者示例项目，展示了 CUDA 工具包中的各种功能。该项目支持 CUDA Toolkit 12.5 版本，包含基础示例、实用工具示例、概念和技术示例以及高级示例，涵盖了 CUDA 开发的各个方面。用户可以通过下载 CUDA Toolkit 并使用 git clone 命令获取项目代码，然后根据平台选择使用 Visual Studio 或 makefile 编译运行示例。项目还支持跨平台编译和调试功能，并提供详细的文档和示例代码，帮助开发者快速上手 CUDA 开发。

• fastai/fastai 一个深度学习库，它提供了高级组件，可以在标准深度学习领域快速轻松地提供最先进的结果，并为研究人员提供可以混合和匹配以构建新方法的低级组件。它旨在做到这两件事，而不会在易用性、灵活性或性能方面做出实质性妥协。这要归功于精心分层的架构，该架构以解耦抽象的形式表达了许多深度学习和数据处理技术的共同底层模式。这些抽象可以通过利用底层Python语言的动态性和PyTorch库的灵活性来简洁明了地表达。

• tableau/TabPy TabPy（Tableau Python Server）是一款Tableau Analytics Extension，它允许用户通过Tableau的表格计算执行Python脚本和保存的函数，扩展Tableau的功能。TabPy通过REST API与Tableau交互，用户可以在Tableau中使用Python代码进行数据分析、机器学习等操作，并将结果可视化。TabPy支持多种部署方式，包括本地部署、虚拟环境部署和Heroku部署，并提供详细的文档和教程，帮助用户快速上手。为了安全起见，建议启用身份验证，以防止未经授权的访问。

• vega/vegafusion VegaFusion是一个用于 Vega 可视化语法服务器端加速的项目，它可以加速 Vega-Altair Python 接口与 Vega-Lite 的交互。其核心算法使用 Rust 实现，并通过 PyO3 提供 Python 集成，通过 wasm-bindgen 提供 JavaScript 集成。VegaFusion 可以解决 Altair 的MaxRowsError 问题，通过在服务器端执行数据密集型聚合和修剪不必要的列来提高性能，从而允许用户处理更大的数据集。用户可以通过在 Altair 中启用 "vegafusion" 数据转换器来使用 VegaFusion。

• snorkel-team/snorkel Snorkel是一个用于快速生成训练数据的弱监督系统，它允许用户通过编程方式标记、构建和管理训练数据。Snorkel项目起源于斯坦福大学，其核心思想是通过弱监督技术来解决机器学习项目中训练数据不足的问题。Snorkel已被广泛应用于各个领域，包括医疗、金融、安全等，并已在多个知名机构得到应用。Snorkel团队目前正在开发Snorkel Flow，一个基于Snorkel核心思想的端到端AI应用开发平台，旨在简化AI应用的开发和部署流程。

• pytorch/captum Captum是一个用于 PyTorch 的模型可解释性和理解库，它提供了一系列集成梯度、显著性图、SmoothGrad、VarGrad 等算法，帮助用户理解模型的预测结果。Captum 支持与 torchvision、torchtext 等领域特定库构建的模型快速集成，并提供对抗攻击和最小输入扰动功能，方便用户生成反事实解释和对抗性扰动。Captum 的目标用户包括希望改进模型的开发者、专注于识别可解释性算法的研究人员以及在生产环境中使用训练模型的应用工程师。

• tensorflow/io TensorFlow I/O 是 TensorFlow 的扩展，提供了 TensorFlow 内置支持之外的文件系统和文件格式，例如支持 HTTP/HTTPS 文件系统，可以直接访问网络上的数据集，无需下载到本地。它还支持多种文件格式，例如 MNIST、TFRecord 等。用户可以使用 pip 安装 tensorflow-io 包，并通过 tfio.IODataset 类访问数据集，例如使用 tfio.IODataset.from_mnist 方法直接从网络读取 MNIST 数据集。此外，TensorFlow I/O 还提供了 Docker 镜像，方便用户快速开始使用。

• fossasia/visdom Visdom是一个灵活的工具，用于创建、组织和共享实时丰富数据的可视化效果，支持 Torch 和 Numpy。它提供了一个基于 Web 的界面，可以用来展示各种类型的图表、图像和文本，并支持将这些可视化效果组织成仪表板。Visdom 旨在促进（远程）数据的可视化，重点是支持科学实验。它可以用于广播可视化效果，以供自己和合作者查看，并可以用来组织可视化空间，以创建实时数据的仪表板、检查实验结果或调试实验代码。

• nidhaloff/igel Igel是一个无需编写代码即可训练、测试和使用机器学习模型的工具。它支持回归、分类和聚类，并提供自动机器学习功能，例如图像分类和文本分类。Igel 支持多种数据集类型（csv、txt、excel、json、html），甚至可以处理存储在文件夹中的原始数据。它还支持各种机器学习模型、数据预处理方法、交叉验证、超参数搜索、YAML 和 JSON 格式，以及 GUI 使用。Igel 的目标是让每个人，无论技术背景如何，都能使用机器学习。

• kubeflow/pipelines 机器学习 （ML） 工具包，致力于使 Kubernetes 上的 ML 工作流部署变得简单、可移植和可扩展。Kubeflow 流水线是使用 Kubeflow Pipelines SDK 构建的可重用的端到端 ML 工作流。Kubeflow 流水线服务具有以下目标：端到端编排，启用和简化端到端机器学习管道的编排；轻松实验，让您轻松尝试众多想法和技术，并管理您的各种试验/实验；易于重用，使您能够重用组件和管道，以快速拼凑端到端解决方案，而无需每次都重新构建。

• alibaba/Curvature-Learning-Framework 基于Tensorflow的非欧深度学习框架。实现了多种非欧流形、非欧算子和黎曼优化器，基于与Tensorflow相似的底层接口，可以便捷的迁移模型空间而不改变模型细节。背景：欧氏空间不可能无损表征树、环结构，然而双曲（负曲率）、球面（正曲率）空间无损表征。由于对结构性强的如无尺度网络、层次数据、环状数据等的优良表征能力，非欧深度学习逐渐应用到各个领域并展示出优越性，包括链接预测、推荐系统等。

• likedan/Awesome-CoreML-Models Awesome-CoreML-Models 是一个收集了大量 Core ML 格式机器学习模型的项目，旨在帮助 iOS、macOS、tvOS 和 watchOS 开发者轻松使用机器学习技术。该项目提供了图像识别、文本检测、姿势估计等多种模型，并包含模型下载链接、演示项目和相关论文链接，方便开发者快速上手。此外，项目还提供了一些可视化工具，例如 Netron，帮助开发者更好地理解模型结构。开发者可以自由提交自己转换的 Core ML 模型，共同完善这个项目。

• tensorflow/addons TensorFlow Addons(TFA) 是 TensorFlow 2.x 的一个扩展库，提供了一些 TensorFlow 核心库中没有的额外功能，例如激活函数、回调函数、图像处理、层、损失函数、指标、优化器、RNN、Seq2Seq 和文本处理等。TFA 遵循 TensorFlow 的 API规范，并由 TensorFlow SIG-addons 维护。TFA 已经停止开发和引入新功能，并进入维护模式，预计将在 2024 年 5 月停止维护。建议开发者使用 TensorFlow 社区中的其他库（如 Keras、Keras-CV 和 Keras-NLP）来替代 TFA。

• rtqichen/torchdiffeq torchdiffeq是一个 PyTorch 库，提供可微分的常微分方程 (ODE)求解器，支持全 GPU 加速和 O(1) 内存反向传播。该库使用伴随方法实现 ODE 解的反向传播，从而实现恒定内存成本。求解器完全在 PyTorch 中实现，因此可以在 GPU 上运行。该库提供 odeint 接口，用于求解初值问题 (IVP)，并支持对所有主要参数进行梯度计算。此外，该库还支持可微分的事件处理，允许根据事件函数终止 ODE 解，并支持大多数求解器的反向传播。

• Guang000/Awesome-Dataset-Distillation 数据集蒸馏是合成一个小数据集的任务，使得在其上训练的模型在原始大数据集上实现高性能。 数据集蒸馏算法将要蒸馏的大型真实数据集（训练集）作为输入，并输出一个小的合成蒸馏数据集，该数据集通过在单独的真实数据集（验证/测试集）上在该蒸馏数据集上训练的测试模型进行评估。 一个好的小型蒸馏数据集不仅对数据集理解有用，而且具有各种应用（例如，持续学习、隐私、神经架构搜索等）。

• pyjanitor-devs/pyjanitor pyjanitor 是一个 Python 库，它借鉴了 R 包 janitor的理念，提供简洁的 API 用于数据清洗。它通过方法链的方式，将一系列数据预处理步骤串联起来，方便用户以更直观的方式表达数据处理流程。例如，用户可以使用 pyjanitor 删除列、删除空值行、重命名列、添加新列等操作，这些操作可以像语句一样连续地执行，使得代码更易读、更易维护。pyjanitor 鼓励用户使用方法链，让数据清洗过程更加清晰、高效。

• DistrictDataLabs/yellowbrick Yellowbrick是一个机器学习模型选择工具集，它通过扩展 scikit-learnAPI 提供可视化诊断工具（称为“可视化器”），帮助用户直观地了解模型选择过程。Yellowbrick 将 scikit-learn 与 matplotlib 相结合，生成可视化结果，帮助用户更好地理解机器学习工作流程。Yellowbrick 支持 Python 3.4 及更高版本，依赖 scikit-learn 和 matplotlib，可以通过 pip 或 conda 安装。用户可以使用 Yellowbrick的可视化器来分析特征、评估模型性能等。

• lmcinnes/umap 均匀流形近似和投影 （UMAP ,Uniform Manifold Approximation and Projection） 是一种降维技术，可用于类似于 t-SNE 的可视化，但也可用于一般的非线性降维。该算法建立在关于数据的三个假设之上：数据均匀分布在黎曼流形上;黎曼度量是局部常数（或可以近似）;流形是本地连接的。根据这些假设，可以对具有模糊拓扑结构的流形进行建模。通过搜索具有最接近的等效模糊拓扑结构的数据的低维投影来找到嵌入。

• opencog/opencog OpenCog框架是一个用于集成人工智能和人工通用智能(AGI)研究的实验室，该项目现已不再维护，其主要部分已被拆分为多个独立的仓库，例如atomspace、cogserver等。 该框架曾集成自然语言处理、常识推理、多种学习算法和类人机器人运动控制等，旨在开发AGI系统，但目前代码库状态参差不齐，包含一些自然语言处理管道、实体聊天机器人和动作选择机制等组件。 感兴趣的用户应参考其拆分后的子项目。

• datahub-project/datahub DataHub是一个现代数据栈的数据发现平台，由 Acryl Data 和 LinkedIn 共同开发。它提供了一个用于数据发现和元数据管理的平台，帮助用户更好地理解和使用数据。DataHub 支持多种数据源，并提供丰富的功能，例如数据搜索、数据 lineage、数据质量监控等。用户可以通过DataHub 的 API 和 UI 与平台交互，并使用其提供的工具进行数据分析和管理。DataHub 拥有活跃的社区，并定期举办线上会议，欢迎用户参与。

• terryyz/PyArmadillo Python 语言的线性代数库，强调易用性。该库旨在提供类似于 Matlab 或者 Octave 的高级语法和功能，使得用户以熟悉且自然的方式表达数学运算。提供了用于矩阵和多维数据集（cube）的对象，以及 200 多个用于处理对象中存储数据的相关函数。所有功能都可以在一个平面结构中访问，并且支持整数、浮点数和复数。通过集成 LAPACK 或者 Intel MKL、OpenBLAS 等高性能替代产品，该库可以提供各种矩阵分解。

• Trusted-AI/AIX360 AI Explainability360 (AIX360) 是一个开源库，用于解释数据和机器学习模型。它包含了涵盖不同解释维度的算法，并提供代理可解释性指标。AIX360 支持表格、文本、图像和时间序列数据。该项目还提供交互式体验、教程和示例笔记本，帮助用户了解其概念和功能。AIX360 涵盖了数据解释、局部后验解释和时间序列局部后验解释等多种解释方法，并支持扩展性。用户可以贡献自己的解释算法、指标和用例。

• ContextLab/hypertools HyperTools是一个Python工具箱，用于帮助用户从几何角度理解高维数据。它通过将高维数据集（或一系列高维数据集）输入到单个函数调用中，来降低数据集的维度并创建可视化图形。HyperTools基于matplotlib、scikit-learn和seaborn等常用库，并提供完整的API文档和示例。用户可以通过pip安装HyperTools，并使用其提供的功能进行数据可视化和分析。HyperTools已发表在JMLR期刊上，并提供相应的论文和示例笔记本。

• neptune-ai/neptune-client neptune.ai 是一个可扩展的实验跟踪器，专为训练基础模型的团队而设计。它可以记录数百万次运行，并以秒为单位查看和比较它们。轻松监控和可视化持续数月的模型训练，包括多个步骤和分支。从第一天起就在您的基础设施上部署 Neptune，跟踪 100% 的元数据，并更快地实现下一个重大 AI 突破。该项目提供了 Python 库，允许您轻松地将实验数据记录到 Neptune 平台，并提供丰富的可视化和分析功能。

• csinva/imodels imodels是一个用于构建简洁、透明且准确的预测模型的 Python 包，它与 scikit-learn 兼容。该包提供了一系列可解释的机器学习模型，这些模型可以替代黑盒模型（如随机森林），同时提高可解释性和计算效率，而不会牺牲预测精度。imodels 的模型包括决策树、规则列表和线性模型，这些模型都易于使用，只需导入模型并使用 fit 和 predict 方法即可。该包还包含用于数据预处理和模型评估的工具。

• catalyst-team/catalyst Catalyst是一个基于 PyTorch 的深度学习研究和开发框架，它专注于可重复性、快速实验和代码库重用，帮助你专注于创新，而不是重复编写训练循环。Catalyst 提供了丰富的功能，包括：可视化、日志记录、模型保存和加载、数据增强、分布式训练、超参数优化等。它还支持多种深度学习任务，例如图像分类、目标检测、语义分割等。Catalyst 旨在简化深度学习研究和开发流程，加速你的研究进度。

• mpld3/mpld3 mpld3是一个使用D3.js将matplotlib图形带到浏览器中的交互式数据可视化工具。它通过解析matplotlib图形并输出D3.js可读的JSON描述来实现，并提供一个自定义的独立javascript库来渲染图形。mpld3支持matplotlib的大部分核心功能，包括线图、散点图、直方图、饼图等，并提供交互式功能，例如缩放、平移、工具提示等。用户可以通过简单的Python代码将matplotlib图形转换为交互式的网页视图，并与他人分享。

• Kanaries/Rath RATH是一款开源数据探索分析和可视化平台，旨在替代 Tableau 等工具。它通过增强分析引擎自动执行探索性数据分析工作流程，发现模式、洞察和因果关系，并使用强大的自动生成的多维数据可视化来呈现这些洞察。RATH 基于最小化可视化中信息的可视感知误差来生成/推荐可视化。用户可以通过沙盒演示、文档和视频快速上手。主要功能包括自动数据探索、数据探索副驾驶和自然语言界面等。

• xflr6/graphviz 该项目是一个简单易用的 Python 接口，用于与 Graphviz 图形绘制软件交互。它允许用户使用 Python 代码创建和渲染 DOT 格式的图形描述，并可直接将生成的图形以 PDF、PNG、SVG 等格式进行查看。用户可以通过添加节点和边来构建图形，并获取其 DOT 源代码字符串，然后将其保存到文件并使用系统上的 Graphviz 安装进行渲染。此外，该项目还支持在 Jupyter Notebook 和 Jupyter QtConsole 中渲染和显示图形。

• nicodv/kmodes kmodes是一个 Python 库，用于对分类数据进行聚类，实现了 k-modes和 k-prototypes 聚类算法。它基于 numpy 库，并提供了与 scikit-learn 类似的接口。k-modes 用于对分类变量进行聚类，根据数据点之间匹配的类别数量来定义聚类。k-prototypes 结合了 k-modes 和 k-means，能够对混合的数值/分类数据进行聚类。该库实现了 k-modes、基于密度的 k-modes 初始化和 k-prototypes 算法，并支持使用 joblib 库进行并行计算。

• astroML/astroML AstroML是一个基于 Python 的机器学习和数据挖掘库，专为天文学和天体物理学设计，它利用 NumPy、SciPy、Scikit-learn 和Matplotlib 等库，并遵循 BSD 许可证。AstroML 提供了丰富的统计和机器学习算法，用于分析天文数据，包含多个天文数据集加载器，以及大量用于分析和可视化天文数据的示例。该项目始于 2012 年，旨在配合 Zeljko Ivezic 等人撰写的《天文学中的统计学、数据挖掘和机器学习》一书。

• AutoViML/Auto_ViML Auto_ViML是一个自动机器学习库，只需一行代码即可构建多个可解释的机器学习模型。它能帮助你进行数据清理，并自动选择最少特征构建高性能模型。Auto_ViML 使用 SULOV 算法自动去除高度相关的特征，并通过 Auto_NLP 处理文本变量，同时还支持日期时间变量的处理。此外，它还包含 imbalanced_ensemble 库，可以处理不平衡数据集。Auto_ViML 的目标是帮助数据科学家快速构建可解释且高效的模型。

• edwindj/daff Daff是一个 R 包，用于比较、存储、渲染和应用 data.frame 之间的差异，并基于共同父级 data.frame合并两个版本。它使用 daff.js 库，并通过 V8 包进行封装。Daff 提供了 diff_data、patch_data、read_diff、write_diff、render_diff 和 merge_data 等函数，可用于计算差异、应用补丁、读取和写入差异文件、渲染差异为 HTML 页面以及合并两个data.frame。

• neoml-lib/neoml NeoML是一个端到端的机器学习框架，支持深度学习和传统算法，由ABBYY工程师用于计算机视觉和自然语言处理任务，包括图像预处理、分类、文档布局分析、OCR和结构化/非结构化文档数据提取。它支持超过100种神经网络层类型、20多种传统机器学习算法（分类、回归、聚类等）、CPU和GPU加速、ONNX支持，并提供Python、C++、Java和Objective-C接口，可在Windows、Linux、macOS、iOS和Android等平台上运行。

• shogun-toolbox/shogun Shōgun是一个统一且高效的机器学习工具箱，自1999年起一直致力于机器学习领域。它提供C++核心代码，并通过自动生成的接口支持Python、Octave、Java/Scala、Ruby、C#、R、Lua等多种语言，目前正在开发JavaScript、D和Matlab接口。Shōgun支持GNU/Linux、MacOSX、FreeBSD和Windows等多种平台，并提供BSD 3-clause许可证，包含可选的GPL3组件。用户可以通过官网获取安装指南、接口调用说明、API示例和开发者信息。

• OAID/Tengine Tengine是一个轻量级、高性能、模块化的推理引擎，专为嵌入式设备设计。它由 OPEN AI LAB 开发，提供深度学习神经网络模型在嵌入式设备上的快速、高效执行能力。Tengine 主要由三个模块组成：device、scheduler 和 operator，分别负责底层硬件操作、模型调度和神经网络算子执行。Tengine 支持 CPU、GPU、NPU 等多种硬件平台，并针对嵌入式设备的资源限制进行了优化，能够有效提升模型推理效率。

• koaning/scikit-lego scikit-lego是一个为 scikit-learn 提供额外功能的 Python 库，它包含自定义的转换器、度量指标和模型，旨在简化机器学习工作流程。该库提供各种数据集加载器、数据处理工具、虚拟模型和线性模型，例如用于公平性约束的 DemographicParityClassifier，以及用于时间序列分析的 add_lags 函数。你可以像使用 scikit-learn 一样使用 scikit-lego 中的组件，通过 pip 或 conda 安装，并参考其文档了解更多信息。

• aloctavodia/Statistical-Rethinking-with-Python-and-PyMC3 该项目是 Richard McElreath 所著书籍 "Statistical Rethinking: A Bayesian Coursewith Examples in R and Stan" 中示例的 Python/PyMC3 版本。它将书中的 R 和 Stan 代码移植到 PyMC3，并尽可能保持原书的示例，同时以更 Pythonic 和 PyMC3onic的方式表达。该项目已弃用，建议访问 https://github.com/pymc-devs/resources/tree/master/Rethinking 获取更新、提交问题或发送拉取请求。

• SMPyBandits/SMPyBandits SMPyBandits是一个开源的Python库，用于单人和多人多臂老虎机（MAB）算法的研究。它包含了最全面的单人（经典）老虎机算法集合，以及所有最先进的多人算法的实现。该库积极跟踪MAB研究的最新出版物，并快速实现新算法，例如Exp3++、CORRAL、SparseUCB、LearnExp和kl-UCB++。SMPyBandits提供完整的Sphinx生成的文档，并提供基于Airspeed Velocity的广泛基准测试结果。该库已发布到PyPI，并可通过pip安装。

• riga/tfdeploy tfdeploy是一个轻量级的库，用于将TensorFlow模型部署到无法运行TensorFlow的环境中，它使用NumPy进行快速评估，并可以将模型保存到磁盘，以便在没有TensorFlow的环境中加载和使用。tfdeploy不需要TensorFlow进行评估，仅依赖NumPy，可以加载一个或多个模型，并且比使用TensorFlow的Tensor.eval更快。该项目不再积极维护，但代码库仍然可用，作为大多数构成现代机器学习领域核心内核的参考实现。

• intel/scikit-learn-intelex Intel(R)Extension for Scikit-learn 是一个免费的 AI 加速器，可以将您的现有 scikit-learn 代码加速 10-100倍。它利用向量指令、AI 硬件特定内存优化、线程和针对所有即将推出的英特尔平台的优化来实现软件加速。该扩展可以集成到您的现有 scikit-learn 应用程序中，无需代码修改，并继续使用开源 scikit-learn API。您可以通过几行代码或在命令行中启用和禁用该扩展。它还包含在 Intel(R) AI 工具中。

• mlrun/mlrun MLRun是一个开源 MLOps 平台，用于快速构建和管理持续的机器学习应用程序及其生命周期。MLRun 集成到您的开发和 CI/CD 环境中，并自动化生产数据、机器学习管道和在线应用程序的交付。MLRun 显著减少了工程工作量、生产时间和计算资源。使用 MLRun，您可以选择本地机器或云上的任何 IDE。MLRun 打破了数据、机器学习、软件和 DevOps/MLOps 团队之间的隔阂，从而实现协作和快速持续改进。

• SebKrantz/collapse collapse是一个基于 C/C++ 的 R 包，用于数据转换和统计计算，旨在简化 R 中复杂的数据转换、探索和计算任务，并使 R 代码更快、更灵活、更简洁、更易于编程。它支持多种数据类型，包括 base R、tibble、grouped_df、data.table、sf、units、pseries、pdata.frame、xts/zoo 和变量标签。主要功能包括：高级统计编程、快速数据操作、高级聚合、高级转换、高级时间计算、列表处理、高级数据探索等。

• argmaxinc/WhisperKit WhisperKit是一个 Swift 包，它将 OpenAI 的流行语音识别模型 Whisper 与 Apple的 CoreML 框架集成，以便在 Apple 设备上进行高效的本地推理。它允许您在设备上进行语音识别，而无需将数据发送到云端。您可以使用 Swift Package Manager 将 WhisperKit 集成到您的 Swift 项目中，并通过简单的 API 使用它来转录音频文件或实时音频流。WhisperKit 还提供了一个命令行界面，您可以使用它来生成和管理模型。

• unifyai/ivy Ivy 是一个开源机器学习框架，使您能够：自动调整模型：使用 ivy. autotune 自动查找适合您特定用例的最佳框架、编译器基础结构和硬件。将代码转换为任何框架：通过使用 ivy.transpile 将任何代码从一个框架转换为另一个框架，在任何模型、库或设备的基础上使用和构建。编写与框架无关的代码：在 ivy 中编写一次代码，然后选择最合适的 ML 框架作为后端，以利用所有优势和工具。

• tensorflow/datasets TensorFlow Datasets(TFDS) 是一个用于 TensorFlow、Jax 等框架的公共数据集集合，它提供易于使用的 tf.data.Datasets。TFDS遵循简单性、性能、确定性和可定制性等核心价值观，并提供详细的文档、教程和 API 参考。用户可以通过 tfds.load 函数加载数据集，并使用 tf.data API 构建输入管道。此外，TFDS 还允许用户添加新的数据集，并提供数据集请求功能，方便用户投票选择他们想要的数据集。

• unslothai/hyperlearn Hyperlearn是一个机器学习算法库，它能够使算法速度提升2-2000倍，并减少50%的内存使用，同时兼容所有硬件。该项目由NVIDIA前员工Daniel Hanchen开发，其算法和方法已被应用于多个组织和项目，包括Facebook的Pytorch、Scipy、Cupy、NVIDIA和UNSW。Hyperlearn的特色在于其高效的算法，例如TSNE算法，它能够将运行时间从数小时缩短至数秒。该项目目前正在开发中，预计将于2022年发布稳定版本。

• SALib/SALib SALib是一个 Python 库，用于执行敏感性分析，包含 Sobol、Morris、FAST 等多种方法。它可以帮助用户分析模型输入或外部因素对模型输出的影响。SALib 提供了多种方法，包括 Sobol 方法、Morris 方法、FAST 方法、Delta 方法、DGSM 方法、Fractional FactorialSensitivity Analysis、HDMR 方法、PAWN 方法和 Regional Sensitivity Analysis。用户可以通过 pip 安装 SALib 库，并使用其提供的示例代码快速开始使用。

• pavlin-policar/openTSNE openTSNE是一个模块化的Python实现，用于t-分布随机邻域嵌入（t-SNE）算法，该算法是一种流行的高维数据可视化降维算法。openTSNE包含了t-SNE算法的最新改进，包括将新数据点添加到现有嵌入的能力、大幅提升速度、支持对数百万个数据点进行t-SNE，以及各种技巧来改善结果可视化的全局对齐。该项目提供详细的文档、用户指南、教程和示例，并支持从conda-forge或PyPi进行安装。

• amueller/dabl dabl是一个数据分析基础库，它专注于探索性可视化和预处理，并提供 GridSearchCV 和 RandomizedSearchCV 的替代方案，使用连续减半方法进行模型搜索。它还包含类似于 Auto-sklearn 的模型组合，快速搜索不同梯度提升模型、树集成和核方法。dabl 提供方便的预处理和模型搜索功能，并通过可视化快速概述数据。它与 Lux 和 Pandas Profiling 等其他数据分析库互补，提供了不同的功能。

• explosion/thinc Thinc是一个轻量级的深度学习库，提供了一个优雅、类型检查、函数式编程的 API 用于模型组合，并支持 PyTorch、TensorFlow 和 MXNet等框架定义的层。Thinc 可以作为接口层、独立工具包或灵活的开发新模型的方式。Thinc 的主要特点包括类型检查、支持 PyTorch、TensorFlow 和 MXNet 模型、简洁的函数式编程模型定义方式、可选的自定义中缀符号、集成的配置系统、可扩展的后端等。

• tensorflow/model-optimization TensorFlow模型优化工具箱是一个用于优化机器学习模型的工具集，支持量化和剪枝等技术，帮助用户将模型部署到各种平台。该工具箱提供了专门为 Keras 设计的 API，并提供稳定的 Python API。用户可以参考 TensorFlow 模型优化官方网站获取项目概述、工具介绍、优化收益以及路线图等信息。该项目遵循 TensorFlow 的贡献指南和行为准则，并使用 GitHub Issues 来跟踪请求和错误。

• patrick-kidger/equinox Equinox是一个基于 JAX 的库，提供 PyTorch 风格的易用神经网络定义、过滤 API、PyTree 操作和运行时错误等功能，并与JAX 生态系统中的其他库兼容。它不是一个框架，而是提供构建模型的工具，模型可以轻松地与 JAX 的其他功能（如 JIT、梯度等）集成。Equinox 提供了 PyTorch 风格的语法来定义模型，并与 JAX 的操作（如 JIT、梯度等）完全兼容，方便用户构建和训练神经网络。

• ropensci/targets targets是一个类似 Make 的 R 包，用于构建数据科学和统计分析的管道，它可以自动执行任务、并行计算，并抽象文件为 R 对象。targets 的核心思想是通过定义目标（target）来组织分析流程，每个目标对应一个 R 函数，并返回一个 R 对象。targets 会自动管理目标之间的依赖关系，并只执行必要的操作，从而提高效率和可重复性。targets 还支持并行计算，可以加速分析过程。

• geomstats/geomstats Geomstats是一个用于在流形上进行计算、统计、机器学习和深度学习的Python包。它包含两个主要模块：geometry和learning。geometry模块实现了微分几何，包括流形、李群、纤维丛、形状空间、信息流形、黎曼度量等。learning模块实现了用于流形上数据的统计和学习算法。用户可以选择NumPy、Autograd或PyTorch作为后端。该项目提供丰富的文档、教程和示例，并积极维护社区互动。

• graphistry/pygraphistry PyGraphistry是一个开源Python库，帮助数据科学家和开发者利用图形可视化、分析和AI的力量，并利用GPU加速。它允许您快速加载和准备各种格式、形状和规模的数据，并将其转换为图形，同时利用Pandas、Spark、RAPIDS (GPU)和Apache Arrow等工具。PyGraphistry还与Amazon Neptune、cuGraph、Databricks、graphviz、Neo4j、Splunk、TigerGraph等多种工具集成，并提供大量示例和教程，帮助您快速上手。

• lebedov/scikit-cuda scikit-cuda是一个 Python 库，提供对 NVIDIA CUDA 编程工具包中 CUDA 设备/运行时、CUBLAS、CUFFT 和 CUSOLVER 库的接口，以及对 CULA Dense Toolkit 中部分函数的接口。它提供类似于 C 语言的低级包装函数，以及类似于 NumPy 和 Scipy的高级函数。该项目提供完整的文档，包含示例和演示，并支持多种平台和版本。用户可以在 GitHub 上提交问题和反馈，并通过引用该项目进行学术出版。

• scikit-learn-contrib/category_encoders category_encoders是一个与scikit-learn兼容的库，提供多种方法将分类变量编码为数值型，方便机器学习模型使用。它包含无监督和监督两种类型的编码方法，无监督方法包括One-Hot、Ordinal等，监督方法包括Target Encoding、LeaveOneOut等。该库支持numpy数组和pandas数据框作为输入，并提供可配置的选项。用户可以通过pip或conda安装该库，并使用其提供的编码器进行数据预处理。

• microsoft/CNTK 统一的深度学习工具包，它通过有向图将神经网络描述为一系列计算步骤。在此有向图中，叶节点表示输入值或网络参数，而其他节点表示输入的矩阵运算。CNTK允许用户轻松实现和组合常用模型类型，例如前馈 DNN、卷积网络 （CNN） 和循环网络 （RNN/LSTM） 。它实现了随机梯度下降（SGD，误差反向传播）学习，并在多个 GPU 和服务器之间实现了自动微分和并行化。

• pditommaso/awesome-pipeline 这是一个精心整理的管道工具包列表，灵感来自 Awesome Sysadmin 项目。它包含了各种框架和库，用于构建、管理和执行数据处理、机器学习、CI/CD 等任务的流程。例如，Airflow 是一个基于 Python 的工作流系统，Argo Workflows 是一个容器原生工作流引擎，Cromwell 是一个面向科学工作流的管理系统，等等。该列表还包括一些专门用于生物信息学、高性能计算等领域的工具。

• mit-han-lab/tinyengine TinyEngine是一个针对微控制器的内存高效且高性能的神经网络库，是MCUNet的一部分，MCUNet是一个用于微控制器上的微型深度学习的系统-算法协同设计框架。TinyEngine和TinyNAS共同设计以适应严格的内存预算，项目特色包括：内存高效、高性能、支持微控制器上的深度学习，并提供推理和训练演示。MCUNetV1、MCUNetV2和MCUNetV3分别在NeurIPS2020、NeurIPS 2021和NeurIPS 2022上发表。

• inducer/pycuda PyCUDA是一个 Python 库，它允许你从 Python 中访问 Nvidia 的 CUDA 并行计算 API。它提供了一些独特的功能，例如自动资源管理（RAII），简化了 CUDA 编程，并提供了完整的 CUDA 驱动程序 API 访问，以及与 OpenGL 的互操作性。PyCUDA 还提供自动错误检查和 C++ 编写的底层，以确保速度和效率。此外，它还拥有完善的文档，并与 PyOpenCL 项目相关联，为 OpenCL 提供类似的功能。

• dougbrion/pytorch-classification-uncertainty 该项目是一个基于 PyTorch 的开源实现，用于量化分类不确定性，它基于论文“Evidential Deep Learning to Quantify Classification Uncertainty”。该项目使用狄利克雷分布对类概率进行建模，将神经网络的预测视为主观意见，并通过确定性神经网络从数据中学习证据收集函数，从而实现对预测不确定性的显式建模。该方法在检测非样本查询和对抗性扰动方面取得了显著成果。

• snakemake/snakemake Snakemake是一个用于创建可重复且可扩展的数据分析工作流程的工具，它使用易于理解的 Python 语言描述工作流程，并能无缝扩展到服务器、集群、网格和云环境，无需修改工作流程定义。Snakemake 还支持描述所需软件，并自动部署到任何执行环境。Snakemake 非常受欢迎，2021 年平均每周有超过 7 次新的引用，下载量接近 40 万次。项目主页：https://snakemake.github.io。

• chainer/chainer Chainer是一个灵活的基于Python的深度学习框架，旨在提供灵活性。它使用define-by-run方法（也称为动态计算图）提供自动微分API，以及面向对象的、高级的API来构建和训练神经网络。它还使用CuPy支持CUDA/cuDNN，以实现高性能训练和推理。有关Chainer的更多详细信息，请参阅上面列出的文档和资源，并加入论坛、Slack和Twitter上的社区。

• huggingface/autotrain-advanced AutoTrain Advanced是一个无需代码的机器学习模型训练和部署工具，只需点击几下即可训练模型。它支持在 Google Colab 或 Hugging Face Spaces 上运行，并提供本地安装选项。AutoTrain Advanced 可以使用配置文件进行命令行训练，并提供示例配置文件。此外，它还提供针对特定任务的Colab 示例，例如 LLM 微调和 DreamBooth 训练。项目文档可在 https://hf.co/docs/autotrain/ 找到。

• spyder-ide/spyder Spyder是一个开源的科学 Python 开发环境，它提供了一个用户友好的界面，用于编写、运行和调试 Python 代码。Spyder 集成了许多有用的功能，例如代码自动补全、语法高亮、代码调试、变量浏览器和交互式控制台，以帮助用户更高效地进行科学计算和数据分析。Spyder 基于 Qt 框架构建，并使用 Python 语言编写，它可以运行在 Windows、macOS 和 Linux 操作系统上。

• dfm/emcee emcee是一个稳定、经过良好测试的 Python 库，实现了 Goodman & Weare(2010) 提出的用于马尔科夫链蒙特卡罗 (MCMC) 的仿射不变系综采样器。该代码是开源的，已在多个已发表的天体物理学文献项目中使用。emcee 的文档可以在 emcee.readthedocs.io 上找到，并鼓励在研究中使用该代码的用户引用 Foreman-Mackey 等人(2012) 的论文。emcee 是根据 MIT 许可证发布的免费软件。

• ropensci/drake drake是一个专注于 R 语言的管道工具包，用于提高可重复性和高性能计算。它可以帮助你构建、管理和执行数据分析管道，并自动处理依赖关系，确保结果的准确性和可重复性。drake 已经被 targets 包取代，targets 包功能更强大，使用更便捷。你可以访问 https://books.ropensci.org/targets/drake.html 获取更多信息和迁移建议。

• 8080labs/pyforest pyforest是一个Python库，能自动导入常用的数据科学库，无需手动编写import语句。它在Jupyter Notebook中工作，在你使用某个库时自动导入并将其添加到第一个单元格，未使用则不导入，方便快捷地进行数据分析，提高效率，支持pandas、numpy、matplotlib、seaborn等众多库。安装方法为pip install --upgrade pyforest及python -m pyforest install_extensions，并重启Jupyter服务器。

• pydata/patsy Patsy是一个Python库，用于描述统计模型（特别是线性模型或具有线性成分的模型）并构建设计矩阵。它将R语言中的公式语法引入Python，方便用户使用公式来描述模型。Patsy不再积极开发，但目前仍可使用。用户可考虑迁移到其继承项目Formulaic。Patsy依赖于Python、six、numpy等库，并可选依赖于pytest/pytest-cov和scipy。用户可以使用pip install patsy命令安装该库。

• NexaAI/nexa-sdk Nexa SDK是一个支持 ONNX 和 GGML 模型的综合工具包，支持文本生成、图像生成、视觉语言模型 (VLM)、自动语音识别 (ASR) 和文本转语音 (TTS) 功能。它提供一个与 OpenAI 兼容的 API 服务器，支持 JSON 模式函数调用和流支持，并提供一个用户友好的 Streamlit UI。Nexa SDK 支持 CUDA、Metal 和 ROCm 等 GPU 加速，可运行在任何具有 Python 环境的设备上，并提供可执行版本。

• amaiya/ktrain ktrain是一个轻量级的 Python 库，它简化了深度学习和 AI的应用，旨在让新手和经验丰富的从业者都能轻松使用。ktrain 基于 TensorFlow Keras，提供了预训练模型，可以轻松处理文本、图像、图和表格数据，例如文本分类、文本回归、序列标注（NER）、句子对分类、无监督主题建模等任务。它还支持快速、准确的模型训练和部署，并提供丰富的示例和教程。

• mirage-project/mirage Mirage 是一个通过超级优化技术自动为 PyTorch 程序生成快速 GPU 内核的工具。例如，要获得用于注意力的快速 GPU 内核，用户只需编写几行 Python 代码来描述注意力的计算。对于给定的 PyTorch 程序，Mirage 会自动搜索功能上与输入程序等效的潜在 GPU 内核空间，并发现高度优化的候选内核。这种方法使 Mirage 能够找到优于现有专家设计内核的新定制内核。

• spfrommer/torchexplorer TorchExplorer是一个用于交互式检查PyTorch模型的工具，可以方便地查看模型的输入、输出、参数和梯度信息。它可以与Weights & Biases（WandB）集成，也可以作为独立的工具使用。用户只需在训练循环中调用torchexplorer.watch()方法，即可在训练过程中实时查看模型的内部状态。TorchExplorer还提供了交互式的模型结构视图，方便用户了解模型的结构和参数。

• nalepae/pandarallel Pandarallel 是一个简单高效的工具，可以利用所有可用的 CPU 并行化 Pandas 操作。只需修改一行代码即可实现并行化，并提供进度条显示。该项目正在寻找维护者，感兴趣的用户可以联系项目作者或在 GitHub 上创建问题。安装方法为 pip install pandarallel，使用时只需将 df.apply(func) 替换为 df.parallel_apply(func) 即可。项目文档提供详细的使用示例和说明。

• vega/altair Vega-Altair是一个用于 Python 的声明式统计可视化库，它基于强大的Vega-Lite JSON 规范，提供简单易用的 API，帮助你快速创建美观且有效的可视化图表。你可以在 JupyterLab、Jupyter Notebook、Visual Studio Code 等环境中使用它，并导出为 PNG/SVG 等格式。Vega-Altair 的独特之处在于它不仅支持可视化，还支持交互，例如使用刷选工具过滤散点图并联动更新直方图。

• lyhue1991/torchkeras torchkeras是一个易于使用的 PyTorch 模型训练工具，它提供简洁的代码结构，方便用户快速构建、训练和评估模型。它借鉴了Keras 的设计理念，提供类似的 API，简化了模型构建和训练过程，同时保留了 PyTorch 的灵活性和性能。torchkeras旨在简化模型训练，并提供常用的功能，例如模型构建、训练、评估、可视化等，方便用户快速上手 PyTorch 模型训练。

• JuliaLang/IJulia.jl IJulia是Julia语言的Jupyter内核，允许用户在Jupyter Notebook（或JupyterLab等）交互式环境中使用Julia编程语言。它结合了Julia的强大功能和Jupyter的交互式笔记本功能，支持代码、文本、数学公式和多媒体的整合。IJulia可与多种Jupyter用户界面配合使用，并提供便捷的安装和启动方式，用户可选择自行安装Jupyter或让IJulia创建和管理其自身的Python/Jupyter安装。

• Kaggle/kaggle-api Kaggle API是 Kaggle 网站的官方 API，使用 Python 3 实现，可以通过命令行工具访问。用户可以通过安装 kaggle 包来使用 API，并通过环境变量或配置文件设置 API 凭据。API 提供了多种功能，例如列出模型、获取数据集等。开发者可以通过修改 src/ 目录下的代码，并使用 hatch 工具编译和运行代码，还可以进行集成测试。Kaggle API 遵循 Apache 2.0 许可证。

• google/ml-metadata ML Metadata (MLMD) 是一个用于记录和检索与机器学习开发人员和数据科学家工作流程相关的元数据的库。它支持在各种平台上运行，包括macOS、Ubuntu 和 Windows。MLMD 可以通过 PyPI 安装，也可以从源代码构建。MLMD 提供了记录和检索元数据的 API，可以帮助用户跟踪模型训练、数据预处理、特征工程等过程中的关键信息，方便进行模型管理、调试和分析。

• arviz-devs/arviz ArviZ是一个 Python 包，用于对贝叶斯模型进行探索性分析，包含后验分析、数据存储、模型检验、比较和诊断等功能。它提供丰富的绘图功能，例如森林图、小提琴图、后验预测图等，帮助用户直观地理解模型结果。ArviZ还支持 Julia 语言，并提供详细的文档和示例。用户可以通过 pip 或 conda 安装 ArviZ，并使用其丰富的功能进行贝叶斯模型分析。

• gstoica27/ZipIt ZipIt!是一个无需额外训练就能将不同初始化、解决不同任务的模型合并成一个多任务模型的框架。该项目提供了用于合并预训练模型的代码，支持多种模型架构和数据集，包括 ResNet、VGG、SinGAN 等。用户可以通过配置文件选择实验设置，并利用提供的评估脚本进行模型评估。该项目还支持自定义模型架构，用户可以根据自己的需求进行扩展。

• SeldonIO/seldon-core MLOps 框架，用于打包、部署、监视和管理数千个生产机器学习模型。Seldon core 将您的 ML 模型（Tensorflow、Pytorch、H2o 等）或语言包装器（Python、Java 等）转换为生产 REST/GRPC 微服务。Seldon 可处理扩展到数千个生产机器学习模型，并提供开箱即用的高级机器学习功能，包括高级指标、请求日志记录、解释器、异常值检测器、A/B 测试、金丝雀等。

• jason718/awesome-self-supervised-learning 该项目是一个关于自监督学习的资源列表，涵盖了理论、计算机视觉、机器学习、机器人、自然语言处理、自动语音识别、时间序列、图、演讲、论文和博客等方面。项目特色在于其对自监督学习方法的分类整理，并提供相关论文和代码链接。该项目旨在为研究人员和开发者提供一个方便的资源库，帮助他们了解和应用自监督学习技术。

• bethgelab/foolbox Foolbox是一个Python库，用于对机器学习模型（如深度神经网络）进行对抗性攻击测试，它基于EagerPy，并原生支持PyTorch、TensorFlow和JAX模型。Foolbox 3采用EagerPy重写，提供原生性能，支持批处理，包含大量最先进的基于梯度和决策的对抗性攻击方法，并通过类型检查帮助开发者避免代码错误。用户可以通过官方指南、教程和API文档快速上手。

• baal-org/baal Baal是一个用于研究和工业应用的贝叶斯主动学习库，它支持多种主动学习方法，包括蒙特卡洛丢弃、MCDropConnect、深度集成和半监督学习。Baal旨在帮助用户更有效地训练机器学习模型，通过主动选择需要标注的数据点来减少标注成本。该库提供详细的文档和教程，并已在多个研究论文中得到应用。Baal最初由ElementAI开发，现已独立运营。

• marcharper/python-ternary python-ternary是一个基于 matplotlib 的 Python 库，用于绘制三元图。它提供绘制投影线、曲线（轨迹）、散点图和热图等功能，并支持多种 matplotlib 关键字参数，例如 linestyle。该库包含多个示例和教程，可以帮助用户快速上手。用户可以使用 TernaryAxesSubplot 类创建三元坐标轴对象，并使用类似于 matplotlib 的 AxesSubplot 对象的方法进行绘图。

• biolab/orange3 Orange是一个面向新手和专家的数据挖掘和可视化工具箱。它使用工作流方式，无需编程或深入的数学知识，让数据科学变得更易懂。用户只需拥有数据或有探索数据的意愿，就能使用Orange进行数据分析。Orange可以通过官方网站下载安装，也可以使用conda或pip进行安装。安装完成后，运行orange-canvas或python3 -m Orange.canvas即可启动Orange。

• online-ml/river River是一个用于 Python 在线机器学习的库，旨在成为处理流式数据的机器学习最友好的库。River 是由 creme 和 scikit-multiflow合并而成的。它允许您在数据流上进行预测和模型更新，并提供各种机器学习模型、预处理方法和评估指标，例如，您可以使用 River 训练一个逻辑回归模型来对网站钓鱼数据集进行分类，并实时评估模型的准确率。

• soulmachine/machine-learning-cheat-sheet 该项目是一个机器学习公式和图表速查表，包含许多经典的机器学习公式和图表，可以帮助你快速回忆机器学习知识和概念，也适合准备机器学习相关面试的人使用。项目提供了 PDF 下载链接，以及使用 Docker 和 Windows 环境编译 LaTeX 模板的详细步骤。该项目基于 Springer LaTeX 模板，并提供详细的编译步骤，方便用户自行编译和修改。

• albermax/innvestigate iNNvestigate是一个用于分析神经网络预测的工具箱，它提供了一个通用接口和开箱即用的实现，可以帮助你轻松地分析神经网络的预测结果。iNNvestigate支持多种分析方法，例如Saliency、Deconvnet、GuidedBackprop、SmoothGrad、IntegratedGradients、LRP、PatternNet和PatternAttribution，并提供了一份论文用于引用。它基于Keras和TensorFlow 2，可以通过pip安装。

• tensorflow/hub TensorFlow Hub是一个用于迁移学习的库，它允许开发者重用 TensorFlow 模型的部分组件。该库已迁移至 Kaggle Models，用户可通过 KaggleModels 访问和使用 TensorFlow Hub 模型。该库支持加载之前上传至 tfhub.dev 的模型，并建议将 tfhub.dev 链接替换为 Kaggle Models 链接，以提高代码健壮性和可调试性。一些未迁移的模型资产已被删除，无法再获取。

• prismformore/Multi-Task-Transformer 该项目包含两个强大的多任务Transformer模型，分别为TaskPrompter和InvPT，用于场景理解。TaskPrompter模型利用空间-通道多任务提示机制，在ICLR 2023上发表。InvPT模型采用倒金字塔结构，在ECCV 2022上发表。这两个模型都取得了较好的性能，并在Cityscapes数据集上取得了SOTA结果。该项目提供代码和模型，并包含详细的介绍和引用信息。

• labmlai/labml Labml 是一个开源工具，可以帮助你从手机或笔记本电脑上监控深度学习模型训练和硬件使用情况。它只需两行代码即可集成到你的项目中，并提供漂亮的训练进度日志。Labml 还可以跟踪实验信息，例如 Git 提交、配置和超参数。你可以在任何电脑上使用一个命令来监控硬件使用情况，并使用 Labml 的 API 创建自定义可视化。

• MarquezProject/marquez Marquez是一个开源的元数据服务，用于收集、聚合和可视化数据生态系统的元数据。它维护数据集的消费和生产来源，提供对作业运行时和数据集访问频率的全局可见性，集中化数据集生命周期管理等等。Marquez 由 WeWork 发布并开源。它支持使用OpenLineage 收集和查看数据集、作业和运行元数据，并提供 Docker 快速入门指南。

• pymc-devs/sunode Sunode是一个 Python 库，用于快速求解常微分方程 (ODE)，并支持 PyMC。它利用 Sundials 库中的 ADAMS 和 BDF求解器，以及它们对求解伴随 ODE 的支持来计算解的梯度。Sunode 可以通过 sympy 自动生成函数的抽象语法树，并使用 numba 编译它们，从而避免 Python 的开销。Sunode 还提供了一个 PyTensor 包装器，以便使用 PyMC 估计 ODE 的参数。

• apache/mahout ApacheMahout是一个用于快速创建可扩展、高性能机器学习应用程序的环境。它旨在构建可扩展的机器学习应用，项目主页为http://mahout.apache.org/。 目前该项目镜像包含一个名为QuMat的子项目，这是一个用于与多个量子计算后端交互的高级Python库的原型，旨在易于使用并抽象每个后端的特性，实现“一次编写，随处运行”。

• bambinos/bambi Bambi是一个用 Python 编写的用于构建贝叶斯模型的高级接口，基于 PyMC 概率编程框架。它旨在简化使用贝叶斯方法拟合社会科学领域常见的混合效应模型。Bambi 可以通过 pip 安装，并依赖于 ArviZ、formulae、NumPy、pandas 和 PyMC。Bambi 提供了简单的接口来构建模型，例如线性回归模型，并使用 ArviZ 进行结果分析和可视化。

• t-makaro/animatplot animatplot是一个基于 matplotlib 的 Python 包，用于创建交互式动画图表。它支持使用滑块控制动画，并提供多种动画效果。animatplot需要 Python 3.8 及以上版本和 Matplotlib 2.2 及以上版本。可以使用 pip 或 conda 安装。项目文档可以在 https://animatplot.readthedocs.io/en/latest/index.html 找到。

• holoviz/hvplot hvPlot 是一个基于 HoloViews 的高层绘图 API，用于 pandas、dask、xarray 和 networkx 等数据分析库。它简化了数据分析和可视化，提供了一种直观的方式来创建各种图表，包括折线图、散点图、直方图、热图等。hvPlot 利用 HoloViews 的强大功能，自动处理数据映射、布局和交互性，使您能够轻松地创建交互式、可探索的图表。

• tensorflow/privacy TensorFlow Privacy是一个Python库，用于训练具有数据隐私保护的机器学习模型。它包含TensorFlow优化器的实现，用于训练具有差分隐私的机器学习模型。该库还提供教程和分析工具，用于计算提供的隐私保证。该库处于持续开发中，欢迎贡献。用户可以通过pip install tensorflow-privacy安装该库，并通过GitHub提交代码贡献。

• premAI-io/state-of-open-source-ai 该项目是《开源 AI 状态》（2023 版）电子书的源代码仓库，该电子书全面介绍了开源 AI 的方方面面，从模型评估到部署，旨在帮助读者了解开源 AI 的最新进展。该项目欢迎贡献、问题和评论，并提供了一个专门的 Discord 频道供读者讨论书中的内容。该电子书采用 CC-BY-4.0（文本）和 Apache-2.0（代码）许可证发布。

• DataCanvasIO/Hypernets 通用自动化机器学习框架，用于简化特定领域中端到端 AutoML 工具包的开发。包括 tensorflow、keras、pytorch 等深度学习框架，以及 sklearn、lightgbm、xgboost 等机器学习库。引入了抽象的搜索空间表示，同时兼顾了超参数优化和神经架构搜索（NAS）的要求，使 Hypernets 成为能够适应各种自动化机器学习需求的通用框架。

• yassouali/awesome-semi-supervised-learning 最新和精选的令人敬畏的半监督学习论文，方法和资源列表。未标记的数据可能相对容易收集，但很少有方法可以使用它们。半监督学习通过使用大量未标记的数据以及标记的数据来构建更好的分类器来解决此问题。由于半监督学习需要更少的人力并且具有更高的准确性，因此它在理论和实践中都非常有趣。

• apache/predictionio Apache PredictionIO是一个开源机器学习框架，专为开发者、数据科学家和最终用户设计。它支持事件收集、算法部署、评估，并通过 REST API查询预测结果。它基于可扩展的开源服务，如 Hadoop、HBase（和其他数据库）、Elasticsearch、Spark，并实现了 Lambda 架构。您可以通过网站 http://predictionio.apache.org 获取更多信息。

• shankarpandala/lazypredict Lazy Predict是一个Python库，它可以帮助你快速构建各种基础机器学习模型，无需编写大量代码，并能帮助你了解不同模型的效果，无需进行参数调整。它支持分类和回归任务，并提供多种评估指标，例如准确率、平衡准确率、ROC AUC、F1分数等。你可以使用它快速比较不同模型的性能，并选择最适合你的模型。

• rasbt/mlxtend mlxtend是一个 Python 库，为 Python 的数据分析和机器学习库提供扩展和辅助模块。它包含各种实用工具，可以简化日常数据科学任务，例如，它提供用于集成多个分类器的集成投票分类器，以及用于绘制决策区域的函数。mlxtend 可以通过 pip 或 conda 安装，并提供详细的文档和示例代码，方便用户学习和使用。

• SeldonIO/alibi Alibi是一个Python库，用于机器学习模型的检查和解释，提供高质量的实现，包括黑盒、白盒、局部和全局解释方法，适用于分类和回归模型。该库支持各种解释方法，例如锚点解释、集成梯度、反事实示例和累积局部效应，可用于理解模型的预测结果。Alibi还提供了一系列示例和文档，帮助用户快速上手。

• ml-tooling/ml-workspace MLWorkspace是一个一体化的基于Web的机器学习和数据科学IDE，预装了TensorFlow、PyTorch、Jupyter、VS Code等众多流行库和工具，方便用户快速构建ML解决方案。它支持通过Docker轻松部署在Mac、Linux和Windows上，并提供Jupyter、JupyterLab和VS Code等多种Web IDE，以及Tensorboard和Netdata等集成监控工具，可通过Web、SSH或VNC访问。

• rusty1s/pytorch_sparse PyTorchSparse 是一个用于优化稀疏矩阵操作的 PyTorch 扩展库，支持自动微分。它包含了多种稀疏矩阵操作，包括合并、转置、稀疏-稠密矩阵乘法和稀疏-稀疏矩阵乘法，支持多种数据类型，并在 CPU 和 GPU 上实现。该库简化了稀疏张量的操作，用户只需传入索引和值张量即可，并支持对值张量的自动微分。

• has2k1/plotnine plotnine是一个基于 ggplot2 的 Python 图形语法库，它允许你通过将数据框中的变量映射到图形对象的视觉属性（位置、颜色、大小等）来构建图形。这种图形语法方法使得构建复杂图形变得简单直观，同时保持简单图形的易用性。plotnine 的API 与 ggplot2 相似，因此你可以参考 ggplot2 文档来学习更多用法。

• scikit-learn-contrib/metric-learn metric-learn是一个 Python 库，提供多种监督和弱监督度量学习算法的实现，其 API 与 scikit-learn 兼容，可与 scikit-learn 的各种工具（如管道、模型选择等）无缝衔接。该库包含 LMNN、ITML、SDML、LSML、SCML、NCA、LFDA、RCA、MLKR 和 MMC 等算法，可用于学习数据之间的距离度量，从而提高机器学习模型的性能。

• dlt-hub/dlt dlt是一个开源的Python库，简化数据加载过程，支持多种环境（如Google Colab、AWS Lambda和本地环境）。它具有自动模式生成、数据规范化、可扩展性和易维护性等特点，能快速处理各种数据源，并支持增量加载和命令行界面操作，方便数据探索和高级数据加载基础设施的构建，遵循Apache 2.0许可证。

• holoviz/holoviews HoloViews 是一个 Python 库，它通过简化数据可视化过程，让你的数据自动生成图表。你只需对数据进行标注，HoloViews 会自动选择合适的图表类型并呈现数据。它支持多种图表类型，并与其他数据科学库（如 Pandas 和 NumPy）无缝集成。HoloViews 还可以用于创建交互式图表，方便你探索和分析数据。

• Xtra-Computing/thundersvm ThunderSVM是一个快速支持向量机库，它利用GPU和多核CPU加速SVM模型训练，支持LibSVM的所有功能，包括一类SVM、SVC、SVR和概率SVM，并提供与LibSVM相同的命令行选项。ThunderSVM支持Python、R、Matlab和Ruby接口，可在Linux、Windows和MacOS等操作系统上运行。该项目旨在帮助用户轻松高效地应用SVM解决问题。

• tensorflow/serving 灵活、高性能的机器学习模型服务系统，专为生产环境而设计。它涉及机器学习的推理方面，在训练后获取模型并管理其生命周期，通过高性能、引用计数的查找表为客户提供版本化访问。TensorFlow Serving 提供与 TensorFlow 模型的开箱即用集成，但可以轻松扩展以服务其他类型的模型和数据。

• sudharsan13296/Awesome-Meta-Learning 这是一个关于元学习的资源列表，包含论文、代码、书籍、博客、视频、数据集和其他资源。该项目涵盖了各种元学习方法，包括零样本学习、少样本学习、低样本学习等。项目提供了一些经典论文的代码实现，例如Siamese Networks、Prototypical Networks、Matching Networks等，方便用户学习和实践。

• nebuly-ai/nebullvm 易于使用的库，可利用最先进的优化技术促进 AI 推理。利用多种优化技术（深度学习编译器、量化、稀疏性、蒸馏等），以确定在特定硬件上执行 AI 模型的最佳方式。可以在不损失性能的情况下将您的模型加速 2 到 10 倍，如果为超低延迟和更轻的模型牺牲准确度/精度，则可加速至 30 倍.

• carefree0910/carefree-learn carefree-learn是一个基于 PyTorch 的深度学习框架，旨在简化深度学习操作。它以模块为核心，提供简洁易用的模块化设计，并尽可能保持原生 PyTorch 风格，支持依赖注入和 torch.compile 优化。框架优先考虑模块化设计，并计划在未来根据现代 AI 发展添加训练功能，同时保证 API 的向后兼容性。

• datalad/datalad DataLad是一款基于 Git 和 git-annex 的数据管理和分发工具，它可以帮助用户轻松地管理代码、数据和容器。DataLad 通过将数据存储在 Git 仓库中，并使用 git-annex 来管理大型文件，从而实现数据版本控制、协作和分发。DataLad 还支持多种数据格式，并提供了一系列工具来简化数据分析和处理。

• yinsn/ParaDance ParaDance 是一个专为大规模数据分析而定制的综合性 Python 工具包。它提供数据加载、处理、评估指标、采样和可视化功能。 ParaDance 的独特之处在于，它具有多目标贝叶斯优化功能，支持各种聚合公式和计算器。这种多目标设置的灵活性使 ParaDance 成为数据科学家和研究人员的宝贵工具。

• SeldonIO/alibi-detect Alibi Detect是一个 Python 库，专注于异常值、对抗样本和数据漂移检测。该库涵盖了表格数据、文本、图像和时间序列的在线和离线检测器。支持 TensorFlow 和 PyTorch 后端进行漂移检测。该库还包含内置的预处理步骤，并提供大量参考列表，包括异常值检测、对抗样本检测和漂移检测算法。

• scikit-tda/scikit-tda Scikit-TDA 是一个为非拓扑学家提供的 Python 拓扑数据分析库，旨在提供易于使用且广泛适用的 TDA 工具。它包含多个独立的包，可单独使用或作为 scikit-tda 捆绑包的一部分使用。安装所有库只需运行 pip install scikit-tda。如果您想贡献代码、笔记本、示例或文档，请随时提交 Pull Request。

• conda/conda Conda 是一个跨平台、与语言无关的二进制包管理器。它是一个在Miniforge和Anaconda Distribution等 conda 发行版中使用的包管理器，但它也可以用于其他系统。 Conda 使环境成为一等公民，甚至可以轻松地为 C 库创建独立的环境。 conda 命令行界面完全用 Python 编写，并且是 BSD 许可的开源软件。

• microsoft/onnxruntime 跨平台深度学习训练和推理机加速器，与深度学习框架，可以兼容TensorFlow、Keras和PyTorch等多种深度学习框架。Open Neural Network Exchange 是用于表示深度学习模型的开放格式，定义了通用运算符、机器学习和深度学习模型的构建块以及通用文件格式，可与各种框架工具和编译器一起使用。

• pytorch/ignite Ignite是一个 PyTorch 高级库，它提供灵活且透明的训练和评估神经网络的方法。它简化了训练和验证循环，并通过事件和处理程序提供强大的功能。Ignite 采用库式方法，不会反转程序控制，允许用户在需要时使用它。此外，它还提供可扩展的 API，用于度量、实验管理器和其他组件。

• facebookresearch/hydra Hydra是一个用于优雅配置复杂应用程序的框架，它通过简化配置管理来提高开发效率。Hydra的工作原理是利用结构化的配置文件，支持多种配置格式和参数覆盖机制，从而方便地管理和运行复杂的实验和应用。它拥有活跃的社区和丰富的生态系统，并被广泛应用于机器学习等领域。

• raminmh/liquid_time_constant_networks 一种能适应实时世界系统的变化的神经网络。神经网络的设计灵感来自生物大脑，设计灵感直接来自秀丽隐杆线虫（C. elegans）。他说：「它的神经系统仅有 302 个神经元，但却可以产生超出预期的复杂动态。」 Liquid 网络的流动性使其能更弹性地应对意料之外的数据或噪声数据。

• vosen/ZLUDA ZLUDA 允许您在 Intel AMD GPU 上以近乎原生的性能运行未经修改的 CUDA 应用程序。ZLUDA 目前是 alpha 质量，但已被确认可以与各种原生 CUDA 应用程序一起使用：Geekbench、3DF Zephyr、Blender、Reality Capture、LAMMPS、NAMD、waifu2x、OpenFOAM、Arnold（概念验证）等。ZLUDA完全建立在ROCm/HIP之上。

• MaxHalford/prince Prince是一个用于 Python 的多元探索性数据分析库，它包含各种方法来汇总表格数据，包括主成分分析 (PCA) 和对应分析 (CA)。Prince 提供高效的实现，使用 scikit-learn API。该库支持多种方法，包括 PCA、CA、MCA、MFA、FAMD和 GPA，并提供交互式图表功能，帮助用户更好地理解数据。

• philipperemy/keract Keract是一个用于获取 Keras 模型中各层输出和梯度的工具，支持Tensorflow 2.9-2.15 版本。它可以轻松获取模型中各层的激活值（输出）和梯度，并提供多种展示方式，例如以 NumPy 数组形式输出、以热图形式展示以及保存为 JSON 文件。Keract 还支持嵌套模型，但目前支持有限。

• numba/numba 开源的、NumPy 感知的 Python 优化编译器，由 Anaconda， Inc. 赞助。它使用 LLVM 编译器项目从 Python 语法生成机器代码。Numba 可以编译一个以数字为中心的 Python 子集，包括许多 NumPy 函数。此外，Numba 还支持循环的自动并行化、GPU 加速代码的生成以及 ufuncs 和 C 回调的创建。

• gigwegbe/tinyml-papers-and-projects 这是一个关于 TinyML的有趣论文和项目的列表，包含了 2016 年到 2024 年的论文和项目，涵盖了模型压缩、硬件感知量化、目标检测等领域，并提供了一些资源，如文章、书籍、库和工具、课程和 TinyML 演讲。该项目还包含了项目源代码和文章链接，方便用户学习和参考。

• PaddlePaddle/Paddle-Lite 飞桨多端多平台高性能深度学习推理引擎.支持多平台：涵盖 Android、iOS、嵌入式 Linux 设备、Windows、macOS 和 Linux 主机。支持多种语言：包括 Java、Python、C++。轻量化和高性能：针对移动端设备的机器学习进行优化，压缩模型和二进制文件体积，高效推理，降低内存消耗

• TimDettmers/bitsandbytes PyTorch 的 8 位 CUDA 函数。具有混合精度分解的 8 位矩阵乘法；LLM.int8 推理；8 位优化器：Adam、AdamW、RMSProp、LARS、LAMB（节省 75% 的内存）；稳定嵌入层：通过更好的初始化和规范化；提高稳定性 8 位量化：分位数、线性和动态量化；快速分位数估计：比其他算法快 100 倍

• gyli/PyWaffle PyWaffle是一个开源的 Python 包，用于绘制华夫饼图，它基于matplotlib，提供一个名为 Waffle 的图形构造类，可以生成 matplotlib图形对象。它支持多种自定义选项，包括值缩放、字典输入、自动调整大小、图例、标题、颜色、方向、排列方式等，并提供详细的 API 文档。

• TimDettmers/bitsandbytes 用于 PyTorch 的 8 位 CUDA 函数。具有混合精度分解的 8 位矩阵乘法；8位优化器：Adam，AdamW，RMSProp，LARS，LAMB，Lion（节省75%的内存）；稳定嵌入层：通过更好的初始化和规范化提高稳定性；8 位量化：分位数、线性和动态量化、快速分位数估计：比其他算法快 100 倍。

• ggerganov/ggml 用于机器学习的张量库，用 C 语言编写、16 位浮点支持、整数量化支持（4 位、5 位、8 位等）、自动区分、ADAM和L-BFGS优化器、针对苹果芯片进行了优化、在x86架构上利用AVX / AVX2内部函数、在 ppc64 架构上利用 VSX 内部函数、无第三方依赖关系、运行时内存分配为零

• nubank/fklearn fklearn是一个基于函数式编程的机器学习库，旨在简化机器学习问题的解决。它借鉴了scikit-learn的理念，并遵循以下原则：真实场景的验证、生产模型与验证模型一致、模型易于部署、结果易于复现和分析。fklearn可以通过pip安装，并提供详细的文档和贡献指南。

• determined-ai/determined Determined 是一个开源机器学习平台，可简化分布式训练、超参数优化、实验跟踪和资源管理。适用于 PyTorch 和 TensorFlow。它负责：分布式训练可更快获得结果。用于获得最佳模型的超参数优化。用于降低云 GPU 成本的资源管理。用于分析和重现性的实验跟踪。

• KaiyuYue/torchshard 马里兰大学帕克分校计算机科学系的研究者开源了一个轻量级的引擎，用于将 PyTorch 张量切片成并行的 shard。当模型拥有大量的线性层（例如 BERT、GPT）或者很多类（数百万）时，TorchShard 可以减少 GPU 内存并扩展训练规模，它具有与 PyTorch 相同的 API 设计。

• thuml/Transfer-Learning-Library 用于迁移学习的开源且文档齐全的库。它基于具有高性能和友好API的纯PyTorch。当前支持的算法包括：领域对抗神经网络（DANN）深度适应网络（DAN）联合适应网络（JAN）条件域对抗网络（CDAN）最大分类器差异（MCD）Margin Disparity Discrepancy 保证金差异（MDD）

• stan-dev/stan Stan是一个C++包，提供基于哈密顿蒙特卡洛(HMC)的NUTS采样器实现的全贝叶斯推断、自动微分变分推断(ADVI)的近似贝叶斯推断以及使用L-BFGS优化的惩罚最大似然估计(MLE)，并基于提供自动微分和矩阵运算的Stan Math库构建，拥有R、Python、MATLAB等多种语言接口。

• wandb/client Weights and Biases 组织和分析机器学习实验 它与框架无关，并且比TensorBoard轻巧。每次您运行带有的脚本时wandb，都会保存您的超参数和输出指标。在训练过程中可视化模型，并轻松比较模型的版本。我们还将自动跟踪您的代码状态，系统指标和配置参数。

• Jittor/jittor 基于 JIT 编译和元运算符的高性能深度学习框架。整个框架和元运算符是及时编译的。它使我们能够生成专门针对您的模型的高性能代码。Jittor 还包含丰富的高性能模型库，包括：图像识别、检测、分割、生成、可微渲染、几何学习、强化学习等。

• Baiyuetribe/paper2gui 让每个人都简单方便的使用前沿人工智能技术。一款面向普通人的 AI 桌面 APP 工具箱，免安装即开即用，已支持 40+AI 模型，内容涵盖 AI 绘画、语音合成、视频补帧、视频超分、目标检测、图片风格化、OCR 识别等领域。支持 Windows、Mac、Linux 系统。

• xorbitsai/xorbits 一个开源计算框架，可以轻松扩展数据科学和机器学习工作负载 - 从数据预处理到调优、训练和模型服务。Xorbits 可以利用多核或 GPU 来加速单台机器上的计算，或者横向扩展到数千台机器，以支持处理数 TB 的数据以及训练或为大型模型提供服务。

• wireservice/agate agate是一个 Python 数据分析库，它优先考虑人类的易读性，而不是机器的效率。它作为 numpy 和 pandas 的替代方案，使用可读的代码解决现实世界的问题。agate 以前被称为 journalism，提供丰富的文档、代码仓库和问题追踪系统，方便用户使用和反馈。

• asheeshcric/awesome-contrastive-self-supervised-learning 这是一个关于对比自监督学习的论文列表，包含了对比自监督学习领域的最新研究成果，涵盖了各种主题，例如对比学习的应用、对比学习的理论基础、对比学习的攻击和防御等。该项目还提供了论文的链接和代码链接，方便用户学习和研究。

• IRkernel/IRkernel IRkernel是Jupyter Notebook的原生R内核，允许用户在Jupyter环境中直接运行R代码。它需要Jupyter和R环境，安装方便，可通过R包管理器安装并注册内核。用户可自定义内核名称，支持多版本R环境的配置，并提供多种启动方式，包括命令行和Docker容器。

• openvinotoolkit/openvino 用于优化和部署 AI 推理的开源工具包，提高计算机视觉、自动语音识别、自然语言处理和其他常见任务中的深度学习性能。使用通过 TensorFlow、PyTorch 等流行框架训练的模型。减少资源需求，并在从边缘到云的一系列英特尔®平台上高效部署。

• tensorly/tensorly TensorLy是一个用Python编写的张量学习库，旨在简化并提供张量分解、张量学习和张量代数操作。它支持NumPy、PyTorch、JAX、TensorFlow、CuPy和Paddle等后端，可以在CPU或GPU上高效运行。用户可以通过pip或conda安装TensorLy，并根据需要选择不同的后端。

• SimonBlanke/Hyperactive Hyperactive是一个优化和数据收集工具箱，方便快捷地对计算量大的模型进行原型设计。它易于学习，但功能强大，支持多种优化算法，并提供数据可视化功能，帮助用户快速找到最佳模型参数。Hyperactive还支持并行计算，加速模型训练过程。

• HarisIqbal88/PlotNeuralNet Latex代码生成神经网络图，适用于报告和演示。包含FCN-8、FCN-32和Holistically-Nested Edge Detection等网络示例。支持Ubuntu和Windows系统安装。已实现Python接口，待添加简易图例功能、更多层形状及RNN示例。使用方法详见examples目录或Python示例代码。

• sjwhitworth/golearn GoLearn是一个用Go语言编写的机器学习库，旨在提供简单易用且高度可定制的功能。它实现了scikit-learn的Fit/Predict接口，支持多种评估方法和数据处理工具，方便用户进行模型选择和性能评估。该项目正在积极开发中，欢迎用户反馈和参与。

• tensorchord/envd envd是一个命令行工具，用于创建基于容器的 AI/ML 开发环境。它使用简单的 Python 代码来定义环境所需软件包，并通过 envd up 命令快速构建隔离的开发环境。envd 支持本地和云端部署，并与 OCI 镜像规范兼容，可以轻松共享和部署环境。

• PytorchLightning/metrics PyTorch原生的函数和度量模块的集合，用于简单的性能评估。可以使用常见的指标，如准确性，召回率，精度，AUROC, RMSE, R²等，或者创建你自己的指标。支持超过25个指标，并不断增加更多通用任务和特定领域的标准(目标检测，NLP等)。

• pydata/xarray xarray是一个Python库，用于处理N维标记数组和数据集。它结合了NumPy的计算能力和pandas的数据结构，提供高效的N维数据分析工具，支持多种数据格式，并具有强大的标签和元数据处理功能，方便进行科学计算和数据可视化。

• SimonBlanke/Gradient-Free-Optimizers 该项目提供了一套简单可靠的无梯度优化算法，适用于数值离散搜索空间，包括局部、全局、基于种群和顺序优化技术。项目包含多种优化算法，并提供易于使用的接口，方便用户在不同场景下选择合适的算法进行优化。

• saulpw/visidata 用于表格数据的交互式多功能工具。它将电子表格的清晰度、终端的效率和 Python 的强大功能结合到一个轻量级实用程序中，可以轻松处理数百万行。VisiData 支持 tsv、csv、sqlite、json、xlsx （Excel）、hdf5 和许多其他格式。

• google/model_search 帮助研究者自动、高效地开发最佳机器学习模型，谷歌开源了一个不针对特定领域的 AutoML 平台。该平台基于 TensorFlow 构建，非常灵活，既可以找出最适合给定数据集和问题的架构，也能够最小化编程时间和计算资源。

• instill-ai/instill-core Inthrow Core 是一款用于数据、模型和管道编排的全栈 AI 基础设施工具，旨在简化构建多功能 AI 优先应用程序的各个方面。访问 Instill Core 很简单，无论您是选择 ☁️ Instill、Cloud 还是通过 instill-core 存储库进行自托管。

• pytorch/tnt TNT是一个轻量级的 PyTorch 训练工具和实用程序库，提供了一系列功能，包括训练循环、指标、数据加载器、可视化工具等，旨在简化 PyTorch 训练流程。它可以通过 pip 或 conda 安装，并支持从 master 分支安装最新版本。

• sepandhaghighi/pycm PyCM是一个用 Python 编写的多类混淆矩阵库，支持输入数据向量和直接矩阵，是模型评估的工具，支持大多数类别和整体统计参数。PyCM 是混淆矩阵的瑞士军刀，主要针对需要各种指标来评估预测模型的数据科学家。

• kserve/kserve 提供了一个 Kubernetes 自定义资源定义，用于在任意框架上提供机器学习 （ML） 模型。它旨在通过为 Tensorflow、XGBoost、ScikitLearn、PyTorch 和 ONNX 等常见 ML 框架提供高性能、高抽象的接口来解决生产模型服务用例。

• RAPIDS Open GPU Data Science RAPIDS 开放 GPU 数据科学库。cuDF - GPU DataFrame Library GPU数据表库。cuML - RAPIDS Machine Learning Library RAPIDS 机器学习库。cuGraph - RAPIDS Graph Analytics Library RAPIDS 图分析库。cuSignal - RAPIDS Signal Processing Library RAPIDS信号处理库

• chenzomi12/DeepLearningSystem 跟大家一起探讨和学习人工智能、深度学习的系统设计，而整个系统是围绕着 ZOMI 在工作当中所积累、梳理、构建 AI 系统全栈的内容。希望跟所有关注 AI 开源项目的好朋友一起探讨研究，共同促进学习讨论。

• bleedline/aimoneyhunter ai副业赚钱资讯信息的大合集，将在全网搜索并整理ai副业赚钱的相关方法、技术、工具、以及一些可以赚钱的平台和渠道。 期望能在AI时代，打破信息茧房，利用AI智能化做副业，赚取工作之余的额外收益。

• openxla/xla 适用于 GPU、CPU 和 ML 加速器的机器学习编译器。XLA 编译器从 PyTorch、TensorFlow 和 JAX 等流行的 ML 框架中获取模型，并对其进行优化，以便在不同的硬件平台（包括 GPU、CPU 和 ML 加速器）上实现高性能执行。

• neuralmagic/sparseml SparseML是一个开源模型优化工具包，它允许您使用剪枝、量化和蒸馏算法创建推理优化的稀疏模型。使用 SparseML优化的模型可以导出到 ONNX 并与 DeepSparse 一起部署，以便在 CPU 硬件上实现 GPU 级别的性能。

• cleanlab/cleanlab 通过自动检测 ML 数据集中的问题来帮助您清理数据和标签。为了促进对混乱的真实数据进行机器学习，这个以数据为中心的 AI 包使用现有模型来估计数据集问题，这些问题可以修复以训练更好的模型。

• lancedb/lance 用于 ML 的现代列式数据格式，并在 LLMs Rust 中实现。只需 2 行代码即可从 parquet 转换，随机访问、矢量索引和数据版本控制速度提高 100 倍。兼容 Pandas、DuckDB、Polars、Pyarrow，还有更多集成即将推出。

• openai/triton OpenAI的Triton是一种类 Python 的开源编程语言。能够高效编写 GPU 代码。它可以用不到 25 行代码写出与 cuBLAS 性能相匹配的 FP16 矩阵乘法内核。此外，使用 Triton 成功生成比同类实现效率高 2 倍的内核。

• dataease/dataease 开源的数据可视化分析工具，帮助用户快速分析数据并洞察业务趋势，从而实现业务的改进与优化。DataEase 支持丰富的数据源连接，能够通过拖拉拽方式快速制作图表，并可以方便的与他人分享。

• mosaicml/composer 将神经网络训练速度提高 7 倍 更低的成本和更高的准确度更快地训练神经网络。我们已经实现了两打以上的加速方法，只需几行代码即可应用于您的训练循环，或与我们的内置 Trainer 一起使用。

• nvdla/hw NVIDIA 深度学习加速器 (NVDLA) 是一种免费的开放式架构，它促进了设计深度学习推理加速器的标准方法。凭借其模块化架构，NVDLA 具有可扩展性、高度可配置性，并且旨在简化集成和可移植性。

• annoviko/pyclustering pyclustering是一个 Python 和 C++ 数据挖掘库，提供聚类算法、振荡网络和神经网络的实现。它包含 Python 和 C++ 版本，并支持Linux、Windows 和 MacOS 操作系统。该库不再维护，建议使用其他替代方案。

• tensorlayer/TensorLayerX 跨平台开发框架，支持TensorFlow, Pytorch, MindSpore, PaddlePaddle, OneFlow和Jittor，用户不需要修改任何代码即可以运行在各类操作系统和AI硬件上（如Nvidia-GPU 和 Huawei-Ascend），并支持混合框架的开发。

• tensorflow/tensorboard TensorBoard 是一套 Web 应用程序，用于检查和了解 TensorFlow 运行和图表。TensorBoard 设计为完全离线运行，无需访问互联网。例如，这可能位于您的本地计算机上、公司防火墙后面或数据中心中。

• virgili0/Virgilio 开源计划，旨在指导和指导数据科学领域的任何人。我们的愿景是让每个人都有机会参与这个领域，从实践者开始，获得新技能，并学会在无限的资源网络中导航，并找到对您有用的资源。

• dreamquark-ai/tabnet PyTorch实现的TabNet，一种可解释的表格学习方法，适用于二分类、多分类和回归问题，支持注意力机制和自定义注意力组，可通过pip或conda安装，提供Jupyter Notebook示例，适用于CPU和GPU环境。

• apache/incubator-tvm 用于深度学习系统的编译器堆栈。它旨在缩小以生产力为中心的深度学习框架与以性能和效率为重点的硬件后端之间的差距。TVM与深度学习框架一起使用，以提供对不同后端的端到端编译

• numpy/numpy 使用 Python 进行科学计算的基础包。它提供：一个强大的 N 维数组对象、复杂的（广播）功能、用于集成 C/C++ 和 Fortran 代码的工具、有用的线性代数、傅里叶变换和随机数功能。

• OpenRefine/OpenRefine 基于 Java 的强大工具，它允许您加载数据、理解数据、清理数据、协调数据，并使用来自 Web 的数据进行扩充。所有这些都来自网络浏览器以及您自己计算机的舒适性和隐私性。

• scutan90/DeepLearning-500-questions 深度学习500问，以问答形式对常用的概率知识、线性代数、机器学习、深度学习、计算机视觉等热点问题进行阐述，以帮助自己及有需要的读者。 分为18个章节，50余万字。

• mlech26l/keras-ncp 设计灵感直接来自秀丽隐杆线虫 由感官神经元接收环境信息、而后经过中间神经元，传递给指令神经元进而形成决策信息，最后由动作神经元完成决策的执行并完成动作。

• scipy/scipy SciPy（发音为“Sigh Pie”）是一款用于数学、科学和工程的开源软件。它包括用于统计、优化、积分、线性代数、傅里叶变换、信号和图像处理、常微分方程求解器等模块。

• MLNLP-World/MIT-Linear-Algebra-Notes 该项目是《线性代数公开课：矩阵运算及其应用》的中文笔记，版本v0.1.0，旨在辅助学习MIT线性代数课程。项目包含课程概述、课程资源、笔记、团队成员和贡献者信息。

• google-research/tuning_playbook 系统地最大化深度学习模型性能的手册。重点是超参数调优的过程。我们涉及深度学习训练的其他方面，例如管道实现和优化，但我们对这些方面的处理并不打算完整。

• OpenMined/PySyft 用于安全和私有深度学习的Python库。PySyft使用联合学习，差分隐私和加密计算（例如PyTorch和TF中的多方计算 (MPC) 和同态加密 (HE) 将模型训练中的私人数据进行解耦。

• guipsamora/pandas_exercises 练习python Pandas库， 名字衍生自术语 ”panel data”（面板数据）和 ”Python data analysis”（Python 数据分析），提供高性能、易于使用的数据结构和数据分析工具。

• dropreg/R-Drop 填补Dropout缺陷，简单又有效的正则方法。在每个 mini-batch 中，每个数据样本过两次带有 Dropout 的同一个模型，R-Drop 再使用 KL-divergence 约束两次的输出一致。

• yzhao062/combo 用于机器学习模型组合的 Python 工具箱。模型组合可以被认为是整体学习的子任务，并且已被广泛用于诸如Kaggle [3]之类的现实任务和数据科学竞赛中。

• ELS-RD/kernl 第一个使用 OpenAI Triton 编写的 OSS 推理引擎，这是一种由 OpenAI 设计的新语言，可以更轻松地编写 GPU 内核。每个内核不到200行代码，易于理解和修改。

• whylabs/whylogs 用于机器学习模型和数据管道的开源数据记录库。提供对数据质量和模型性能随时间变化的可见性。支持隐私保护数据收集，确保安全性和稳健性。

• zml/zml 在 ZML，我们正在高性能 AI 推理堆栈之上创建令人兴奋的 AI 产品。我们的堆栈专为生产而构建，使用令人惊叹的 Zig 语言、MLIR 和 Bazel 的强大功能。

• sfu-db/dataprep Python 库，有助于自动化探索性数据分析过程。它在创建数据分析报告时很有用，它还具有 3 个用于绘制图形、绘制缺失数字和数据相关性的功能。

• great-expectations/great_expectations 由数据工程师设计并为数据工程师设计的数据质量平台。它可以帮助您快速、清晰地发现问题，同时还可以更轻松地与非技术利益相关者协作。

• China-UK-ZSL/Resources_for_KZSL KZSL：对知识驱动的零样本学习进行基准测试.用于零样本图像分类 ( ZS-IMGC)、零样本关系提取 ( ZS-RE) 和零样本知识图 (KG) 完成 ( ZS-KGC )

• ucbrise/actnn PyTorch的激活压缩训练框架。在同样内存限制下，通过使用 2 bit 激活压缩，可将 batch size 扩大 6-14 倍，将模型尺寸或者输入图片扩大 6-10 倍。

• Jianf-Wang/RSG 可以在训练过程中生成稀有类样本，并且可以与任何骨干网络相结合。RSG 仅用于训练阶段，因此在测试阶段不会给骨干网带来额外的负担。

• haifengl/smile Java和Scala中的快速而全面的机器学习，NLP，线性代数，图形，插值和可视化系统。凭借先进的数据结构和算法，Smile 可提供最先进的性能。

• salesforce/OmniXAI 用于可解释 AI (XAI) 的 Python 机器学习库，提供全向可解释 AI 和可解释机器学习功能，以解决实践中解释模型做出的决策时的许多痛点。

• NLP-LOVE/ML-NLP 机器学习(Machine Learning)、深度学习(Deep Learning)、NLP面试中常考到的知识点和代码实现，也是作为一个算法工程师必会的理论基础知识。

• NVIDIA/nvidia-container-toolkit NVIDIA 容器工具包允许用户构建和运行 GPU 加速容器。该工具包包括一个容器运行时库和实用程序，用于自动配置容器以利用 NVIDIA GPU。

• scikit-learn-contrib/hdbscan 用无监督学习来查找数据集的集群聚类或密集区域的工具。主要算法是HDBSCAN。该算法的高性能实现，以及用于分析结果聚类的工具。

• Tencent/WeChat-TFCC C++深入学习推理框架。提供以下工具包，便于您开发和部署训练 DL 模型：TFCC深度学习推理库的核心、TFCC 代码生成器、TFCC 运行时。

• huggingface/optimum 性能优化工具，AI 生态发展迅速，越来越多的专用硬件及其优化每天都在涌现,可实现在目标硬件上训练和运行模型的最高效率。

• allegroai/clearml ClearML - 自动神奇的 CI/CD，可简化您的 AI 工作负载。实验管理、数据管理、管道、编排、调度和服务在一个 MLOps/LLMOps 解决方案中

• swyxio/ai-notes 软件工程师了解新 AI 开发速度的说明。用latent.space 编写和产品头脑风暴的数据存储，但已清理 /Resources 文件夹下的规范引用。

• VowpalWabbit/vowpal_wabbit 机器学习系统，它通过在线、哈希、allreduce、reductions、learning2search、active 和交互式学习、Bandit等技术推动了机器学习的前沿。

• eriklindernoren/ML-From-Scratch 从头开始机器学习。机器学习模型和算法的裸骨 NumPy 实现，重点关注可访问性。旨在涵盖从线性回归到深度学习的所有内容。

• BayesWitnesses/m2cgen 将 ML 模型转换为零依赖的本机代码（Java、C、Python、Go、JavaScript、Visual Basic、C#、R、PowerShell、PHP、Dart、Haskell、Ruby、F#、Rust）

• NVIDIA/DeepLearningExamples 按模型组织的最先进的深度学习脚本 - 易于训练和部署，在企业级基础架构上具有可重现的准确性和性能。最新 NVIDIA 示例。

• YyzHarry/imbalanced-regression 深度不平衡回归（DIR）旨在从具有连续目标的不平衡数据中学习，解决某些区域的潜在缺失数据，并推广到整个目标范围。

• cbamls/AI_Tutorial 精选机器学习，NLP，图像识别， 深度学习等人工智能领域学习资料，搜索，推荐，广告系统架构及算法技术资料整理。

• facebookincubator/AITemplate Python 框架，可将神经网络渲染为高性能 CUDA/HIP C++ 代码。 专门用于 FP16 TensorCore（NVIDIA GPU）和 MatrixCore（AMD GPU）推理。

• activeloopai/Hub AI的数据集格式。为深度学习构建、管理和可视化数据集。将数据实时流式传输到PyTorch/TensorFlow并对其进行版本控制。

• christianversloot/machine-learning-articles 关于机器学习的文章，存档自 MachineCurve.com。在 2019 年 5 月至 2022 年 2 月期间撰写了这些关于 peroid 机器学习的文章。

• microsoft/hummingbird 将训练有素的机器学习模型编译为张量计算，以加快推理速度。 用于将经过训练的传统ML模型编译为张量计算的库。

• vikasverma1077/manifold_mixup 数据增强⽅法,目标是通过插入示例的隐藏状态来学习鲁棒的特征。 我们的方法学习到的表征更具判别性和紧凑性。

• heheda12345/MagPy MagPy 是 PyTorch 程序的 JIT 编译器。它可以从 PyTorch 程序中提取运算符图，并使用各种深度学习图编译器来优化图。

• CamDavidsonPilon/Probabilistic-Programming-and-Bayesian-Methods-for-Hackers 又名“黑客的贝叶斯方法”：介绍贝叶斯方法+概率编程，以计算/理解为先，数学为第二的观点。一切都在纯python

• PaddlePaddle/PaddleHub 基于PaddlePaddle的真棒预训练模型工具包。（400+模型，包括图像，文本，音频，视频和跨模态，易于推理和服务）

• rasbt/deeplearning-models 各种深度学习架构、模型和技巧的集合。Jupyter Notebooks中TensorFlow和PyTorch的深度学习架构、模型和技巧的集合。

• vespa-engine/vespa 开放的大数据服务引擎。开放的大数据服务引擎 - 在服务时存储、搜索、组织和对大数据进行机器学习推理。

• PKU-DAIR/mindware 一个高效的开源 AutoML 系统，用于自动化机器学习生命周期，包括特征工程、神经架构搜索和超参数调整。

• rayon-rs/rayon Rust 的数据并行库。它非常轻巧，可以轻松地将顺序计算转换为并行计算。它还保证了数据竞争的自由。

• wuba/dl_inference 通用深度学习推理工具，可在生产环境中快速上线由TensorFlow、PyTorch、Caffe框架训练出的深度学习模型。

• arogozhnikov/Einops 深度学习操作被彻底改造（用于 pytorch、tensorflow、jax 等）. einops(爱因斯坦标记法),让代码可读性更强.

• Mohitkr95/Best-Data-Science-Resources 该存储库包含最好的数据科学免费精选资源，可为您提供所有行业驱动的技能和面试准备工具包。

• Tencent/TNN 移动端高性能、轻量级推理框架，同时拥有跨平台、高性能、模型压缩、代码裁剪等众多突出优势

• tracel-ai/burn 使用 Rust 构建的新的综合动态深度学习框架，其主要目标是极高的灵活性、计算效率和可移植性。

• janishar/mit-deep-learning-book-pdf 麻省理工学院深度学习书 PDF 格式（完整和部分），作者：Ian Goodfellow、Yoshua Bengio 和 Aaron Courville

• guofei9987/scikit-opt 强大的启发式算法Python模块 遗传算法 粒子群优化 模拟退火 蚁群算法 免疫算法 人工鱼群算法

• amusi/Deep-Learning-Interview-Book 深度学习面试宝典（含数学、机器学习、深度学习、计算机视觉、自然语言处理和SLAM等方向）

• apachecn/pytorch-doc-zh Pytorch 中文文档,PyTorch 是一个针对深度学习, 并且使用 GPU 和 CPU 来优化的 tensor library (张量库)

• geohot/tinygrad 不到1000行的深度学习框架，麻雀虽小，但五脏俱全，这个深度学习框架使用起来和PyTorch类似

• PaddlePaddle/models 飞桨产业级开源模型库，官方维护，PaddlePaddle支持，包括CV、NLP、Speech、Rec、TS、大模型等。

• ContrastiveSR/Contrastive_Learning_Papers 对比学习的相关论文列表。内容包括：计算机视觉、NLP、推荐系统、图模型等方面的应用。

• serge-sans-paille/pythran 将 Python 代码转成 C++ 代码执行 一个 AOT (Ahead-Of-Time - 预先编译) 编译器，大幅度提升性能。

• jxhe/unify-parameter-efficient-tuning 参数高效迁移学习 (PETL) 方法仅调整少量（额外）参数以使大型预训练模型适应下游任务。

• AtsushiSakai/PythonRobotics 包括了机器人设计中常用的定位算法、测绘算法、路径规划算法、SLAM 、路径跟踪算法。

• mars-project/mars 基于张量的统一框架，用于大规模数据计算，可扩展numpy，pandas，scikit-learn和Python函数。

• 4paradigm/OpenMLDB 一个开源机器学习数据库，它提供了一个计算一致特征的特征平台，用于训练和推理。

• microsoft/nnfusion 灵活高效的深度神经网络（DNN）编译器，可从DNN模型描述生成高性能的可执行文件。

• lanpa/tensorboardX PyTorch的张量板（以及Chainer，MXNET，Numpy等）。使用简单的函数调用编写张量板事件。

• visenger/awesome-mlops 机器学习操作 (MLOps)，可自动执行并加速机器学习生命周期。精选的参考文献列表。

• Unstructured-IO/unstructured 开源库和 API，用于构建用于标记、训练或生产机器学习管道的自定义预处理管道。

• pola-rs/polars 速度极快的 DataFrames 库，使用 Apache Arrow Columnar Format 作为内存模型在 Rust 中实现。

• apachecn/AiLearning AiLearning: 机器学习 - MachineLearning - ML、深度学习 - DeepLearning - DL、自然语言处理 NLP

• PaddlePaddle/Paddle 『飞桨』核心框架，深度学习&机器学习高性能单机、分布式训练和跨平台部署

• yuanming-hu/taichi_mpm 带有切割和耦合（CPIC）的高性能MLS-MPM（基于移动最小二乘法的物质点法）求解器

• BoltzmannEntropy/interviews.ai 深度学习面试书：数百个完全解决的工作面试问题，来自 AI 的广泛关键主题。

• mljar/mljar-supervised 用于表格数据 AutoML 的 Python 包，具有特征工程、超参数优化、解释和自动文档

• vaexio/vaex 适用于Python的核外DataFrame，以每秒十亿行的速度可视化和探索大型表格数据

• bojone/keras_recompute 通过重计算来节省显存，参考论文《Training Deep Nets with Sublinear Memory Cost》。

• plotly/dash 下载量最大，最值得信赖的Python框架，用于构建ML和数据科学Web应用程序。

• google-deepmind/sonnet 基于 TensorFlow 2 构建的库，旨在为机器学习研究提供简单、可组合的抽象。

• polyaxon/traceml 用于机器学习/数据跟踪、可视化、可解释性、漂移检测和仪表板的引擎。

• huggingface/datasets 最大的 ML 模型即用型数据集中心，提供快速、易用和高效的数据处理工具

• roboticcam/machine-learning-notes 不间断更新的机器学习，概率模型和深度学习的讲义(2000+页)和视频链接

• BinRoot/TensorFlow-Book 随附的 Machine Learning with TensorFlow 源代码。请参阅本书以获取分步说明。

• skorch-dev/skorch 综合scikit-learn和PyTorch的机器学习库，可以实现sklearn和PyTorch高效兼容。

• flyteorg/flyte 可扩展且灵活的工作流编排平台，可无缝统一数据、ML 和分析堆栈。

• MingchaoZhu/DeepLearning 该书为《深度学习》(花书) 数学推导、原理剖析与源码级别代码实现

• microsoft/Semi-supervised-learning 统一的半监督学习基准，可应用于人脸识别、语音识别和音频分类

• marcotcr/lime LIMELocal Interpretable Model-agnostic Explanations被用作解释机器学习模型。

• huggingface/candle Rust 的极简主义 ML 框架，专注于性能（包括 GPU 支持）和易用性。

• davisking/dlib 用于在 C++ 中制作真实世界机器学习和数据分析应用程序的工具包

• Visualize-ML/Book4_Power-of-Matrix Book_4_《矩阵力量》 | 鸢尾花书：从加减乘除到机器学习；上架！

• ctgk/PRML 实现Bishop的书“模式识别和机器学习”中描述的算法的Python代码

• rasbt/python-machine-learning-book “Python Machine Learning （1st edition）” 一书代码存储库和信息资源

• metabase/metabase 以最简单、快捷的方式为公司中的每个人提供商业智能和分析

• probml/pml-book “概率机器学习”——凯文·墨菲 （Kevin Murphy） 的系列丛书

• academic/awesome-datascience 很棒的数据科学存储库，用于学习和应用现实世界的问题。

• dair-ai/ml-visuals 包含图形和模板，重复使用和自定义以改进您的科学写作。

• ahkarami/Deep-Learning-in-Production 有关在生产中部署基于深度学习的模型的有用说明和参考。

• MegEngine/MegCC 一个运行时超轻量，高效，移植简单的深度学习模型编译器

• dabl/dabl 数据分析基线库，当前主要侧重于探索性可视化和预处理。

• awslabs/autogluon 为文本、图像、表格数据开发的自动机器学习库（AutoML）。

• nvidia/TensorRT C++库，用于对 NVIDIA GPU 和深度学习加速器进行高性能推论。

• mindsdb/mindsdb 使用 SQL语法，在数据库和数据仓库启用机器学习工作流。

• BrainJS/brain.js GPU 加速了适用于浏览器和 Node.js 的 JavaScript 中的神经网络

• bentoml/BentoML ML模型服务框架.创建部署和扩展机器学习服务变得容易。

• iterative/dvc Data 版本控制、用于数据和模型的 Git、机器学习实验管理

• borgwang/tinynn 用 Python3 编写的轻量级深度学习框架（用于学习目的）。

• microsoft/EdgeML Microsoft Research India开发的边缘设备提供了机器学习算法。

• evidentlyai/evidently 在验证或生产监控期间分析机器学习模型的交互式报告。

• 4paradigm/AutoX 高效的 automl 工具，针对具有表格数据的数据挖掘任务。

• ashleve/lightning-hydra-template PyTorch Lightning + Hydra。一个非常用户友好的 ML 实验模板。

• Visualize-ML/Book3_Elements-of-Mathematics Book_3_《数学要素》 | 鸢尾花书：从加减乘除到机器学习

• esa/pagmo2 大规模并行优化的科学库 生物启发式算法和进化算法

• pytorch/opacus Opacus是一个库，可以使用不同的隐私训练PyTorch模型。

• mit-han-lab/mcunet IoT硬件上精简的深度学习库 Tiny Deep Learning on IoT Devices

• aws/sagemaker-python-sdk 用于在 Amazon SageMaker 上训练和部署机器学习模型的库

• Netflix/metaflow 轻松构建和管理现实生活中的 ML、AI 和数据科学项目

• XuezheMax/apollo Apollo：用于非凸随机优化的自适应参数对角拟牛顿法

• merrymercy/awesome-tensor-compilers 张量计算和深度学习的出色编译器项目和论文列表。

• karpathy/micrograd 微型标量自动求导引擎，类似PyTorch API的神经网络库

• apple/coremltools 包含用于 Core ML模型转换、编辑和验证的支持工具。

• tensorflow/tfjs WebGL 加速的 JavaScript 库，用于训练和部署 ML 模型。

• PyTorchLightning/PyTorch-lightning 基于Pytorch的轻量高级计算框架，相当于Keras框架。

• fbdesignpro/sweetviz 用一行代码可视化和比较数据集、目标值和关联。

• AutoViML/AutoViz 使用一行代码自动可视化任何大小的任何数据集。

• Kanaries/pygwalker 将 pandas 数据帧转换为交互式 UI 以进行可视化分析

• teddykoker/torchsort 快速可微分排序算法PyTorch包，配有自定义C ++和CUDA

• HumanSignal/label-studio 具有标准化输出格式的多类型数据标注和标注工具

• ml-tooling/best-of-ml-python 一个令人赞叹的python机器学习排名表，每周更新。

• gradio-app/gradio 在 3 分钟内使用 Python 为您的机器学习模型创建 UI

• Oneflow-Inc/oneflow OneFlow是一个以性能为中心的开源深度学习框架。

• jonasrauber/eagerpy 编写与PyTorch，TensorFlow，JAX和NumPy本地兼容的代码

• statsmodels/statsmodels Statsmodels：Python 中的统计建模和计量经济学库。

• Aimhubio/Aim 一个超级简单的记录、查找、比较AI实验的库。

• aamini/introtodeeplearning 麻省理工学院 6.S191 实验室资料：深度学习简介

• scikit-hep/awkward-1.0 使用类似 NumPy 的习语来处理类似 JSON 的数据。

• pyro-ppl/pyro 基于PyTorch作为后端的通用概率编程语言 (PPL)。

• paperswithcode/ai-deadlines 倒数计时，用于跟踪CV/NLP/ML/RO 会议截止日期。

• kaidic/LDAM-DRW 使用标签分布感知边际损失学习不平衡数据集

• ZhiningLiu1998/mesa 设计元知识驱动的采样器解决类别不平衡问题

• interpretml/interpret 训练可解释的机器学习模型和解释黑匣子系统

• probml/pyprobml Kevin Murphy的“概率机器学习”一书的Python代码

• luwill/Machine_Learning_Code_Implementation 机器学习算法的数学推导和纯Python代码实现。

• RadeonOpenCompute/ROCm ROCm - 用于 HPC 和超大规模 GPU 计算的开源平台

• sql-machine-learning/sqlflow 连接 SQL 引擎的桥接，与机器学习工具包连接

• Speedml/speedml 一个Python包，用于加速启动机器学习项目。

• zjhellofss/KuiperInfer 带你从零实现一个高性能的深度学习推理库

• idrl-lab/idrlnet 基于内嵌物理知识神经网络的开源求解框架

• ZuzooVn/machine-learning-for-software-engineers 学习成为机器学习工程师的完整日常计划。

• scikit-learn-contrib/MAPIE 用于估计预测间隔的 scikit-learn 兼容模块。

• bokeh/bokeh 浏览器中的交互式数据可视化，来自 Python

• nterpretml/interpret 适合可解释的模型。 解释黑盒机器学习。

• JuliaLang/julia 用于科学计算的高级、高性能动态语言。

• softsys4ai/FlexiBO 基于成本感知的多目标优化深度神经网络

• jindongwang/MachineLearning 一些关于机器学习的学习资料与研究介绍

• openmlsys/openmlsys-zh 《机器学习系统：设计与实现》- 中文版

• terryum/awesome-deep-learning-papers 被引用最多的深度学习论文 on Oct 19, 2018

• ydataai/ydata-profiling 从 pandas DataFrame 对象创建 HTML 分析报告

• poloclub/cnn-explainer 使用交互式可视化学习卷积神经网络。

• doccano/doccano 面向机器学习从业者的开源注释工具。

• streamlit/streamlit 用 Python 构建数据应用程序的最快方法

• alexmojaki/heartrate 调试 Python程序执行的简单实时可视化

• e-tony/best-of-ml-rust 一个令人赞叹的Rust机器学习排名表。

• DataCanvasIO/DeepTables DeepTables：表格数据的深度学习工具包

• google/tensorstore 用于读取和写入大型多维数组的库。

• ml-tooling/best-of-ml-python 很棒的机器学习Python库的排名列表。

• matazure/mtensor 一个tensor计算库, 支持cuda的延迟计算

• thuwyh/InferLight 提高模型的线上推理吞吐量近2.5倍。

• automl/auto-sklearn 使用 scikit-learn 进行自动化机器学习

• dotnet/machinelearning .NET 的开源和跨平台机器学习框架。

• NVIDIA-AI-IOT/torch2trt 易于使用的 PyTorch 到 TensorRT 转换器

• facebookresearch/bitsandbytes 用于 8 位优化器和量化例程的库。

• modin-project/modin 通过更改一行代码来扩展加速pandas

• pycaret/pycaret Python中的开源，低代码机器学习库

• neuronika/neuronika 纯Rust的张量和动态神经网络库。

• alibaba/MNN 轻量级的深度神经网络推理引擎

• NUAA-AL/ALiPy 基于Python实现的主动学习工具包

• ShichenXie/scorecardpy Scorecard Development in python, 评分卡

• MAIF/shapash 非常炫酷的模型解释性工具包。

• rougier/numpy-100 100 个 numpy 练习（含解决方案）

• google/trax 代码更清晰的神经网络代码库

• geekinglcq/CDCS CDCS 中国数据竞赛优胜解集锦

• cupy/cupy 使用 CUDA 加速类似 NumPy 的 API

• mlpack/mlpack C++ 快速、灵活的机器学习库

• luwill/machine-learning-code-writing luwill/machine-learning-code-writing

• geatpy-dev/geatpy 高性能遗传进化算法工具箱

• man-group/dtale pandas数据结构的可视化工具

• tensorflow/rust TensorFlow 的 Rust 语言绑定。

• dustinvtran/ml-videos 机器学习视频资源的集合

• lawlite19/MachineLearning_Python 机器学习算法python实现

• MLEveryday/100-Days-Of-ML-Code 100-Days-Of-ML-Code中文版

• tensorflow/ranking TensorFlow中的排名学习

• lavender28/Credit-Card-Score 申请信用评分卡模型

• csuldw/MachineLearning csuldw/MachineLearning

• facebookresearch/nevergrad 无梯度优化平台

• bfortuner/ml-glossary 机器学习术语表

• rushter/MLAlgorithms 机器学习算法

• andkret/Cookbook 数据工程手册

• scikit-survival 生存分析

分布式机器学习

• TsingZ0/PFLlib PFLlib 是一个用户友好的个性化联邦学习（Personalized Federated Learning, pFL）算法库，旨在为初学者提供一个集成评估平台，以便他们能够开始学习和研究联邦学习（Federated Learning, FL）。该库专注于解决数据和模型的异构性问题，特别是统计异质性，这是由于用户的个性化行为导致的非独立同分布（Non-IID）和数据不平衡现象。PFLlib 包含了多种算法，其中传统联邦学习（Traditional Federated Learning, tFL）和个性化联邦学习（Personalized Federated Learning, pFL）是主要的两种类型。tFL 侧重于共同学习全局模型，而 pFL 则旨在为每个用户学习个性化的模型。PFLlib 提供了34个联邦学习算法，其中包含27个个性化联邦学习算法，涵盖了3大类数据异质场景和20个数据集。PFLlib 的主要目的是降低初学者研究联邦学习的门槛，通过简单的示范指南和代码示例，使新手用户能够快速上手。此外，PFLlib 还支持高效 GPU 内存使用及新增的隐私保护功能，进一步提升了其在实际应用中的可用性和安全性。PFLlib 是一个专门为初学者设计的个性化联邦学习算法库，通过提供多种算法和集成评估平台，帮助用户解决数据和模型的异构性问题，特别是统计异质性问题。

• adap/flower Flower ( flwr ) 是构建联邦学习系统的框架。 Flower 的设计基于一些指导原则：可定制：联邦学习系统从一个用例到另一个用例都有很大差异，Flower 允许根据每个单独用例的需求进行各种不同的配置。可扩展：Flower 源自牛津大学的一个研究项目，因此它是在人工智能研究的基础上构建的，许多组件可以扩展和覆盖以构建新的最先进的系统。与框架无关：不同的机器学习框架具有不同的优势， Flower 可以与任何机器学习框架一起使用，例如PyTorch 、 TensorFlow 、 Hugging Face Transformers 、 PyTorch Lightning 、 scikit-learn 、 JAX 、 TFLite 、 MONAI 、 fastai 、 MLX 、 XGBoost 、 Pandas进行联合分析，甚至原始NumPy进行联合分析喜欢手动计算梯度的用户。可以理解：Flower 的编写考虑到了可维护性。鼓励社区阅读代码库并为代码库做出贡献。

• yahoo/TensorFlowOnSpark TensorFlowOnSpark是一个将 TensorFlow 程序带到 Apache Spark 集群的项目，它结合了 TensorFlow深度学习框架和 Apache Spark/Hadoop 的优势，实现分布式深度学习，支持在 GPU 和 CPU 服务器集群上进行分布式 TensorFlow 训练和推理。它提供了一个与 Spark 兼容的 API，简化了 TensorFlow集群管理，并通过两种数据摄取模式（TensorFlow 和 Spark）支持从 HDFS 或其他来源获取数据，只需少量代码修改即可将现有 TensorFlow 程序迁移到集群，并支持 TensorFlow 的所有功能，包括同步/异步训练、模型/数据并行、推理和 TensorBoard。该项目由 Yahoo 开发，旨在为其 Hadoop 集群提供大规模分布式深度学习能力，并提供单节点 Spark Standalone、YARN 集群和 AWS EC2 等环境的详细文档。

• NVIDIA/apex NVIDIA/apex是一个 PyTorch 扩展库，提供工具简化 PyTorch 中的混合精度和分布式训练。该项目旨在快速提供最新的实用工具，其中一些代码最终将被整合到 PyTorch 主分支。Apex 提供了自动混合精度（Amp）工具，只需修改三行代码即可启用混合精度训练，并提供分布式训练功能，包括 DistributedDataParallel 模块，用于方便的多进程分布式训练，以及 SyncBatchNorm 模块，用于同步批归一化。此外，Apex 还提供检查点功能，用于保存和加载 Amp 训练状态，以确保位精度。需要注意的是，Amp 和 DistributedDataParallel 已被 PyTorch 的原生功能取代，建议使用PyTorch 的 AMP 和 torch.nn.parallel.DistributedDataParallel。

• google/evojax EvoJAX是一个可扩展的、通用的、硬件加速的神经进化工具包。它基于JAX库构建，允许神经进化算法在多个TPU/GPU上并行运行的神经网络中工作。EvoJAX通过将进化算法、神经网络和任务都实现为NumPy来实现非常高的性能，NumPy被即时编译以在加速器上运行。该仓库还包含几个可扩展的EvoJAX示例，用于各种任务，包括监督学习、强化学习和生成艺术，展示了EvoJAX如何在单个加速器上以几分钟的时间运行您的进化实验，而使用CPU则需要数小时或数天。EvoJAX论文：https://arxiv.org/abs/2202.05008（演示[视频](https://youtu.be/TMkft3wWpb8)）。

• sony/nnabla Neural Network Libraries (NNabla) 是一个用于研究、开发和生产的深度学习框架，旨在支持多种平台，包括桌面电脑、高性能计算集群、嵌入式设备和生产服务器。它提供易于使用、灵活且富有表现力的 Python API，并支持静态和动态计算图。NNabla 还提供 CUDA 扩展库以加速 GPU 计算，以及用于推理、神经架构搜索 (NAS) 和强化学习 (RL) 的专用库。此外，它还提供一个 Windows GUI应用程序，名为 Neural Network Console，用于神经网络开发。用户可以通过 pip install nnabla 安装 CPU 版本，并通过 pip install nnabla-ext-cuda116 安装 CUDA 扩展库以实现 GPU 加速。

• weimingwill/awesome-federated-learning 这是一个关于联邦学习的资源库，包含博客、调查、研究论文和项目等内容。该项目旨在帮助用户学习联邦学习，并促进研究和项目开发。项目按研究领域和会议/期刊分类整理论文，并提供一些通用资源，包括博客、调查、基准测试、视频、框架和公司信息。该项目还提供了一个开源的联邦学习平台 EasyFL，方便用户进行实验和原型设计。项目中包含了关于通信效率、系统设计、可信度、去中心化联邦学习、应用、垂直联邦学习和联邦学习与其他技术的结合等方面的研究论文。

• run-house/runhouse Runhouse是一个用于机器学习训练的“无服务器”集群调度和分发工具，它允许您在Python中将Python函数和类分发到您自己的任何云计算基础设施，并像本地一样调用它们。Runhouse支持多种云平台和本地环境，并提供可重复性、可调试性和可扩展性，帮助您在研究和生产环境中快速、高效地进行机器学习开发。它消除了手动操作，并允许您在代码中捕获应用程序和基础设施步骤，从而实现跨团队和环境的精确可重复性。Runhouse还提供了灵活的扩展和成本优化功能，帮助您节省成本。

• mindspore-ai/mindspore MindSpore是一个开源的深度学习训练/推理框架，可用于移动、边缘和云场景。它旨在为数据科学家和算法工程师提供友好的开发体验和高效的执行，并原生支持昇腾 AI 处理器，实现软硬件协同优化。MindSpore 作为全球 AI 开源社区，旨在进一步推动 AI 软件/硬件应用生态系统的开发和丰富。MindSpore 使用自动微分技术，支持两种主流的自动微分技术：算子重载和源代码转换。算子重载在运行时生成梯度图，而源代码转换在编译时进行自动微分转换，支持更复杂的控制流场景。

• apache/singa Apache SINGA是一个分布式深度学习平台，它允许用户在多个机器上训练大型深度学习模型。SINGA 提供了多种编程接口，包括 Python 和C++，并支持多种深度学习框架，如 TensorFlow 和 PyTorch。SINGA 的核心设计理念是模块化和可扩展性，它允许用户轻松地构建和扩展自己的深度学习系统。用户可以访问官方网站 http://singa.apache.org获取更多信息，并通过 https://issues.apache.org/jira/browse/SINGA 提交问题。

• tf-encrypted/tf-encrypted TF Encrypted是一个基于 TensorFlow 的加密机器学习框架，它使用安全多方计算和同态加密技术，在加密数据上进行训练和预测。TF Encrypted旨在让隐私保护机器学习更容易使用，无需用户具备密码学、分布式系统或高性能计算方面的专业知识。该项目基于 TensorFlow 2，支持 eager execution 和 graph execution，提供易于使用的 Keras API 接口，并包含丰富的示例和文档。用户可以通过 pip 安装 TF Encrypted，并使用提供的示例代码进行加密矩阵乘法等操作。

• kubeflow/katib Katib 是一个用于自动化机器学习 (AutoML) 的 Kubernetes 原生项目。 Katib 支持超参数调优、提前停止和神经架构搜索。Katib 是一个与机器学习 (ML) 框架无关的项目。它可以调整以用户选择的任何语言编写的应用程序的超参数，并且本机支持许多机器学习框架，例如TensorFlow 、 Apache MXNet 、 PyTorch 、 XGBoost等。Katib 可以使用任何 Kubernetes自定义资源执行训练作业，并为Kubeflow Training Operator 、 Argo Workflows 、 Tekton Pipelines等提供开箱即用的支持。

• lyhue1991/eat_tensorflow2_in_30_days 该项目旨在帮助学习者在30天内掌握 TensorFlow2.0，提供以“食谱”形式组织的学习内容，包含 Jupyter Notebook 代码示例，并提供中文版本。项目特色在于以“食谱”形式组织学习内容，方便学习者循序渐进地掌握 TensorFlow2.0。该项目适合工程师和学生/研究人员，工程师优先选择 TensorFlow2.0，学生/研究人员优先选择 Pytorch，建议有时间者掌握两者。项目作者认为在工业界 TensorFlow2.0 更受欢迎，而 Pytorch 更适合快速迭代开发和发布。

• intel-analytics/analytics-zoo Analytics Zoo是一个开源的大数据 AI 平台，它提供了一系列功能，将端到端的 AI 扩展到分布式大数据，包括：Orca，用于无缝扩展 TensorFlow 和 PyTorch 以处理大数据（使用 Spark 和 Ray）；RayOnSpark，用于直接在 Big Data 集群上运行 Ray 程序；BigDL 扩展，用于 BigDL 的高级 Spark ML 管道和 Keras 风格的 API；Chronos，用于使用 AutoML 进行可扩展的时间序列分析；PPML（隐私保护机器学习），用于隐私保护的大数据分析和机器学习（实验性）。

• mosaicml/streaming StreamingDataset是一个用于高效神经网络训练的数据流库，专为大型模型的多节点分布式训练而设计，旨在最大限度地提高正确性保证、性能和易用性。它支持各种数据类型，包括图像、文本、视频和多模态数据，并与主要云存储提供商（如 AWS、OCI、GCS、Azure、Databricks 和任何与 S3 兼容的对象存储，例如 Cloudflare R2）兼容，使您能够高效地训练任何地方，而无需考虑训练数据的位置。只需在需要时流式传输所需数据即可。

• chaoyanghe/Awesome-Federated-Learning Awesome-Federated-Learning 是一个精选的联邦学习出版物列表，主要整理自Arxiv，FedML 是一个集研究和生产于一体的联邦学习库，可以帮助用户快速构建和部署联邦学习系统。该项目涵盖了联邦学习领域的基础理论和趋势，以及在顶级机器学习、计算机视觉、自然语言处理和数据挖掘会议（如 ICML、NeurIPS、ICLR、CVPR、ACL、AAAI、KDD）上发表的最新研究成果，例如针对标签不足、数据异构、通信成本等问题的解决方案。

• youngfish42/Awesome-FL Awesome-FL是一个关于联邦学习的资源库，包含论文、框架、数据集、教程和研讨会等信息。它涵盖了联邦学习在不同领域的应用，例如人工智能、机器学习、数据挖掘、安全、计算机视觉、自然语言处理、信息检索、数据库、网络、系统等。该项目还提供了联邦学习在图数据和图神经网络以及表格数据上的资源。项目定期更新，用户可以通过 GitHub 提交问题或请求来建议其他关键资源。

• AmberLJC/FLsystem-paper 该项目是一个关于联邦学习系统论文的精选列表，包含来自大型科技公司（如苹果、谷歌、Meta、微软、阿里巴巴、IBM、英伟达、WeBank等）的系统论文，以及开源框架、边缘/移动设备、联邦计算系统、优化、安全和隐私、真实世界应用、真实世界设备跟踪、调查和一般见解等方面的论文。该项目旨在帮助研究人员和从业人员了解联邦学习系统的最新发展，并提供相关资源。

• inducer/pyopencl PyOpenCL是一个 Python 库，它允许你从 Python 中访问 GPU 和其他大规模并行计算设备。它提供了 RAII 机制，自动错误检查，速度快，并拥有完整的文档和 Wiki。PyOpenCL 支持 Apple、AMD 和 Nvidia 的 OpenCL 实现，并提供简单的安装指南。你可以使用 Conda在 Linux 和 macOS 上安装 PyOpenCL，它也会安装一个可用的 OpenCL 实现。如果你想从源代码构建，你需要 g++/clang、numpy 和一个 OpenCL 实现。

• tensorflow/model-analysis TensorFlow Model Analysis(TFMA) 是一个用于评估 TensorFlow 模型的库，它允许用户在大量数据上以分布式方式评估模型，并使用与训练器中定义的相同指标。这些指标可以在数据的不同切片上计算，并在 Jupyter Notebook 中可视化。TFMA 支持对模型进行切片分析，以便更好地理解模型在不同人群或数据子集上的表现。它还提供了一系列工具，用于评估模型的性能、公平性和鲁棒性。

• cortexlabs/cortex Cortex是一个用于大规模机器学习生产基础设施的开源项目，它允许您在生产环境中部署、管理和扩展机器学习模型。Cortex 支持实时、异步和批处理工作负载，并提供自动集群管理功能，包括自动扩展、抢占实例和环境管理。此外，Cortex 还集成了CI/CD 和可观察性工具，并专门为 AWS 构建，利用 EKS、VPC 和 IAM 等服务。需要注意的是，该项目目前不再由原作者积极维护。

• PrimeIntellect-ai/OpenDiLoCo OpenDiLoCo是一个开源框架，用于全局分布式低通信训练，它允许在多个机器上训练大型模型，同时减少通信开销。该框架利用了Hivemind库进行分布式权重平均，并提供了预构建的Docker镜像，方便用户设置环境。用户可以通过更改 torchrun 参数和 per-device-train-batch-size 来适应不同的机器配置。该项目包含了论文中实验的代码和结果，并提供了详细的实验配置说明。

• awslabs/deequ Deequ是一个基于 Apache Spark 的库，用于定义“数据单元测试”，用于衡量大型数据集中的数据质量。Deequ 可以帮助你发现数据中的错误，例如数据类型错误、缺失值、重复值等，并在数据被用于其他系统或机器学习算法之前及早发现问题。Deequ 可以处理各种表格数据，例如 CSV 文件、数据库表、日志文件等，并利用 Spark 的分布式计算能力高效地处理大型数据集。

• uber/petastorm Petastorm是 Uber ATG 开发的一个开源数据访问库，它允许使用 Apache Parquet格式的 dataset 进行单机或分布式深度学习模型训练和评估。Petastorm 支持 TensorFlow、PyTorch 和 PySpark 等流行的 Python 机器学习框架，也可以在纯 Python 代码中使用。它使用 PySpark 生成dataset，并提供可扩展的数据编解码器，支持标准数据压缩（如 jpeg、png）和自定义编解码器。

• bytedance/fedlearner 字节开源联邦机器学习平台,采用的是一套云原生的部署方案。数据存放在HDFS，用MySQL存储系统数据。通过Kubernetes管理和拉起任务。每个Fedlearner的训练任务需要参与双方同时拉起K8S任务，通过Master节点统一管理，Worker建实现通信。以推荐广告业务为例，联邦机器学习平台的广告主和平台方应该各自管理一套模型展示服务和模型训练服务。

• mpi4py/mpi4py mpi4py是一个 Python 库，提供对消息传递接口 (MPI) 标准的绑定，它基于 MPI-2 C++ 绑定，并利用共享/动态库构建的 MPI 实现（如 MPICH 或 Open MPI）来实现并行计算。mpi4py 支持 Python 3.6 及以上版本和 PyPy 7.2 及以上版本，并提供完善的文档和测试套件，包括 GitHub Actions、Read the Docs、Azure Pipelines、AppVeyor、Circle CI 和 Codecov 等平台上的持续集成测试。

• tensorflow/cloud TensorFlow Cloud提供了一套 API，可以轻松地将 Keras 和 TensorFlow 代码从本地环境的调试和训练迁移到云端的分布式训练。该项目包含 run API和 Tuner，其中 run API 可用于在 Google Cloud Platform 上进行模型训练，通过简单的脚本调用即可自动应用 TensorFlow 的单设备策略，实现大规模训练。Tuner 则可以帮助用户优化模型超参数，提升模型性能。

• dask/distributed DaskDistributed 是一个用于分布式计算的 Python 库，它提供了一个任务调度器，可以将计算任务分配到多个工作节点上执行，从而加速计算速度。该库使用 Dask 的数据结构来管理和协调分布式计算，并提供了一系列工具来简化分布式计算的开发和部署。Dask Distributed 适用于各种计算场景，例如数据分析、机器学习和科学计算。

• FederatedAI/FATE FATE（Federated AI Technology Enabler）是全球首个工业级联邦学习开源框架，使企业和机构能够在保护数据安全和隐私的同时进行数据协作。它实现了基于同态加密和多方计算（MPC）的安全计算协议。FATE支持各种联邦学习场景，现在提供了大量的联邦学习算法，包括逻辑回归、基于树的算法、深度学习和迁移学习。

• dask/dask-ml Dask-ML是一个 Python 库，它使用 Dask 扩展了流行的机器学习库（如 Scikit-Learn 和 XGBoost），以实现可扩展的机器学习。它允许你在大数据集上训练模型，并利用多核 CPU 或分布式集群来加速计算。你可以通过 Dask-ML 在云端实例上尝试使用机器学习，并通过其文档了解更多信息。

• ROCm/tensorflow-upstream TensorFlow ROCm端口是 TensorFlow 的一个版本，它针对 AMD 的 ROCm 平台进行了优化，支持使用 AMD GPU 进行机器学习训练和推理。该项目提供了预编译的 whl 包，用户可以使用 pip 命令安装，并使用 docker 容器快速搭建 ROCm 环境。项目还提供了详细的文档和教程，帮助用户快速上手。

• huggingface/accelerate 一个简单的API，将与多GPUTPU、fp16相关的样板代码抽离了出来，保持其余代码不变。PyTorch 用户无须使用不便控制和调整的抽象类或编写、维护样板代码，就可以直接上手多 GPU 或 TPU。Accelerate 支持的集成包括：CPU 单 GPU 单一节点多 GPU 多节点多 GPU TPU 带有本地 AMP 的 FP16.

• alibaba/FederatedScope 综合性的联邦学习平台，为学术界和工业界的各种联邦学习任务提供方便的使用和灵活的定制。FederatedScope基于事件驱动的架构，集成了丰富的功能集合，以满足联邦学习日益增长的需求，旨在构建一个易于使用的平台，以安全有效地促进学习。

• Oneflow-Inc/libai 基于OneFlow的大规模模型训练开源工具箱。支持丰富的并行训练配置，包括但不限于分布式训练、混合精度训练、后向重计算、ZeRO，多样化的训练技巧，同时支持视觉与自然语言处理任务、简单易用，便于上手。

• hpcaitech/ColossalAI 用于大规模并行训练的统一深度学习系统,具有高效并行化技术的集成大规模模型训练系统。可以让您在几行代码内快速开始分布式训练，通过并行化策略、异构内存管理为深度学习任务加速或者节省显存。

• BaguaSys/bagua 八卦是由快手科技和DS3 Lab共同开发的PyTorch深度学习训练加速框架。目前支持：高级分布式训练算法：用户只需添加几行代码（可选择弹性模式）即可将单个 GPU 上的训练扩展到多 GPU（可能跨多台机器）。

• Xtra-Computing/FedTree 基于树的模型的联合学习系统。它的设计目的是高效、有效和安全。目前具有以下特点:梯度提升决策树的联合训练。多核 CPU 和 GPU 上的并行计算。支持同态加密、安全聚合和差分隐私。支持分类和回归。

• alibaba/Elastic-Federated-Learning-Solution 经过百亿规模工业级场景实战验证的跨互联网企业信息合作的联邦学习框架。EFLS有以下核心特性：云原生支持自定义特征工程——大规模高可用；首开水平聚合，层次聚合双模型——更强大更便捷。

• Qihoo360/XLearning 支持多种机器学习、深度学习框架调度系统。基于Hadoop Yarn完成了对TensorFlow、MXNet、Caffe、Theano、PyTorch、Keras、XGBoost等常用框架的集成，同时具备良好的扩展性和兼容性。

• microsoft/SynapseML 简单和分布式机器学习。基于 Apache Spark 分布式计算框架构建，与 SparkML/MLLib 库共享相同的 API，允许您将 SynapseML 模型无缝嵌入到现有的 Apache Spark 工作流程中。

• horovod/horovod Uber开源的分布式训练框架。它的发展吸取了Facebook ”Training ImageNet In 1 Hour” 与百度 ”Ring Allreduce” 的优点，可为用户实现分布式训练提供帮助。

• FMInference/FlexGen 高吞吐量的生成引擎，用于在GPU内存有限的情况下运行大型语言模型。FlexGen允许通过IO高效分载、压缩和大有效批处理大小生成高吞吐量。

• alibaba/euler 大规模分布式的图学习框架，配合TensorFlow或者阿里内部的XDL等深度学习工具，可以支持数十亿点数百亿边的复杂异构图上进行模型训练。

• ray-project/ray 提供用于构建分布式应用程序的简单通用API的开源框架。Ray与RLlib（可扩展的强化学习库和Tune（可扩展的超参数调优库）打包在一起。

• petuum/adaptdl 一个能动态调整并行度的深度神经网络训练框架。它支持多租户集群管理，可以平衡模型训练等待及完成时间，能够提高资源利用率。

• NousResearch/DisTrO 这是 DisTrO（互联网上的分布式训练）的存储库，这是一系列低延迟分布式优化器，可将 GPU 间通信要求降低三到四个数量级。

• petuum/adaptdl 资源自适应深度学习（DL）训练和调度框架。AdaptDL的目标是使分布式DL在动态资源环境（如共享集群和云）中变得轻松高效。

• Angel-ML/angel 用于大规模机器学习的灵活而强大的参数服务器。基于参数服务器理念的高性能分布式机器学习和图计算平台。

• microsoft/DeepSpeedExamples 此存储库包含各种示例，包括训练、推理、压缩、基准测试和使用 DeepSpeed 的应用程序。

• dask/dask 用Python编写的，是一个灵活的、开源的并行计算库，提供大规模性能 高级并行性。

• sql-machine-learning/elasticdl Kubernetes原生的深度学习框架，支持容错和弹性调度,支持TensorFlow和PyTorch。

• alibaba/Alink Alink是基于Flink的机器学习算法平台，由阿里巴巴计算平台的PAI团队开发。

• kakaobrain/torchgpipe pytorch的可扩展管道并行性库，可有效地训练大型的，消耗内存的模型。

• FedML-AI/FedML 面向研究的联邦学习库。支持分布式计算，移动/IoT设备训练和模拟

• PKU-DAIR/Hetu 针对大规模和自动化分布式训练的高性能分布式深度学习系统。

• microsoft/DeepSpeed 深度学习优化库，它使分布式训练变得容易，高效和有效。

• kubeflow/kubeflow 用于机器学习操作的云原生平台 - 管道、训练和部署。

• youngfish42/Awesome-Federated-Learning-on-Graph-and-Tabular-Data 图形和表格数据相关论文、框架和数据集的联邦学习。

• uber/fiber 简化AI的分布式计算 该项目是实验性的，API不稳定。

• tensorflow/mesh 简化模型并行化 Mesh TensorFlow: Model Parallelism Made Easier

• learning-at-home/hivemind 一个用于在互联网上训练大型神经网络的库

• facebookresearch/fairscale 用于高性能和大规模训练的 PyTorch 扩展。

• microsoft/PersonalizedFL 面向研究的个性化联邦学习代码库

参数优化

• maxpumperla/hyperas Hyperas是一个将 Keras 与 Hyperopt 结合在一起的工具，它简化了Keras 模型超参数优化过程。Hyperas 允许用户使用熟悉的 Keras 语法定义模型，并使用简单的模板标记定义要优化的超参数范围。用户只需要将要优化的参数用双花括号括起来，并选择一个分布来运行算法。例如，可以使用 {{uniform(0, 1)}} 来定义一个在 0 到 1 之间的均匀分布，用于优化 Dropout 层的概率。Hyperas 会自动将这些参数传递给 Hyperopt，并使用指定的算法（如 TPE）进行优化。最后，Hyperas 会返回最佳的超参数组合，以及相应的模型。用户可以通过optim.minimize() 函数运行优化过程，并指定数据生成函数、模型定义函数、算法、最大评估次数和试验对象。Hyperas 提供了完整的示例代码，展示了如何使用它来优化 Keras 模型的各种参数，包括 Dropout 概率、层输出大小、激活函数等。

• aimclub/FEDOT FEDOT是一个开源的自动化建模和机器学习（AutoML）框架，它使用3-Clause BSD许可证发布。FEDOT可以自动生成机器学习管道，用于解决各种现实世界问题，包括分类（二元和多元）、回归、聚类和时间序列预测。FEDOT的核心基于进化方法，它允许用户自定义管道，并支持各种模型和数据类型，包括文本、图像和表格数据。此外，FEDOT还支持广泛使用的机器学习库（如Scikit-learn、CatBoost、XGBoost等），并允许用户集成自定义模型。FEDOT提供了多种超参数调优方法，并支持自定义评估指标和搜索空间。FEDOT不仅限于特定的建模任务，还可以用于解决常微分方程（ODE）或偏微分方程（PDE）等问题。用户可以将生成的管道导出为JSON格式，或与输入数据一起打包为ZIP存档，以确保实验的可重复性。

• salesforce/TransmogrifAI TransmogrifAI是一个基于 Apache Spark 的 AutoML 库，它可以帮助你快速构建模块化、可复用、强类型化的机器学习工作流，并最大限度地减少手动调整。TransmogrifAI 使用 Scala 编写，旨在通过机器学习自动化和 API 来加速机器学习开发人员的生产力，该 API 能够在编译时强制执行类型安全性、模块化和可复用性。TransmogrifAI 能够在几乎 100 倍的时间减少的情况下，实现与手动调整的模型相似的精度。如果你需要一个机器学习库来构建生产就绪的机器学习应用程序、构建无需机器学习博士学位的机器学习模型或构建模块化、可复用、强类型化的机器学习工作流，那么 TransmogrifAI 是你的不二之选。

• reiinakano/xcessiv Xcessiv是一个基于Web的Python工具，用于快速、可扩展和自动化的超参数调整和堆叠集成。它简化了堆叠集成的实现，允许用户定义模型、性能指标和交叉验证过程，并通过点击按钮创建集成。Xcessiv支持Scikit-learn API模型，并利用任务队列架构进行并行超参数搜索。它还集成了TPOT进行自动管道构建，并提供贝叶斯优化、自动保存元特征和贪婪向前模型选择等功能。用户可以将堆叠集成导出为独立的Python文件，以支持多级堆叠。Xcessiv旨在简化堆叠集成的构建，并降低其使用门槛，即使不使用集成功能，它也能有效地管理和比较数百甚至数千个机器学习模型和超参数组合。

• ray-project/tune-sklearn tune-sklearn是一个 Scikit-Learn 的模型选择模块（GridSearchCV、RandomizedSearchCV）的替代方案，它使用最新的超参数调整技术。它与 Scikit-Learn API 兼容，只需修改少量代码即可使用。tune-sklearn 支持贝叶斯优化、HyperBand、BOHB等优化技术，并利用 Ray Tune 进行分布式超参数调整，可在多个核心和机器上并行化交叉验证。tune-sklearn 支持Scikit-Learn 模型，以及 Skorch（Pytorch）、KerasClassifier（Keras）和 XGBoostClassifier（XGBoost）等框架。对于某些估计器，tune-sklearn 可以启用增量训练和提前停止，例如支持“warm_start”的估计器、支持部分拟合的估计器以及 XGBoost、LightGBM 和 CatBoost 模型。

• LiYangHart/Hyperparameter-Optimization-of-Machine-Learning-Algorithms 该项目提供机器学习算法超参数优化/调优方法的实现，包含论文中介绍的理论和实践方法，并提供回归和分类问题的示例代码。项目特色包括：介绍多种超参数优化技术，提供选择优化技术的指南，并提供常用的 Python 库和框架。项目还包含实验结果和开放挑战，帮助用户有效地选择合适的超参数配置，提升机器学习模型的性能。该项目还提供一个完整的自动化机器学习 (AutoML)教程代码，包含自动数据预处理、特征工程、模型选择、超参数优化和模型更新等功能。

• facebook/Ax Ax是一个通用平台，用于理解、管理、部署和自动化自适应实验。它支持贝叶斯优化和bandit优化，并利用 BoTorch 库进行贝叶斯优化。Ax 支持多种类型的实验，包括动态机器学习辅助 A/B 测试和机器学习中的超参数优化。它提供多种 API，包括服务API、循环 API 和开发者 API，以满足不同需求。Ax 具有可定制性、生产完整性、多模态和约束实验支持，以及针对高噪声环境的效率。用户可以使用 Ax 轻松地进行优化，例如使用 Booth 响应曲面进行优化。

• ARM-software/mango Mango是一个 Python 库，用于为机器学习分类器找到最佳超参数。它支持对连续、离散和分类值的复杂搜索空间进行并行优化。Mango 具有以下特点：易于定义与 scikit-learn 兼容的复杂搜索空间；采用新颖的、最先进的无梯度优化器，适用于连续、离散和分类值；模块化设计，可在本地、集群或云基础设施上调度目标函数；在应用程序层进行故障检测，以实现商品硬件上的可扩展性；由于在生产环境中的测试和使用，不断添加新功能。

• sberbank-ai-lab/LightAutoML LightAutoML(LAMA) 是由 Sber AI Lab 开发的自动机器学习框架，支持二元分类、多分类和回归任务。它能够自动创建模型，并提供可解释性。LAMA 使用 AutoWoE 库来自动创建可解释的模型。目前版本支持具有独立样本的行数据集，即每行都是一个具有特定特征和目标的对象。多表数据集和序列正在开发中。可以通过 pip 安装 LAMA，并通过简单的代码示例快速上手。此外，LAMA 还提供 GPU 版本，用于加速模型训练。

• cerlymarco/shap-hypetune shap-hypetune是一个Python包，用于同时进行梯度提升模型的超参数调优和特征选择。它将这两个步骤整合到一个管道中，以优化特征数量并搜索最佳参数配置，从而提高模型性能。该包支持多种特征选择算法，包括递归特征消除（RFE）、递归特征添加（RFA）和Boruta，并允许使用经典的提升特征重要性或SHAP特征重要性。此外，它还支持网格搜索、随机搜索和贝叶斯搜索，并利用joblib进行并行计算。

• autonomio/talos Talos是一个用于 TensorFlow (tf.keras) 和 Keras 的超参数实验自动化工具，它简化了超参数优化和模型评估过程。Talos允许用户使用熟悉的 TensorFlow (tf.keras) 和 Keras 语法，无需学习新的语法或模板。它支持各种优化策略，包括随机搜索、网格搜索和概率优化器，并提供模型泛化评估、实验分析和实时训练监控等功能。Talos 在 Linux、Mac OSX 和 Windows 系统上运行，并支持 CPU、GPU 和多 GPU 系统。

• DeepWisdom/AutoDL AutoDL是一个完全自动化的深度学习系统，无需任何人工干预。它是NeurIPS AutoDL 挑战赛的第一个解决方案，能够自动进行深度学习模型的构建和训练，适用于各种数据类型，例如图像、视频、文本、表格数据等，并能取得优异的性能。AutoDL能够自动完成数据预处理、特征工程、模型选择、超参数优化等步骤，有效地简化了深度学习应用的流程，并显著提高了模型的准确性和效率。

• automl/HpBandSter HpBandSter是一个用于分布式超参数优化的Python 3框架，它最初是Hyperband（Li等人，2017）的简单实现，并包含BOHB（Falkner等人，2018）的实现。该项目不再维护，推荐使用其继任者SMAC3或DEHB。SMAC3是一个功能强大的HPO包，包含不同的HPO策略，并使用RF或GP作为预测模型。DEHB则结合了差分进化和Hyperband。项目文档包含快速入门指南和示例，可帮助用户将实现的优化器应用于自己的问题。

• google/vizier GoogleVizier 是一个基于 Python 的黑盒优化和超参数调优研究接口，它基于 Google 内部 Vizier 服务。它提供了一个分布式客户端-服务器系统，支持多种搜索空间类型，包括浮点数、整数、离散值和分类值。用户可以通过简单的 API 接口定义目标函数、搜索空间和度量指标，并使用 Vizier 服务进行优化。该项目还提供开发者 API 和基准测试 API，方便用户进行算法研究和比较。

• syne-tune/syne-tune Syne Tune是一个用于超参数和架构优化的开源库，它提供了一系列先进的算法，可以轻松地进行大规模、可重复的超参数优化。Syne Tune 的特点包括：轻量级且平台无关，支持多种 HPO 方法，设计简单且模块化，提供强大的贝叶斯优化功能，支持分布式工作负载，以及易于使用和扩展。Syne Tune 可以帮助你快速高效地进行超参数优化，并支持在不同的计算环境中运行。

• sb-ai-lab/LightAutoML LightAutoML(LAMA) 是一个快速且可定制的自动机器学习模型创建框架，支持表格数据、时间序列数据、图像数据和文本数据。它提供两种使用方式：预置模型，只需几行代码即可创建模型；框架模式，可使用预置模块构建自定义管道。LAMA拥有丰富的资源，包括 Kaggle 竞赛解决方案、Google Colab 教程和示例，方便用户学习和使用。

• AxeldeRomblay/MLBox MLBox是一个强大的自动化机器学习Python库，它提供快速数据预处理、特征选择、超参数优化、先进的预测模型（深度学习、堆叠、LightGBM等）以及模型解释功能。用户可以参考官方文档了解更多信息，并通过贡献测试、文档、示例或报告问题来参与项目。

• PKU-DAIR/open-box 通用且高效的黑盒优化系统。旨在解决泛化的黑盒优化（BBO）问题， 例如自动化超参数调优、自动化A/B测试、 实验设计、数据库参数调优、处理器体系结构和电路设计、资源分配等。

• google/automl Google Brain AutoML项目包含一系列与自动机器学习相关的模型和库，旨在帮助用户自动构建和优化机器学习模型，无需手动调整参数和超参数。

• thunlp/OpenDelta 用于参数高效方法的工具包（增量调整），用户可以通过它灵活地分配（或添加）少量参数以进行更新，同时保持大多数参数不变。

• scikit-optimize/scikit-optimize 一个简单高效的库，可最大限度地减少（非常）昂贵且嘈杂的黑盒功能。它实现了几种基于顺序模型优化的方法。

• noah-research/BO/HEBO/CompBO 使用组合优化器进行贝叶斯优化,由华为研发、诺亚方舟实验室（伦敦）开发的贝叶斯优化代码库

• CMA-ES/pycma 基于CMA-ES 协方差矩阵的自适应策略的Py实现和一些相关的数值优化工具。

• HDI-Project/BTB Bayesian Tuning and Bandits，auto-tuning系统的一个简单、可扩展的后端系统。

• HunterMcGushion/hyperparameter_hunter 跨机器学习算法和库的轻松超参数优化和自动结果保存

• Yelp/MOE 用于现实世界的指标优化的全局黑匣子优化引擎。

• automl/SMAC3 基于序列模型的算法配置 优化任意算法的参数

• jina-ai/finetuner 微调任何 DNN 以更好地嵌入神经搜索任务

• fmfn/BayesianOptimization 具有高斯过程的全局优化的Python实现。

• huawei-noah/HEBO 华为诺亚方舟库开发的贝叶斯优化库

• facebookresearch/nevergrad 用于执行无梯度优化的Python工具箱

• JasperSnoek/spearmint 机器学习算法的实用贝叶斯优化

• SheffieldML/GPyOpt 使用GPy进行高斯过程优化

• dragonfly/dragonfly 用于可扩展的贝叶斯优化

• keras-team/keras-tuner keras的超参数调整库。

• pytorch/botorch PyTorch中的贝叶斯优化

• ray-project/ray Tune可伸缩超参数调整

• hyperopt/hyperopt 分布式超参数优化

• optuna/optuna 超参数优化框架

• WillKoehrsen/hyperparameter-optimization 超参数优化

异常检测

• openvinotoolkit/anomalib Anomalib是一个深度学习库，用于收集最先进的异常检测算法，并在公共和私有数据集上进行基准测试。它提供多种现成的异常检测算法实现，以及用于开发和部署自定义模型的工具集。该库专注于视觉异常检测，旨在检测和定位图像或视频数据集中的异常。Anomalib 持续更新新的算法和训练/推理扩展，并支持使用 OpenVINO 进行加速推理。

• yzhao062/SUOD SUOD是一个用于大规模无监督异构异常检测的加速框架，它针对高维数据、复杂模型和分布式系统中的任务负载不平衡等问题，通过降维、模型近似和执行效率提升等方法来加速训练和预测过程，同时控制检测性能下降。该框架已成功应用于学术研究和工业应用中，并被集成到PyOD库中，可方便地使用。

• capitalone/dataprofiler DataProfiler是一个Python库，用于简化数据分析、监控和敏感数据检测。它能一键加载多种格式数据（CSV、AVRO、Parquet、JSON等），自动生成数据概要，包括模式、统计信息和实体（PII/NPI）等。该库内置预训练深度学习模型用于高效识别敏感数据，并支持自定义实体识别模型。

• awslabs/realtime-fraud-detection-with-gnn-on-dgl 实时欺诈检测（利用图形数据库 Amazon Neptune）的端到端解决方案，使用 Amazon SageMaker 和DGL从表格数据构建异构图形并训练GNN模型来检测IEEE-CIS 数据集中的欺诈交易。

• mangushev/mtad-gat 基于图注意力网络的多变量时间序列异常检测模型

• kLabUM/rrcf 用于异常检测的鲁棒随机砍伐森林算法的实现

• d-ailin/GDN 基于图神经网络的多变量时间序列异常检测

• yzhao062/anomaly-detection-resources 异常检测相关书籍、论文、视频和工具箱

• safe-graph/UGFraud 用于欺诈检测的基于图的无监督工具箱

• squareRoot3/Rethinking-Anomaly-Detection 重新思考用于异常检测的图神经网络

• manigalati/usad 多变量时间序列的无监督异常检测

• DHI/tsod 时间序列数据异常检测

• leibinghe/GAAL-based-outlier-detection 基于盖尔的异常检测

• hoya012/awesome-anomaly-detection 异常检测列表

• yzhao062/pyod 异常检测库

梯度提升和树模型

• catboost/tutorials CatBoost tutorials仓库提供了一系列教程，涵盖CatBoost的基本使用、分类、排序、特征选择、模型分析、自定义损失函数以及模型应用等方面。教程以Python、R和命令行三种方式呈现，并包含针对不同应用场景的示例，例如使用CatBoost解决二元分类和多元分类问题、在Microsoft数据集上进行排序学习、评估特征重要性、使用SHAP可视化特征重要性、将模型导出为JSON格式、可视化决策树、计算特征统计信息以及将模型应用于iOS设备、C++代码、Python代码、Java应用程序和Rust应用程序。

• kingfengji/mGBDT 该项目是 NIPS 18 论文 "Multi-Layered Gradient Boosting Decision Trees (mGBDT)" 的官方实现，提供了一个基于 Python 的 mGBDT 库，以及一些演示脚本，用于展示如何使用该代码。该库允许用户灵活地修改模型或适应自己的数据集。mGBDT 通过添加多个目标传播层，将多个梯度提升决策树（GBDT）组合在一起，以提高模型的表达能力和泛化能力。该项目包含一个演示代码，展示了如何使用 mGBDT 库训练一个多层 GBDT 模型，并对合成圆形数据集进行预测和可视化。

• benedekrozemberczki/awesome-decision-tree-papers 这是一个关于决策树、分类树和回归树研究论文的精选列表，包含来自多个领域的论文实现，包括机器学习、计算机视觉、自然语言处理、数据挖掘和人工智能。该项目收集了来自 NeurIPS、ICML、ICLR、CVPR、ICCV、ECCV、ACL、NAACL、EMNLP、KDD、CIKM、ICDM、SDM、PAKDD、PKDD/ECML、SIGIR、WWW、WSDM、AAAI、AISTATS、ICANN、IJCAI 和 UAI 等重要会议的论文。此外，还提供了类似的集合，包含关于图分类、梯度提升、欺诈检测、蒙特卡洛树搜索和社区检测的论文实现。

• AnotherSamWilson/miceforest miceforest是一个基于LightGBM的快速、内存高效的Python多重插补库，它实现了链式方程多重插补 (MICE)方法。该库利用LightGBM的强大功能，提供快速且灵活的插补解决方案，并支持GPU训练。miceforest可以处理pandas数据框，自动处理分类数据，并与sklearn管道集成。它还支持保存和加载模型，以及对新数据集进行插补。miceforest旨在为数据科学家提供一个高效且易于使用的工具，用于处理缺失数据。

• benedekrozemberczki/awesome-gradient-boosting-papers 这是一个精心整理的梯度提升研究论文列表，包含实现代码。该项目收集了来自机器学习、计算机视觉、自然语言处理、数据挖掘和人工智能等领域的论文，涵盖了梯度提升和自适应提升算法，并提供了相应的实现代码。该项目还包含了其他类似的论文列表，例如图分类、决策树、欺诈检测、蒙特卡洛树搜索和社区检测等。

• stanfordmlgroup/ngboost NGBoost是一个基于 Python 的库，实现了自然梯度提升算法，用于概率预测。它基于 Scikit-Learn 构建，可扩展且模块化，支持多种评分规则、分布和基础学习器。该库基于论文 "NGBoost: Natural Gradient Boosting for Probabilistic Prediction"，并提供用户指南，包含大量使用示例和添加新分布或评分规则的说明。

• serengil/chefboost ChefBoost是一个轻量级的决策树框架，支持 Python 中的常用算法（ID3、C4.5、CART、CHAID 和回归树）和一些高级技术（梯度提升、随机森林和 Adaboost），并支持分类特征。它易于使用，只需几行代码即可构建决策树。ChefBoost可以处理数值和名义特征以及目标值，无需进行预处理。

• Microstrong0305/WeChat-zhihu-csdnblog-code Regression Tree 回归树 深入理解提升树（Boosting tree）算法 深入理解GBDT回归 GBDT二分类算法 GBDT多分类算法 XGBoost LightGBM CatBoost 深入浅出Word2Vec原理解析 Doc2vec原理解析及代码实践

• catboost/catboost 一个快速、可扩展、高性能的决策树梯度提升库，用于 Python、R、Java、C++ 的排名、分类、回归和其他机器学习任务。 支持在 CPU 和 GPU 上进行计算。

• dmlc/xgboost 可扩展、可移植和分布式梯度提升（GBDT、GBRT 或 GBM）库，适用于 Python、R、Java、Scala、C++ 等。 在单机、Hadoop、Spark、Dask、Flink 和 DataFlow 上运行。

• microsoft/LightGBM 基于决策树算法的快速、分布式、高性能梯度提升（GBT、GBDT、GBRT、GBM 或 MART）框架，用于排名、分类和许多其他机器学习任务。

• antmachineintelligence/mtgbmcode 提出了多任务梯度提升机 (MT-GBM)，这是一种基于 GBDT 的多任务学习方法。MT-GBM 可以根据多任务损失找到共享树结构和拆分分支。

• DataCanvasIO/HyperGBM 用于表格数据的完整管道 AutoML 工具, 涉及多个梯度提升树模型（GBM），即XGBoost、LightGBM和Catboost。

• mesalock-linux/gbdt-rs MesaTEE GBDT-RS：一个快速且安全的 GBDT 库，支持 Intel SGX 和 ARM TrustZone 等 TEE

• kingfengji/gcForest 这是论文“深度森林：走向深度神经网络的替代方案”的官方实现

• tensorflow/decision-forests 一组最先进的算法，用于训练、服务和解释 Keras 决策森林模型。

• motefly/DeepGBM 为在线预测任务提炼的深度学习GBDT框架

• Xtra-Computing/thundergbm ThunderGBM：GPU 上的快速 GBDT 和随机森林

• GBDT-PL/GBDT-PL 使用分段线性树进行梯度提升

• augboost-anon/augboost 逐步特征增强的梯度提升。

• LAMDA-NJU/Deep-Forest Deep Forest 2021.2.1的实现

• hlamotte/decision-tree 在C++的决策树

特征工程

• parrt/random-forest-importances 该项目提供了一种更可靠的特征重要性计算方法，用于评估scikit-learn机器学习模型，特别是随机森林模型。它通过排列重要性（permutation importance）和删除列重要性（drop-column importance）来弥补scikit-learn默认的基于基尼重要性的方法的不足。排列重要性通过打乱特征值并观察模型性能的变化来衡量特征的重要性，而删除列重要性则通过移除特征并观察模型性能的变化来衡量特征的重要性。该项目包含一个名为rfpimp的Python包，可用于计算这些重要性指标，并提供示例代码和笔记本，演示如何使用该包分析特征重要性。

• upgini/upgini Upgini是一个智能数据搜索引擎，提供 Python 库，帮助您从数百个公共、社区和付费外部数据源中找到并添加相关特征到您的机器学习管道。Upgini 自动优化所有连接的数据源，通过使用大型语言模型 (LLMs)、图神经网络 (GraphNNs) 和循环神经网络 (RNNs) 生成最佳的机器学习特征集，从而显著提升模型精度。Upgini 的目标是简化特征搜索和丰富过程，使外部数据成为机器学习的标准方法，就像现在的超参数调整一样。Upgini 的使命是为数据科学社区提供数据源的民主化访问。

• logicalclocks/hopsworks Hopsworks是一个面向机器学习的 Python-centric 特征存储平台，提供 MLOps功能。它可以作为独立的特征存储使用，也可以用于管理、治理和服务模型，甚至用于开发和运行特征管道和训练管道。Hopsworks 为机器学习团队提供协作功能，为开发、管理和共享机器学习资产（特征、模型、训练数据、批次评分数据、日志等）提供安全、治理的平台。Hopsworks 提供三种部署方式：无服务器应用（通过 app.hopsworks.ai 访问）、云平台（支持 Azure、AWS 和 GCP）和本地安装。

• feature-engine/feature_engine Feature-engine是一个Python库，提供多个转换器，用于对机器学习模型进行特征工程和特征选择。Feature-engine的转换器遵循Scikit-learn的功能，使用fit()和transform()方法从数据中学习转换参数，然后进行转换。该库包含了各种特征工程技术，例如缺失值处理、特征缩放、特征编码、特征生成等。它还提供了一些特征选择方法，例如基于方差的特征选择、基于相关性的特征选择等。Feature-engine易于使用，并与Scikit-learn等其他机器学习库无缝集成。

• solegalli/feature_engine Feature-engine是一个Python库，提供多个转换器用于机器学习模型的特征工程和选择。Feature-engine的转换器遵循Scikit-learn的功能，使用fit()和transform()方法从数据中学习转换参数，然后进行转换。该库包含用于特征工程和选择的多种转换器，例如缺失值处理、特征缩放、特征编码、特征生成、特征选择等。Feature-engine在TrainInData的在线课程和书籍中被广泛使用，并提供详细的文档和示例。

• AutoViML/featurewiz FeatureWiz是一个基于MRMR算法的自动特征选择库，只需一行代码即可从数据集中选择最佳特征，并使用高级特征工程策略。它可以自动选择最相关的特征，无需指定数量，并提供内置的分类到数值的编码器。FeatureWiz还包含一个特征工程模块，可以轻松地创建新的特征，并提供自动编码器以生成更多特征，帮助提高模型性能。

• haifengl/smile Smile（统计机器智能和学习引擎）是Java和Scala中的快速而全面的机器学习，NLP，线性代数，图形，插值和可视化系统。凭借先进的数据结构和算法，Smile 可提供最先进的性能。

• RUCAIBox/Negative-Sampling-Paper 该知识库收录了与负采样方法相关的 100 篇论文，涵盖推荐系统（RS）、计算机视觉（CV）、自然语言处理（NLP）和对比学习（CL）等多个研究领域。

• aerdem4/lofo-importance LOFO（Leave One Feature Out）重要性基于选择的度量计算一组特征的重要性，对于选择的模型，通过迭代地从集合中删除每个特征，并评估模型的性能。

• ResidentMario/missingno 灵活且易于使用的缺失数据可视化和实用程序，可让您快速直观地了解数据集的完整性（或缺乏完整性）。

• imbalanced-learn 解决机器学习中不平衡数据集

• FeatureLabs/featuretools 特征工程工具箱

• ScienceKot/kydavra 特征筛选工具

神经网络结构搜索_Neural_Architecture_Search

• Western-OC2-Lab/AutoML-Implementation-for-Static-and-Dynamic-Data-Analytics 该项目提供了一个用于静态和动态数据分析的自动化机器学习 (AutoML)实现，包含一个使用多种机器学习算法和优化/AutoML 方法进行物联网异常检测的案例研究。它涵盖了机器学习/数据分析管道中所有重要步骤的自动化，包括自动化数据预处理、自动化特征工程、自动化模型选择、超参数优化 (HPO) 和自动化模型更新（模型漂移适应）。该项目还可用作教程，帮助机器学习研究人员自动获得在任何特定任务上具有最佳学习性能的优化机器学习模型。该项目支持批处理/静态学习和在线/持续学习，并提供了一个完整的超参数优化教程代码。该项目是发表在《工程应用人工智能》期刊上的综述论文的实现，并提供了一个详细的 AutoML 管道和流程，包括自动化数据预处理、自动化特征工程、自动化模型选择、超参数优化和自动化模型更新。

• google-research/morph-net MorphNet是一种在训练过程中学习深度网络结构的方法，其核心原理是将网络结构学习问题进行连续松弛。MorphNet 正则化器会降低滤波器的影响，当滤波器足够小时，相应的输出通道会被标记为从网络中移除。该项目提供了一种名为 FiGS 的新方法，它是一种概率方法，可以用来进行通道正则化，并可以作为一种剪枝算法或一种完整的可微架构搜索方法。MorphNet 可以用于压缩现有模型，以满足内存、延迟等约束条件，它不会改变网络的拓扑结构，而是通过调整每个卷积层的输出通道数量来实现模型压缩。用户可以选择不同的正则化器来实现不同的目标，例如 FLOPs 或延迟。该项目推荐使用 LogisticSigmoid 正则化器，它需要在需要剪枝的层之后添加一个概率门控操作。

• D-X-Y/AutoDL-Projects AutoDL-Projects是一个开源的、轻量级的、但对每个人都有用的项目，它实现了多种神经架构搜索 (NAS) 和超参数优化 (HPO)算法。该项目适合想要尝试不同 AutoDL 算法的初学者、想要尝试 AutoDL 以调查其是否适用于其项目的工程师，以及想要轻松实现和实验新 AutoDL 算法的研究人员。AutoDL-Projects 的特点包括简单的库依赖关系、所有算法都在同一个代码库中，以及积极的维护。该项目目前提供了以下算法和脚本：TAS、DARTS、GDAS、SETN、NAS-Bench-201 和 NATS-Bench。

• carpedm20/ENAS-pytorch ENAS-pytorch 是一个基于 PyTorch 的实现，用于高效的神经网络架构搜索(ENAS)，该项目通过参数共享来减少 NAS 的计算需求（GPU小时）1000 倍。该项目在 Penn Treebank 语言建模方面取得了最先进的结果。ENAS 通过一个控制器 LSTM 来决定使用何种激活函数以及连接哪些节点，从而发现 RNN 细胞。该项目还包括用于发现 CNN 架构的代码，以及用于生成GIF 图像的代码，以展示生成的样本。

• joeddav/devol DEvol是一个基于Keras的遗传神经网络架构搜索工具，用于分类问题。它使用基因编码来表示模型结构，并通过交叉和变异操作进行进化，以寻找最优的网络架构。DEvol在MNIST数据集上取得了99.4%的准确率，优于手动构建的模型。该项目可以扩展到其他输出类型，并支持并行训练、早停、减少训练轮数和参数选择等优化策略，以降低计算成本。

• markdtw/awesome-architecture-search 这是一个精选的架构搜索和超参数优化资源列表，涵盖了强化学习、进化算法等方法，并包含了相关论文和代码链接。该项目旨在为研究人员和开发者提供一个便捷的资源库，方便他们探索和应用架构搜索技术。

• PaddlePaddle/PaddleSlim 一个用于深度模型压缩和架构搜索的开源库。提供低比特量化、知识蒸馏、稀疏化和模型结构搜索等模型压缩策略，帮助用户快速实现模型的小型化。

• microsoft/nni 用于自动化机器学习生命周期的开源AutoML工具包，包括功能工程，神经体系结构搜索，模型压缩和超参数调整。

• awslabs/autogluon 用于深度学习的AutoML工具包 autogluon.mxnet.io

• huawei-noah/CARS 华为提出基于进化算法和权值共享的神经网络结构搜索

• xiaomi-automl/FairDARTS 消除差异化架构搜索中的不公平优势

• ianwhale/nsga-net 使用多目标遗传算法的神经架构搜索

• researchmm/CDARTS 循环可微架构搜索

• human-analysis/neural-architecture-transfer 神经架构迁移

A02_NLP自然语言处理

A01_文本生成_文本对话

其他_文本生成_文本对话

• openai/gpt-3 语言模型是少样本的学习器。最近的工作表明，通过对大量文本语料库进行预训练，然后对特定任务进行微调，在许多NLP任务和基准测试上取得了实质性进展。虽然在架构中通常与任务无关，但这种方法仍然需要特定于任务的数千或数万个示例的微调数据集。相比之下，人类通常只能从几个例子或简单的指令中执行新的语言任务——这是当前NLP系统仍然难以做到的。在这里，我们表明，扩展语言模型可以大大提高与任务无关的少镜头性能，有时甚至可以通过先前最先进的微调方法达到竞争力。具体来说，我们训练 GPT-3，一种具有 1750 亿个参数的自回归语言模型，比之前任何非稀疏语言模型多 10 倍，并在少数镜头设置中测试其性能。对于所有任务，GPT-3 在没有任何梯度更新或微调的情况下应用，任务和少数镜头演示纯粹通过与模型的文本交互来指定。GPT-3 在许多 NLP 数据集上实现了强大的性能，包括翻译、问答和完形填空任务，以及一些需要即时推理或领域适应的任务，例如解密单词、在句子中使用新单词或执行 3 位数算术。同时，我们还确定了 GPT-3 的少数镜头学习仍在挣扎的一些数据集，以及 GPT-3 面临与大型网络语料库训练相关的方法问题的一些数据集。最后，我们发现 GPT-3 可以生成人类评估人员难以区分的新闻文章样本与人类撰写的文章。我们讨论了这一发现和一般 GPT-3 更广泛的社会影响。

• argosopentech/argos-translate Argos Translate是一个开源的离线翻译库，使用Python编写，基于OpenNMT进行翻译，可作为Python库、命令行工具或GUI应用程序使用。它支持安装语言模型包，这些包是包含翻译所需数据的zip压缩文件，扩展名为“.argosmodel”。LibreTranslate是一个基于Argos Translate的API和网页应用。Argos Translate还支持通过中间语言自动进行语言转换，例如，如果安装了es→en和en→fr的翻译模型，则可以将es翻译成fr，即使没有直接的es→fr翻译模型。这使得Argos Translate能够在一定程度上牺牲翻译质量的情况下，支持多种语言之间的翻译。目前支持的语言包括阿拉伯语、阿塞拜疆语、加泰罗尼亚语、中文、捷克语、丹麦语、荷兰语、英语、世界语、芬兰语、法语、德语、希腊语、希伯来语、印地语、匈牙利语、印度尼西亚语、爱尔兰语、意大利语、日语、韩语、马来语、波斯语、波兰语、葡萄牙语、俄语、斯洛伐克语、西班牙语、瑞典语、土耳其语、乌克兰语等等。

• user1342/Tomato LLM 隐写术与最小熵耦合 - 在自然语言中隐藏加密消息。如何运作：LLM 生成的封面文本：LLM 像往常一样，根据提示生成连贯的文本。使用 MEC 嵌入：MEC 用于将隐藏消息（密文）的概率分布与LLM，这种耦合最小化了联合熵，确保隐写文本（带有嵌入消息的封面文本）保留了自然语言的统计属性，使隐藏的消息实际上无法被检测到。解码过程：在解码过程中，LLM 通过提供隐写文本的上下文感知解释来提供帮助，然后反向使用 MEC 将隐藏的消息与隐藏文本分离，该过程利用嵌入过程中使用的相同概率分布，确保在不影响隐藏文本完整性的情况下准确提取消息。此方法可确保隐藏的消息无缝集成到文本中，并且可以在以后安全、精确地检索，同时将检测风险降至最低。

• RUCAIBox/TextBox 基于Python和PyTorch开发的，用于在一个统一的、全面的、高效的框架中复现和开发文本生成算法，主要面向研究者使用。我们的库包括16种文本生成算法，涵盖了两个主要任务：无条件（无输入）生成、序列到序列（Seq2Seq）生成，包括机器翻译和摘要生成。模型 无条件：LSTMVAE (Bowman et al., 2016)、CNNVAE (Yang et al., 2017)、HybridVAE (Semeniuta et al., 2017)、SeqGAN (Yu et al., 2017)、TextGAN (Zhang et al., 2017)、RankGAN (Lin et al., 2017)、MaliGAN (Che et al., 2017)、LeakGAN (Guo et al., 2018)、MaskGAN (Fedus et al., 2018)。序列到序列 RNN (Sutskever et al., 2014)、Transformer (Vaswani et al., 2017b)、GPT-2 (Radford et al.)、XLNet (Yang et al., 2019)、BERT2BERT (Rothe et al., 2020)、BART（Lewis et al。，2020）

• huggingface/alignment-handbook 使语言模型与人类和 AI 偏好保持一致的强大配方：OpenAI用ChatGPT打破了互联网，Meta紧随其后发布了Llama系列语言模型，使ML社区能够构建自己有能力的聊天机器人。这导致了一个丰富的数据集和模型生态系统，这些数据集和模型主要集中在通过监督微调（SFT）来教授语言模型遵循指令。该手册的初始版本将侧重于以下技术：Supervised fine-tuning监督微调，教语言模型遵循有关如何收集和策划自己的训练数据集的说明和提示。Reward modeling奖励建模：教授语言模型根据人类或AI偏好区分模型响应。Rejection sampling剔除采样：一种简单但功能强大的技术，可提高SFT模型的性能。直接偏好优化（DPO）：PPO的强大而有前途的替代方案。

• KellerJordan/modded-nanogpt 这是 Andrej Karpathy 的 llm 的变体。它：训练效率提高 3.8 倍（只需 2.67 个令牌而不是 10B 即可达到相同的验证损失）。代码更短（537 行而不是 860 行）。实施架构现代化（旋转嵌入、RMSNorm、ReLU^2、投影零初始化）。实现一个新的优化器 （Muon - Momentum Orthogonalized by Newton-schulz）。要执行训练，请在 8xA100 或 8xH100 节点上运行以下三个命令。他们在 8xH100 上以 <20 分钟完成，互联网连接良好。这将在 Fineweb [1] 的 2.67B 令牌上训练一个 124M 参数的 transformer 进行 5100 个步骤，实现 ~3.277 的验证损失。相比之下，默认的 llm PyTorch trainer 在训练 10B 令牌后会产生 >3.28 验证损失。

• RUCAIBox/MVP 自然语言生成的多任务监督预训练。遵循标准的转换器编码器-解码器架构。使用标记数据集进行监督预训练。还具有特定于任务的软提示，以刺激模型执行特定任务的能力。专为自然语言生成而设计，可以适应各种生成任务。我们的模型也可以适应自然语言理解任务。收集了7种代表性生成任务的45个有标签数据集，共计3200千万条样本（23GB），来作为预训练语料。第一阶段，使用这些语料训练一个标准的Transformer，即MVP；第二阶段，冻结住MVP，利用每个任务的数据训练任务特定的连续型提示（即7组提示）。

• dsfsi/textaugment TextAugment是一个用于自然语言处理文本增强的Python 3库，它基于NLTK、Gensim v3.x和TextBlob，可以与它们很好地配合使用。该库提供多种文本增强方法，包括基于Word2vec、WordNet和RTT的增强方法，以及EDA（Easy Data Augmentation）和AEDA（An Easier Data Augmentation）技术，以及Mixup增强方法。TextAugment可以生成合成数据，以提高模型性能，无需人工干预，并支持文本数据，可以与任何机器学习框架（如PyTorch、TensorFlow、Scikit-learn）无缝集成。

• XiangLi1999/PrefixTuning 前缀微调：优化文本生成的连续提示模板。提出一种更好的微调方法，通过加入前缀实现统一模型在不同任务上的微调，实现小样本学习，极大地减少了参数量。目前对于前缀的构造，大致可以分为本文的连续前缀和离散前缀（自动生成或手动设计），对于在摘要任务上加入离散前缀，有点类似于从对话中提取特征或结构，但这种方法的优势就在于它不需要大量的样本，而传统的融入结构的方法仍然需要很多样本。

• awslabs/sockeye Sockeye是一个基于PyTorch的开源序列到序列框架，专注于神经机器翻译。它支持分布式训练和优化推理，用于构建最先进的模型，为Amazon Translate和其他机器翻译应用提供支持。Sockeye已进入维护模式，不再添加新功能。用户可以通过GitHub上的问题跟踪器报告问题。Sockeye 3.0.0版本开始支持PyTorch和MXNet，并提供MXNet模型到PyTorch模型的转换工具。用户可以通过pip安装Sockeye，并使用提供的文档和教程快速上手。

• Byaidu/PDFMathTranslate PDFMathTranslate是一个用于科学论文翻译的工具，它可以完整保留排版的 PDF 文档全文双语翻译，并支持 Google、DeepL、Ollama 和 OpenAI等多种翻译服务。该项目可以保留公式和图表，并支持多语言翻译，还提供双语对比功能。用户可以通过命令行执行翻译命令，并指定翻译服务、语言、页面范围等参数。该项目依赖于 PyMuPDF、Pdfminer.six、MinerU、MathTranslate、DocLayout-YOLO 等开源项目。

• microsoft/LMOps 关于构建具有基础模型的 AI 产品的基础研究和技术的研究计划，特别是关于通过LLMs生成式 AI 模型实现 AI 功能的通用技术。更好的提示：自动提示优化、提示器、可扩展提示、通用提示检索、检索器、LLM上下文演示选择。更长的上下文：结构化提示、长度外推转换器。LLM对齐：通过LLM反馈对齐。LLM加速器（更快的推理）：无损加速LLMs。LLM自定义：适应LLM领域。

• BART Bidirectional and Auto-Regressive Transformers 是以去噪为预训练目标训练的序列间模型， 一种符合生成任务的预训练方法。我们证明了这种预训练目标更为通用，并且证明了我们可以在SQuAD和GLUE上匹配RoBERTa的结果，并在摘要（XSum，CNN数据集）、长形式生成性问答（ELI5）和对话-反应生成（ConvAI2）上获得最新的结果。在生成任务上显著高于BERT, UniLM, XLNet, RoBERTa等模型

• LibreTranslate/LibreTranslate LibreTranslate是一个免费开源的机器翻译 API，完全自托管，无需依赖 Google 或 Azure等专有提供商。它使用开源的 Argos Translate 库作为翻译引擎，可以离线运行，易于设置。你可以通过简单的 API 调用进行翻译，支持多种语言，并提供自动语言检测、HTML 格式翻译、备选翻译等功能。只需几行命令即可安装和运行自己的 API 服务器。

• karpathy/char-rnn 多层循环神经网络（LSTM、GRU、RNN）用于训练和生成字符级语言模型，输入一个文本文件训练模型预测下一个字符，生成类似原始数据的文本。该项目基于Torch和Lua编写，支持多层、LSTM和模型保存等功能，可在GPU上加速训练。作者还提供了多个数据集，用户可以使用自己的数据。更新版本torch-rnn提供了更简洁高效的实现。

• OpenNMT/OpenNMT-py OpenNMT-py 是一个基于 PyTorch 的开源神经机器翻译框架，支持多种 NLP 任务，如翻译、语言建模、摘要等。该项目已不再积极维护，推荐使用其衍生项目 Eole。OpenNMT-py 支持大型语言模型 (LLM)，并提供 8位和 4 位量化功能，可用于微调 7B 和 13B 模型。该项目提供教程和文档，方便用户上手使用。

• MuiseDestiny/zotero-gpt 与Zotero集成：您可以使用该插件根据所选文本或PDF文件搜索和询问库中的项目。使用 GPT 生成回复文本：support gpt-3.5-turbo 和 gpt-4。询问有关当前 PDF 文件（全文或所选文本）的问题。对所选论文（摘要）提出问题。 将所选论文总结成几个高度浓缩的句子。根据所选文本搜索库中的项目。

• beyondguo/genius 强大的有条件文本生成模型，以草稿为输入，在给定的草稿(文本范围、短语或单词的关键信息)中填充缺失的上下文，在大规模文本语料库上进行预训练，用一种极端和选择性的掩蔽策略从草稿目标进行新的重建，使它能够生成给定素描的多样化和高质量的文本。

• bojone/t5_in_bert4keras 在keras中使用T5模型 ,用mT5 small版本finetune出来的 CSL 标题生成模型，BLEU 指标能持平基于 WoBERT 的 UniLM 模型，并且解码速度快 130%；而用 mT5 base 版本 finetune 出来的 CSL 标题生成模型，指标能超过基于 WoBERT 的 UniLM 模型 1% 以上，并且解码速度也能快 60%。

• Azure/co-op-translator Azure/co-op-translator 是一个 Python 包，利用 Azure AI 服务的先进语言模型技术，通过单个命令轻松生成多语言翻译，简化项目多语言化过程，支持 Markdown 文件和图片中的文本翻译，易于集成到现有项目中，简化本地化流程。

• google-research/language 该项目是 Google AI 语言团队开源项目的共享仓库，包含了来自 Google ResearchLanguage 团队的各种开源项目，例如语言模型、文本生成、机器翻译等，但并非 Google 官方产品。

• google-research/text-to-text-transfer-transformer T5的理念就是“万事皆可 Seq2Seq”，它使用了标准的 Encoder-Decoder 模型，并且构建了无监督/有监督的文本生成预训练任务，最终将效果推向了一个新高度。

• fastnlp/CPT 中文预训练非平衡转换器 (CPT) ，它是一种非平衡 Transformer 编码器-解码器，联合 MLM 和 DAE 进行预训练。用于汉语理解和生成的预训练.

• RasaHQ/rasa 开源机器学习框架，用于自动化基于文本和语音的对话：NLU、对话管理、连接到 Slack、Facebook 等 - 创建聊天机器人和语音助手

• songhaoyu/BoB BERTOverBERT用于从有限的个性化数据训练基于角色的对话模型。分解为了两个子任务，从有限的角色化对话数据中进行学习。

• Ceelog/DictionaryByGPT4 一本 GPT4 生成的单词书，超过 8000 个单词分析，涵盖了词义、例句、词根词缀、变形、文化背景、记忆技巧和小故事

• EleutherAI/gpt-neo 模型并行GPT2和类似GPT3的模型的实现，能够使用mesh-tensorflow库扩展到完整的GPT3尺寸（甚至可能更多！）。

• aishwaryanr/awesome-generative-ai-guide 生成式 AI 正在经历快速增长，该存储库是生成式 AI 研究、访谈材料、笔记本等更新的综合中心！

• howdyai/botkit 一个开源开发人员工具，用于为主要消息传递平台构建聊天机器人、应用程序和自定义集成。

• AdityaNG/kan-gpt 使用 Kolmogorov-Arnold 网络 （KAN） 进行语言建模的生成式预训练转换器 （GPT） 的 PyTorch 实现

• ZhuiyiTechnology/t5-pegasus 中文生成式预训练模型，以mT5为基础架构和初始权重，通过类似PEGASUS的方式进行预训练。

• 0hq/WebGPT 使用 WebGPU 在浏览器上运行 GPT 模型。在不到 ~1500 行的原版 Javascript 中实现 GPT 推理。

• Morizeyao/GPT2-Chinese GPT2中文文生模型，包括散文、诗词、对联、通用中文、中文歌词、文言文

• Awesome-TOD-NLG-Survey 面向任务的对话系统 (TOD) 中自然语言生成的调查：最新进展和新前沿

• bentrevett/pytorch-seq2seq 使用 PyTorch 和 TorchText 实现一些序列到序列 （seq2seq） 模型的教程。

• dsdanielpark/Bard-API 通过 cookie 值返回 Google Bard (大语言模型) 响应的非官方 python 包。

• minimaxir/gpt-2-simple Py包可以轻松地在新文本上重新训练 OpenAI 的 GPT-2 文本生成模型

• openai/gpt-2 论文“语言模型是无监督的多任务学习者”中的代码和模型。

• OSU-NLP-Group/Mind2Web 论文“Mind2Web：迈向Web的通才代理”的数据集，代码和模型。

• karpathy/nanoGPT 用于训练/微调中型 GPT（GPT-2） 的最简单、最快的存储库。

• karpathy/minGPT OpenAI GPT（生成预训练转换器）训练的最小PyTorch 重新实现

• deeppavlov/DeepPavlov 用于深度学习端到端对话系统和聊天机器人的开源库。

• liucongg/GPT2-NewsTitle GPT2.带有超级详细注释的中文GPT2新闻标题生成项目。

• EssayKillerBrain/WriteGPT 基于开源GPT2.0的初代创作型人工智能 | 可扩展、进化

• gunthercox/ChatterBot 一个机器学习的对话对话引擎，用于创建聊天机器人

• thu-coai/CDial-GPT 大规模中文短文本会话数据集和中文预训练对话模型

• google/sentencepiece 用于基于神经网络的文本生成的无监督文本分词器。

• RUCAIBox/Context-Tuning 上下文调优：学习上下文提示用于自然语言生成

• samueldobbie/markup 基于Web的文档注释工具，由GPT-3  提供支持

• YunwenTechnology/QueryGeneration 智能扩充机器人的“标准问”库之Query生成

• imcaspar/gpt2-ml GPT2 多语言支持, 15亿参数中文预训练模型

• CopyTranslator/CopyTranslator 基于复制和翻译的外语阅读和翻译助手。

• SUSYUSTC/MathTranslate 用 Latex 翻译科学论文，尤其是 ARXIV 论文

• rikdz/GraphWriter 基于图Transformer从知识图谱中生成文本

• yangjianxin1/GPT2-chitchat 用于中文闲聊的GPT2文本对话模型

• PENS-Personalized-News-Headline-Generation 新闻头条生成数据集和通用框架

• Aristotle609/Medium-Title-Generator 生成数据科学文章标题的模型

• immersive-translate/immersive-translate 沉浸式双语网页翻译扩展

• google-research/multilingual-t5 T5 的多国语言版

大语言对话模型及数据

• Tele-AI/TeleChat2 星辰语义大模型TeleChat2是由中国电信人工智能研究院研发训练的大语言模型，是首个完全国产算力训练并开源的千亿参数模型。星辰语义大模型TeleChat2是由中国电信人工智能研究院研发训练的大语言模型，该系列模型完全基于国产算力训练。本次开源TeleChat2-115B模型采用10万亿 Tokens中英文高质量语料进行训练，同步开源对话模型TeleChat2-115B的多格式、多平台权重文件。TeleChat2在训练数据、训练方法等方面进行了改进，在通用问答和知识类、代码类、数学类榜单上相比TeleChat1均有大幅提升。TeleChat2完全基于国产算力和国产深度学习框架进行训练，算力和算法框架更自主可控。优化MP、PP、SP实现方式提升模型性能，优化算子来提升训练速度。我们使用大量小模型实验来验证scaling law规律，在不同模型结构、不同数据配比和数据清洗方式中寻找最优设计。采用RingAttention及其他序列切分方式，实现长文训练性能提升；通过ntk-aware+attention-scaling的方式保证训练长度切换时的平稳过渡，以此来保证模型在不同长度数据下的训练效果。在微调数据方面，我们进行了指令复杂性提升与多样性扩充，通过数据合成和人工标注生成高质量数据，并使用拒绝采样生成多样的推理路径；通过研究一套基于base模型反向选择偏好对齐数据方案，基于适配数据最大限度提升模型效果。通用能力较TeleChat系列模型提升超过29%，在逻辑推理、总结摘要、长文写作和数学计算上均有大幅提升。采用标准的 Decoder-only 结构设计了 TeleChat2 模型，使用 Rotary Embedding 的位置编码方法、使用 SwiGLU 激活函数来替代GELU激活函数、使用基于 RMSNorm 的 Pre-Normalization进行层标准化操作。我们将TeleChat2的词嵌入层和输出lm head层参数分开，有助于增强训练稳定性和收敛性。我们选择了GQA以节约attention部分的参数量和计算量、提升训练和推理速度。TeleChat模型相比同规模模型在评测效果方面也有较好的表现，我们的评测集涵盖了包括MMLU、C-Eval、CMMLU、 GSM8K、MATH、HumanEval、BBH等数据集，评测能力包括了指令遵循、考试能力、数学计算和推理、代码生成等。

• bklieger-groq/g1 在 Groq 上使用 Llama-3.1 70b 创建类似 o1 的推理链。这是使用提示策略通过类似 o1 的推理链来提高 LLM 的推理能力的早期原型。这允许 LLM “思考”并解决通常会难倒领先模型的逻辑问题。与 o1 不同，它显示了所有推理标记，并且该应用程序使用开源模型。G1 是实验性的，并且是开源的，以帮助激励开源社区开发新的策略来产生类似 O1 的推理。该实验有助于展示在可视化步骤中提示推理的力量，而不是与使用不同技术的 o1 进行比较或完全复制。相反，OpenAI 的 o1 通过大规模强化学习进行训练，以使用 Chain of Thought 进行推理，从而在复杂的博士级问题上实现最先进的性能。g1 展示了单独提示克服简单的 LLM 逻辑问题（如 Strawberry 问题）的潜力，使现有的开源模型能够从动态推理链和改进的界面中受益。由 Llama3.1-70b 提供支持的 g1 创建了推理链，原则上是一个动态的思维链，它允许 LLM 能够“思考”并解决一些通常会难倒领先模型的逻辑问题。在每个步骤中，LLM 可以选择继续另一个推理步骤，或提供最终答案。每个步骤都有标题，并且对用户可见。系统提示符还包括 LLM。Prompt Breakdown 下有完整的解释，但有几个示例要求模型“包括对替代答案的探索”和“使用至少 3 种方法来得出答案”。因此，通过将思维链与尝试多种方法、探索替代答案、质疑以前的草案解决方案并考虑 LLM。仅此一项，无需任何训练，就足以在草莓问题上达到 ~70% 的准确率（n=10，“草莓中有多少 R？）在没有提示的情况下，Llama-3.1-70b 的准确率为 0%，ChatGPT-4o 的准确率为 30%。

• deepseek-ai/DeepSeek-V2 DeepSeek-V2：强大、经济且高效的专家混合语言模型，一种强大的专家混合 （MoE） 语言模型，其特点是经济的训练和高效的推理。它包含 236B 个总参数，其中 21B 为每个词元激活。与DeepSeek 67B相比，DeepSeek-V2性能更强，同时节省了42.5%的训练成本，减少了93.3%的KV缓存，最大生成吞吐量提升了5.76倍。我们在由 8.1 万亿个词元组成的多样化、高质量的语料库上预训练了 DeepSeek-V2。在这种全面的预训练之后，是监督微调 （SFT） 和强化学习 （RL） 的过程，以充分释放模型的能力。评估结果验证了我们方法的有效性，因为DeepSeek-V2在标准基准测试和开放式生成评估中都取得了卓越的性能。大海捞针 （NIAH） 测试的评估结果。DeepSeek-V2 在高达 128K 的所有上下文窗口长度上都表现良好。我们在 AlpacaEval 2.0 和 MTBench 上评估了我们的模型，显示了 DeepSeek-V2-Chat-RL 在英语会话生成方面的竞争性能。我们在 LiveCodeBench （0901-0401） 上评估我们的模型，这是一个为实时编码挑战而设计的基准测试。如图所示，DeepSeek-V2 在 LiveCodeBench 方面表现出相当的熟练程度，取得了超过其他几个复杂模型的Pass@1分数。这一性能突出了该模型在处理实时编码任务方面的有效性。DeepSeek-V2 采用创新架构，保证训练经济高效：在注意力方面，我们设计了MLA（Multi-head Latent Attention），它利用低秩键值联合压缩来消除推理时键值缓存的瓶颈，从而支持高效的推理。对于前馈网络 （FFN），我们采用 DeepSeekMoE 架构，这是一种高性能的 MoE 架构，能够以更低的成本训练更强大的模型。

• baichuan-inc/Baichuan-13B 由百川智能继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，在权威的中文和英文 benchmark 上均取得同尺寸最好的效果。本次发布包含有预训练 (Baichuan-13B-Base) 和对齐 (Baichuan-13B-Chat) 两个版本。Baichuan-13B 有如下几个特点：更大尺寸、更多数据：Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到 130 亿，并且在高质量的语料上训练了 1.4 万亿 tokens，超过 LLaMA-13B 40%，是当前开源 13B 尺寸下训练数据量最多的模型。支持中英双语，使用 ALiBi 位置编码，上下文窗口长度为 4096。同时开源预训练和对齐模型：预训练模型是适用开发者的『 基座 』，而广大普通用户对有对话功能的对齐模型具有更强的需求。因此本次开源我们同时发布了对齐模型（Baichuan-13B-Chat），具有很强的对话能力，开箱即用，几行代码即可简单的部署。更高效的推理：为了支持更广大用户的使用，我们本次同时开源了 int8 和 int4 的量化版本，相对非量化版本在几乎没有效果损失的情况下大大降低了部署的机器资源门槛，可以部署在如 Nvidia 3090 这样的消费级显卡上。开源免费可商用：B对学术研究完全开放，开发者也仅需邮件申请并获得官方商用许可后，可免费商用。

• MadcowD/ell ell 是一个轻量级的函数式提示工程框架，构建在几个核心原则之上：1. 提示是程序，而不是字符串。提示不仅仅是字符串;它们都是导致字符串被发送到语言模型的代码。在 ell 中，我们认为一种将语言模型用作离散子例程的特殊方法，称为语言模型程序。2. 提示实际上是机器学习模型的参数。提示工程的过程涉及许多迭代，类似于机器学习中的优化过程。由于 LMP 只是函数，因此 ell 为此过程提供了丰富的工具。ell 通过静态和动态分析以及 GPT-4o-mini自动生成的提交消息，将提示的自动版本控制和序列化直接发送到本地存储。此过程类似于机器学习训练循环中的检查点，但它不需要任何特殊的 IDE 或编辑器 - 全部使用常规 Python 代码完成。3. 用于监控、版本控制和可视化的工具。使用正确的工具，Prompt 工程从一门黑暗的艺术变成了一门科学。Ell Studio 是一个本地开源工具，用于提示版本控制、监控、可视化。使用 Ell Studio，您可以随着时间的推移经验化您的提示优化过程，并在为时已晚之前捕获回归。4. 多模态应该是一流的。LLMs 可以处理和生成各种类型的内容，包括文本、图片、音频和视频。使用这些数据类型进行提示工程应该像使用文本一样简单。

• THUDM/ChatGLM2-6B 开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，引入了如下新特性：更强大的性能：全面升级了基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练，评测结果显示，相比于初代模型，MMLU（+23%）、CEval（+33%）、GSM8K（+571%） 、BBH（+60%）等数据集上的性能取得了大幅度的提升，在同尺寸开源模型中具有较强的竞争力。更长的上下文：基于 FlashAttention 技术，我们将基座模型的上下文长度（Context Length）由 ChatGLM-6B 的 2K 扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练。对于更长的上下文，我们发布了 ChatGLM2-6B-32K 模型。LongBench 的测评结果表明，在等量级的开源模型中，32K 有着较为明显的竞争优势。更高效的推理：基于 Multi-Query Attention 技术，有更高效的推理速度和更低的显存占用：在官方的模型实现下，推理速度相比初代提升了 42%，INT4 量化下，6G 显存支持的对话长度由 1K 提升到了 8K。更开放的协议：权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

• SqueezeAILab/LLM2LLM LLM2LLM 是一种新颖的迭代数据增强策略，旨在通过使用大型语言模型（LLM）自身的能力来提升其性能。该方法的核心思想是利用一个教师 LLM 来增强小型的种子数据集，通过生成合成数据并将其重新加入到训练数据中，从而逐步提高模型的性能。这种方法不仅减少了手动生成数据的需要，还显著降低了所需的真实数据量，使得在低数据机制中也能有效提升 LLM 的性能。包括以下几个步骤：在初始种子数据集中微调学生模型。评估并提取学生模型在训练集中预测错误的数据。利用教师模型对这些错误数据生成额外数据，并将其加入到原始训练数据中进行迭代训练。这种方法的优势在于其迭代性和针对性，每次数据增强时仅对种子数据进行处理，从而确保数据的质量和相关性。通过这种方式，LLM2LLM 能够生成高质量的合成数据，其效果可以媲美甚至超过手工收集的数据。此外，LLM2LLM 还减少了劳动密集型数据整理的需求，使得数据增强过程更加高效和自动化。研究结果表明，LLM2LLM 在低数据机制中的性能显著优于传统的微调和其他数据增强基线，为大型语言模型的进一步发展提供了新的思路和方法。

• DA-southampton/RedGPT 提出一种自动生成事实型对话的方法，并公开我们的部分数据。我们公开的第一批数据（RedGPT-Dataset-V1-CN）共包含5万条中文多轮对话。目标是自动生成海量、高质量、事实型多轮对话，用于训练GPT，提升GPT的事实正确性。我们采用如下方法自动生成数据。1. 采集优质的事实型文档，我们称之为reference，其来源可以是电子书、维基百科、优质垂类网站。文档需要涵盖尽量多的主题，包括但不限于人物、机构、科技、医疗、法律、人文、经济、家居、汽车、出行、美食、时尚、体育、教育、宠物。2. 利用已有的LLM（例如付费API）生成多轮对话。输入是一篇reference，prompt类似“请根据这篇文章生成多轮问答”。API会输出一段多轮对话（dialogue）。这种方法将原本只适合预训练的文档转化成可供微调的多轮对话。3. 第2步收集到大量的reference-dialogue二元组。将reference和prompt作为输入，dialogue作为目标，微调一个GPT模型（可以基于LLaMA或BLOOM的预训练基座）。我们将微调出的模型称作Reference-Enlightened-Dialogue GPT，缩写RedGPT。有了RedGPT，即可基于reference生成多轮对话，获得海量的数据。

• lm-sys/llm-decontaminator 在没有更强的去除训练样本污染的情况下，Llama-rephraser：13B 模型在主要基准测试 （MMLU/GSK-8K/HumanEval） 中达到 GPT-4 性能！为了确保结果的有效性，我们遵循了 OpenAI 的去污方法，没有发现数据污染的证据。本文提出了一种基于更强LLM的去污器，并将其应用于现实世界的训练数据集（例如， the Stack、RedPajama），揭示了训练数据集与广泛使用的基准测试的显着重叠。现有的检测方法（例如，n-gram重叠，嵌入相似性）无法检测到这种污染。嵌入相似性方法很难将改写的问题与同一主题（高中美国历史）中的其他问题区分开来。而本文提出可以使用“LLM去污器”来量化数据集相对于基准的重新表述的样本。根据检测结果，您可以估计数据集中改写样本的污染情况，并将其从训练集中移除。该LLM净化器包括两个步骤：对于每个测试用例，“LLM去污器”使用嵌入相似性搜索识别相似度最高的前 k 个训练项。从这些项目中，“LLM去污器”生成 k 个潜在的改写对，每对都使用高级 LLM，例如 GPT-4 进行改写评估。结果表明，我们提出LLM的方法在去除改写样本方面明显优于现有方法。

• modelscope/data-juicer 为大语言模型提供更高质量、更丰富、更易”消化“的数据！特征：系统化和可重用：为用户提供包含 80+ 核心 OP、20+ 可重用配置配方和 20+ 功能丰富的专用工具包的系统库，旨在独立于特定的多模态LLM数据集和处理管道运行。Data-in-the-loop & Sandbox：支持一站式数据模型协同开发，通过沙盒实验室实现快速迭代，提供基于数据和模型的反馈循环、可视化、多维度自动评估等功能，让您更好地理解和改进您的数据和模型。提高效率：提供高效并行的数据处理流水线（Aliyun-PAIRaySlurmCUDAOP Fusion），需要更少的内存和CPU使用率，并针对最大生产力进行优化。全面的数据处理配方：提供数十种预建的数据处理配方，用于预训练、微调、en、zh 等场景。在参考 LLaMA 和 LLaVA 模型上进行了验证。灵活和可扩展：适应大多数类型的数据格式（例如，jsonl、parquet、csv等），并允许灵活组合OP。随意实现您自己的 OP 以进行可自定义的数据处理。用户友好体验：为简单而设计，具有全面的文档、简单的入门指南和演示配置，以及通过在现有配置中简单添加/删除 OP 的直观配置。

• thudm/longwriter 由清华大学和智谱AI联合开发的长文本生成模型，旨在从长上下文大语言模型（LLMs）中释放超过 10,000 个单词的生成能力。当前的长上下文 LLMs 虽然可以处理多达 100,000 个标记的输入，但在生成超过 2,000 个单词的输出时仍然面临困难，主要原因是模型的有效生成长度受到在监督微调（SFT）过程中所见样本的限制。为了解决这一问题，研究团队引入了 AgentWrite，这是一种基于代理的方法，通过将超长的生成任务分解为子任务，使得现有的 LLMs 能够生成超过 20,000 个单词的连贯输出。利用 AgentWrite，他们构建了 LongWriter-6k，这是一个包含 6,000 个 SFT 数据的数据集，输出长度从 2k 到 32k 单词不等。通过将此数据集纳入模型训练，现有模型的输出长度扩展到 10,000 字以上，同时保持了输出质量。此外，LongWriter 还开发了 LongBench-Write，这是一个用于评估超长生成能力的综合基准。用户可以通过运行 CUDA_VISIBLE_DEVICES=0 python trans_web_demo.py 来部署自己的 LongWriter 聊天机器人，或者使用 vllm 部署模型，从而在一分钟内生成超过 10,000 个单词。

• jingyaogong/minimind 【大模型】3小时完全从0训练一个仅有26M的小参数GPT，最低仅需2G显卡即可推理训练！MiniMind极其轻量，体积约是 GPT3 的 1/7000，力求做到最普通的个人GPU也可快速推理甚至训练。MiniMind改进自DeepSeek-V2、Llama3结构，项目包含整个数据处理、pretrain、sft、dpo的全部阶段，包含混合专家(MoE)模型。这是一个既是开源项目，又是入门LLM教程，同时也是一个初具雏形的开源模型，希望能起到抛砖引玉的作用。因此，本项目的目标是把上手LLM的门槛无限降低， 直接从0开始训练一个极其轻量的语言模型。项目包含：公开MiniMind模型代码（包含Dense和MoE模型）、Pretrain、SFT指令微调、LoRA微调、DPO偏好优化的全过程代码、数据集和来源。兼容transformers、accelerate、trl、peft等流行框架。训练支持单机单卡、单机多卡(DDP、DeepSpeed)训练，使用wandb可视化训练流程。支持在任意位置停止，及在任意位置继续训练。在Ceval数据集上进行模型测试的代码。实现Openai-Api基本的chat接口，便于集成到第三方ChatUI使用（FastGPT、Open-WebUI等）。

• xlang-ai/UnifiedSKG 使用文本到文本语言模型进行统一和多任务结构化知识基础，结构化知识基础 （SKG） 利用结构化知识来完成用户请求，例如对数据库进行语义解析和对知识库进行问答。由于SKG任务的输入和输出是异质的，因此它们在历史上被不同的社区分开研究，这限制了对SKG的系统性和兼容性研究。在本文中，我们通过提出 UnifiedSKG 框架来克服这一局限性，该框架将 21 个 SKG 任务统一为文本到文本的格式，旨在促进系统的 SKG 研究，而不是专属于单个任务、领域或数据集。我们表明，像 T5 这样的大型语言模型，在必要时进行简单的修改，几乎可以在所有 21 个任务上实现最先进的性能。UnifiedSKG促进多任务学习。我们表明，多任务前缀调整对大多数任务都有好处，大大提高了整体性能。UnifiedSKG 是一个具有挑战性的零样本和少样本学习测试平台，T0、GPT-3 和 Codex 都在其中苦苦挣扎。UnifiedSKG 还支持对 SKG 任务中的结构化知识编码变体进行一系列对照实验。我们发现 T5 对结构化知识编码变化的敏感性因任务而异。

• yangling0818/buffer-of-thought-llm 思想缓冲：使用大型语言模型进行思想增强推理。BoT，这是一种新颖且多功能的思维增强推理方法，旨在提高大型语言模型 （LLMs。具体来说，我们提出了一个元缓冲区来存储一系列高级思想，称为思想模板，这些思想是从各种任务中解决问题的过程中提炼出来的。对于每个问题，我们检索一个相关的思想模板，并使用特定的推理结构自适应地实例化它，以进行有效的推理。为了确保可扩展性和稳定性，我们还提出了一个 buffer-manager 来动态更新 meta-buffer，从而随着更多任务的解决而增强其容量。我们对 10 项具有挑战性的推理密集型任务进行了广泛的实验，与以前的最先进的 （SOTA） 方法相比，性能有了显著提高：Game of 24 的性能提高了 11%，几何形状的性能提高了 20%，Checkmate-in-One 的性能提高了 51%。进一步的分析表明，我们的 BoT 具有卓越的泛化能力和稳健性，而平均只需要多查询提示方法（例如，树/思想图）成本的 12%。值得注意的是，我们发现我们的 Llama3-8B + BoT 有可能超越 Llama3-70B 模型。

• thu-bpm/markllm MarkLLM 是一个开源工具包，旨在促进大型语言模型 （LLMs） 中水印技术的研究和应用。随着大型语言模型 （LLMs） 的使用范围扩大，确保机器生成文本的真实性和来源变得至关重要。MarkLLM 简化了对水印技术的访问、理解和评估，使其可供研究人员和更广泛的社区使用。实现框架：MarkLLM 为各种LLM水印算法的实现提供了一个统一且可扩展的平台。它目前支持来自两个著名家族的九种特定算法，促进了水印技术的集成和扩展。目前支持的算法：KGW,Unigram,SWEET,UPV,EWD,SIR,X-SIR,EXP,EXP-Edit,ITS-Edit。可视化解决方案：该工具包包括自定义可视化工具，可以清晰而深入地了解不同水印算法在各种场景下的运行方式。这些可视化有助于揭开算法机制的神秘面纱，使用户更容易理解它们。评估模块：MarkLLM 拥有 12 种评估工具，涵盖可检测性、鲁棒性和对文本质量的影响，在其评估水印技术的综合方法中脱颖而出。它还具有可定制的自动化评估管道，可满足不同的需求和场景，从而增强了工具包的实际实用性。

• exo-explore/exo 在家中使用日常设备运行自己的 AI 集群。忘记昂贵的 NVIDIA GPU，将现有设备统一到一个强大的 GPU 中：iPhone、iPad、Android、Mac、Linux，几乎任何设备！特征：广泛的模型支持，exo支持LLaMA（MLX和tinygrad）等热门型号。动态模型分区，EXO 根据当前网络拓扑和可用设备资源对模型进行最佳拆分。这使您能够运行比在任何单个设备上更大的模型。自动设备发现，EXO 将使用可用的最佳方法自动发现其他设备。零手动配置。ChatGPT 兼容 API，exo 提供了一个与 ChatGPT 兼容的 API，用于运行模型，只需在您的应用程序中进行一行更改，即可使用 exo 在您自己的硬件上运行模型。设备平等，与其他分布式推理框架不同，exo 不使用 master-worker 架构，exo 设备连接 p2p，只要设备连接到网络中的某个位置，它就可以用于运行模型,Exo支持不同的分区策略，可以在设备之间分割模型，默认的分区策略是环形内存加权分区，这将在一个环中运行推理，其中每个设备运行与设备内存成正比的多个模型层。

• ziliwangnlp/RefGPT 包含5万对中文多轮对话数据。用如下方法自动生成数据。采集优质的事实型文档，reference，来源是电子书、维基百科、优质垂类网站。文档需要涵盖尽量多的主题。利用已有LLM生成多轮对话。输入是一篇reference，prompt类似“请根据这篇文章生成多轮问答”。API输出一段多轮对话（dialogue）。这种方法将原本只适合预训练的文档转化成可供微调的多轮对话。收集到大量的reference-dialogue二元组。将reference和prompt作为输入，dialogue作为目标，微调一个GPT模型。称作Reference-to-Dialogue GPT，缩写RefGPT。有了RefGPT，即可基于reference生成多轮对话，获得海量的数据。需要关注2个要点。Reference的质量、广度。Reference内容质量必须高，比如医疗等优质垂类网站的页面、维基百科上非生僻的词条，且需要对网页做清洗。Reference的广度应当大，不能限制在单个垂类或网站。调用已有LLM时需要写prompt，需要仔细尝试各种prompt，使得LLM生成的多轮对话符合预期。

• bilibili/Index-1.9B Index-1.9B系列是Index系列模型（由哔哩哔哩自主研发的大语言模型）中的轻量版本，包含以下模型：Index-1.9B base : 基座模型，具有 19亿 非词嵌入参数量，在2.8T 中英文为主的语料上预训练，多个评测基准上与同级别模型比处于领先。Index-1.9B pure : 基座模型的对照组，与base具有相同的参数和训练策略，不同之处在于我们严格过滤了该版本语料中所有指令相关的数据，以此来验证指令对benchmark的影响。Index-1.9B chat : 基于index-1.9B base通过SFT和DPO对齐后的对话模型，我们发现由于我们预训练中引入了较多互联网社区语料，聊天的趣味性明显更强，并且拥有同级别模型中较强的多语种（尤其是东亚语种）互译能力。Index-1.9B character : 在SFT和DPO的基础上引入了RAG来实现fewshots角色扮演定制。Index-1.9B-32K ： Index-1.9B-32K 是一个仅有 1.9B 参数、却具备 32K 上下文长度的语言模型（这意味着，这个超小精灵可以一次性读完 3.5 万字以上的文档）。

• langchain-ai/langchainjs 通过LLMs可组合性构建应用程序，LangChain是用TypeScript编写的，可用于：Node.js（ESM 和 CommonJS） - 18.x、19.x、20.x、22.x；Cloudflare Workers；Vercel / Next.js（浏览器、Serverless 和 Edge 功能）；Supabase Edge 函数；浏览器；Deno。LangChain是一个用于开发由语言模型驱动的应用程序的框架。它使应用程序能够：具有上下文感知能力：将语言模型连接到上下文源（提示指令、少量镜头示例、内容以使其响应为基础等）；原因：依靠语言模型进行推理（关于如何根据提供的上下文回答、采取什么行动等）。该框架由几个部分组成：开源库：使用 LangChain 的开源构建块、组件和第三方集成来构建您的应用程序，使用 LangGraph.js 构建具有一流和人机交互支持的状态代理。生产化：使用LangSmith来检查、监控和评估您的链，以便您可以放心地持续优化和部署。部署：使用 LangGraph Cloud（目前仅限 Python）将您的 LangGraph 应用程序转换为生产就绪的 API 和助手。

• InternLM/InternLM-techreport 书生·浦语由上海人工智能实验室和商汤科技（同等贡献）与香港中大、复旦和上海交大联合开发的多语言大语言模型。具有104B参数的多语言基础语言模型。在具有 1.6T 词元的大型语料库上进行预训练，并具有多阶段渐进过程，然后进行微调以符合人类偏好。我们还开发了一个名为Uniscale-LLM的训练系统，用于高效的大型语言模型训练。对多项基准的评估表明，InternLM在知识理解、阅读理解、数学和编码等多个方面都取得了最先进的表现。凭借如此全面的能力，InternLM在综合考试中取得了出色的表现，包括MMLU，AGIEval，C-Eval和高考-Bench，而无需借助外部工具。在这些基准测试中，InternLM 不仅明显优于开源模型，而且与 ChatGPT 相比，还获得了卓越的性能。此外，InternLM在理解中文和中国文化方面表现出出色的能力，这使其成为支持面向中文的语言应用的合适基础模型，并提供了跨各种知识领域和任务的基准和示例。

• higgsfield-ai/higgsfield 容错、高度可扩展的 GPU 编排，以及专为训练具有数十亿到数万亿个参数的模型而设计的机器学习框架。Higgsfield 是一个开源、容错、高度可扩展的 GPU 编排，以及一个机器学习框架，专为训练具有数十亿到数万亿个参数的模型而设计，例如大型语言模型 （LLMs）。Higgsfield 作为 GPU 工作负载管理器和机器学习框架，具有五个主要功能：将对计算资源（节点）的独占和非独占访问权限分配给用户进行训练任务。支持 ZeRO-3 deepspeed API 和 PyTorch 的全分片数据并行 API，实现万亿参数模型的高效分片。提供一个框架，用于在分配的节点上启动、执行和监控大型神经网络的训练。通过维护用于运行试验的队列来管理资源争用。通过与 GitHub 和 GitHub Actions 的无缝集成，促进机器学习开发的持续集成，Higgsfield 简化了训练大型模型的过程，并为开发人员提供了多功能且强大的工具集。

• THUDM/GLM-4 GLM-4-9B 是智谱 AI 推出的最新一代预训练模型 GLM-4 系列中的开源版本。 在语义、数学、推理、代码和知识等多方面的数据集测评中， GLM-4-9B 及其人类偏好对齐的版本 GLM-4-9B-Chat 均表现出超越 Llama-3-8B 的卓越性能。除了能进行多轮对话，GLM-4-9B-Chat 还具备网页浏览、代码执行、自定义工具调用（Function Call）和长文本推理（支持最大 128K 上下文）等高级功能。本代模型增加了多语言支持，支持包括日语，韩语，德语在内的 26 种语言。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模态模型 GLM-4V-9B。GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。

• QwenLM/Qwen 阿里云提出的 Qwen （通义千问） 聊天和预训练大型语言模型的官方存储库。开源了Qwen（通义千问）系列工作，当前开源模型的参数规模为18亿（1.8B）、70亿（7B）、140亿（14B）和720亿（72B）。当前基础模型已经稳定训练了大规模高质量且多样化的数据，覆盖多语言（当前以中文和英文为主），总量高达3万亿token。在相关基准评测中，Qwen系列模型拿出非常有竞争力的表现，显著超出同规模模型并紧追一系列最强的闭源模型。此外，我们利用SFT和RLHF技术实现对齐，从基座模型训练得到对话模型。Qwen-Chat具备聊天、文字创作、摘要、信息抽取、翻译等能力，同时还具备一定的代码生成和简单数学推理的能力。在此基础上，我们针对LLM对接外部系统等方面针对性地做了优化，当前具备较强的工具调用能力，以及最近备受关注的Code Interpreter的能力和扮演Agent的能力。

• kvcache-ai/Mooncake Mooncake 是 Moonshot AI 提供的领先LLM服务 Kimi 的服务平台。以 KVCache 为中心的服务LLM分解架构，Mooncake 采用以 KVCache 为中心的分解架构，将预填充和解码集群分开。它还利用 GPU 集群中未充分利用的 CPU、DRAM 和 SSD 资源来实现 KVCache 的分解缓存。Mooncake 的核心是其以 KVCache 为中心的调度器，它在最大化整体有效吞吐量的同时满足与延迟相关的服务级别目标 （SLO） 要求之间取得平衡。与假设所有请求都将得到处理的传统研究不同，Mooncake 面临着高度过载场景带来的挑战。为了缓解这些问题，我们制定了基于预测的早期拒绝政策。实验表明，Mooncake 在长上下文场景中表现出色。与基线方法相比，Mooncake 在遵守 SLO 的同时，在某些模拟场景中可以实现高达 525% 的吞吐量提升。在实际工作负载下，Mooncake 的创新架构使 Kimi 能够处理 75% 以上的请求。

• THUDM/ChatGLM3 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：更强大的基础模型： ChatGLM3-6B 的基础模型 ChatGLM3-6B-Base 采用了更多样的训练数据、更充分的训练步数和更合理的训练策略。在语义、数学、推理、代码、知识等不同角度的数据集上测评显示，ChatGLM3-6B-Base 具有在 10B 以下的基础模型中最强的性能。更完整的功能支持： ChatGLM3-6B 采用了全新设计的 Prompt 格式，除正常的多轮对话外。同时原生支持工具调用（Function Call）、代码执行（Code Interpreter）和 Agent 任务等复杂场景。更全面的开源序列： 除了对话模型 ChatGLM3-6B 外，还开源了基础模型 ChatGLM3-6B-Base、长文本对话模型 ChatGLM3-6B-32K。以上所有权重对学术研究完全开放，在填写问卷进行登记后亦允许免费商业使用。

• InternLM/InternLM InternLM开源了70亿和200亿参数基础模型，以及针对实际场景和训练系统量身定制的聊天模型。开源的轻量级训练框架，旨在支持模型预训练，而无需广泛的依赖关系。通过单个代码库，它支持在具有数千个 GPU 的大规模集群上进行预训练，并在单个 GPU 上进行微调，同时实现卓越的性能优化。InternLM 在 1024 个 GPU 上训练期间实现了近 90% 的加速效率。InternLM-20B选择了更深的架构，深度设置为60层。这超过了使用32或40层的传统7B和13B型号。当参数有限时，增加层数可以增强模型的整体功能。此外，与InternLM-7B相比，InternLM-20B使用的预训练数据经过了更高质量的清理，并补充了丰富的知识数据，旨在增强理解和推理能力。因此，它在理解、推理、数学和编程能力方面表现出显着的改进——所有这些都测试了语言模型的技术熟练程度。

• OpenLMLab/MOSS 支持中英双语和多种插件的开源对话语言模型，moss-moon系列模型具有160亿参数。开源数据: moss-002-sft-data: 多轮对话数据，覆盖有用性、忠实性、无害性三个层面，包含由text-davinci-003生成的约57万条英文对话和59万条中文对话。moss-003-sft-data: 多轮对话数据，基于MOSS-002内测阶段采集的约10万用户输入数据和gpt-3.5-turbo构造而成，更加符合真实用户意图分布，包含更细粒度的有用性类别标记、更广泛的无害性数据和更长对话轮数，约含110万条对话数据。moss-003-sft-plugin-data: 插件增强的多轮对话数据，包含支持搜索引擎、文生图、计算器、解方程等四个插件在内的约30万条多轮对话数据。moss-003-pm-data: 偏好数据，包含在约18万额外对话上下文数据及使用moss-moon-003-sft所产生的回复数据上构造得到的偏好对比数据。

• volcengine/veScale PyTorch 原生LLM 训练框架。易于使用的工业级框架。特色：PyTorch 原生：veScale 植根于 PyTorch 原生数据结构、运算符和 API，享受主导 ML 世界的 PyTorch 生态系统。零模型代码更改：veScale 将分布式系统设计与模型架构解耦，需要对用户的模型代码进行近乎零或零的修改。单设备抽象：veScale 为用户提供单设备语义，在设备集群中自动分发和编排模型执行。自动并行规划：veScale 在半自动化或全自动 下通过策略（张量、序列、数据、ZeRO、管道并行）的协同作用将模型执行并行化。Eager & Compile模式：veScale不仅支持Eager模式自动化以进行并行训练和推理，还支持Compile模式以实现最终性能。自动检查点重新分片：veScale 通过跨不同集群大小和不同并行策略的在线重新分片自动管理分布式检查点。

• OpenMOSS/CoLLiE 帮助您从零开始训练大模型的完整工具箱。它提供了数据预处理、模型微调、模型保存以及训练过程各项指标监测等功能。CoLLiE集成了现有的并行策略、高效参数微调方法和高效优化器，以加快训练的速度，提高训练的质量，降低训练的开销。CoLLiE支持主流的多种模型（如MOSS, InternLM, LLaMA, ChatGLM等），您可以轻松在不同的模型之间切换。此外，CoLLiE提供了丰富的文档，使初学者可以快速入门。同时，CoLLiE还提供了高度可定制化的功能和灵活的配置选项，使有经验的用户能够根据自己的需求进行个性化定制。无论您是初学者还是有经验的专业人士，CoLLiE都可以为您提供满足需求的解决方案。CoLLiE 基于 DeepSpeed 和 PyTorch，为大型语言模型提供协作式和高效的调优方法。

• fanqiwan/FuseAI 大型语言模型的知识融合，专注于模型融合主题的开源研究社区。在 Foundation 和 Chat 上应用模型融合LLMs，未来计划融合 Agent/MoELLMs。FuseChat-7B-VaRM，它融合了三个LLMs具有不同架构和规模的著名聊天，即 NH2-Mixtral-8x7B、NH2-Solar-10.7B 和 OpenChat-3.5-7B。FuseChat-7B-VaRM 在 MT-Bench 上的平均性能为 8.22，优于 Starling-7B、Yi-34B-Chat 和 Tulu-2-DPO-70B 等各种强大的聊天，LLMs甚至超过了 GPT-3.5（March）、Claude-2.1，并接近 Mixtral-8x7B-Instruct。FuseChat采用融合后合并的策略，有两个主要阶段。首先，对源LLMs进行成对知识融合，通过轻量级微调推导出多个结构和大小相同的目标LLMs;然后，将这些目标LLMs合并到参数空间中，提出了一种基于参数矩阵微调前后变化比确定合并权重的新方法VaRM。

• 01-ai/Yi 01.AI 从头开始训练的下一代开源大型语言模型。作为双语语言模型，并在 3T 多语言语料库上进行训练，Yi 系列模型成为全球最强大的LLM模型之一，在语言理解、常识推理、阅读理解等方面显示出前景。Yi-34B-Chat 模型在 AlpacaEval 排行榜上排名第二（仅次于 GPT-4 Turbo），表现优于其他LLMs模型（如 GPT-4、Mixtral、Claude）（基于截至 2024 年 1 月的数据）。Yi-34B模型在各种基准测试中，包括Hugging Face Open LLM Leaderboard（预训练）和C-Eval（基于截至2023年11月的数据）中，在所有现有的开源模型（如Falcon-180B、Llama-70B、Claude）中排名第一。感谢 Transformer 和 Llama 开源社区，因为它们减少了从头开始构建所需的工作量，并能够在 AI 生态系统中使用相同的工具。

• modelscope/swift SWIFT 支持 300+ LLMs 和 50+ MLLM（多模态大型模型）的训练（PreTraining/Fine-tuning/RLHF）、推理、评估和部署。开发者可以直接将我们的框架应用到自己的研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。除了支持PEFT提供的轻量级训练方案外，我们还提供完整的Adapters库，以支持NEFTune、LoRA+、LLaMA-PRO等最新的训练技术。此适配器库可以直接在您自己的自定义工作流程中使用，而无需我们的训练脚本。为了方便不熟悉深度学习的用户使用，我们提供了一个用于控制训练和推理的 Gradio 网页用户界面，并为初学者提供了附带的深度学习课程和最佳实践。SWIFT web-ui 在 Huggingface space 和 ModelScope studio 上都可用，请随时尝试！

• TigerResearch/TigerBot 多语言多任务LLM，在 BLOOM 基础上的模型：TigerBot-7B, TigerBot-7B-base，TigerBot-180B。数据：预训练 100G，从 2TB 过滤后的数据中经过去噪去重清洗而得；监督微调 1G 或 100 万条数据，按比例涵盖用户指令常见的 10 大类 120 小类任务。中文开源预训练集 - 55G，包含中文书籍、中文互联网、中文百科、 英文开源预训练集 - 51G，包含英文书籍、英文互联网、英文百科 、中文-微调指令集-合集 - 53W 条、英文-微调指令集-合集 - 67W 条 - 下载

• mlfoundations/dclm DataComp-LM （DCLM） 是一个综合框架，旨在构建和训练具有不同数据集的大型语言模型 （LLMs）。它提供了来自 CommonCrawl 的 300 多个未经过滤的令牌的标准化语料库、基于 open_lm 框架的有效预训练配方，以及一套包含 50 多个评估的广泛套件。此存储库提供了用于处理原始数据、标记化、洗牌、训练模型以及评估其性能的工具和指南。DCLM 使研究人员能够在不同的计算规模（从 411M 到 7B 参数模型）上试验各种数据集构建策略。我们的基线实验表明，通过优化数据集设计，模型性能有了显著提高。DCLM 已经能够创建多个高质量的数据集，这些数据集在各个尺度上都表现良好，并且优于所有开放数据集。

• whylabs/langkit LangKit：用于监控大型语言模型 （LLMs）。从提示和响应中提取信号，确保安全与保障。功能包括文本质量、相关性指标和情感分析。一个用于 LLM 可观测性的综合工具。开箱即用的指标包括：文本质量（可读性分数、复杂性和等级分数）；文本相关性（提示/响应之间的相似性分数、针对用户定义的主题的相似性分数）；安全和隐私（patterns - 与用户定义的正则表达式模式组匹配的字符串计数、越狱 - 已知越狱尝试的相似性分数、提示注入 - 已知提示注入攻击的相似性分数、幻觉 - 反应之间的一致性检查、拒绝 - 与已知 LLM 拒绝服务响应的相似度得分）；情绪和毒性（情感分析、毒性分析）

• tmlr-group/DeepInception 催眠大型语言模型成为越狱者。披露了一种轻量级的方法，称为DeepInception，它可以很容易地催眠LLM成为越狱者并解锁其滥用风险。具体来说，《深度盗梦空间》利用拟LLM人化能力构建新颖的嵌套场景来表现，实现了正常场景下逃避使用控制的自适应方式，为进一步的直接越狱提供了可能性。根据经验，我们进行了全面的实验以证明其功效。我们的 DeepInception 可以达到与前代同行竞争的越狱成功率，并在后续交互中实现连续越狱，这揭示了 Falcon、Vicuna、Llama-2 和 GPT-3.5/4/4V 等开源/闭源LLMs自输的关键弱点。我们的调查呼吁人们应该更加关注安全方面，LLMs并加强对滥用风险的防御。

• Josh-XT/AGiXT AGiXT 是一个动态的人工智能自动化平台，旨在协调众多提供商的高效 AI 指令管理和任务执行。我们的解决方案将自适应内存处理与广泛的命令相结合，以增强 AI 的理解和响应能力，从而提高任务完成度。该平台的智能功能，如智能指示和智能聊天，无缝集成了网络搜索、规划策略和对话连续性，改变了用户与人工智能之间的交互。通过利用包括网页浏览和命令执行在内的强大插件系统，AGiXT 成为 AI 模型和用户之间的多功能桥梁。随着 AI 提供商名单的不断扩大、代码评估能力、全面的链管理和平台互操作性，AGiXT 不断发展以驱动众多应用程序，确立了其在 AI 技术前沿的地位。

• ianarawjo/ChainForge 用于战斗测试的开源可视化编程环境提示 LLMs。用于分析和评估LLM响应的数据流提示工程环境。它面向提示、聊天响应和响应质量的早期、快速和肮脏的探索，超越了与个人LLMs的临时聊天。使用 ChainForge，您可以：一次查询多个LLMs，以快速有效地测试提示的想法和变化。比较不同提示排列、不同模型和不同模型设置的响应质量，以选择适合您用例的最佳提示和模型。设置评估指标（评分功能），并立即可视化提示、提示参数、模型和模型设置的结果。跨模板参数和聊天模型同时进行多个对话。模板不仅提示，而且跟进聊天消息，并在聊天对话的每个回合检查和评估输出。

• OpenBMB/UltraFeedback 大规模、细粒度、多样化的偏好数据集（和模型）。UltraFeedback 是一个大规模、细粒度、多样化的偏好数据集，用于训练强大的奖励模型和批评者模型。从各种资源（包括 UltraChat、ShareGPT、Evol-Instruct、TruthfulQA、FalseQA 和 FLAN，数据集统计信息见此处）收集了大约 64k 个提示。然后，使用这些提示来查询多个 LLM，并为每个提示生成 4 个不同的响应，从而产生总共 256k 个样本。为了收集高质量的偏好和文本反馈，设计了一个细粒度的注释指令，其中包含 4 个不同的方面，即指令遵循、真实性、诚实性和帮助性。然后，我们要求 GPT-4 根据指令对收集到的样本进行注释。

• pytorch/torchtitan torchtitan 是使用原生 PyTorch 进行大规模 LLM。它现在（并将继续是）一个存储库，用于在干净、最小的代码库中展示 PyTorch 最新的分布式训练功能。TorchTitan 是对任何伟大的大规模 LLM、Megablocks、LLM Foundry、Deepspeed 等。相反，我们希望 torchtitan 中展示的功能能够迅速被这些代码库采用。Torchtitan 不太可能围绕它发展一个大型社区。我们在构建 torchtitan 时的指导原则：旨在易于理解、使用和扩展，以用于不同的培训目的。应用 1D、2D 或 （即将推出的） 3D Parallel 时，对模型代码的更改最小。模块化组件，而不是整体式代码库。几分钟即可开始，而不是几小时！

• towhee-io/towhee Towhee 是一个致力于使神经数据处理管道简单快速的框架。旨在通过使用基于大型语言模型 （LLM） 的管道编排来简化非结构化数据的处理。它具有独特的优势，可以从各种非结构化数据类型（包括冗长的文本、图像、音频和视频文件）中提取宝贵的见解。利用生成式 AI 和 SOTA 深度学习模型的功能，Towhee 能够将这些未处理的数据转换为特定格式，例如文本、图像或嵌入。然后，可以有效地将这些内容加载到适当的存储系统中，例如矢量数据库。开发人员最初可以使用用户友好的 Pythonic API 构建直观的数据处理管道原型，然后针对生产环境进行优化。

• xiaogang00/white-paper-for-large-model-security-and-privacy 大型模型安全和隐私白皮书，大型生成模型也存在数据/模型安全和隐私问题。我们应该注意到，大型生成模型会带来很多安全和隐私问题，因为它们在改变我们生活方面表现出巨大的力量，例如数据泄露和假新闻的传播。在本白皮书中，我们首先总结了大型生成模型的发展，包括其影响和社会影响。然后，我们总结了现有大型生成模型中当前存在的安全和隐私问题，例如数据和模型安全、版权问题和伦理问题。最后，我们针对当前的安全和隐私问题给出了相应的建议。它们可以用来指出未来的研究和发展方向，也可以作为政府决策的参考。

• facebookresearch/llm-transparency-tool LLM 透明度工具 （LLM），一个开源的交互式工具包，用于分析基于 Transformer 的语言模型的内部工作原理。主要功能：选择您的模型，选择或添加您的提示，运行推理。浏览贡献图：选择要从中构建图形的令牌，调整贡献阈值。选择任何块之后的任何令牌的表示。对于表示形式，请参阅其对输出词汇表的投影，查看哪些标记被提升/禁止，但前一个块被提升/禁止。以下内容是可点击的：边缘，这显示了有关贡献注意力头部的更多信息。选择边时的头部，你可以看到这个头在促进/压制什么。FFN 块（图表上的小方块）。选择 FFN 块时的神经元。

• HandsOnLLM/Hands-On-Large-Language-Models O‘Reilly Book 的官方代码存储库 - “Hands-On Large Language Models” 通过本书的视觉教育性质和 250 多个定制图表，学习您今天使用大型语言模型所需的实用工具和概念！第 1 章：语言模型简介。第 2 章：标记和嵌入。第 3 章：深入了解 Transformer LLMs。第 4 章：文本分类。第 5 章：文本聚类和主题建模。第 6 章：提示工程。第 7 章：高级文本生成技术和工具。第 8 章：语义搜索和检索 - 增强生成。第 9 章：多模态大型语言模型。第 10 章：创建文本嵌入模型。第 11 章：微调分类的表示模型。第 12 章：微调生成模型。

• katanaml/sparrow 用于从各种文档和图像中高效提取和处理数据。它可以无缝处理表单、发票、收据和其他非结构化数据源。Sparrow 以其模块化架构脱颖而出，提供独立的服务和管道，所有这些都针对强大的性能进行了优化。Sparrow 的关键功能之一 - 可插拔架构。您可以使用 LlamaIndex、Haystack 或 Unstructured 等工具和框架轻松集成和运行数据提取管道。Sparrow 通过 Ollama 或 Apple MLX 启用本地LLM数据提取管道。使用 Sparrow 解决方案，您可以获得 API，这有助于处理数据并将其转换为结构化输出，随时可以与自定义工作流程集成。

• openai/summarize_from_feedback 在“从人类反馈中学习”( Learning to Summarize from Human Feedback paper)一文中，根据人类反馈训练了一个奖励模型(reward model)。然后使用奖励模型来训练总结模型，使其与人类的偏好保持一致。这是为奖励建模而发布的人类反馈数据集。此数据集分为两部分： comparisons 和 axis 。在这一 comparisons 部分中，人类注释者被要求从两个摘要中选择最好的。在这一 axis 部分中，人类注释者对摘要的质量进行了李克特量表的评分。 comparisons 该部件仅具有训练和验证拆分，并且 axis 该部件仅具有测试和验证拆分。

• BradyFU/Woodpecker 引入了一种名为 Woodpecker 的免训练方法。就像啄木鸟治愈树木一样，它会从生成的文本中挑选并纠正幻觉。具体来说，啄木鸟包括五个阶段：关键概念提取、问题表述、视觉知识验证、视觉声明生成和幻觉纠正。啄木鸟以补救后的方式实施，可以轻松地为不同的MLLM提供服务，同时可以通过访问五个阶段的中间输出进行解释。我们从定量和定性两个方面对啄木鸟进行了评估，并展示了这种新范式的巨大潜力。在 POPE 基准测试中，我们的方法比基线 MiniGPT-4/mPLUG-Owl 的准确率提高了 30.66%/24.33%。

• gpustack/gpustack GPUStack 是一个开源的 GPU 集群管理器，用于运行大型语言模型。主要特点：支持多种硬件：在 Apple MacBook、Windows PC 和 Linux 服务器中使用不同品牌的 GPU 运行。与您的 GPU 库存一起扩展：轻松添加更多 GPU 或节点以扩大您的运营规模。轻量级 Python 包：最小的依赖项和运营开销。兼容 OpenAI 的 API：提供与 OpenAI 标准兼容的 API。用户和 API 密钥管理：简化了用户和 API 密钥的管理。GPU指标监控：实时监控 GPU 性能和利用率。词元使用和费率指标：跟踪令牌使用情况并有效管理速率限制。

• multimodal-art-projection/MAP-NEO MAP-NEO 是一个完全开源的大型语言模型，包括预训练数据、数据处理管道 （Matrix）、预训练脚本和对齐代码。它在 4.5T 中英文词元上从头开始训练，表现出与 LLaMA2 7B 相当的性能。MAP-Neo 模型在推理、数学和编码等具有挑战性的任务中提供类似专有模型的性能，优于同等规模的同类产品。出于研究目的，我们的目标是在LLM培训过程中实现完全透明。为此，我们全面发布了 MAP-Neo，包括最终和中间检查点、自训练标记器、预训练语料库，以及高效、稳定优化的预训练代码库。

• microsoft/JARVIS 一个将LLM与ML社区联系起来的系统。该系统由LLM作为控制器和众多专家模型作为协作执行者（来自HuggingFace Hub）组成。我们系统的工作流程包括四个阶段：任务规划：使用ChatGPT分析用户的请求以了解他们的意图，并将其分解成可能解决的任务。模型选择：为了解决计划的任务，ChatGPT 根据他们的描述选择托管在拥抱脸上的专家模型。任务执行：调用并执行每个选定的模型，并将结果返回给 ChatGPT。响应生成：最后，使用 ChatGPT 集成所有模型的预测，并生成响应。

• ridgerchu/matmulfreellm 实现无 MatMul LM。MatMul-Free LM 是一种语言模型架构，无需矩阵乘法 （MatMul） 运算。此存储库提供了与 🤗 Transformers 库兼容的 MatMul-Free LM 实现。我们评估了缩放定律如何拟合 Transformer++ 和我们的模型中的 370M、1.3B 和 2.7B 参数模型。为了公平比较，每个操作的处理方式相同，尽管我们的模型在某些层中使用了更有效的三元权重。有趣的是，与 Transformer++ 相比，我们模型的缩放投影表现出更陡峭的下降，这表明我们的架构在利用额外计算来提高性能方面更有效。

• hijkzzz/Awesome-LLM-Strawberry 这是OpenAI Strawberry（o1）和Reasoning的研究论文和博客的集合。OpenAI o1 系列模型是新的大型语言模型，经过强化学习训练，可执行复杂推理。o1 模型在回答之前会思考，并且可以在响应用户之前产生一个很长的内部思维链。o1 模型在科学推理方面表现出色，在竞争性编程问题 （Codeforces） 中排名第 89 个百分位，在美国数学奥林匹克竞赛 （AIME） 的资格赛中跻身美国前 500 名学生之列，并在物理、生物和化学问题的基准 （GPQA） 上超过人类博士水平的准确性。

• THUDM/ChatGLM-6B 开源的、支持中英双语的对话语言模型，基于 General Language Model (GLM) 架构，具有 62 亿参数。结合模型量化技术，用户可以在消费级的显卡上进行本地部署（INT4 量化级别下最低只需 6GB 显存）。 ChatGLM-6B 使用了和 ChatGPT 相似的技术，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62 亿参数的 ChatGLM-6B 已经能生成相当符合人类偏好的回答。

• CVI-SZU/Linly 提供中文对话模型 Linly-ChatFlow 、中文基础模型 Chinese-LLaMA (1-2)、Chinese-Falcon 及其训练数据。中文基础模型以 LLaMA 和 Falcon 为底座，使用中文和中英平行语料进行增量预训练，将其在英文上的语言能力扩展到中文上。公开的多语言指令数据，对中文模型进行大规模指令跟随训练，实现了 Linly-ChatFlow。此外，本项目开源了从头训练的 Linly-OpenLLaMA 模型，包含 3B、7B、13B 规模，在 1TB 中英文语料上进行预训练，针对中文优化了字词结合tokenizer。

• Qihoo360/360zhinao 360zhinao 是由奇虎 360 发布的一系列中文大模型，包括 360Zhinao-7B-Base、360Zhinao-7B-Chat-4K、360Zhinao-7B-Chat-32K、360Zhinao-7B-Chat-360K、360Zhinao-search 和 360Zhinao-1.8B-Reranking。该系列模型基于 3.4 万亿 tokens 的高质量语料库训练，在相关基准测试中表现出色，特别是 360Zhinao-7B-Chat-360K 模型，其 360K 的上下文长度在发布时是中文开源模型中最长的。该项目还提供了模型下载、评估、快速入门、模型推理和模型微调等功能，并发布了技术报告和 arXiv 论文。

• AUGMXNT/deccp 逃避和取消中国LLM的审查制度，当前代码是用于取消审查 Qwen 2 Instruct 模型的 PoC。95 个拒绝问题数据集augmxnt/deccp，实验得知：在相同的问题上，中文的拒绝率实际上比英语少得多（>80%）。总结一下：Qwen 2 Instruct 被广泛地 RL 以符合政府/政策要求；EN 与 CN 响应中的一些明显差异；可以消除大部分的拒绝，但这并不一定能改善中国的回应，所以如果这种调整困扰你，你不应该使用RL的中国模型。

• sakanaai/evolutionary-model-merge 大模型合并配方的进化优化。该存储库是 SakanaAI 的 Evolutionary Model Merge 系列的中心枢纽，展示了其发布和资源。它包括用于再现我们论文中提出的评估的模型和代码。通过结合数据流空间和参数空间中的模型，自动生成新的强大模型。这种方法无需梯度训练，减少了计算资源需求。这种方法不仅适用于单一领域的模型合并，还可以跨领域合并，例如将日语LLM与数学专用LLM合并，生成一个既会日语又具备数学推理能力的大语言模型。

• databricks/dbrx 由 Databricks 开发的大型语言模型的代码示例和资源。DBRX 是一个混合专家 （MoE） 模型，具有 132B 总参数和 36B 实时参数。我们使用 16 位专家，其中 4 位在训练或推理期间处于活跃状态。DBRX 针对 12T 文本标记进行了预训练。DBRX 的上下文长度为 32K 个令牌。该模型是使用我们的开源库 Composer、Foundry、LLMMegaBlocks 和 Streaming 的优化版本进行训练的。对于 instruct 模型，我们使用了 ChatML 格式。有关详细信息，请参阅 DBRX Instruct 模型卡。

• varunshenoy/super-json-mode 超级 JSON 模式是一个 Python 框架，LLM通过将目标模式分解为原子组件，然后并行执行生成，可以有效地创建结构化输出。它既支持通过 OpenAI 的传统完成 API 实现的最新技术LLMs，也支持开源，LLMs例如通过 Hugging Face Transformers 和 vLLM。更多LLMs内容将很快得到支持！与依赖提示和 HF Transformer 的朴素 JSON 生成管道相比，我们发现超级 JSON 模式的输出生成速度提高了 10 倍。与朴素一代相比，它也更具确定性，不太可能遇到解析问题。

• QwenLM/Qwen1.5 Qwen1.5 是 Qwen 团队、阿里云开发的大型语言模型系列 Qwen 的改进版本。即 Qwen2 的 beta 版本。与 Qwen 类似，它仍然是一个仅解码器的变压器模型，具有 SwiGLU 激活、RoPE、多头注意力。目前，我们已经取得了以下成就：6种型号尺寸：0.5B、1.8B、4B、7B、14B、72B;聊天模型中的模型质量显著提高;加强了基础模型和聊天模型中的多语言功能;所有模型都支持令牌的 32768 上下文长度;所有型号都启用系统提示，这意味着可以进行角色扮演。

• HITsz-TMG/awesome-llm-attributions 归因是指模型（例如 LLM）生成和提供证据的能力，通常以参考文献或引用的形式，以证实其产生的主张或陈述。这些证据来自可识别的来源，确保可以从基础语料库中逻辑地推断出声明，使其易于理解和验证。归因的主要目的包括使用户能够验证模型提出的声明，促进生成与引用来源密切相关的文本，以提高准确性并减少错误信息或幻觉，以及建立一个结构化框架来评估与所提出的声明相关的支持证据的完整性和相关性。

• steven2358/awesome-generative-ai 现代生成式人工智能项目和服务的精选列表。生成式人工智能是一种通过使用在大量数据上训练的机器学习算法来创建图像、声音和文本等原创内容的技术。与其他形式的人工智能不同，它能够创建独特且以前看不见的输出，例如逼真的图像、数字艺术、音乐和写作。这些作品通常有自己独特的风格，甚至很难与人工创作的作品区分开来。生成式人工智能在艺术、娱乐、营销、学术界和计算机科学等领域有着广泛的应用。

• SqueezeAILab/LLM2LLM LLM2LLM 是一种新颖的迭代数据增强策略，旨在通过使用大型语言模型（LLM）自身的能力来提升其性能。该方法的核心思想是利用一个教师 LLM 来增强小型的种子数据集，通过生成合成数据并将其重新加入到训练数据中，从而逐步提高模型的性能。这种方法不仅减少了手动生成数据的需要，还显著降低了所需的真实数据量，使得在低数据机制中也能有效提升 LLM 的性能。包括以下几个步骤：在初始种子数据集中微调学生模型。

• PCL-Platform.Intelligence/PanGu-Alpha 2000亿开源中文预训练语言模型「鹏城·盘古α」,以鹏城实验室为首的技术团队联合攻关，首次基于“鹏城云脑Ⅱ”和国产MindSpore框架的自动混合并行模式实现在2048卡算力集群上的大规模分布式训练，训练出业界首个2000亿参数以中文为核心的预训练生成语言模型。鹏城·盘古α预训练模型支持丰富的场景应用，在知识问答、知识检索、知识推理、阅读理解等文本生成领域表现突出，具备很强的小样本学习能力。

• protectai/rebuff Rebuff 旨在通过多层防御保护 AI 应用程序免受即时注入 （PI） 攻击。Rebuff 提供 4 层防御：启发式：在潜在恶意输入到达 LLM。LLM 基于检测：使用专用的 LLM 来分析传入的提示并识别潜在的攻击。VectorDB：将以前攻击的嵌入存储在向量数据库中，以识别和防止将来发生类似的攻击。金丝雀令牌：将金丝雀令牌添加到提示中以检测泄漏，从而允许框架将有关传入提示的嵌入存储在向量数据库中并防止未来的攻击。

• sail-sg/sailor-llm 东南亚的开放语言模型，Sailor 是一套为东南亚 （SEA） 量身定制的开放语言模型，专注于印度尼西亚语、泰语、越南语、马来语和老挝语等语言。通过精心策划数据开发的，旨在理解和生成东南亚地区不同语言环境中的文本。Sailor 基于 Qwen 1.5 构建，包含不同尺寸的模型，从 0.5B 到 14B 版本，可满足不同的要求。基准测试结果表明 Sailor 熟练掌握东南亚语言的问答、常识推理、阅读理解等任务。

• stanford-crfm/levanter 用于训练大型语言模型 （LLMs） 和其他基础模型的框架，旨在实现可读性、可伸缩性和可重复性。清晰易读：Levanter 使用我们命名的张量库 Haliax 编写易于理解、可组合的深度学习代码，同时仍然保持高性能。可扩展：Levanter 可扩展到大型模型，并能够在各种硬件上进行训练，包括 GPU 和 TPU。可重现：Levanter 是按位确定性的，这意味着相同的配置将始终产生相同的结果，即使面对抢占和恢复。

• Langboat/Mengzi3 Mengzi3 8B/13B模型基于Llama架构，语料精选自网页、百科、社交、媒体、新闻，以及高质量的开源数据集。通过在万亿tokens上进行多语言语料的继续训练，模型的中文能力突出并且兼顾多语言能力。孟子3 8B/13B基于Llama架构，语料库选自网页、百科、社交网络、媒体、新闻、高质量开源数据集。通过继续在数万亿个词元上训练多语言语料库，该模型具有出色的中文能力，并考虑到了多语言能力。

• ymcui/Chinese-LLaMA-Alpaca-3 基于Meta最新发布的新一代开源大模型Llama-3开发，是Chinese-LLaMA-Alpaca开源大模型相关系列项目（一期、二期）的第三期。本项目开源了中文Llama-3基座模型和中文Llama-3-Instruct指令精调大模型。这些模型在原版Llama-3的基础上使用了大规模中文数据进行增量预训练，并且使用精选指令数据进行精调，进一步提升了中文基础语义和指令理解能力，相比二代相关模型获得了显著性能提升。

• X-PLUG/ChatPLUG 旨在建立和共享一个中文开放域对话系统。在推理过程中集成外部知识是灵活的，这是一个可选的输入。您可以利用 获取最新信息或使用本地知识库获取 search engine 领域知识。通过设置 bot profiles 或使用 role-paly instructions 来自定义对话和字符的样式很容易。它通过多轮对话展示了其在开放领域对话方面的熟练程度，同时也在广泛的 NLP 任务上表现出色 multi-task abilities 。

• dvmazur/mixtral-offloading 在 Colab 或消费者桌面上运行 Mixtral-8x7B 模型，通过多种技术的组合实现了对Mixtral-8x7B模型的高效推理：使用 HQQ 进行混合量化，我们为注意力层和专家应用单独的量化方案，以将模型拟合到组合的 GPU 和 CPU 内存中。MoE 卸载策略，每层的每个专家都单独卸载，仅在需要时将背包带到 GPU，我们将活跃的 EA 存储在 LRU 缓存中，以减少在计算相邻令牌的激活时 GPU-RAM 通信。

• OpenBuddy/OpenBuddy OpenBuddy 是一个针对全球用户的强大开放式多语言聊天机器人模型，强调对话式 AI 和对英语、中文和其他语言的无缝多语言支持。OpenBuddy 基于 Tii 的 Falcon 模型和 Facebook 的 LLaMA 模型构建，经过微调以包括扩展词汇表、额外的常用字符和增强的令牌嵌入。通过利用这些改进和多轮对话数据集，OpenBuddy 提供了一个强大的模型，能够回答各种语言的问题和执行翻译任务。

• openai/webgpt_comparisons 在 WebGPT 论文中，作者根据人类反馈训练了一个奖励模型。他们使用奖励模型来训练一个长篇问答模型，以符合人类的偏好。这是在 WebGPT 项目结束时被标记为适合奖励建模的所有比较的数据集。总共有 19,578 个比较。数据集中的每个示例都包含一个问题的一对模型答案以及关联的元数据。每个答案都有一个来自人类的偏好分数，可用于确定两个答案中哪一个更好。

• poloclub/transformer-explainer Transformer Explainer 是一种交互式可视化工具，旨在帮助任何人了解基于 Transformer 的模型（如 GPT）的工作原理。它直接在浏览器中运行实时 GPT-2 模型，允许您试验自己的文本并实时观察 Transformer 的内部组件和操作如何协同工作以预测下一个令牌。在 http://poloclub.github.io/transformer-explainer 上试用 Transformer Explainer，并在 YouTube https://youtu.be/ECR4oAwocjs 上观看演示视频。

• THUDM/LongCite LongCite：使 LLMs 能够在长上下文 QA 中生成细粒度引文。开源了两个模型：LongCite-glm4-9b 和 LongCite-llama3.1-8b，它们分别基于 GLM-4-9B 和 Meta-Llama-3.1-8B 进行训练，并支持高达 128K 的上下文。这两个模型指向了我们论文中的“LongCite-9B”和“LongCite-8B”模型。给定基于长上下文的查询，这些模型可以生成准确的响应和精确的句子级引用，使用户可以轻松验证输出信息。

• microsoft/guidance 指南使你能够比传统的提示或链接更有效、更高效地控制新式语言模型。指导程序允许您将生成、提示和逻辑控制交错到单个连续流中，以匹配语言模型实际处理文本的方式。简单的输出结构，如思维链及其许多变体（例如，ART，Auto-CoT等）已被证明可以提高LLM的性能。像 GPT-4 这样更强大的 LLM 的出现允许更丰富的结构，而 guidance 使该结构更容易、更便宜。

• meta-llama/llama3 Meta Llama 3 官方 GitHub 站点。我们正在释放大型语言模型的力量。我们最新版本的 Llama 现在可供各种规模的个人、创作者、研究人员和企业使用，以便他们可以负责任地试验、创新和扩展他们的想法。此版本包括预训练和指令调整的 Llama 3 语言模型的模型权重和起始代码，包括 8B 到 70B 参数的大小。此存储库旨在作为加载 Llama 3 模型和运行推理的最小示例。

• zilliztech/GPTCache LLM 的语义缓存。 与 LangChain 和 llama_index 完全集成。将您的LLM API成本降低10倍，将速度提高100倍。采用了语义缓存等替代策略。语义缓存识别并存储相似或相关的查询，从而提高缓存命中概率并提高整体缓存效率。采用嵌入算法将查询转换为嵌入，并使用向量存储对这些嵌入进行相似性搜索。此过程允许 GPTCache 从缓存存储中识别和检索类似或相关的查询。

• CrazyBoyM/llama2-Chinese-chat llama2 13b 中文多轮对话模型，且”首发版”已在LLM排行榜取得优秀成绩（至今仍在同类模型中处于较领先位置）。llama2 Chinese chat - 本项目是一个教程记录整理的repo，旨在提供给新手的参照价值和开箱即用的中文LLaMa2对话体验。包含训练过程记录，各种主要量化方式，部署后端api的推荐方案，以及在一个具体的前端网页上实现开箱即用的流畅对话体验。

• baichuan-inc/Baichuan2 百川智能推出的新一代开源大语言模型，采用 2.6 万亿 Tokens 的高质量语料训练。在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。本次发布包含有 7B、13B 的 Base 和 Chat 版本，并提供了 Chat 版本的 4bits 量化。所有版本对学术研究完全开放。同时，开发者通过邮件申请并获得官方商用许可后，即可免费商用。

• karpathy/LLM101n 在本课程中，我们将构建一个 Storyteller AI 大型语言模型 （LLM）。携手合作，您将能够使用 AI 创建、完善和说明小故事。我们将从头开始构建从基础到类似于 ChatGPT 的功能 Web 应用程序的所有内容，从头开始使用 Python、C 和 CUDA，并且具有最少的计算机科学先决条件。到最后，你应该对人工智能LLMs和更普遍的深度学习有相对深入的了解。

• google/gemma_pytorch Gemma 是一个轻量级、最先进的开放模型系列，由用于创建 Google Gemini 模型的研究和技术构建而成。它们是文本到文本、仅解码器的大型语言模型，提供英语版本，具有开放权重、预训练变体和指令调整变体。这是 Gemma 模型的官方 PyTorch 实现。我们使用 PyTorch 和 PyTorch/XLA 提供模型和推理实现，并支持在 CPU、GPU 和 TPU 上运行推理。

• facebookresearch/lingua Meta Lingua 是一个最小且快速的LLM培训和推理库，专为研究而设计。 Meta Lingua 使用易于修改的 PyTorch 组件来尝试新的架构、损失、数据等。我们的目标是使该代码能够实现端到端的训练、推理和评估，并提供工具来更好地理解速度和稳定性。虽然 Meta Lingua 目前正在开发中，但我们为您提供了多个apps来展示如何使用此代码库。

• lrhh123/ChatGPT-On-CS 基于大模型的智能对话客服工具，支持微信、千牛、哔哩哔哩、抖音企业号、抖音、抖店、微博聊天、小红书专业号运营、小红书、知乎等平台接入，可选择 GPT3.5/GPT4.0/ 懒人百宝箱 （后续会支持更多平台），能处理文本、语音和图片，通过插件访问操作系统和互联网等外部资源，支持基于自有知识库定制企业 AI 应用。

• TransformerLensOrg/TransformerLens GPT 风格语言模型的机械可解释性库。机理可解释性的目标是采用经过训练的模型，并对模型在训练期间从其权重中学习的算法进行逆向工程。TransformerLens 允许您加载 50+ 种不同的开源语言模型，并向您公开模型的内部激活。您可以在模型中缓存任何内部激活，并添加函数以在模型运行时编辑、删除或替换这些激活。

• spcl/graph-of-thoughts 思想图Graph of Thoughts (GoT)：用大型语言模型解决复杂问题的官方实现。此框架使您能够通过将复杂问题建模为操作图 （GoO） 来解决复杂问题，该操作图以大型语言模型 （LLM） 作为引擎自动执行。该框架设计为灵活且可扩展，不仅允许您使用新的 GoT 方法解决问题，还可以实现类似于以前方法（如 CoT 或 ToT）的 GoO。

• pjlab-sys4nlp/llama-moe 通过持续的预培训建立来自 LLaMA 的专家组合。于 LLaMA 和 SlimPajama 的一系列开源专家混合 （MoE） 模型。我们通过以下两个步骤构建 LLaMA-MoE：将 LLaMA 的 FFN 划分为稀疏专家，并为每一层专家插入 top-K 门。使用来自 Sheared LLaMA 的优化数据采样权重和来自 SlimPajama 的过滤数据集，持续预训练初始化的 MoE 模型。

• OpenBMB/CPM-Bee 一个完全开源、允许商用的百亿参数中英文基座模型，也是CPM-Live训练的第二个里程碑。它采用Transformer自回归架构（auto-regressive），在超万亿（trillion）高质量语料上进行预训练，拥有强大的基础能力。开发者和研究者可以在CPM-Bee基座模型的基础上在各类场景进行适配来以创建特定领域的应用模型。

• wenge-research/YaYi 为客户打造安全可靠的专属大模型，基于大规模中英文多领域指令数据训练的 LlaMA 2 & BLOOM 系列模型，由中科闻歌算法团队研发。在百万级人工构造的高质量领域数据上进行指令微调得到，训练数据覆盖媒体宣传、舆情分析、公共安全、金融风控、城市治理等五大领域，上百种自然语言指令任务。

• JosephusCheung/GuanacoDataset Guanaco 模型的数据集旨在增强多语言能力并解决各种语言任务。以 Alpaca 模型的 175个任务为基础，提供了用不同语言重写的种子任务，并添加了专门为英语语法分析、自然语言理解、跨语言自我意识和显式内容识别设计的新任务。数据集总共包含53万个条目，以6k美元的低成本生成。英语中文日语。

• CrazyBoyM/phi3-Chinese phi3以小搏大（从微软放出的跑分数据看），用不到1/2的小体积（3.8b）超越llama3 8b版性能表现，增大了在手机上部署的可行性。该仓库致力于收录分散在开源社区的各种phi3的训练变体版本，让更多网友发现那些不为人知的特色有趣权重。同时也会顺便整理phi相关训练、推理、部署的简单教程。

• imoneoi/openchat 使用不完善的数据推进开源语言模型。OpenChat是一系列基于监督微调（SFT）的开源语言模型。我们利用 ~80k ShareGPT 对话与条件反射策略和加权损失，尽管我们的方法很简单，但仍实现了卓越的表现。我们的最终愿景是开发一个高性能、开源和商用的大型语言模型，并且我们正在不断取得进展。

• princeton-nlp/LLM-Shearing 剪切 LLaMA：通过结构化修剪加速语言模型预训练，与从头开始预训练相比，修剪强大的基础模型是获得强大的小规模语言模型的一种极具成本效益的方法。下图显示，给定 Llama-2-7B 模型（使用 2T 令牌预训练）的存在，修剪它会产生一个与 OpenLLaMA 模型一样强大的模型，其预训练成本仅为 3%。

• JosephusCheung/GuanacoDataset Guanaco模型的数据集旨在增强多语言能力并解决各种语言任务。它以 Alpaca 模型中的 175 个任务为基础，提供不同语言的种子任务重写，并添加专门为英语语法分析、自然语言理解、跨语言自我意识和显式内容识别而设计的新任务。该数据集总共包含 534,530 个条目，以 6K 美元的低成本生成。

• amazon-science/auto-cot “大型语言模型中的自动思维链提示”的官方实现，用“让我们一步一步地思考”的提示让 AI 振作起来？请多多说。让我们不仅要一步一步地思考，还要一个一个地思考。Auto-CoT 使用更多的cheers和多样性来节省思维链提示设计中的巨大手动工作，匹配甚至超过 GPT-3 上的手动设计性能。

• THUDM/GLM-130B GLM-130B是一个开放的双语（英汉）双向密集模型，具有1300亿个参数，使用通用语言模型（GLM）算法进行预训练。它旨在支持单个 A100 （40G * 8） 或 V100 （32G * 8） 上具有 130B 参数的推理任务。通过 INT4 量化，硬件可以进一步降低到具有 4 * RTX3090 24G 的单个服务器，几乎没有性能下降。

• refuel-ai/autolabel Python 库，用于使用您选择的任何大型语言模型 （LLM） 标记、清理和丰富文本数据集。访问大型、干净和多样化的标记数据集是任何机器学习工作成功的关键组成部分。LLMs像 GPT-4 这样的先进技术能够以高精度自动标记数据，而且与手动标记相比，成本和时间只是其中的一小部分。

• ymcui/Chinese-LLaMA-Alpaca 中文LLaMA模型和经过指令精调的Alpaca大模型。这些模型在原版LLaMA的基础上扩充了中文词表并使用了中文数据进行二次预训练，进一步提升了中文基础语义理解能力。同时，在中文LLaMA的基础上，本项目使用了中文指令数据进行指令精调，显著提升了模型对指令的理解和执行能力。

• goldfishh/chatgpt-tool-hub 一个开源的 chatgpt 工具生态系统，您可以在其中将工具与 chatgpt 结合使用并使用自然语言做任何事情。这是一个能让ChatGPT使用多个神奇工具的执行引擎，你能用自然语言命令ChatGPT使用联网、搜索、数学运算、控制电脑、执行代码等工具，扩大ChatGPT使用范围提高你的生产力。

• LC1332/Luotuo-Silk-Road 中文大语言模型的数据。对话与指令数据集：Luotuo-Chinese-Alpaca 骆驼-中国-羊驼、Chinese-Dolly 中国多莉、Chinese-WizardLM 中国巫师LM、阅读理解数据 Chinese-CoQA 、Luotuo-QA-B、图文跨模态数据 Chinese-MMC4-130k 中文-MMC4-130k、Chinese-Coco-Captioning 中文-可可-字幕、Embedding蒸馏数据 CNewSum-Embedding

• karpathy/nano-llama31 这个 repo 之于 Llama 3.1，就像 nanoGPT 之于 GPT-2。也就是说，它是 Llama 3.1 架构的最小、无依赖的实现，它可以非常简单地训练、微调和推理。这与 Meta 的官方代码发布和 huggingface 实现相比，后者都具有更重的依赖性和更多的代码。代码目前主要针对 Llama 3.1 的 8B 基础模型。

• FranxYao/Long-Context-Data-Engineering 实现论文数据工程，将语言模型扩展到 128K 上下文。使用 tensor_parallel 从这个存储库实现的 device_map ，因为它比 huggingface 快得多，比 vLLM 轻量级。但它有一个小错误，如果你的 GPU 内存不够大，它会卡住而不是通过内存溢出异常。因此，请确保您有足够的 GPU 内存。

• LLMBook-zh/LLMBook-zh.github.io 《大语言模型》作者：赵鑫，李军毅，周昆，唐天一，文继荣。希望读者通过阅读本书，能够深入了解大模型技术的现状和未来趋势，为自己的研究和实践提供指导和启发。让我们携手努力，共同推动人工智能技术的发展，为建立更智能、更可持续的未来做出贡献。

• Mozilla-Ocho/llamafile 目标是使开发人员和最终用户更容易访问开源大型语言模型。我们通过将 llama.cpp 与 Cosmopolitan Libc 合并到一个框架中来做到这一点，该框架将所有复杂性LLMs折叠成一个单文件可执行文件（称为“llamafile”），该可执行文件可在大多数计算机上本地运行，无需安装。

• jzhang38/TinyLlama 在 3 万亿个词元上预训练 1.1B Llama 模型。采用了与 Llama 2 完全相同的架构和分词器。这意味着 TinyLlama 可以在许多基于 Llama 构建的开源项目中插入和播放。此外，TinyLlama 结构紧凑，只有 1.1B 参数。这种紧凑性使其能够满足众多需要有限计算和内存占用的应用程序。

• mbzuai-nlp/LaMini-LM 来自大规模指令的多样化蒸馏模型群。从ChatGPT提炼出来的小型高效语言模型的集合，并在2.58M指令的大规模数据集上进行训练。我们通过执行句子/离线提炼从大型语言模型中提取知识。我们基于几个现有的提示资源，使用 gpt-3.5-turbo 生成总共 2.58M 对指令和响应。

• daveebbelaar/langchain-experiments 侧重于试验 LangChain 库，以构建具有大型语言模型的强大应用程序 （LLMs）。通过利用 GPT-3.5 Turbo 、GPT-4等最先进的语言模型，该项目展示了如何从 YouTube 视频成绩单创建可搜索的数据库，使用 FAISS 库执行相似性搜索查询，并用相关和准确的信息回答用户问题。

• deepseek-ai/DeepSeek-MoE DeepSeekMoE 16B 是一种具有 16.4B 参数的专家混合 （MoE） 语言模型。它采用了创新的 MoE 架构，该架构涉及两个主要策略：细粒度专家细分和共享专家隔离。它在 2T 英文和中文词元上从头开始训练，表现出与 DeekSeek 7B 和 LLaMA2 7B 相当的性能，只有大约 40% 的计算。

• decodingml/llm-twin-course 免费学习如何使用 LLMOps 最佳实践构建端到端生产就绪的 LLM 和 RAG 系统：~ 源代码 + 12 节实践课。您将学习如何从头到尾构建和构建真实世界的LLM系统 - 从数据收集到部署。您还将学习利用 MLOps 最佳实践，例如实验跟踪器、模型注册表、提示监视和版本控制。

• baichuan-inc/baichuan-7B 百川开发的大规模7B预训练语言模型。一个开源可商用的大规模预训练语言模型。基于 Transformer 结构，在大约 1.2 万亿词元上训练的 70 亿参数模型，支持中英双语，上下文窗口长度为 4096。在标准的中文和英文 benchmark（C-Eval/MMLU）上均取得同尺寸最好的效果。

• LianjiaTech/BELLE 开源中文对话大模型，现阶段基于开源预训练大语言模型（如BLOOM），针对中文做了优化，模型调优仅使用由ChatGPT生产的数据（不包含任何其他数据）。开放了数据集：Stanford Alpaca 生成的中文数据集1M + 0.5M；0.25M数学指令数据集和0.8M多轮任务对话数据集。

• Mooler0410/LLMsPracticalGuide LLM实用指南资源的精选列表。它基于我们的调查论文：在实践中利用LLM的力量：关于ChatGPT及其他的调查。该调查部分基于本博客的后半部分。我们还构建了现代大型语言模型（LLM）的进化树，以追踪近年来语言模型的发展，并重点介绍一些最著名的模型。

• lm-sys/arena-hard-auto Arena-Hard-Auto-v0.1 是一个用于指令调整的 LLMs。它包含 500 个具有挑战性的用户查询。我们提示 GPT-4-Turbo 作为裁判将模型的反应与基线模型（默认：GPT-4-0314）进行比较。如果您想了解您的模型在 Chatbot Arena 上的表现如何，我们建议您尝试 Arena-Hard-Auto。

• EleutherAI/gpt-neox 在GPU上训练大规模语言模型。基于 NVIDIA 的威震天语言模型，并已通过 DeepSpeed 的技术以及一些新颖的优化进行了增强。目标是使这个存储库成为一个集中且可访问的地方，以收集用于训练大规模自回归语言模型的技术，并加速对大规模训练的研究。

• ibeatai/beat-ai <Beat AI> 又名 <零生万物> , 是一本专属于软件开发工程师的 AI 入门圣经，手把手带你上手写 AI。从神经网络到大模型，从高层设计到微观原理，从工程实现到算法，学完后，你会发现 AI 也并不是想象中那么高不可攀、无法战胜，Just beat it !

• mlabonne/llm-course 使用路线图和 Colab 笔记本来学习大型语言模型 （LLMs） 的课程。该LLM课程分为三个部分：LLM 基础知识涵盖有关数学、Python 和神经网络的基本知识。科学家LLM专注于LLMs使用最新技术构建最佳产品。LLM 工程师专注于创建LLM基于应用程序并部署它们。

• PCL-Platform.Intelligence/PanGu-Dialog 鹏城.盘古对话生成大模型，简称PanGu-Dialog。PanGu-Dialog是以大数据和大模型为显著特征的大规模开放域对话生成模型，充分利用了大规模预训练语言模型的知识和语言能力，基于预训练+持续微调的学习策略融合大规模普通文本和对话数据训练而成。

• xcanwin/KeepChatGPT ChatGPT的畅聊与增强插件。开源免费。不仅能解决所有报错不再刷新，还有保持活跃、取消审计、克隆对话、净化首页、展示大屏、展示全屏、言无不尽、拦截跟踪、日新月异等多个高级功能。让我们的AI体验无比顺畅、丝滑、高效、简洁。

• adamcohenhillel/ADeus 一种开源 AI 可穿戴设备，可捕获您在现实世界中所说和听到的内容，然后将其转录并存储在您自己的服务器上。然后，您可以使用该应用程序与 Adeus 聊天，它将包含有关您想要谈论的内容的所有正确上下文 - 一个真正个性化的个人 AI。

• microsoft/lida LIDA是一个用于生成数据可视化和数据忠实信息图表的库。LIDA 与语法无关（适用于任何编程语言和可视化库，例如 matplotlib、seaborn、altair、d3 等），并与多个大型语言模型提供商（OpenAI、Azure OpenAI、PaLM、Cohere、Huggingface）配合使用。

• ShishirPatil/gorilla LLM的API商店 。使 LLM 能够通过调用 API 来使用工具。给定一个自然语言查询，Gorilla 会提出语义和语法上正确的 API 来调用。通过Gorilla，我们是第一个演示如何使用LLM准确调用1，600+（并且不断增长的）API调用，同时减少幻觉的人。

• Stability-AI/StableLM 稳定性AI语言模型。使用 Stanford Alpaca 的程序对模型进行了微调，结合了五个最近的对话代理数据集：Stanford 的 Alpaca 、Nomic-AI 的 gpt4all 、RyokoAI 的 ShareGPT52K 数据集、Databricks的 Dolly 和 HH 。以 StableLM-Tuned-Alpha 的形式发布这些模型。

• Hannibal046/Awesome-LLM 大型语言模型（LLM）已经席卷了NLP社区AI社区的整个世界。以下是关于大型语言模型的精选论文列表，尤其是与 ChatGPT 相关的论文。它还包含LLM培训框架，部署LLM的工具，有关LLM的课程和教程以及所有公开可用的LLM检查点和API。

• ysymyth/ReAct ICLR 2023年 ReAct：在语言模型中协同推理和行动。采用多轮次的“想法（thought）+动作（act）+结果（obs）”方式，让LLM把内心独白（想法）说出来，然后再根据独白做相应的动作，获得结果，来提高最终的LLM答案准确性。

• LightChen233/Awesome-Multilingual-LLM Awesome-多语言LLM。实际上，世界上有 7000 多种语言。随着全球化进程的加快，大型语言模型的成功应该考虑服务于不同的国家和语言。为此，多语言大型语言模型（MLLM）在处理多种语言时具有优势，越来越受到关注。

• mistralai/mistral-src Mistral AI 7B v0.1 模型的参考实现。一个功能强大且快速的模型，适用于许多用例。虽然速度快 6 倍，但它在所有基准测试中都与 Llama 2 70B 相当或更胜一筹，会说多种语言，具有自然的编码能力。它处理 32k 序列长度。

• LC1332/Luotuo-Chinese-LLM 中文大语言模型开源项目，包含了一系列语言模型。Luotuo-Vanilla是骆驼项目的第一个github仓库, 它是在LLaMA-7B上进行微调的。骆驼项目的初始目标，是研究使用跨语言数据在进行微调时，大语言模型发生的相关现象。

• Calcium-Ion/new-api AI模型接口管理与分发系统，支持将多种大模型转为OpenAI格式调用、支持Midjourney Proxy、Suno、Rerank，兼容易支付协议，仅供个人或者企业内部管理与分发渠道使用，请勿用于商业用途，本项目基于One API二次开发。

• PhoebusSi/Alpaca-CoT 将CoT数据扩展到Alpaca以提高其推理能力，同时我们将不断收集更多的instruction-tuning数据集,并在我们框架下集成进更多的LLM，打造一个通用的LLM-IFT平台。Alpaca-CoT · Datasets

• km1994/LLMsNineStoryDemonTower 分享 LLMs在自然语言处理（ChatGLM、Chinese-LLaMA-Alpaca、小羊驼 Vicuna、LLaMA、GPT4ALL等）、信息检索（langchain）、语言合成、语言识别、多模态等领域（Stable Diffusion、MiniGPT-4、VisualGLM-6B、Ziya-Visual等）等 实战与经验。

• Yue-Yang/ChatGPT-Siri Siri的快捷方式使用ChatGPT API gpt-3.5-turbo和gpt-4模型，支持连续对话，配置API密钥并保存聊天记录。由 ChatGPT API gpt-3.5-turbo & gpt-4 模型驱动的智能 Siri，支持连续对话，配置API key，配置系统prompt，保存聊天记录。

• mosaicml/llm-foundry 用于 MosaicML 基础模型的 LLM 训练代码，包含用于训练、微调、评估和部署 LLM 的代码，以便使用 Composer 和 MosaicML 平台进行推理。该代码库设计为易于使用、高效和灵活，旨在支持使用最新技术进行快速实验。

• stas00/ml-engineering 一个开放的方法集合，可帮助成功训练大型语言模型和多模态模型。这是一本适合LLM/VLM培训工程师和操作员的技术材料。也就是说，这里的内容包含大量脚本和复制粘贴命令，使您能够快速满足您的需求。

• orhanerday/open-ai OpenAI PHP SDK ：下载次数最多、分叉次数最多、贡献次数最多、社区支持和使用的 OpenAI GPT-3 和 DALL-E 的 PHP（Laravel 、Symfony、Yii、Cake PHP 或任何 PHP 框架）SDK。它还支持类似 chatGPT 的流媒体。（支持 ChatGPT AI）

• danswer-ai/danswer 用自然语言提问，并获得私人资源支持的答案。连接到 Slack、GitHub、Confluence 等工具。允许您使用自然语言提出问题，并根据团队特定文档获得答案。想想 ChatGPT，如果它可以访问您团队的独特知识。

• Arize-ai/phoenix 以闪电般的速度提供 MLOps 和 LLMOps 见解，具有零配置可观测性。Phoenix 通过提供以下功能，为监视模型和LLM应用程序提供笔记本优先体验：LLM跟踪。LLM Evals。嵌入分析。RAG 分析。结构化数据分析 。

• BASI-LABS/parseltongue 能强大的提示黑客工具/浏览器扩展，用于实时标记化可视化和无缝文本转换，支持二进制、base64、leetspeak、特殊字符和多种语言等格式。非常适合红队成员、开发人员、语言学家和潜在的探索者。

• bricks-cloud/BricksLLM Go 编写的云原生 AI 企业级 API 网关，可帮助您监控每个 API 密钥并施加成本或速率限制。为每个用户、应用程序或环境提供精细的访问控制和监控。支持 OpenAI、Azure OpenAI、Anthropic、vLLM 和开源LLMs。

• LLM-Red-Team/kimi-free-api KIMI AI 长文本大模型逆向API白嫖测试【特长：长文本解读整理】，支持高速流式输出、智能体对话、联网搜索、长文档解读、图像OCR、多轮对话，零配置部署，多路token支持，自动清理会话痕迹。

• jxnl/instructor 处理大型语言模型的结构化输出变得轻而易举 （LLMs）。它建立在 Pydantic 之上，提供了一个简单、透明且用户友好的 API 来管理验证、重试和流式响应。准备好为您的LLM工作流程增添动力

• GoogleCloudPlatform/generative-ai 包含笔记本、代码示例、示例应用和其他资源，用于演示如何使用 Google Cloud 上的生成式 AI 使用、开发和管理生成式 AI 工作流程，这些工作流由 Vertex AI 和生成式 AI App Builder 提供支持。

• clue-ai/ChatYuan 用于问答、结合上下文做对话、做各种生成任务，包括创意性写作，也能回答一些像法律、新冠等领域问题。它基于PromptCLUE-large结合数亿条功能对话多轮对话数据进一步训练得到。

• bleedline/Awesome-gptlike-shellsite 深入探索精选的gpt套壳站和必备API资源。本文为初学者和经验丰富的运营者提供一站式指南，涵盖常见问题解答和基础攻略，助您迈向套壳站副业成功之路。便宜且高并发的api。

• kwai/KwaiYii 由快手AI团队从零到一独立自主研发的一系列大规模语言模型（Large Language Model），当前包含了多种参数规模的模型，并覆盖了预训练模型（KwaiYii-Base)、对话模型（KwaiYii-Chat)。

• databrickslabs/dolly dolly-v2-12b是由Databricks创建的120亿参数因果语言模型，该模型源自EleutherAI的Pythia-12b，并在Databricks员工生成的~15K记录指令语料库上进行微调，并在宽松许可证（CC-BY-SA）下发布

• cheshire-cat-ai/core Cheshire Cat 是一个框架，用于在任何语言模型上构建自定义 AI。如果您曾经使用 WordPress 或 Django 等系统构建 Web 应用程序，请将 Cat 想象成一个类似的工具，但专门用于 AI。

• traceloop/openllmetry OpenLLMetry 是一个开源项目，可让您轻松开始监控和调试 LLM。跟踪以非侵入性方式完成，构建在 OpenTelemetry 之上。您可以选择将跟踪导出到 Traceloop 或现有的可观测性堆栈。

• nlpxucan/WizardLM 由Evol-Instruct提供支持的遵循指令的LLM系列：WizardLM，WizardCoder和WizardMath。基于GPT-4的自动评估框架来评估聊天机器人模型的性能。WizardLM-30B取得了比Guanaco-65B更好的结果。

• shibing624/textgen 文本生成模型的实现，包括LLaMA，BLOOM，GPT2，BART，T5，SongNet等。文本生成模型，实现了包括LLaMA，ChatGLM，BLOOM，GPT2，Seq2Seq，BART，T5，UDA等模型的训练和预测，开箱即用。

• facebookresearch/llama facebook LLaMA 模型的推理代码。最新版本的 Llama 现在可供各种规模的个人、创作者、研究人员和企业访问，以便他们可以负责任地进行实验、创新和扩展他们的想法。

• protectai/llm-guard LLM AI 的 LLM Guard 是一款综合工具，旨在加强大型语言模型 （LLMs）。通过提供清理、有害语言检测、防止数据泄露和抵御即时注入攻击，LLM 确保您与 LLMs保持安全。

• eli64s/readme-ai 一种开发人员工具，它使用数据提取和生成式 AI 的组合自动生成 README.md 文件。只需提供代码库的存储库 URL 或本地路径，即可生成结构良好且详细的 README 文件。

• logspace-ai/langflow LangChain（大语言模型链式开发工具，强大的框架，可以简化构建高级语言模型应用程序的过程。） 的 UI，采用反应流设计，提供一种轻松的方式来实验和原型流。

• kyrolabs/awesome-langchain 使用LangChain的工具和项目的精选列表。LangChain是一个了不起的框架，可以在短时间内完成LLM项目，并且生态系统正在快速发展。这里试图跟踪围绕LangChain的举措。

• yihong0618/bilingual_book_maker AI 翻译工具，它使用 ChatGPT 帮助用户创建多语言版本的 epub/txt/srt 文件和书籍。此工具专为翻译已进入公有领域的 epub 图书而设计，不适用于受版权保护的作品。

• togethercomputer/RedPajama-Data 包含用于准备大型数据集以训练大型语言模型的代码。重现LLaMA训练数据集的开源配方。Commoncrawl、C4、GitHub、Books、ArXiv、Wikipedia、StackExchange。合计1.2万亿令牌

• EmbraceAGI/LifeReloaded 由GPT-4的“高级数据分析”功能提供支持的生活模拟游戏，为您提供第二次生活机会。由GPT4的Advanced Data Analysis功能驱动的人生重来模拟器，给您人生第二春。

• seanzhang-zhichen/llama3-chinese Llama3-Chinese是以Meta-Llama-3-8B为底座，使用 DORA + LORA+ 的训练方法，在50w高质量中文多轮SFT数据 + 10w英文多轮SFT数据 + 2000单轮自我认知数据训练而来的大模型。

• lonePatient/awesome-pretrained-chinese-nlp-models 高质量中文预训练模型集合。包括：基础大模型、对话大模型、多模态对话大模型、大模型评估基准、开源模型库平台、开源数据集库、中文指令数据集。

• FreedomIntelligence/LLMZoo 一个为大型语言模型提供数据，模型和评估基准的项目。发布基于BLOOMZ的凤凰Phoenix7B模型、Chimera奇美拉模型。Phoenix-inst-chat-7b 达到85.2% 的ChatGPT效果。

• mlc-ai/web-llm 将大语言模型和聊天引入 Web 浏览器。一切都在浏览器中运行，没有服务器支持。WebLLM是MLC LLM的姊妹项目。它重用了模型工件并构建了MLC LLM的流程。

• tensorchord/Awesome-LLMOps 为开发人员提供的最佳 LLMOps 工具列表，包括各种大型语言模型、大型模型服务、LLMOps 平台、向量检索、训练微调、ML 平台、工作流、管理分析等。

• Voine/ChatWaifu_Mobile 移动版二次元 AI 老婆聊天器 语言大模型来自 GhatGPT语音推理为客户端本地 VITS - ncnn图形渲染基于 Native Live2D语音输入识别为客户端本地 Sherpa - ncnn

• project-baize/baize-chatbot 使用 LoRA 训练的开源聊天模型.它使用通过让 ChatGPT 与自己聊天生成的 100k 对话。还使用羊驼的数据来提高其性能。已发布了 7B、13B 和 30B 模型。

• amazon-science/mm-cot 语言模型中的多模式思维链推理。包括两个训练阶段：(i) 基本原理生成和 (ii) 答案推理。这两个阶段共享相同的模型架构，但输入和输出不同。

• HqWu-HITCS/Awesome-Chinese-LLM 整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。

• pashpashpash/vault-ai 使用 OP Stack（OpenAI + Pinecone Vector Database）为 ChatGPT 提供长期记忆。使用简单的 React 前端上传您自己的自定义知识库文件（PDF、txt、epub 等）。

• young-geng/EasyLM 在 JAX/Flax LLMs 中进行预训练、微调、评估和服务的一站式解决方案，EasyLM 可以利用 JAX 的 pjit 功能将训练扩展到LLM数百个 TPU/GPU 加速器。

• chatpire/chatgpt-web-share ChatGPT Plus 共享方案。适用于个人、组织或团队的 ChatGPT 共享方案。共享一个 ChatGPT Plus 账号给多人使用，提供完善的管理和限制功能。

• datawhalechina/hugging-llm 拥抱LLM，拥抱未来。介绍 ChatGPT 原理、使用和应用，降低使用门槛，让更多感兴趣的非NLP或算法专业人士能够无障碍使用LLM创造价值。

• PawanOsman/ChatGPT 欢迎使用 ChatGPT API 免费反向代理，它以 OpenAI 熟悉的结构提供对 ChatGPT （ gpt-3.5-turbo ） 的免费自托管 API 访问，因此无需更改代码。

• LAION-AI/Open-Assistant 基于聊天的助理，它理解任务，可以与第三方系统互动，并能动态地检索信息。将提供基于RLHF的大型语言模型，并公开训练数据。

• Vision-CAIR/MiniGPT-4 MiniGPT-4：使用高级大型语言模型增强视觉语言理解 提供与 Vicuna-7B 对齐的预训练 MiniGPT-4！演示 GPU 内存消耗现在可以低至 12GB。

• gventuri/pandas-ai Python库，它将生成人工智能功能集成到Pandas中，使数据帧成为对话式的。为流行的数据分析和操作工具pandas添加了生成AI功能。

• ConnectAI-E/Feishu-OpenAI 飞书 ×（GPT-3.5 + DALL·E + Whisper）= 飞一般的工作体验 rocket 语音对话、角色扮演、多话题讨论、图片创作、表格分析、文档导出

• JimmyLv/BibiGPT-v1 音视频内容 AI 一键总结 & 对话：哔哩哔哩丨YouTube丨推特丨小红书丨抖音丨快手丨百度网盘丨阿里云盘丨网页丨本地文件等

• Grt1228/chatgpt-java ChatGPT Java SDK支持流式输出、Gpt插件、联网。支持OpenAI官方所有接口。ChatGPT的Java客户端。OpenAI GPT-3.5-Turb GPT-4 Api Client for Java

• YeungNLP/firefly-train-1.1M 收集了23个常见的中文数据集，对于每个任务，由人工书写若干种指令模板，保证数据的高质量与丰富度，数据量为115万 。

• OpenMotionLab/MotionGPT 一个统一且用户友好的运动语言模型，用于学习两种模态的语义耦合，并在多个运动任务上生成高质量的运动和文本描述。

• Lightning-AI/lit-llama 基于nanoGPT的LLaMA语言模型的实现。支持flash注意力， Int8 和 GPTQ 4 位量化， LoRA 和 LLaMA 适配器微调， 预训练.Apache 2.0 许可。

• ConnectAI-E/Feishu-OpenAI 飞书 ×（GPT-4 + DALL·E + Whisper）= 飞一般的工作体验，语音对话、角色扮演、多话题讨论、图片创作、表格分析、文档导出

• naklecha/llama3-from-scratch llama3 从头开始实现，此外，我将直接从 Meta 为 llama3 提供的模型文件加载张量。详细解释 llama3 大模型每一个运算步骤。

• BerriAI/litellm 使用 OpenAI 格式调用所有 LLM API。使用 Bedrock、Azure、OpenAI、Cohere、Anthropic、Ollama、Sagemaker、HuggingFace、Replicate （100+ LLM）

• Giskard-AI/giskard 自动检测 AI 模型中的漏洞，从表格模型到 LLM，包括性能偏差、数据泄露、虚假相关性、幻觉、毒性、安全问题等等。

• SkyworkAI/Skywork 天工系列模型在3.2TB高质量多语言和代码数据上进行预训练。我们开源了模型参数，训练数据，评估数据，评估方法。

• SillyTavern/SillyTavern 面向高级用户的 LLM 前端。本地安装界面，可让您与文本生成 AI （LLM） 交互，以与自定义角色进行聊天和角色扮演。

• dataelement/bisheng 领先的开源大模型应用开发平台，赋能和加速大模型应用开发落地，帮助用户以最佳体验进入下一代应用开发模式。

• langchain-ai/langserve 帮助开发人员将 LangChain 可运行的可运行程序和链部署为 REST API。该库与 FastAPI 集成，并使用 pydantic 进行数据验证。

• labring/FastGPT 基于 LLM 构建的基于知识的 QA 系统，提供开箱即用的数据处理和模型调用功能，允许通过 Flow 可视化进行工作流编排

• betalgo/openai 用于访问 OpenAI 的 API 的 .NET SDK，作为社区库提供。此 SDK 允许您轻松地将 OpenAI 的功能集成到您的 .NET 应用程序中。

• YiVal/YiVal 一个开源的 GenAI-Ops 工具，用于使用可自定义的数据集、评估方法和改进策略来调整和评估提示、配置和模型参数。

• CrazyBoyM/llama3-Chinese-chat Llama3 中文仓库（聚合资料：各种网友及厂商微调、魔改版本有趣权重 & 训练、推理、部署教程视频 & 文档）

• StanGirard/quivr 将所有文件和想法转储到您的生成式AI（如chatgpt）的第二大脑中并与之聊天。旨在轻松存储和检索非结构化信息。

• sigoden/aichat 全能AI CLI工具，具有Chat-REPL、Shell Assistant、RAG、AI工具和代理功能，可以访问OpenAI、Claude、Gemini、Ollama、Groq等。

• andysingal/llm-course 列出了一些关于大型语言模型、视觉基础模型、人工智能生成内容、相关数据集和应用程序的很棒的公共项目。

• pezzolabs/pezzo 开源、开发人员优先的 LLMOps 平台，旨在简化提示设计、版本管理、即时交付、协作、故障排除、可观测性等。

• xusenlinzy/api-for-open-llm LLaMA, LLaMA-2, BLOOM, Falcon, Baichuan, Qwen, Xverse, SqlCoder, CodeLLaMA, ChatGLM, ChatGLM2, ChatGLM3 etc. 开源大模型的统一后端接口

• Datayoo/HuggingFists 一个低代码数据流工具，允许方便地LLM使用 和 HuggingFace 模型，其中一些功能被认为是 Langchain 的低代码版本。

• yomorun/yomo 用于地理分布式边缘 AI 基础设施的有状态无服务器框架。借助函数调用支持，编写一次，在任何模型上运行。

• csunny/DB-GPT 使用本地 GPT 与您的数据和环境交互，无数据泄漏，100% 私密，100% 安全 目前支持Vicuna(7b, 13b), ChatGLM-6b(int4, int8)

• iryna-kondr/scikit-llm 将 LLM 无缝集成到 scikit-learn 中。将 ChatGPT 等强大的语言模型无缝集成到 scikit-learn 中，以增强文本分析任务。

• postgresml/postgresml GPU 驱动的 AI 应用程序数据库。利用 SQL 的简单性和最新的 NLP、ML + LLM 模型，更快地将您的应用推向市场。

• sunner/ChatALL 同时与ChatGPT，Bing Chat，Bard，Alpaca，Vicuna，Claude，ChatGLM，MOSS，讯飞星火，文心一言等聊天，发现最佳答案

• hyperonym/basaran OpenAI 文本完成 API 的开源替代品。它为基于 Hugging Face Transformer 的文本生成模型提供兼容的流式处理 API。

• yzfly/awesome-chatgpt-zh ChatGPT 中文指南，ChatGPT 中文调教指南，指令指南，精选资源清单，更好的使用 chatGPT 让你的生产力

• openai-translator/bob-plugin-openai-translator 基于 ChatGPT API 的文本翻译、文本润色、语法纠错 Bob 插件，让我们一起迎接不需要巴别塔的新时代

• YuchuanTian/AIGC_text_detector 我们在AIGC检测方面工作的官方代码：“AI生成文本的多尺度阳性-未标记检测”（ICLR‘24 Spotlight）

• argilla-io/argilla 以数据为中心的 LLM 开发的开源平台。集成人工和模型反馈循环，以实现持续的 LLM 优化和监督。

• rustformers/llm 用于处理大型语言模型的 Rust 库生态系统 - 它建立在用于机器学习的快速、高效的 GGML 库之上。

• ymcui/Chinese-LLaMA-Alpaca-2 中文 LLaMA-2 & Alpaca-2 大模型二期项目 + 本地CPU/GPU训练部署 (Chinese LLaMA-2 & Alpaca-2 LLMs)

• rawandahmad698/PyChatGPT 非官方 ChatGPT API 的 Python 客户端，具有自动令牌重新生成、对话跟踪、代理支持等功能。

• bionic-gpt/bionic-gpt BionicGPT 是 ChatGPT 的本地替代品，提供生成式 AI 的优势，同时保持严格的数据机密性。

• dandelionsllm/pandallm 海外中文开源大语言模型，基于 Llama-7B, -13B, -33B, -65B 进行中文领域上的持续预训练。

• click33/chatgpt---mirror-station-summary 汇总所有 chatgpt 镜像站，免费、付费、多模态、国内外大模型汇总等等 持续更新中

• CLUEbenchmark/pCLUE 基于提示的大规模预训练数据集，用于多任务学习和零样本学习，120万训练数据。

• jerry1993-tech/Cornucopia-LLaMA-Fin-Chinese 聚宝盆(Cornucopia): 基于中文金融知识的LLaMA微调模型；涉及SFT、RLHF、GPU训练部署等

• Shenzhi-Wang/Llama3-Chinese-Chat 第一个基于Meta-Llama-3-8B-Instruct模型的ORPO专门针对中文进行微调的中文聊天模型。

• x-dr/chatgptProxyAPI 使用cloudflare 搭建免费的 OpenAI api代理 ，解决网络无法访问问题。支持流式输出

• zhile-io/pandora 潘多拉实现了网页版 ChatGPT 的主要操作。后端优化，绕过 Cloudflare，速度喜人。

• limaoyi1/Auto-PPT Auto generate pptx using gpt-3.5， Free to use online / 通过gpt-3.5生成PPT，免费在线使用

• kazuki-sf/ChatGPT_Extension 非常简单的Chrome扩展（v3），您可以从网络上的任何地方访问OpenAI的ChatGPT。

• microsoft/TaskMatrix 连接了ChatGPT和一系列Visual Foundation模型，以便在聊天期间发送和接收图像。

• imaurer/awesome-decentralized-llm LLM资源的集合，可用于构建您可以“拥有”的产品或进行可重复的研究。

• HuiMi24/chatppt 由chatgpt提供支持，它可以帮助您生成PPT /幻灯片。它支持英文和中文输出

• 0xk1h0/ChatGPT_DAN 越狱提示，巧妙的解决方法，使我们能够充分利用 ChatGPT 的全部潜力。

• microsoft/generative-ai-for-beginners 一门 12 节课的课程，教授开始构建生成式 AI 应用程序所需的一切知识

• salesforce/DialogStudio 为对话式 AI 提供最丰富、最多样化的统一数据集集合和指令感知模型

• sindresorhus/awesome-chatgpt 基于ChatGPT 开发的应用的列表 — 由 OpenAI 开发的人工智能聊天机器人

• pytorch-labs/gpt-fast 在 python 的 <1000 LOC 中简单高效地生成 pytorch-native transformer 文本。

• locuslab/wanda 一种简单有效的大型语言模型修剪方法（按权重和激活进行修剪）

• openai-php/client 由社区维护的增强型 PHP API 客户端，允许您与 OpenAI API 进行交互。

• luban-agi/Awesome-Domain-LLM 本项目旨在收集和梳理垂直领域的开源模型、数据集及评测基准。

• liady/ChatGPT-pdf 用于将 ChatGPT 历史下载为 PNG、PDF 或创建可共享链接的 Chrome 扩展

• openlm-research/open_llama 一个在RedPajama数据集上训练的Meta AI的LLaMA 7B的许可开源复制品。

• PlexPt/chatgpt-corpus ChatGPT 中文语料库 对话语料 小说语料 客服语料 用于训练大模型

• yaodongC/awesome-instruction-dataset 用于训练指令遵循 LLM 的开源数据集集合（ChatGPT、LLaMA、Alpaca）

• langchain4j/langchain4j Java版LangChain，简化将 AI/LLM功能集成到 Java 应用程序中的过程。

• NVIDIA/GenerativeAIExamples 针对加速基础架构和微服务架构优化的生成式 AI 参考工作流。

• steven-tey/novel Notion风格的所见即所得编辑器，具有 AI 驱动的自动完成功能。

• TheoKanning/openai-java 用于使用 OpenAI 的 GPT API 的 Java 库。支持 GPT-3、ChatGPT 和 GPT-4。

• xtekky/gpt4free 免费使用GPT4模型 typescript版本

• missuo/FreeGPT35 利用免登录 ChatGPT Web 提供的无限制免费 GPT-3.5-Turbo API 服务。

• jackaduma/awesome_LLMs_interview_notes 主要记录大模型（LLMs）算法工程师相关的面试题和参考答案

• josStorer/chatGPTBox 将 ChatGPT 深度集成到您的浏览器中，您需要的一切都在这里

• skydoves/chatgpt-android 在 Android 上使用 Stream Chat SDK for Compose 演示 OpenAI 的 ChatGPT。

• xiangsx/gpt4free-ts 提供免费的OpenAI GPT-4 API！这是 xtekky/gpt4free 版本的复制项目

• taishi-i/awesome-ChatGPT-repositories 专门用于与 ChatGPT 相关的开源 GitHub 存储库的精选资源列表

• visual-openllm/visual-openllm 文心一言的开源版，基于 ChatGLM + Visual ChatGPT + Stable Diffusion

• voidful/awesome-chatgpt-dataset 释放 LLM 的力量：探索这些数据集来训练你自己的 ChatGPT！

• msoedov/langcorn 使用 FastAPI 自动为 LangChain LLM 应用程序和代理提供服务。

• qunash/chatgpt-advanced 一种浏览器扩展，可通过网络结果增强您的 ChatGPT 提示。

• Timothyxxx/Chain-of-ThoughtsPapers 大型语言模型中的思维链促使引出推理。思想链论文集合

• catqaq/ChatPiXiu 开源chatgpt替代方案/实现的调查，复制和领域/任务适应。

• jtsang4/claude-to-chatgpt 将 Anthropic 的 Claude 模型的 API 转换为 OpenAI Chat API 格式。

• FlagAlpha/Llama2-Chinese Llama中文社区，最好的中文Llama大模型，完全开源可商用

• chtmp223/topicGPT 通过提示大型语言模型进行主题建模”的脚本和提示。

• SciSharp/LLamaSharp 可在本地设备上高效运行LLM的 C#/.NET 库 （LLaMA/LLaVA）。

• thunlp/UltraChat 大规模、信息丰富、多样化的多轮聊天数据（和模型）

• llm-workflow-engine/llm-workflow-engine 适用于 LLM 的 命令行工具 和工作流管理器（核心包）

• BlinkDL/ChatRWKV 使用RWKV语言模型（100%RNN）的类ChatGPT开源聊天模型。

• princeton-nlp/tree-of-thought-llm 正式实现“思想之树：用大语言模型刻意解决问题”

• iguodongiot/llm-action 本项目旨在分享大模型相关技术原理以及实战经验。

• michael-wzhu/Chinese-LlaMA2 META最新发布的LlaMA2的汉化版！ （完全开源可商用）

• zilliztech/GPTCache LLM 的语义缓存。 与 LangChain 和 llama_index 完全集成。

• llmware-ai/llmware 提供基于企业级LLM的开发框架、工具和微调模型。

• jaymody/picoGPT NumPy实现的一个不必要的微小的GPT-2。40 行代码。

• SJTU-IPADS/PowerInfer 在具有消费级 GPU 的 PC 上提供高速大型语言模型

• AprilNEA/ChatGPT-Admin-Web 在团队和组织内共享使用AI的一站式解决方案。

• eon01/awesome-chatgpt 精选的 ChatGPT 资源列表，包括库、SDK、API 等。

• tmc/langchaingo LangChain for Go，Go 编写基于LLM程序的最简单方法

• Facico/Chinese-Vicuna 一个中文低资源的llama+lora方案，结构参考alpaca

• lmstudio-ai/model-catalog 大型语言模型文件的标准化 JSON 描述符集合。

• AI4Finance-Foundation/FinGPT 以数据为中心的 FinGPT。开源开放金融！革新

• WangRongsheng/awesome-LLM-resourses 全世界最好的大语言模型资源汇总 持续更新

• openai/openai-quickstart-node OpenAI API 快速入门教程中的Node.js示例应用。

• cesarhuret/docGPT ChatGPT 直接在 Google Docs 中作为编辑器的插件

• domeccleston/sharegpt 轻松与您的朋友分享 ChatGPT 对话的永久链接

• DAMO-NLP-SG/LLM-Zoo 本项目收集了以下各种开源和闭源LLM的信息

• OpenBMB/BMList 希望使用此列表来显示大模型的最新趋势。

• XueFuzhao/OpenMoE 一系列开源专家混合 （MoE） 大型语言模型

• shawwn/llama-dl 高速下载 LLaMA，Facebook 的 65B 参数 GPT 模型

• ntunlplab/traditional-chinese-alpaca 基于羊驼数据集的繁体中文指令数据集。

• elyase/awesome-gpt3 关于 OpenAI GPT-3 API 的演示和文章的集合。

• RUCAIBox/LLMSurvey 与大型语言模型相关的论文和资源集合。

• Licoy/ChatGPT-Midjourney 一键拥有自己的 ChatGPT+Midjourney 网页服务

• wong2/chatgpt-google-extension 浏览器扩展，用ChatGPT增强搜索引擎效果

• chenking2020/FindTheChatGPTer ChatGPT/GPT4开源“平替”汇总，持续更新

• platelminto/chatgpt-conversation 用你的声音与 ChatGPT 对话，让它回话。

• acheong08/Bard Google 的 Bard 聊天机器人 API 的逆向工程

• ikaijua/Awesome-AITools 收藏AI相关的实用工具，大型语言模型

• sashabaranov/go-openai 为 OpenAI API 提供了非官方的 Go 客户端

• humanloop/awesome-chatgpt ChatGPT和GPT-3的惊人工具、演示和文档

• yihong0618/xiaogpt 使用小米AI扬声器播放ChatGPT和其他LLM

• wasiahmad/Awesome-LLM-Synthetic-Data 基于 LLM 的综合数据生成的阅读清单

• terry3041/pyChatGPT OpenAI的ChatGPT API的非官方Python包装器

• archiki/ADaPT 使用语言模型进行按需分解和规划

• openai/openai-node OpenAI API 的官方 Node.js / Typescript 库

• saharmor/awesome-chatgpt 精选的 ChatGPT 演示、工具、文章等

• abielzulio/chatgpt-raycast ChatGPT raycast(Mac的快捷启动器) 扩展

• rasbt/LLMs-from-scratch 从头开始逐步实现类似ChatGPT的 LLM

• transitive-bullshit/chatgpt-api OpenAI提供的ChatGPT的Node.js包装器。

• ddiu8081/chatgpt-demo 基于 OpenAI GPT-3.5 Turbo API 的 demo。

• pengxiao-song/LaWGPT 基于中文法律知识的大语言模型

• xtekky/chatgpt-clone 具有更好用户界面的聊天GPT界面

• eugeneyan/open-llms 可用于商业用途的开放LLM列表。

• nichtdax/awesome-totally-open-chatgpt ChatGPT 的完全开放的替代品列表

• facebookresearch/llama-recipes facebook LLaMA 模型的示例和手册

• juncongmoo/pyllama LLaMA - 在单个 4GB GPU 中运行 LLM

• wgwang/LLMs-In-China 旨在记录中国大模型发展情况

• wangrui6/Zhihu-KOL 用于训练开放助手的知乎数据

• fuergaosi233/wechat-chatgpt 通过微信在微信上使用ChatGPT

• acheong08/EdgeGPT 微软必应聊天的逆向工程API

• openai/openai-cookbook 使用 OpenAI API 的示例和指南

• liaokongVFX/LangChain-Chinese-Getting-Started-Guide LangChain 的中文入门教程

• terror/chatgpt.nvim 在 Neovim 中查询 ChatGPT

• gptshunter.com 发现 GPTs 项目的商店

• acheong08/ChatGPT 逆向工程 ChatGPT 的API

• EwingYangs/awesome-open-gpt GPT相关开源项目合集

• dalinvip/Awesome-ChatGPT ChatGPT资料汇总学习

• aurorax-neo/free-gpt3.5-2api 免费chat GPT API

Agent代理助手_机器人

• ai4finance-foundation/finrobot 用于金融应用程序的开源 AI 代理平台，使用 LLMs。FinRobot 是一个超越 FinGPT 范围的 AI 代理平台，代表了为金融应用精心设计的综合解决方案。它集成了各种各样的人工智能技术，超越了单纯的语言模型。这一广阔的愿景凸显了该平台的多功能性和适应性，满足了金融业的多方面需求。FinRobot的整体框架分为四个不同的层，每个层都旨在解决金融AI处理和应用的特定方面：1.金融 AI 代理层：金融 AI 代理层现在包括金融思维链 （CoT） 提示，增强了复杂的分析和决策能力；市场预测代理、文档分析代理和交易策略代理利用 CoT 将金融挑战分解为逻辑步骤，将其先进的算法和领域专业知识与金融市场不断变化的动态相结合，以获得准确、可操作的见解。2.金融LLMs算法层：金融LLMs算法层配置并利用针对特定领域和全球市场分析量身定制的特别调整模型。3.LLMOps 和 DataOps 层：LLMOps 层实施了多源集成策略，利用一系列最先进的模型，选择LLMs最适合特定财务任务的。4.多源LLM基础模型层：此基础层支持各种通用和专用LLMs的即插即用功能。FinRobot：座席工作流程。1.感知：该模块从市场提要、新闻和经济指标中捕获和解释多模式财务数据，使用复杂的技术来构建数据以进行彻底分析。2.大脑：作为核心处理单元，该模块使用LLMs并利用金融思维链 （CoT） 流程感知来自感知模块的数据，以生成结构化指令。3.操作：该模块执行来自大脑模块的指令，应用工具将分析见解转化为可操作的结果;行动包括交易、投资组合调整、生成报告或发送警报，从而积极影响金融环境。FinRobot：智能调度程序.确保模型多样性和优化集成和选择LLM最适合每个任务的核心。Director Agent：此组件协调任务分配过程，确保根据任务的性能指标和对特定任务的适用性将任务分配给代理。代理注册：管理注册并跟踪系统内代理的可用性，促进高效的任务分配过程。Agent Adaptor：根据特定任务定制代理功能，增强其性能并在整个系统中集成。任务管理器：管理和存储为各种财务任务量身定制的不同通用和基于微调LLMs的代理，定期更新以确保相关性和有效性。

• microsoft/autogen 支持使用多个代理开发LLM应用程序，这些代理可以相互交谈以解决任务。AutoGen 代理是可定制的、可对话的，并且无缝地允许人工参与。它们可以在各种模式下运行，这些模式采用LLM，人力输入和工具的组合。AutoGen 是一个用于构建人工智能代理系统的开源框架。它简化了事件驱动、分布式、可扩展和弹性代理应用程序的创建。它允许您快速构建人工智能代理协作并自主或在人工监督下执行任务的系统。AutoGen 简化了 AI 开发和研究，支持使用多种大型语言模型 ( LLMs )、集成工具和先进的多智能体设计模式。您可以在本地开发和测试代理系统，然后根据需求的增长部署到分布式云环境。AutoGen 提供以下主要功能： 异步消息传递：代理通过异步消息进行通信，支持事件驱动和请求/响应交互模式。 完整类型支持：在所有接口中使用类型并在构建时强制进行类型检查，重点关注质量和内聚性 可扩展和分布式：设计可以跨组织边界运行的复杂的分布式代理网络。 模块化和可扩展：使用可插入组件自定义您的系统：自定义代理、工具、内存和模型。 跨语言支持：跨不同编程语言互操作代理。目前支持 Python 和 .NET，即将推出更多语言。 可观测性和调试：用于跟踪、追踪和调试代理交互和工作流程的内置功能和工具，包括通过 OpenTelemetry 对行业标准可观测性的支持。 AutoGen 有多个软件包，并且构建在分层架构之上。目前，您的应用程序可以定位三个主要 API：Core 核、AgentChat 代理聊天、Extensions 扩展。 AutoGen 的核心 API autogen-core是按照actor 模型构建的。它支持代理和基于事件的工作流程之间的异步消息传递。核心层中的代理使用直接消息传递（其功能类似于 RPC）或通过广播到主题（即发布-订阅）来处理和生成类型化消息。代理可以分布并用不同的编程语言实现，同时仍然可以相互通信。如果您正在构建可扩展的事件驱动代理系统，请从这里开始。

• OpenBMB/XAgent XAgent 是一个开源实验性大型语言模型 （LLM） 驱动的自治代理，可以自动解决各种任务。它被设计为可应用于各种任务的通用代理。目标是创建一个可以解决任何给定任务的超级智能代理！具有以下功能：自主性：XAgent可以在没有人类参与的情况下自动解决各种任务。安全：XAgent旨在安全运行。所有操作都约束在 docker 容器内。可扩展性：XAgent 被设计为可扩展的。您可以轻松添加新工具来增强代理的能力，甚至是新代理！GUI：友好的 GUI 来与代理交互。还可以使用命令行与代理进行交互。与人类合作：可以与您合作处理任务。它不仅能够在旅途中按照您的指导解决复杂的任务，而且在遇到挑战时还可以寻求您的帮助。XAgent由三部分组成：调度程序负责动态实例化任务并将其调度给不同的代理。它允许我们添加新代理并提高代理的能力。计划员负责生成和纠正任务计划。它将任务划分为子任务并为其生成里程碑，允许代理逐步解决任务。参与者负责执行操作以实现目标并完成子任务。参与者利用各种工具解决子任务，也可以与人类协作解决任务。ToolServer 是为 XAgent 提供强大而安全的工具来解决任务的服务器。它是一个 docker 容器。提供以下工具：文件编辑器提供了一个文本编辑工具来写入、读取和修改文件。Python Notebook提供了一个交互式Python笔记本，可以运行Python代码来验证想法，绘制图形等。网络浏览器提供用于搜索和访问网页的网页浏览器。Shell 提供了一个 bash shell 工具，可以执行任何 shell 命令，甚至可以安装程序和主机服务。Rapid API 提供了一个从 Rapid API 检索 API 并调用它们的工具，它提供了广泛的 API 供 XAgent 使用。还可以轻松地将新工具添加到ToolServer，以增强XAgent的能力。

• langgenius/dify 开源助手 API 和 GPT 的替代方案。Dify.AI 是一个 LLM 应用程序开发平台。它集成了后端即服务和 LLMOps 的概念，涵盖了构建生成式 AI 原生应用程序所需的核心技术堆栈，包括内置的 RAG 引擎。其直观的界面结合了 AI 工作流程、RAG 管道、代理功能、模型管理、可观测性功能等，让您快速从原型到生产。以下是核心功能列表：1. 工作流：利用以下所有功能及其他功能，在可视化画布上构建和测试强大的 AI 工作流。2. 全面的模型支持：与LLMs来自数十家推理提供商和自托管解决方案的数百个专有/开源无缝集成，涵盖 GPT、Mistral、Llama3 和任何兼容 OpenAI API 的模型。可以在此处找到受支持的模型提供程序的完整列表。3. 提示 IDE：直观的界面，用于制作提示、比较模型性能以及向基于聊天的应用程序添加文本转语音等附加功能。4. RAG Pipeline：广泛的 RAG 功能，涵盖从文档摄取到检索的所有内容，开箱即用地支持从 PDF、PPT 和其他常见文档格式中提取文本。5. 代理能力：您可以基于LLM函数调用或 ReAct 定义代理，并为代理添加预建或自定义工具。Dify 为 AI 代理提供 50+ 内置工具，如 Google Search、DELL·E， Stable Diffusion 和 WolframAlpha.6. LLMOps：监控和分析应用程序日志和性能随时间的变化。您可以根据生产数据和注释不断改进提示、数据集和模型。7. 后端即服务：Dify 的所有产品都带有相应的 API，因此您可以毫不费力地将 Dify 集成到您自己的业务逻辑中。

• codelion/optillm optillm 是一个兼容 OpenAI API 的优化推理代理，它实现了多种最先进的技术，可以提高LLMs的准确性和性能。当前的重点是实施改进编码推理、逻辑和数学查询的技术。通过在推理时进行额外的计算，可以在不同的任务中使用这些技术来击败前沿模型。实施的技术：CoT with Reflection 带有反射的 CoT，使用 <thinking>、<reflection> 和 <output> 部分实现思想链推理；PlanSearch 计划搜索，对候选计划实施搜索算法以解决自然语言问题；ReRead 重读，通过两次处理查询来实现重读以提高推理能力；Self-Consistency 自我一致性，实施先进的自洽方法；Z3 Solver Z3 解算器，利用 Z3 定理证明器进行逻辑推理；R* Algorithm R算法，实现 R 算法来解决问题；LEAP，从几个示例中学习特定于任务的原则；Round Trip Optimization 往返优化，通过往返流程优化响应；Best of N Sampling 最佳 N 采样，生成多个响应并选择最佳的一个；Mixture of Agents 混合多个代理，结合多种批评的回应；Monte Carlo Tree Search 蒙特卡罗树搜索，使用 MCTS 在聊天响应中进行决策；prover-verifier game approach 证明者-验证者游戏（Prover-Verifier Games），在推理时应用证明者-验证者博弈方法；CoT Decoding CoT 解码，实现思路链解码以在没有明确提示的情况下引发推理；Entropy Decoding 熵解码，根据代币生成过程中的不确定性实现自适应采样。

• ComposioHQ/composio Composio为您的AI代理和LLMs100+高质量的函数调用集成。适用于 AI 代理的生产就绪工具集。为您的代理配备高质量的工具和集成，而无需担心身份验证、准确性和可靠性，只需一行代码即可完成！主要特点：100+ 工具，支持一系列不同的类别：软件（在GitHub、Notion、Linear、Gmail、Slack、Hubspot、Salesforce等90多个网站上做任何事情）、操作系统（点击任意位置，输入任何内容，复制到剪贴板等等）、浏览器（智能搜索、截屏、MultiOn、下载、上传等）、搜索（Google搜索，Perplexity搜索，Tavily，Exa等）、软件（Ngrok、Database、Redis、Vercel、Git 等）、RAG（代理 RAG 可即时处理任何类型的数据）。框架：在一行代码中将工具与 OpenAI、Claude、LlamaIndex、Langchain、CrewAI、Autogen、Gemini、Julep、Lyzr 等代理框架一起使用。托管授权：支持六种不同的身份验证协议。将访问令牌、刷新令牌、OAuth、API 密钥、JWT 等抽象出来，以便您可以专注于构建代理。准确性：由于更好的工具设计，您的工具调用的代理准确性提高了 40%。可嵌入：在您的应用程序的后端进行白标化，为您的所有用户和代理管理身份验证和集成，并保持一致的体验。可插拔：旨在非常轻松地使用其他工具、框架和授权协议进行扩展。

• openai/swarm 探索符合人体工程学的轻量级多代理编排的教育框架。由 OpenAI 解决方案团队管理。Swarm 目前是一个实验性示例框架，旨在探索多智能体系统的人体工程学界面。它不打算用于生产，因此没有官方支持。这也意味着我们不会审查 PR 或问题！Swarm的主要目标是展示在《编排代理人：交接和例程》食谱中探索的交接和例程模式。它不是一个独立的库，主要用于教育目的。Swarm 专注于使代理协调和执行轻量级、高度可控且易于测试。它通过两个原始抽象来实现这一点：Agents 和 handoffs。Agent 包含说明和工具，并且可以随时选择将对话移交给另一个 Agent 。这些原语足够强大，可以表达工具和代理网络之间的丰富动态，使您能够构建可扩展的真实解决方案，同时避免陡峭的学习曲线。Swarm 探索轻量级、可扩展且高度可定制的模式。类似于 Swarm 的方法最适合处理大量难以编码为单个提示的独立功能和指令的情况。对于寻求完全托管线程和内置内存管理和检索的开发人员来说，Assistants API 是一个不错的选择。但是，Swarm 是一种教育资源，适用于有兴趣了解多代理编排的开发人员。Swarm （几乎）完全在客户端上运行，并且与 Chat Completions API 非常相似，它不会在调用之间存储状态。

• langchain-ai/langgraph 将语言代理构建为图形。LangGraph 是一个库，用于构建有状态的多参与者应用程序，用于LLMs创建代理和多代理工作流。与其他LLM框架相比，它提供了以下核心优势：周期、可控性和持久性。LangGraph 允许您定义涉及周期的流程，这对于大多数代理架构来说是必不可少的，并将其与基于 DAG 的解决方案区分开来。作为一个非常低级的框架，它提供了对应用程序的流和状态的细粒度控制，这对于创建可靠的代理至关重要。此外，LangGraph 还包含内置的持久性，可实现高级的人机交互和内存功能。LangGraph 的灵感来自 Pregel 和 Apache Beam。公共接口的灵感来自 NetworkX。LangGraph 由 LangChain 的创建者 LangChain Inc 构建，但可以在没有 LangChain 的情况下使用。主要特点：循环和分支：在应用中实现循环和条件。持久性：在图表中的每一步后自动保存状态，随时暂停和恢复图形执行，以支持错误恢复、人机交互工作流、时间旅行等。Human-in-the-Loop：中断图形执行以批准或编辑代理计划的下一个操作。流式处理支持：流式传输每个节点产生的输出（包括令牌流式处理）。与LangChain集成：LangGraph与LangChain和LangSmith无缝集成（但不需要它们）。

• filip-michalsky/SalesGPT 情境感知 AI 销售代理，可自动执行销售推广。此存储库是用于销售的上下文感知 AI 代理的实现，可以使用LLMs语音、电子邮件和文本（短信、WhatsApp、微信、微博、Telegram 等）工作。SalesGPT 具有上下文感知能力，这意味着它可以理解自己处于销售对话的哪个阶段，并采取相应的行动。此外，SalesGPT 可以使用工具，例如您自己的预定义产品知识库，从而显着减少幻觉。AI 销售代理了解对话阶段（您可以根据自己的需求定义自己的阶段）：简介：通过介绍您自己和您的公司来开始对话。资格： 通过确认他们是否是与您的产品/服务交谈的合适人选来对潜在客户进行资格审查。价值主张：简要说明您的产品/服务如何使潜在客户受益。需求分析：提出开放式问题，以揭示潜在客户的需求和痛点。解决方案展示： 根据潜在客户的需求，将您的产品/服务作为可以解决他们痛点的解决方案展示。异议处理：解决潜在客户可能对您的产品/服务提出的任何异议。关闭：通过提出下一步来要求出售。结束对话：用户不想继续对话，因此结束通话。

• crewAIInc/crewAI 用于编排角色扮演、自主 AI 代理的尖端框架。通过培养协作智能，CrewAI 使座席能够无缝协作，处理复杂的任务。CrewAI 旨在使 AI 代理能够承担角色、共享目标并在一个有凝聚力的单位中运作 - 就像一个运转良好的船员一样。无论您是在构建智能助手平台、自动化客户服务集成还是多代理研究团队，CrewAI 都可以为复杂的多代理交互提供支柱。主要特点：基于角色的代理设计：使用特定角色、目标和工具自定义代理。自主代理间委派：代理可以自主委派任务并相互查询，从而提高解决问题的效率。灵活的任务管理：使用可自定义的工具定义任务并将其动态分配给代理。流程驱动：目前仅支持顺序任务执行和分层流程，但更复杂的流程（如共识和自主）。将输出另存为文件：将单个任务的输出另存为文件，以便以后使用。将输出解析为 Pydantic 或 Json：如果需要，可以将单个任务的输出解析为 Pydantic 模型或 Json。使用开源模型：使用 Open AI 或开源模型运行 crewAI

• InternLM/Agent-FLAN 开源大型语言模型（ LLMs ）在各种 NLP 任务中取得了巨大成功，但在充当代理时，它们仍然远远不如基于 API 的模型。如何将代理能力融入到普通LLMs中成为一个至关重要而紧迫的问题。本文首先提出了三个关键观察结果：（1）当前的智能体训练语料库与格式遵循和智能体推理纠缠在一起，这与预训练数据的分布发生了显着的变化； (2) LLMs对代理任务所需的能力表现出不同的学习速度； (3)当前的方法在通过引入幻觉来提高代理能力时存在副作用。基于上述发现，我们提出 Agent-FLAN 来有效地微调 Agent 的语言模型。通过对训练语料库的仔细分解和重新设计，Agent-FLAN 使 Llama2-7B 在各种代理评估数据集上的表现比之前的最佳作品高出 3.5%。通过全面构建负样本，Agent-FLAN 根据我们建立的评估基准极大地缓解了幻觉问题。此外，它在扩展模型大小时持续提高了LLMs的代理能力，同时略微增强了LLMs的一般能力。

• MineDojo/Voyager 航海家：具有大型语言模型的开放式具身代理。是 Minecraft 中第一个由 LLM 驱动的体现的终身学习代理，它不断探索世界，获得各种技能，并在没有人为干预下做出新的发现。由三个组件组成：1）最大化探索的自动课程，2）不断增长的可执行代码技能库，用于存储和检索复杂行为，以及3）新的迭代提示机制，其中包含环境反馈，执行错误和自我验证以改进程序。Voyager通过黑盒查询与GPT-4交互，这绕过了模型参数微调。从经验上讲，Voyager表现出强大的上下文终身学习能力，并在玩Minecraft方面表现出非凡的熟练程度。它获得的独特物品增加了 3.3×，旅行距离延长了 2.3×，解锁关键科技树里程碑的速度比之前的 SOTA 快了 15.3×。Voyager能够利用在新的Minecraft中学到的技能库从头开始解决新任务，而其他技术则难以概括。

• modelscope/modelscope-agent 开源版GPTs，将ModelScope中的模型与世界连接起来的智能体框架。单个代理具有角色扮演、呼叫、LLM工具使用、计划和记忆等能力。它主要具有以下特点：简单的代理实现过程：只需指定角色指令、LLM名称和工具名称列表即可实现代理应用程序。该框架会自动安排工具使用、规划和内存的工作流。丰富的模型和工具：框架配备了丰富的LLM接口，如Dashscope和Modelscope模型接口、OpenAI模型接口等。内置丰富的工具，如代码解释器、天气查询、文本到图像、网页浏览等，可以轻松定制专属代理。接口统一，扩展性高：框架具有清晰的工具和LLM注册机制，方便用户扩展更多样化的Agent应用。低耦合：开发人员可以轻松使用内置工具、LLM内存和其他组件，而无需绑定更高级别的代理。

• modelscope/MemoryScope MemoryScope是一个为 LLM 聊天机器人提供强大灵活的长期记忆系统的框架，它可以应用于个人助理和情感伴侣等场景，通过长期记忆持续学习，记住用户的基本信息以及各种习惯和偏好，让用户在使用 LLM 时逐渐体验到“理解”的感觉。该项目使用向量数据库（默认使用 ElasticSearch）存储所有记忆片段，并将长期记忆的能力原子化为多个独立的 worker，包括用于查询信息过滤、观察提取和洞察更新等任务的 20 多个 worker。MemoryScope 提供了基于 worker 管道的记忆服务操作，包括记忆检索、记忆整合、反思和重新整合等功能，并提供了对话接口（API）和命令行对话实践（CLI）来实现长期记忆功能，并与 AutoGen 和 AgentScope 等流行的代理框架相结合，提供最佳实践。

• baptisteArno/typebot.io Typebot 是一个强大的聊天机器人构建器，您可以自行托管。它允许您直观地创建高级聊天机器人，将它们嵌入到您的网络/移动应用程序上的任何位置，并实时收集结果。Typebot 使创建高级聊天机器人变得容易。它提供了适用于任何业务用例的构建块。我会定期通过错误修复、新功能和性能改进来改进 Typebot。具有 34+ 构建块的聊天构建器，例如： 气泡：文本、图像/GIF、视频、音频、嵌入； 输入：文本、电子邮件、电话号码、按钮、图片选择、日期选择器、付款 （Stripe）、文件选择器......输入；逻辑：条件分支、URL 重定向、脚本 （Javascript）、A/B 测试；集成：Webhook / HTTP 请求、OpenAI、Google 表格、Google Analytics、Meta Pixel、Zapier、Make.com、Chatwoot、更多

• phidatahq/phidata 使用内存、知识和工具构建 AI 助手。Phidata 是一个用于构建自主助手（又名代理）的框架，这些助手具有长期记忆、上下文知识和使用函数调用采取行动的能力。使用 phidata 将任何LLM内容变成 AI 助手，它可以：使用 DuckDuckGo、Google 等搜索网络。使用 SQL、DuckDb 等分析数据。进行研究并生成报告。回答来自 PDF、API 等的问题。为电影、书籍等编写剧本。总结文章、视频等。执行发送电子邮件、查询数据库等任务。利用内存、知识和工具进行扩展LLMs：记忆：将聊天记录存储在数据库中，LLMs并允许进行长期对话。知识：将信息存储在矢量数据库中，并提供LLMs业务上下文。工具：启用此选项LLMs可执行从 API 拉取数据、发送电子邮件或查询数据库等操作。

• ctlllll/LLM-ToolMaker LLM-ToolMaker是一个将大型语言模型（LLM）作为工具制造者的框架，旨在通过让LLM创建可重复使用的工具来增强其解决问题的能力。该框架分为两个阶段：工具制作和工具使用。工具制作阶段由一个强大的LLM负责，它从少量示例中创建通用的Python工具函数。工具使用阶段则由一个更轻量级的LLM负责，它使用这些工具来解决各种问题。该框架的优势在于，它可以将工具制作和工具使用分开，从而实现成本效益，同时保持工具质量和解决问题的能力。例如，可以使用强大的GPT-4作为工具制造者，使用更轻量级的GPT-3.5作为工具使用者，从而在保持性能的同时降低推理成本。该框架在各种复杂推理任务中得到了验证，包括Big-Bench任务。

• datawhalechina/llm-universe 面向小白开发者的大模型应用开发教程。主要内容包括：大模型简介，何为大模型、大模型特点是什么、LangChain 是什么，如何开发一个 LLM 应用，针对小白开发者的简单介绍；如何调用大模型 API，本节介绍了国内外知名大模型产品 API 的多种调用方式，包括调用原生 API、封装为 LangChain LLM、封装为 Fastapi 等调用方式，同时将包括百度文心、讯飞星火、智谱AI等多种大模型 API 进行了统一形式封装；知识库搭建，不同类型知识库文档的加载、处理，向量数据库的搭建；构建 RAG 应用，包括将 LLM 接入到 LangChain 构建检索问答链，使用 Streamlit 进行应用部署；验证迭代，大模型开发如何实现验证迭代，一般的评估方法有什么。

• togethercomputer/MoA Together Mixture-of-Agents (MoA) 是一种利用多个大型语言模型 (LLM) 的集体优势来提高性能的新方法，在 AlpacaEval 2.0上取得了最先进的结果。通过采用分层架构，其中每一层包含多个 LLM 代理，MoA 使用仅开源模型，显著优于 GPT-4 Omni 的 57.5% 的得分，达到了 65.1% 的得分。该项目提供了一个简单的 50 行代码示例，展示了如何使用 MoA，以及一个更高级的示例，展示了如何使用多层 MoA。此外，该项目还提供了一个交互式命令行界面 (CLI) 演示，展示了一个简单的多轮聊天机器人，其中最终响应来自各种参考模型的聚合。用户可以通过输入指令与聊天机器人进行交互，并获得基于多个模型的聚合响应。

• microsoft/UFO 用于 Windows 操作系统交互的以 UI 为中心的代理。UFO 是一个以 UI 为中心的多代理框架，通过在单个或跨多个应用程序中无缝导航和操作来满足 Windows 操作系统上的用户请求。UFO作为一个多智能体框架运行，包括：HostAgent 任务是选择一个应用程序来满足用户请求，当请求跨越多个应用程序，并且任务在前一个应用程序中部分完成时，此代理也可能切换到不同的应用程序；AppAgent 负责在选定的应用程序上迭代执行操作，直到在特定应用程序中成功完成任务；Application Automator 的任务是将 HostAgent 和 AppAgent 的操作转换为与应用程序的交互，并通过 UI 控件、本机 API 或 AI 工具进行交互。

• langchain-ai/opengpts 创建与 OpenAI 的 GPT 和助手 API 类似的体验。它由 LangGraph 提供支持 - 一个用于创建代理运行时的框架。它还建立在LangChain、LangServe和LangSmith之上。OpenGPT 为您提供更多控制权，允许您配置：您使用的（LLM在LangChain提供的60+之间选择）；您使用的提示（使用 LangSmith 调试这些提示）；您给它的工具（从LangChain的100+工具中选择，或轻松编写自己的工具）；您使用的向量数据库（从LangChain的60+向量数据库集成中选择）；您使用的检索算法；您使用的聊天记录数据库。最重要的是，它使您可以完全控制应用程序的认知架构。目前，已实现三种不同的架构：助理、RAG、聊天机器人。

• idootop/mi-gpt 将小爱音箱接入 ChatGPT 和豆包，改造成你的专属语音助手。MiGPT 通过将小爱音箱、米家智能设备，与 ChatGPT 的理解能力完美融合，让你的智能家居更懂你。MiGPT 不仅仅是关于设备自动化，而是关于：打造一个懂你、有温度、与你共同进化的家。未来，你的每个智能家居设备，从灯泡、插座，到扫地机器人、电视等，都可以作为一个个独立的智能体 (Agent)，更智能、更贴心的响应你的指令。这些独立的智能体，也可以彼此感知，彼此配合，构成一个更强大的协作网络。而小爱音箱就像是你的智能家居专属管家，全心全意为你服务，释放智能家居的真正潜力。

• suitedaces/computer-agent Grunty是一个自托管的桌面应用程序，利用 Anthropic 的 Claude 的计算机使用功能来控制你的电脑。它允许 Claude 接管你的笔记本电脑并为你完成任务（至少尝试，哈哈）。Grunty 使用 Python 和 PyQt 编写，可以让你在任何可以运行 Python 的平台上使用，例如 MacOS、Windows和 Linux。你只需获得一个 Anthropic API 密钥，安装依赖项，并运行程序。Grunty 提供了方便的快捷键，例如 Ctrl+Enter 执行指令、Ctrl+C 停止当前操作、Ctrl+W 最小化到系统托盘和 Ctrl+Q 退出应用程序。需要注意的是，Grunty 仍然处于实验阶段，可能会出现错误，因此请谨慎使用，并始终监控代理的操作。

• LogiTorch/logitorch LogiTorch是一个基于PyTorch的自然语言逻辑推理库，它包含文本逻辑推理数据集、不同逻辑推理神经网络架构的实现以及一个与PyTorch Lightning兼容的简单易用的API。该库支持多种数据集，包括AR-LSAT、ConTRoL、LogiQA、ReClor、RuleTaker、ProofWriter、SNLI、MultiNLI、RTE、Negated SNLI、Negated MultiNLI、Negated RTE、PARARULES Plus、AbductionRules、FOLIO、FLD、LogiQA2.0、LogiQA2.0 NLI、HELP、SimpleLogic、RobustLR、LogicNLI等。同时，LogiTorch还实现了多种模型，包括RuleTaker、ProofWriter、BERTNOT、PRover、FLDProver、TINA、FaiRR、LReasoner、DAGN、Focal Reasoner、AdaLoGN、Logiformer、LogiGAN、MERit、APOLLO、LAMBADA等。

• SylphAI-Inc/AdalFlow AdalFlow：构建和自动优化任何LLM任务的库。AdalFlow 采用类似于 PyTorch 的设计模式，功能强大、轻便、模块化且健壮。AdalFlow 提供与模型无关的构建块来构建LLM 任务管道，范围从 RAG、代理到文本分类和命名实体识别等经典 NLP 任务。仅使用手动提示很容易获得高性能。AdalFlow 为零样本提示优化和少数样本优化提供了一个统一的自动微分框架。它推进了现有的自动优化研究，包括 Text-Grad 和 DsPy。通过我们的研究，Text-Grad 2.0 和 Learn-to-Reason Few-shot In Context Learning AdalFlow Trainer 实现了最高的准确性，同时具有最高的令牌效率。

• andrewyng/translation-agent Translation Agent是一个使用反射机制的机器翻译代理，它利用大型语言模型 (LLM)进行翻译，并通过反思翻译结果来提出改进建议，最终提升翻译质量。该项目使用 Python 实现，具有高度可定制性，例如可以调整输出风格、处理习语和专业术语，以及指定目标语言的地区和方言。虽然目前该项目尚不成熟，但它在某些情况下已经可以与商业翻译系统相媲美，甚至在某些情况下表现更出色。该项目旨在鼓励更多关于代理翻译的研究和开发，并提供了一种自动生成训练数据的机制，以进一步改进传统机器翻译算法。

• MODSetter/SurfSense SurfSense是一个个人 AI 助手，可以帮助你记住你在互联网上看到的内容，包括社交媒体聊天、日历邀请、重要邮件、教程、食谱等。它提供跨浏览器扩展，让你轻松保存网页内容，并支持上传各种文件格式，如 PDF、docx、图片等。SurfSense 使用先进的 RAG 技术，让你可以通过自然语言与保存的内容进行交互，并获得引用的答案。它支持本地 LLM，例如 Ollama，并且可以自托管，价格低廉。SurfSense 不使用网络抓取，而是直接从 DOM 读取数据，确保数据的准确性。目前，SurfSense 需要本地设置，并支持 Docker 部署。

• meta-llama/llama-stack-apps Llama Stack Apps是基于 Llama Stack 构建的应用示例，它展示了 Llama 3.1及更高版本模型的 agentic 能力，例如：分解任务、执行多步推理、使用工具（内置工具如搜索、代码解释器或零样本学习新工具）、通过 Llama Guard 等模型提供系统级安全保护。该项目提供了一个 Llama Stack 分发，包含运行推理、安全检查、工具执行（包括代码执行环境）和模型多步推理循环所需的所有组件。用户可以通过安装依赖、启动 Llama Stack 服务器、连接 agentic 应用到服务器来开始使用，并使用提供的示例脚本测试 agentic 应用。

• ucbepic/docetl DocETL是一个用于创建和执行数据处理管道的工具，特别适合处理复杂文档。它提供了一个低代码、声明式的 YAML 接口，用于定义基于大型语言模型(LLM) 的复杂数据操作。DocETL 非常适合需要最大限度地提高复杂任务的正确性和输出质量的场景，例如语义处理、基于 MapReduce 的复杂任务、优化 LLM 准确性、处理长文档以及验证和自动重试。用户可以通过 DocETL进行对话生成、文本转语音等操作。安装 DocETL 需要 Python 3.10 或更高版本，并需要设置 OpenAI API 密钥。用户可以通过项目文档获取更详细的信息。

• father-bot/chatgpt_telegram_bot 带有 ChatGPT 的 Telegram 机器人，基于 Python，使用 OpenAI 的 API。特征：低延迟回复（通常需要大约 3-5 秒）；无请求限制；消息流（观看演示）；GPT-4 和 GPT-4 Turbo 支持；GPT-4 Vision 支持；群聊支持（/help_group_chat获取说明）；DALLE 2（选择艺术家模式以生成图像）；语音消息识别；代码突出显示；15 种特殊聊天模式：助理、代码助理、艺术家、心理学家、埃隆马斯克等。您可以通过编辑配置/chat_modes.yml轻松创建自己的聊天模式；支持 ChatGPT API；允许的 Telegram 用户列表；跟踪在 OpenAI API 上花费的 $ 余额

• LazyAGI/LazyLLM 用于构建多代理应用程序的低代码开发工具 LLMs。它帮助开发人员以非常低的成本创建复杂的 AI 应用程序，并实现持续的迭代优化。LazyLLM 为应用程序构建提供了便捷的工作流程，并为应用程序开发过程的各个阶段提供了众多标准流程和工具。基于 LazyLLM 的 AI 应用开发流程遵循原型构建 -> 数据反馈 -> 迭代优化工作流程。这意味着您可以使用 LazyLLM 快速构建原型应用程序，然后使用特定于任务的数据分析不良情况，然后在应用程序的关键阶段迭代算法和微调模型，以逐步提高整体性能。

• davidmigloz/langchain_dart LangChain.dart是一个用于构建基于大型语言模型 (LLM) 的 Dart/Flutter应用程序的框架，它提供了一套现成的组件，用于与语言模型交互，并提供标准接口，将它们链接在一起以构建更高级的用例，例如聊天机器人、基于检索的问答、代理、摘要、翻译、提取、推荐系统等。LangChain.dart 的核心模块包括模型 I/O、检索和代理，并支持使用 LangChain 表达式语言 (LCEL) 将这些组件组合在一起。LangChain.dart 的目标是为 Dart 和 Flutter 生态系统提供一个简化的 LLM 开发框架，以促进 LLM 在该生态系统中的应用。

• altera-al/project-sid Project Sid是一个多智能体模拟项目，旨在模拟人工智能文明的演化过程。该项目使用PIANO架构，使智能体能够实时与人类和其他智能体互动，并在多个输出流中保持一致性。项目在Minecraft环境中进行大规模模拟，评估智能体在文明基准上的表现，这些基准受到人类历史的启发。模拟结果表明，智能体能够实现有意义的进步，例如自主发展专业角色、遵守和改变集体规则以及参与文化和宗教传播。该项目为大规模社会模拟、代理组织智能以及将人工智能整合到人类文明中开辟了新的途径。

• openbmb/ioa IoA是一个开源的协作式AI代理框架，�