Skip to content

Latest commit

 

History

History
234 lines (181 loc) · 16.4 KB

lib-ai-app-community-model.md

File metadata and controls

234 lines (181 loc) · 16.4 KB
Raw
title tags created modified
lib-ai-app-community-model
ai
community
2023-10-30 07:33:56 UTC
2023-10-30 07:34:03 UTC

lib-ai-app-community-model

guide

  • tips

    • 大模型相关的产品研发，原理的可解释性很差，效果的可解释性也差

  • 大规模语言模型：从理论到实践

    • 复旦大学张奇教授团队写了一本在线免费的电子书，大概有 300 页篇幅，将大模型从理论到实战的每个阶段都描述的较为清楚

discuss-stars

discuss-llama

discuss-ai-api/tools

  • Hugging Face 宣布投入 1000 万美元用于免费共享 GPU，旨在帮助小型开发者、学术界和初创公司开发新的 AI 技术，抗衡 AI 进步的集中化。

  • https://x.com/glow1n/status/1791488036259434749

    • CEO Clem Delangue 表示，这一举措将通过 ZeroGPU 计划实现，促进 AI 技术的去中心化发展
    • ZeroGPU 使用 Nvidia A100 GPU 设备，提供高效的计算资源。
    • Hugging Face 的 Spaces 平台已有超过 30 万个 AI 演示。

  • Cloudflare 的 Workers AI 每天可以免费使用 10, 000 Neurons（相当于生成100-200个LLM响应，500次翻译，500秒的语音转文字音频） ，调用方式兼容 OpenAI

  • https://x.com/scomper/status/1791804644332908646

  • 好像都是小模型为主吧

discuss-ai-knowledgebase

  • Excited to share Latticework, a text-editing environment aimed to help synthesize freeform, unstructured documents _202408

  • https://x.com/andy_matuschak/status/1828928979656683581

    • It aims to help with making sense of messy piles of unstructured documents.
    • The key idea is unifying annotation (direct reaction in context) w/ freeform text-editing (for fluid sensemaking).

  • sorry, the PDF story doesn’t really exist in this prototype, but I think the design applies without alteration—just need someone to build it

  • https://x.com/MatthewWSiu/status/1828929032718872734

  • I explored some closely related ideas with @MagicPaperAI . You guys have pulled off the synthesis of highlights and copied fragments. I’d posit that the next key synthesis is between copied fragments and revisions of a document. Edits are partial copies.

  • Great work! I like the flow of adding & organizing snippets -> augmented synthesis. The more snippets you grab under a heading, the clearer a cluster forms. That then generates 'what you're getting at' summaries & gives AI bounds to forage for related snippets. Good loop there.

discuss

  • 如果想要让 LLM 稳定生成 JSON 对象，最简单的方式就是使用 zod 定义 schema 并配合 @vercel ai sdk的 generateObject使用，比如这里我想要从网页文本内容提取结构化的信息。

  • https://x.com/FeigelC35583/status/1819558128297648412

    • 这种方式和当初 langchain 在 prompt 里写一大堆json 定义有本质区别，在于使用了 function call 的能力
    • 从请求中可以看到，本质上是在调用模型的时候，构建了一个名为 json 的 函数, 描述是 respond with a json object, 其中参数是自己定义的 schema，然后在 tool_choice 中限制必须要使用这个 json 函数，那么模型就会返回调用json 函数的参数，即你定义的 schema
    • 示例代码来自于https://github.com/DiscovAI/DiscovAI-crawl 我正在 building 的一个面向 RAG 应用的爬虫平台

  • 应该只有GPT系列能用吧

    • 支持function call就可以，deepseek应该也可以的

  • 在这基础上。我会考虑使用jsonrepair这个包，手动修复下，增加容错

  • 如果大模型没有没有返回对应要求的字段数据，或者返回错了类型，它会怎么样，会自己补充空的，或者自动转换类型吗？

    • 不会补充，会throw error，也可以用上面推友推荐的jsonrepair手动fix

  • 能支持开源模型吗

    • 取决于模型支不支持function call，支持的话就可以，效果的话要看模型的能力

  • 用 function call 感觉模型的能力降了一个维度，不如直接给文本，我还是更喜欢用xml自己提取。

  • 我是用伪代码➕类型声明, 也是一样的稳定输出 json

  • langchain框架中有Pydantic json 解析器可以直接用，本质也是生成schema，再配合重试解析器也可以稳定生成json格式

  • 💡 LLMs are literally the most unreliable technology of all time (followed by **ing bluetooth)

  • https://x.com/Steve8708/status/1819448686424084892

    • After an absurd amount of trial and error, we've internally created a set of rules for make LLMs considerably more reliable
    • our secrets: restrict the llm to only what rag provides

  • what's your stance on AI for no-code? Do people prefer drag-and-drop vs prompting?

    • i think the winning move is combining both

  • Bluetooth is hell and causes frustration daily.

  • 🌰 Firefox will use Transformers.js to power on-device features

  • https://x.com/osanseviero/status/1797291569348751848

    • In their PDF Editor to generate alt text for images
    • Improve translations
    • Fully offline, open-source and with <200M models

  • Experimenting with local alt text generation in Firefox Nightly - Mozilla Hacks - the Web developer blog _202405

  • Offline and open-source is a big win for privacy-focused tools

  • langchain到底该怎么使用，大家在项目中实践有成功的案例吗? - 知乎

  • LangChain之所以大火，是因为它提供了一系列方便的工具、组件和接口，大大降低了 AI 应用开发的门槛，也极大简化了大模型应用程序的开发过程。

    • LangChain框架背后的核心思想是将自然语言处理序列分解为各个部分，允许开发人员根据自己的需求高效地定制工作流程。

  • Langchain有6大核心模块：

    • Models：模型，是各种类型的模型和模型集成。
    • Prompts：提示，包括提示管理、提示优化和提示序列化。
    • Memory：记忆，用来保存和模型交互时的上下文状态。
    • Indexes：索引，用来结构化文档，以便和模型交互。包括文档加载程序、向量存储器、文本分割器和检索器等。
    • Agents：代理，决定模型采取哪些行动，执行并且观察流程，直到完成为止。
    • Chains：链，一系列对各种组件的调用。

  • LangChain 通常被用作「粘合剂」，将构建 LLM 应用所需的各个模块连接在一起。使用Langchain中不同组件的特性和能力，可以构建不同场景下的应用，如聊天机器人、基于文档的问答、知识管理、个人助理、Agent智能体等等。

  • 你的这个认识存在一些偏差，首先，依赖API key 是为了你使用大模型厂商的服务和鉴权，这没有什么拉跨的。很多第三方的服务都需要鉴权验证，这是比较主流的方式。

  • 可以企业自己部署大模型，这种成本是很高的。从我们自己的实验效果来看，13B 以下的大模型基本就是玩具，优化半天费时费力，而 34B 或者更大的模型，公司部署成本又很高。

  • langchain 中的特色是它的 langchain expression language (LCEL），是一种类似 linux 管道形式的调用方式，可以很简单的实现它的 chain 相关的功能。这个，在我实际使用的时候，没有想象的那么好用，可以根据实际情况去学习。

  • 最后，langchain 中还有一个叫做 langgraph 的组件，能够和 pytorch 一样用搭积木的方式去构造一个有向无环图、循环的链，比 LCEL 更高级。

  • LLM搞反编译，.not care和Jvav用户再也不用折腾什么混淆了，都没用了

  • https://twitter.com/geniusvczh/status/1774053196039962758

    • 文章里反编译的是x86, x86都可以，IL难度只会更低

  • 大概看了一下，就是把编译出的汇编跟源代码做了一个简单的seq2seq的fine tune，训练集连混淆都没有，离让所有混淆都没用那更是还差得远。

  • 17年google那篇transformer的论文就靠这样完成了自然语言的翻译，这些都是迟早的事，反编译和反混淆的训练数据都是可以批量生成的，做起来简单多了

    • 我觉得LLM对于反编译和反混淆，可能更大的作用在于生成人类友好的变量/程序结构。毕竟反编译和反混淆是猫鼠游戏，总可以想出新点子，人类的干预还是必不可少的，这种情况下，基于规则/程序分析的传统方法可能更好，然后再用LLM猜变量名

  • 为了拉资金而已，钱申请到了论文就没啥用了……处理屎山留给巨头的程序员就行了，还轮不到学术圈来指点江山

  • 这种局限于函数的反混淆啥用都没有，对付点三脚猫功夫的混淆还差不多

  • 🪧 研究了一下本地大模型的场景：

  • https://twitter.com/changmingY/status/1773336179296887162

    1. 不能联网的国内用户
    2. 一般用户机器配置达不到，效率太差
    3. 本地知识库算是一个刚性需求
    4. 垂直领域模型越来越多, 一个hub集中使用
    5. 小而美的模型会越来越多，完成一个特定功能

  • ollama 的编译玩的太花了，先是吧 llama.cpp 在不同 cpu 和 gpu 的动态链接库都编译了出来避免用户在运行时再去编译，

  • https://twitter.com/liumengxinfly/status/1767073319956971891

    • 然后用 go 的 embed 特性直接把这些动态库全都打包到 go 的二进制里，然后在用 cgo 和 dlfcn 加载和调用 llama.cpp，实现了一个二进制文件免编译，免安装的解决所有问题

  • https://twitter.com/holegots/status/1767427148506431665

    • 不过这个本质也是 llama.cpp 套壳吧 , 底层还是 cpp, golang 并不参与实际的推理.

  • 最新版的 OpenAI Translator 已经无缝支持本地大模型了（Ollama），无需联网，快速便捷，安全稳定！再也不怕 OpenAI 账号被封了！翻译效果对比大家可以看一下截图，大家快来下载体验一下吧！ _202402

  • https://twitter.com/yetone/status/1761607398819840511

  • 现在好像还不支持自定义模型？只有有限的几个模型可供选择，最好是有一个文本框可以自定义输入

  • 这是Mistral多大的模型，7B的吗？

    • 是的

  • 不知道这些7b 13b的小模型哪个翻译质量更高

  • 阿里云竟然支持这么多模型了

  • https://twitter.com/yihong0618/status/1746745371441967540

  • http://ai.azure也包含了好多模型，昨天惊到了

  • 越来越觉得 RAG 这东西有意思。

  • https://twitter.com/wwwgoubuli/status/1737471851654160548

    • 半年前接触到这个词的时候开始我还有些不屑，搜索内容插入到提示词算什么嘛，小学二年级都能明白。尤其是看到随便丢向量库都能跑出个七七八八，越发觉得这个简单。
    • 但现在真的搞了半年，我越发的觉得这才是下一个大多数人可以参与的风口。它有门槛。

  • 技巧很多 所以好玩 但风险是大部份技巧都被模型提供商玩过，80%需求都可能被他们直接覆盖

    • RAG不就是query transformation/rewrite/expanding, hybrid search, reranking, etc吗？当然还有些其他技巧啥IAG之类的。数据ingestion也有些技巧，不过我看主要还是在query上。 这些大部分OAI, Baichuan, 月之暗面内部都探索过了吧

  • RAG一看就是一个有问题的区域，大模型随时下一次升级可能就会改变整个框架，3.5还胡说八道，4已经很多都是有根有据的了

  • 搞到最后，还是清洗数据，RAG只用简单策略解决大多数问题，可观测。前提是所有复杂策略都要试过才知道。

  • LangChain开源了AnythingLLM：可以与任何内容聊天的私人 ChatGPT，应该就是他们自己文档系统用的那一套。

  • https://twitter.com/op7418/status/1733893368974073873

  • 有没有详细说明？最大可以支撑多大的文档？

    • 应该是不限大小的，拆开就好了

  • 说没说硬件需求？

  • 大模型的这些 benchmark 应该是全宇宙最没用的 benchmark 了吧？

  • https://twitter.com/yihong0618/status/1721401347533324688

  • 也不是全没用，也有一些有用的, 尤其细分任务上的，还是挺有用的。当前相比其他benchmark，可操作空间确实大

  • 公开的只能全看自觉

  • 中文开源模型虽多，数据集却很少开源。

  • https://twitter.com/9hills/status/1718828132046942218

    • 目前英文 7B 规模的 SOTA 模型是 zephyr-7b-beta。它放弃了质量参差不齐的开源数据集，使用ChatGPT和GPT-4 全新标注了 UltraChat 和 UltraFeedback 数据集（已开源）。是 llama-index 项目实测出来唯一能够支持 Agent 的小参数模型。

  • 中文数据集都是拿来卖钱的