封面图：Safe by construction - Roberto Clapis
🌟 AI 相关
- Extrinsic Hallucinations in LLMs
- Building Smarter Agents with @llama_index and Qdrant's Hybrid Search 🦙🔍
- FlashAttention-3 is now available. 1.5-2.0x faster than FlashAttention-2 with FP16, up to 740 TFLOPS 🤯
- Producthunt上个月的第一名产品。Recall是一款帮助你总结和管理在线内容的工具。支持YouTube视频、文章、播客、PDF文件等总结摘要。自动分类并保存在个人知识库中，支持二次编辑。内容自动会生成知识卡片，通过知识图谱建立内容关联。另外，Recall用科学间隔重复和主动回忆方法复习，就是基于内容生成问答题，每天选择题复习。[1]
- 伯克利提出 《从模型到复合人工智能系统的转变》，而 @FireworksAI_HQ 最近融资 5.5 亿美金也是帮企业构建 Compound AI🔥，即：[2]
- 组合框架和策略
- 使用 DSPy 等自动优化 Prompt 质量
- 使用 FrugalGPT 等实现 LLM 负载均衡以及意图路由
- 构建良好的 LLMOps/DataOps 系统
- Reinforcement Learning from Human Feedback (RLHF) workflow and implementation with @MSFTDeepSpeed - A long thread 👇
- 从任意非结构化数据构建知识图谱！@neo4j 正式开源 GraphRAG 的图谱构建工具 LLM Graph Builder！ 🔥
- We’re excited to feature LlamaTrace - a collaborative effort with @arizeai to introduce advanced LLM tracing, observability, and evaluation for any LLM application workflows 🦙🔥
- GraphRAG 是 RAG 领域可以造就下一个 Google 的技术！随着最近微软开源 GraphRAG 并将其带上热点顶峰，Neo4j 接着就发布《GraphRAG 宣言》！🔥
- 介绍了 GraphRAG 最全面的技术，包括学习教程，以及端到端的开源技术栈，同时 GraphRAG 在 43 个业务问题中准确性平均提高 3x ⚡️
- 逛 Github 的时候看到一个用简单英语来学习 Rust 的教程「Rust explained using easy English」挺有意思，很适合中文程序员去阅读，甚至没有太大压力的方式可以跟着教程学习，即可当做 Rust 基础了解，也可以当做英语复习，挺不错。
- 不出意外 🤨 大模型/机器学习版本的 LeetCode 来了！目前已经有 26 道题目，经典的矩阵、线性回归、反向传播单神经元实现等题目都有
- 感觉 AI Engineer 目前还没有特别的面试标准，但是未来企业又缺口巨大，这里面可能有一些机会🧐
- This paper claims that Llama3-8B+BoT (Buffer of Thoughts) has the potential to surpass Llama3-70B model. 🤯
- 🚀Excited to introduce Quest: an efficient long-context LLM inference framework, accepted by ICML 2024!🌟
- Last week we launched llama-agents, a brand new multi-agent deployment framework, and the response has been enthusiastic -- the repo is at 1100 stars and counting!
- 这一期播客还挺有意思的，大概定义了 AI Native 的产品研发方式：从迭代确定性的逻辑转向迭代 「测试集」和 「训练集」
- Prompt越写越多，而且有版本管理的需求，想找一个管理工具。发现了Pezzo
- You can now fine-tune Claude 3 Haiku—our fastest and most cost-effective model—in Amazon Bedrock
- 超实用，Perplexity Pages 开源平替！可浏览网络生成长达「几万字」的长篇文章/研究论文，免费使用还带引用！🔥 斯坦福 Storm 2.0 重磅发布⚡️
- 11个AI程序员（偏后端）项目汇总
- RAG 2.0 新范式来了 ！11.3 K Star 🌟 的RAGFlow 0.8 版本正式发布 Agentic Workflow，基于有环图为 RAG 引入带反思的 Agent 能力
- 学术福音⚡️！基于交互式，可实操的 Demo 理解 CNN/Transformer 的工作原理，已开源 7.6K Star 🌟
- We've added new features to the Anthropic Console. Claude can generate prompts, create test variables, and show you the outputs of prompts side by side
- HippoRAG is able to obtain comparable performance to iterative RAG methods (IRCoT) while being 10-30x faster and 6-13x cheaper. 🤯
- We’re excited to release a comprehensive set of video tutorials on GraphRAG 🧑🏫, using the latest property graph abstractions in @llama_index
- 解决 RAG 最致命的「验证信息可信度」问题，将人类 「海马体」机制引入大模型 RAG 技术的 HippoRAG 发布！⚡️
- 无需微调，引入知识图谱、PageRank和检索编码器技术
- 在多跳问题回答上，性能提升 3～20%
- 相比迭代式 RAG（如 IRCoT），成本优化 10～30 倍，速度快 6～13 倍
- Andrej Karpathy 大神的这个「让我们来搞一个GPT-2」很值得跟着学习一遍，124分钟的长视频，受限构建 GPT-2 网络，然后优化对应训练速度，并按照 GPT-2 和 GPT-3 论文参数设置训练运行，挺适合周末时间我们来照着视频学习一下。
- 160+ 行代码手搓 GPT-4o 演示版的实时音视频通话能力并开源🔥，作者还录制了教程视频！⚡️
- 英伟达又在 RAG 领域整了个大活！🔥，RankRAG 来了！无需微调，利用基于 Llama3 的 Retrieve-Rerank-Generate 流程，在 9 个知识密集型基准测试中明显优于 GPT-4⚡️
- Incredible results for the RAG world from @nvidia model 👏. Llama3-RankRAG from @nvidia significantly outperforms GPT-4 models on 9 knowledge-intensive benchmarks. 🤯
- 增强LLM具备AI产品化能力的17种RAG技术
- One Single Script to run the all the three steps of Reinforcement Learning from Human Feedback (RLHF) Training with DeepSpeed-Chat
- Wrote quite a lengthy blog - "Reinforcement Learning from Human Feedback (RLHF) in Practice: A Deep Dive" 👨🔧
- LlamaIndex 创始人 @jerryjliu0 在 AI Engineer 世界大会 @aiDotEngineer 上分享《知识助手的未来》，并正式发布并开源 Agentic RAG 框架 - LlamaAgents 🔥，目前 878 Star 🌟
- 多 Agent 框架，使用 Docker/K8S 部署
- 完善可观测、显示的 Control 模式、发布为 Tool/API
- HippoRAG 无需微调，使用现成技术：
- LLM 推理关键点和意图
- 知识图谱构建知识关联性
- 检索+个性化PageRank从知识图谱里面整合最关联的片段，并实现高效搜索
- 感觉后续大模型 RAG 技术进一步发展就是传统算法+LLM 结合，进入下一个阶段，而非知识裸的检索然后丢给模型答一下 🤔
- 斯坦福爆火的 Prompt 编程框架 DSPy 的 TypeScript 实现来了！ax 实现了 DSPy 支持构建复杂 Agentic Workflow，目前已开源，697 Star 🌟
- The "Multi-token Prediction" paper (April-2024) from @AIatMeta and behind the Chameleon family of models is such an innovative idea
- Shadcn/UI 推出全新的图表了，好看！
- Laisky 的这个「面向 Web2 工程师的 Web3 入门」Slides 挺值得一看，让 Web2 工程师更好理解，介绍以区块链技术为核心的 Web3 相关基础知识，主要围绕 blockchain 的基本概念，主要关注技术实现和日常操作。
- 获 YC 投资，为企业构建一站式内部 Agent 和 RAG 应用解决方案的 Mintplex Labs 开源其跨端应用 anything-llm，并冲上 Github Trending 第一名🔥，目前 16.8K Star 🌟
Meta | 提出System 2蒸馏方法，Llama 2对话模型任务准确率接近100%！
🌟 LLM之RAG实战（二十五）| 使用LlamaIndex和BM25重排序实践
🌟 Hybrid Search: 利用BM25算法和语义搜索提升RAG系统性能
Lookback Lens：用注意力图检测和减轻llm的幻觉
Stability AI修改协议Stable Diffusion 3 Medium可以免费商业化应用
RouteLLM：高效LLM路由框架，可以动态选择优化成本与响应质量的平衡
OpenAI Lilian Weng万字长文解读LLM幻觉：从理解到克服
OpenAI新模型「草莓」曝光：强推理/长任务规划/超大规模训练！还给出AGI分级
ICML 2024 | 梯度检查点太慢？不降速、省显存，LowMemoryBP大幅提升反向传播显存效率
五年后的今天，训练GPT-2只需不到700刀、24小时，Karpathy又整新活
Modelscope-Agent 增强RAG能力：（二）多源召回，自定义图片解析
AI慢思考蒸馏进快思考，Llama2跃升至GPT-4水平，不写过程也能做对题
万字长文，代码详解Memory3：革命性RAG模型如何重新定义大规模语言模型
综述！清华 && 剑桥 | 深入探讨大模型（LLMs）知识冲突的研究进展及挑战
社区供稿 | 源大模型的快速部署与高效推理——GGUF格式模型介绍与使用教程
谷歌 | 提出新型层设计：PEER，可对百万专家进行稀疏检索，超越密集前馈、稀疏MoE
人人可做提示工程师！Claude上新：一键生成、测试和评估prompt
深入探讨提示工程的攻击与防范：从理论到实践【附大语言模型提示注入攻击安全风险分析报告】
🌟 LLM 大模型学习必知必会系列(四)：LLM训练理论篇以及Transformer结构模型详解
🌟 斯坦福最新警示 | 别被RAG模型骗了：看LLM如何通过Prompt权衡先验知识与RAG检索
苹果大模型Siri将至；InternLM2.5-7B可免费商用；TTT超越Transformer和Mamba｜青稞日报07.08
微软&清华提出全新预训练范式，指令预训练让8B模型实力暴涨！实力碾压70B模型
IAAR && 北大 | 为大模型配备显式记忆，降低成本，提升大模型推理速度！
彻底改变语言模型：全新架构TTT超越Transformer，ML模型代替RNN隐藏状态
理解时间戳的视频理解大模型CogVLM2开源！视频生成、视频摘要等任务有力工具！
激活函数的进化之旅：从Sigmoid到SwiGLU，深度学习的神经触发器
Mobile-Agent-V1/V2：基于多模态Agent架构的手机智能体
开源VLM新标杆 InternVL 2.0 怎么用？部署、微调尽在魔搭社区！
微软 MInference：百万 Token 序列，10x 加速
⭐️ Go & 云原生 & Rust 相关
- SeekStorm - 一个亚毫秒级的全文搜索引擎
- 非常快。同时还支持多租户系统。这个项目是由其它项目转过来用Rust重写的，之前那个项目已经搞了很多年了。
- blog：通过合并链接表来学习Rust的所有权
- 使用 Rust, Jupyter 和 Anaconda 来做数据分析
- 已经有专门的使用Rust来做数据分析和处理的书了。现在AI pipeline中，使用Rust来代替python做预训练前的数据准备工作已经成了一种趋势了。
- Backend Project Structure Go
- Tricky Golang interview questions - Part 6: NonBlocking Read
- A Go-based SSH client designed as a drop-in replacement for the OpenSSH client
- A simple backend implementation of Clean Architecture using Gin/Gorm with Dependency Injection
- Understanding Go's Garbage Collector: A Detailed Guide
- 发现一个可以把日志文件高亮的命令行工具 Tailspin，安装后把原来查看命令换成 tspin 即可看到下面这种效果的日志，更加便于阅读和排查问题。
- An interesting article: "How I write HTTP services in Go after 13 years"
- If you have many equal strings which don't share underlying bytes memory, then, since #Golang 1.23, you can use the following shown Canonicalize function to let them share underlying bytes memory, so that much memory will get freed
- Go 1.23 adds a "CopyFS" function in the "os" std package
- Learn how to build your own distributed key-value storage system using the etcd Raft library. Dive into the architecture and code analysis!
Go语言标准库中math/rand包的改进和math/rand/v2包的引入
代码提交即部署：Argo Workflows 与 EventBridge 构建自动化 CI
链路追踪详解（六）：Zipkin 和 Jaeger 的安装方法
Go 1.23 的 os.CopyFS：告别第三方库，轻松复制目录
🌟 5 Better ways to code in Rust
全面掌握 Go 语言 errors 标准库：使用指南与源码深度解析
Go 性能度量利器，完全替代 io.Reader 和 io.Writer！
震惊! Go 1.23中Timer无buffer的实现方式竟是这样!
Golang Channel 模式：Retry timeout
📒 后端相关
国内用户如何使用 DuckDB 访问 Hugging Face 上超15万 数据集
12 个电商核心业务系统，如此复杂的中台业务一篇文章就能讲明白
秒杀圣经(2): 16大绝招，完成10Wqps秒杀架构（3万字架构长文）
📒 前端相关
性能飙升50%，react-virtualized-list如何优化大数据集滚动渲染
Next.js 项目写 Tailwind CSS 基本都会遇到的两个问题