封面图：Safe by construction - Roberto Clapis
🌟 AI 相关
- Building A Generative AI Platform
- OpenAI计划推出一个AI搜索引擎项目SearchGPT
- The quality of hosted Llama 3.1 may vary by provider
- 构建生成式 AI 平台
- 最多 128 个 Function！DeepSeek 版本 Function Calling 终于来了！🔥
- Andrej 为了解释 Word 和 Token 的区别，写了个小程序，把 Token 用 Emoji 表示，好帮助你直观的理解 LLM （大语言模型）看到的世界和我们看到的世界是不一样的
- Coding with Llama 3.1, new DeepSeek Coder & Mistral Large - From aider leaderboards
- 今天跟 LLM 前沿的研究员聊了一下午，收获了很多有趣的 insights，先分享一个，后续慢慢整理
- Very interesting study on comparing RAG and long-context LLMs
- Meta为Llama 3.1构建的一个智能体任务系统：Llama Agentic System
- Nice overview of KV-Cache compression methods
- 实现使用超低价格、在领域微调能力达到最强智能且规模解决实际问题？🤔
- Llama 3.1 Paper is incredible to read. This part is on their method of filtering out bad samples
- lama-3.1 is now supported by WebLLM and up on WebLLM Chat 👨🔧
- 又一个 Cuda 挑战者！新 GPU 编程范式来了？🔥 前 Google DeepMind 大牛基于 WebGPU 开源了一个使用 C++ 操作 GPU 的库 - gpu.cpp，短时间暴涨 1.1K Star ⭐️
- Rule-based rewards (RBRs) use model to provide RL signals based on a set of safety rubrics, making it easier to adapt to changing safety policies wo/ heavy dependency on human data. It also enables us to look at safety and capability in a more unified lens as a more capable grader model gives us higher quality RL signals
- 让老师爽翻的10个话术
- OpenAI的gpt4o-mini 支持微调了，而且有免费额度。这里有个gpt的微调范例可以参照
- Cloudflare全栈工具包：前后端全部基于Cloudflare，适合免费、快速搭建网页应用，作者基于这套工具包搭建了应用
- Mistral Large 2, a 123 billion parameter model with a 128k context window 🤯
- 一个使用 Llama 3.1 模型构建 RAG 应用的示例
从零到一使用 Ollama、Dify 和 Docker 构建 Llama 3.1 模型服务
OpenAI主管Lilian Weng分享RAG对抗LLM幻觉策略
小模型狂飙！6家巨头争相发布小模型，Andrej Karpathy：大语言模型的尺寸竞争正在倒退...
SearchGPT第一波评测来了！响应速度超快还没广告，“OpenAI杀手锏”
LLM101n 硬核代码解读：手把手教你用PyTorch实现多层感知机MLP
为什么AI数不清Strawberry里有几个 r？Karpathy：我用表情包给你解释一下
图解Attention优化: 从Online-Softmax到FlashAttention V1/V2/V3
微软最新，让Prompt进化自动化，用Auto EvolInstruct来拯救你的结构化提示词
🌟 不止llama 3.1！Meta还同步开源了安全审核和提示词注入、越狱校验的2个新模型
🌟 Meta开源的Llama官方Agent：Llama-Agentic-System深度解析
Large Enough！Mistral Large 2开源！魔搭推理、微调最佳实战教程来啦！
打乱/跳过Transformer层会怎样？最新研究揭开其信息流动机制，一口气解答8大问题
ICML最佳论文曾被ICLR拒稿，Pika联创参与，一作已入职OpenAI
重磅！Mistral Large 2深夜发布！Llama3.1仅一天被超越，最强开源再易主
Llama 3.1 - 405B、70B 和 8B 的多语言与长上下文能力解析
llama 3.1终于开源！速览技术报告中最有意思的17个新要点
Meet Llama3.1，405B赶超最强闭源模型！上魔搭社区一站体验、下载、推理、微调、部署
击败GPT-4o的开源模型如何炼成？关于Llama 3.1 405B，Meta都写在这篇论文里了
LLM 应用可观测性：从 Trace 视角展开的探索与实践之旅
🌟 2024年推荐系统技术全面综述：历史、现状、分类、应用、展望
Llama3.1系列模型正式开源，最大405B，闭源模型的统治时代将迎来结束
使用InternVL、LMDeploy和GTE搭建多模态RAG系统
QOQA：利用TopK文档进行查询改写，平均提升RAG 1.6% 准确率
首个超越GPT4o级开源模型！Llama 3.1泄密：4050亿参数，下载链接、模型卡都有了
盛名一时的BERT哪去了？这个问题的答案昭示了LLM范式的转变
电脑平板组AI集群，在家就能跑400B大模型，GitHub狂揽2.5K星
苹果开源7B大模型，训练过程数据集一口气全给了，网友：开放得不像苹果
⭐️ Go & 云原生 & Rust 相关
- model-mapper: 这个库提供了一个宏，用于实现在不产生模板代码的情况下在各种类型（包括枚举和结构体）之间进行转换的函数
- EmbedAnything: 一种极简但高性能、轻量级、多源、多模态和本地嵌入解决方案，内置 Rust
- cake - 分布式推理引擎
- monitor - Rust实现的编排和部署工具
- [rust is best]10 亿行挑战方案。作者尝试优化 Rust 中「10 亿行挑战」的解决方案。从原始的 5 分钟优化到了 9 秒。作者的主要目标是创建一段简单、可维护且生产就绪的代码，而且没有使用不安全的操作。以下是一些关键经验：
- 使用
--release优化构建 - 避免在关键路径中使用
println!；使用日志库进行调试 - 谨慎使用
FromIterator::collect()；它会触发新的分配 - 最小化不必要的分配，特别是避免使用
to_owned()和clone() - 更换哈希函数，
FxHashMap比标准的HashMap稍微更快 - 对于大文件，优先使用缓冲读取而不是加载整个文件
- 当不需要 UTF-8 验证时，使用字节片段（
[u8]）而不是字符串 - 只有在优化单线程性能后才进行并行化
- 使用
- Learn a new way to enhance error handling in your Rust projects with program flow tracing using macros and the
anyhowcrate. Check out this detailed guide! - Discover how GoFr accelerates microservice development with seamless config management, Pub/Sub support, and integrated auth in your Go projects
- Learn how to accept Bitcoin payments using Python, Rust, and the PyO3 library. Build and test a non-trivial extension module from scratch
- Discover the key to mastering Rust: lifetimes. This article dives into their importance, usage, and practical examples to ensure memory safety in your code
- How to Build Your Own Distributed KV Storage System Using the etcd Raft Library (2)
threadsafe：使用Golang实现线程安全的数据结构
[小布去面试]Tricky 的 Golang 面试题 - interface = nil
LazyCell 和 LazyLock: Rust 1.80.0 新同步原语
Go1.23 新特性：新标准库 unique，性能更好，开销更小！
揭秘 Golang 的异常处理利器: Panic 与 Recover 的深度探索
🌟 Go-Zero 数据库实战：配置、建模与业务逻辑一体化（八）
Genkit - Google 推出 Genkit for Go, 用于以 Go 语言构建 AI 应用
Go 发布 AI 机器人 Oscar，解决开源项目的维护痛点！