Blog | Frontend Weekly

QUIC协议的一些基操解释
Rust实现的一个狭义相对论模拟
Rust中的Mutex, Atomics 和 UnsafeCell。这篇文章主要讨论了Rust中的Mutex、Atomics和UnsafeCell的实现原理和相关概念:
- 文章通过自定义实现AtomicUsize来探讨原子操作的原理。作者发现简单使用UnsafeCell并不能实现真正的原子性,因为编译器会对其进行优化。
- 真正的原子操作需要使用编译器内部函数(intrinsics)来实现,这些函数不仅生成原子指令,还会告诉编译器不要对其进行优化。
- Mutex的实现基于UnsafeCell和一个原子整数。获取锁时使用原子的compare_exchange操作,释放锁时使用原子操作配合内存顺序(memory ordering)来保证可见性。
- 内存顺序(如Acquire和Release)不仅影响生成的机器指令,还会限制编译器的优化,从而保证跨线程的内存访问顺序。
- VolatileCell用于嵌入式系统中访问内存映射I/O。它使用volatile读写操作,但仍存在一些安全性问题。
- volatile操作与原子操作不同,不能建立happens-before关系。对于DMA等操作,需要额外使用内存屏障(fence)来保证顺序。
- 文章深入探讨了UnsafeCell、原子操作、内存顺序等概念如何在底层影响Rust的并发安全性,对理解Rust的并发模型很有帮助。

Range Over Function Types

Go 1.23 is released

Go 1.18之后的语法新特性Quiz，你能做对几个

Rust的Pin类型是用来做什么的，以及为什么它很难使用

Rust 中 @ 符号的高级应用和最佳实践

[译] Range Over Function Types

探索 Go 标准库中的优雅设计模式：函数与接口的结合

Go 入门指南：5.2. 测试多返回值函数的错误

Go 项目结构的简洁实现 | GitHub 3.5k

Go GOPATH 模式未来会怎么样，会消失吗

Go1.23 新特性：再开后门，可以记录未捕获的 panic 和 throw 日志了！

🌟 Kitex Thrift Streaming 在字节跳动 Prompt 平台的实践

一款支持自动流水线和客户端缓存的 Go 语言 Redis 客户端

Go必知必会：协程（上）：进程、线程、协程的区别和联系

Golang面试题：strings 和 strconv 包

基于 Gin 框架的 Go 后端架构最佳实践

继Ollama之后，Go在AI领域再下一城

了解 Golang 中的内存管理：Stack vs Heap

📒 后端相关

互联网根服务器只有13台，是真的吗

一线实战：运维人少，我们是如何从 0 到 1 实践 DevOps 和云原生

千万级数据的全表update的正确姿势！

系统设计：在搜索系统实现缓存的策略与思考

ByteHouse高性能向量检索实践——“以图搜图”

AI 网关零代码解决 AI 幻觉问题

📒 前端相关

2024最新VSCode实用插件推荐，开发效率遥遥领先！超全面，快收藏~

把黑神话悟空视频设置为vscode背景，真的太炫酷了

8月18日内容汇总

August 18, 2024 · 6 min read

加菲猫

前端开发 @NETEASE

alt text

封面图：Russ Cox 领导 Go 团队发布的最后一个版本 Go 1.23.0 终于发布啦！来的比以往晚了几天！

🌟 AI 相关

本周9篇论文带你看最新RAG应用方向

HybridRAG: 融合知识图谱和向量检索的新型信息提取方法

大模型 VS 小模型

【LLM模型微调】LLMs-数据构造-LIMA-230518论文总结v3.0

三万字详解！GPT-5：你需要知道的一切

LLM的幻觉怎么分类，有哪些缓解幻觉的技术，这里是你应该知道的前沿调查

英伟达玩转剪枝、蒸馏：把Llama 3.1 8B参数减半，性能同尺寸更强

IntactKV：保持关键词元无损的大语言模型量化方法

腾讯优图开源多模态大模型VITA : GPT-4o的简易平替！

检索增强生成(RAG)技术方法流程最佳实践实验探索

RAGAS：实现检索增强生成的自动化评估

最新文生图神器 FLUX.1，火山引擎云上部署实战！

【LLM模型微调】LLMs-垂域微调-微调经验总结v2.0

香港理工：你精心设计的prompt，很容易被用户套出来！

刚刚！ACL2024最佳论文开奖！GloVe获时间检验奖

李沐：创业一年，人间三年

一直爆料OpenAI「草莓」的账号，竟然是个智能体？斯坦福系创企「炒作」AgentQ

大模型分布式高效训练技术综述

更高效的RAG文本检索和排序: 多语言GTE系列模型开源

一文揭秘｜预训练一个72b模型需要多久

大模型经典PTQ量化方法总结

【LLM模型微调】LLMs-PEFT[微调]-微调经验总结v1.0

TensorRT-LLM初探（三）最佳部署实践

OpenAI「草莓」提前曝光？ChatGPT 版搜索引擎惊现神秘模型｜AGI 掘金资讯

Multi-Head RAG：复杂问题的RAG召回方案

非Transformer架构站起来了！首个纯无注意力大模型，超越开源巨头Llama 3.1

一文梳理有效提升RAG效果的方法

RAG Foundry：开源RAG框架，数据、推理、测评一条龙

【LLM数据工程】LLMs-数据构造-Self-Instruct总结v3.0

AI美女全军覆没！赛博照妖镜下集体变“鬼”，AI代码拆台AI生图

TGI 多-LoRA: 部署一次，搞定 30 个模型的推理服务

一文搞懂 TorchDynamo 原理

⭐️ Go & 云原生 & Rust 相关

Go 语言持续基准测试：精准追踪性能，优化代码效率

Go1.23 新特性：新库 structs.HostLayout，终于可以指定内存布局了！

Go必知必会："反射"运行时类型检查与操作的深度指南

Kubernetes v1.31 正式发布：欢庆十周年，迎接新纪元

Go 1.23 正式发布：性能提升、Telemetry 加入和标准库改进

Golang面试题：Docker 容器有几种状态

Rust中文资料：一年的学习资料都在这里了

Go 1.23.0 重磅发布，不少改进

西瓜视频基于 Hertz 的微服务落地实践

string和bytes四种转换方式的性能比较

Node.js 竟然比 Go 快

Russ Cox 领导 Go 团队发布的最后一个版本 Go 1.23.0 终于发布啦！来的比以往晚了几天！

Kubernetes 中必备的 10 个告警处置方法

基于 Golang 和 Redis 解决分布式系统下的并发问题

Rust 开发者必须知道的十个核心库

夜天之书 #102 从参与 Rust 标准库开发看开源贡献的源动力

🌟 一个全新的 Go pprof 视角 - 对象引用分析

基于 Rust 和 WebSocket 打造实时聊天应用

通过Go示例理解函数式编程思维

图解 Go语言 time.Sleep 的实现原理

Golang面试题：微服务架构的优缺点

Go1.23 新特性：试图禁用 //go:linkname，建立新的握手机制！

📒 后端相关

一亿行数据，从71s优化到1.7s

面试官：你使用过哪些 Java 并发工具类

Apache RocketMQ 批处理模型演进之路

Java并发基础：原子变量在多线程同步中的专业应用！

浅谈Elasticsearch的入门与实践

📒 前端相关

推荐 5 个让 VS Code 更好用的设置

8月11日内容汇总

August 11, 2024 · 15 min read

加菲猫

前端开发 @NETEASE

alt text

封面图：Safe by construction - Roberto Clapis

🌟 AI 相关

技术资讯

Transformer Explainer——文本生成模型的交互式学习
Transformer 可视化解释：通过互动可视化了解生成式 AI 中 Transformer 的工作原理
刚刚体验了一个超强的股票 API，里面囊括了所有 S&P 500 指数的股票数据。不仅如此，资产负债表、收入报表、现金流报表应有尽有，而且支持查询长达 30 年的数据！而且正式版更是会涵盖多达 15000 个股票数据
最近看到的最好的「多模态语言模型」讲解视频！🔥 6 小时手把手视频课程⚡️
- 每一步都有详细「图文并茂」解释
- 手把手写代码，了解多模态语言模型核心机制
- 教你实现一个「多模态语言模型」
We've released LangGraph v0.2 for increased customization with new checkpointer libraries
Building agents in an event-driven manner give users a lot more flexibility to build cyclic, multi-agent systems that have very complex communication patterns 🗣️👥
Nice survey paper on current practices and solutions for LLM-based agents for software engineering
这一个多月断断续续做 LobeChat 的文件上传/知识库，快把我做废了🥲 所幸快看到曙光了… 🥹
太酷啦！⚡️⚡️阿里发布了 Qwen2-Math，数学推理能力全球第一！！超越 GPT-4o 和 Claude-3.5-Sonnet🔥🔥
🚫 Claude 股票公式编写：标识不宜入场的路段。原理是基于真实波幅 (ATR) 的标准差，计算出属于低波动的范围，在相应的位置标识自定义符号。通过过滤垃圾波动，可以避免无谓的损失，同时提升资金利用率
Andrej Karpathy 关于 RLHF 的科普
如何构建生产级别的现代人工智能平台？即将出版《AI Engineer》的作者 @chipro 解释也太好了！🤯🔥
A nice short blog - "A minimal Introduction to Quantization"
Llama3.1 405b + Sonnet 3.5 for FREE with Google Cloud's $300 Free Credit
总结 Prompt 技术的优秀论文——提示词报告🔥🤯
- 58 种纯文本提示技术，包括零样本、少样本、思维生成、自我批评和分解技术。少样本 CoT 效果最好
- 提示工程：元提示、
- 答案工程：答案形状等
- 代理：工具使用、代码、RAG
- 安全性：Prompt 注入
- 对齐
Multi-Head RAG (MRAG), aims to improve retrieval accuracy for complex queries requiring that require fetching multiple documents with substantially different contents
OpenAI 支持 structured outputs 了，生成 JSON 格式的数据比原来更容易更准确了，我认为是对我非常有用的一个特性，因为太多开发者要生成更精准的 JSON 格式的数据做下一步处理
OpenAI just launched native support for constrained sampling to guarantee structured outputs
A Primer to Building Multi-agents as a Service 📖🤖
OpenAI 新模型 gpt-4o-2024-08-06 以及 gpt-4o-mini 支持结构化输出了，和以前的 JSON 模式不一样，现在的结构化输出不仅可以定义 JSON 的 Schema（也就是 JSON 输出的结构是什么样子），而且可以确保输出的 JSON 是 100% 正确的
Long awaited, but finally - Structured Outputs
Few Shot Prompting 🤝 LangSmith Datasets
DeepMind 的专家写了一篇 8 万字的文章介绍自己如何使用 AI
红杉整理了一个 2024 AI 50 榜单，有兴趣的小伙伴可以找到图里不熟悉的产品去把玩把玩，会有一些不错的收获的
瑞典皇家理工学院 @KTHuniversity 开源的「端到端机器学习」项目及课程资源与代码！⚡🤯
- 涵盖实时交通预测，股票情绪分析，海浪预测，航班延误分析等实用场景🔥
- 通过 Serverless ML 开发端到端项目，包括数据收集，特征工程，模型训练，部署推理及 Web 使用 UI 界面！
This blog by @pavan_mantha1 shows you how to build a local multi-agent system that relies on @RabbitMQ to broker communication between different agents (and uses @ollama + @qdrant_engine!)
Apple Intelligence 里面各种智能应用的提示词已经被曝光了，就作为 json 系统文件存在“/System/Library/AssetsV2/com_apple_MobileAsset_UAF_FM_GenerativeModels”目录下
这本 24.1K Star 的开源 LLM 教程/书籍也太好了！🤯
- 一边书籍已经被知名的 Manning 出版社出版，一边还在持续的跟进业界进展并加入到书籍中，最近又更新了如何《从 0 开始学习 LLM 对齐》的 DPO 课程！
- 现在就可以学习！😆
现在想想真不太真实😂 现在，@GoogleDeepMind Gemini Flash每百万 Token 只要 0.05 美金，@deepseek_ai 硬缓存输入每百万 Token 0.0.1 人民币 🤯 随着时间的推移，智能的成本降低了 100x，能力提升10x ⚡

最新研究：大语言模型使用Json格式输出会降低模型性能吗

太卷了，本周新鲜出炉的RAG论文都在这了

🌟 95% 向量资源节省，火山引擎云搜索 RAG 技术体系演进

LLaMA3.1为什么选择405B作为最大参数量

Karpathy观点惹争议：RLHF不是真正的强化学习，谷歌、Meta下场反对

XetHub 加入 Hugging Face！

Qwen2-Math开源！初步探索数学合成数据生成！

没有等来Qwen2.5，但等来了Qwen2-Math

看完MindSearch源码，这就是我想要的Agent Plan！

Llama3训练每3小时崩一次？豆包大模型、港大团队为脆皮万卡训练提效

GLM大模型的机器翻译能力测试

从头预训练一只迷你 LLaMA 3

最高优化529倍！豆包大模型团队&港大提出ByteCheckpoint提效LLM训练

GPT-4o新版本突然上线：丝滑解决9.11和9.9谁大，更强也更便宜了

泄露！Apple Intelligence提示词原来是这样，还告诉大模型：别幻觉

大模型推理优化实践：KV cache复用与投机采样

特定领域的模型微调是否有意义？BioRAG，一个大型 RAG 实际应用案例告诉您

Agentic RAG Golden-Retriever：显著提升企业知识库问答准确性、检索效率！

AIGC大模型实践总结

多图、视频首上端！面壁「小钢炮」 MiniCPM-V 2.6 模型重磅上新！魔搭推理、微调、部署实战教程来啦！

图解大模型计算加速系列：vLLM源码解析1，整体架构

SFT Packing数据拆分和4D mask详解

🌟 错误率从10%降至0.01%，领英全面分享LLM应用落地经验

LLM101n 硬核代码解读：Micrograd，一个轻量级的自动微分引擎

如何把 PyTorch 的 GPU 利用率提升到 100%

大模型微调到底有没有技术含量

量化方法怎么选？如何评估量化后的大模型LLM

如何用FP8训练大模型

Mem0唱罢，Memary登场！

🌟 CUDA性能简易优化（一）背景知识

一文看尽LLM对齐技术：RLHF、RLAIF、PPO、DPO……

LLM可解释性的未来希望？稀疏自编码器是如何工作的，这里有一份直观说明

MindSearch技术详解，本地搭建媲美Perplexity的AI思·索应用！

【LLM数据工程】LLMs-开源数据-微调数据集总结v2.0

⭐️ Go & 云原生 & Rust 相关

技术资讯

swiftide - RAG 工具链。使用Rust实现，Swiftide 是一个数据索引、处理和查询库，专为增强检索生成（RAG）设计。在构建大型语言模型（LLM）应用程序时，这些模型需要访问外部资源。数据需要被转换、丰富、拆分、嵌入和持久化。查询可以通过检索索引数据来增强并生成答案。它是用 Rust 构建的，使用并行、异步流，速度极快。
Rust与Python的交互。这是一个交互式的教程，一步一个练习，非常适合初学理解。
cargo-selector。Cargo 子命令用于选择和执行bin和example目标
WASM 和 Rust 从零实现 React v18: 实现 memo。这篇文章是《用 WASM 和 Rust 从头实现 React v18》系列的第22部分，重点介绍了如何实现 memo 功能。memo 是 React 中用于性能优化的功能，它可以防止不必要的组件重渲染。
A CLI tool that performs semantic searches on text input using word embeddings. It's designed to find semantically similar matches to the query, going beyond simple string matching
A small utility for configuring Go programs. It addresses three things the stdlib flag package makes a bit difficult
An interesting article "Go structs are copied on assignment (and other things about Go I'd missed)"
Learn how to use Go and the Gin framework to create reusable HTML templates and simplify your code structure. Explore the solution here!
Learn how to use Rust workspaces to organize and reuse your code more effectively. This guide covers practical steps plus a REST API example
Learn to build efficient Docker images for Golang apps, compare base images, uncover security considerations, and decide what suits your project best
A Go library for processing various content types into markdown/plaintext
#Docker Images for Go (Golang) Small, Faster #Docker Images and #Security
Learn how to control and customize your Rust tests with cargo test. Navigate parallel tests, test output, and more command-line options easily
Go errors.Is now (with Go 1.23+) includes a nil check
A flexible and powerful SQL string builder Go library plus a zero-config ORM
Dive into using Rust with AWS Lambda, OpenTelemetry, and Datadog for better serverless observability and seamless telemetry setup in your projects
Reduce allocations and comparison performance with the new unique package in Go 1.23
Discover the Dark Side of Go: Why This Popular Language May Sucks
Let's master decentralized app building with a helping hand from Stellar smart contracts! We'll tackle development setup, user authentication, minting tokens, deposits, and more!

从源代码中窥探 Go 的 WaitGroup 实现和应用

Golang 中对时间控制的方法和技巧

Golang面试题： Go 性能说明

利用go trace优化垃圾回收

Kubernetes 中的 Sidecar 模式：Go 语言实战指南

没有什么不可能：修改 Go 结构体的私有字段

Golang面试题：常量 const

Rust 迭代器并非速度致胜

go-sqlbuilder：灵活强大的Go语言SQL语句构建库，兼具零配置ORM功能

Go 1.22.6 和 Go 1.21.13 刚刚发布，未包含 security fix

Go1.23 新特性：slices、panic、cookie 等函数改进，效率提高了！

Go的GMP模型真的“简单”

Golang面试题：GC 触发时机

🌟 Golang 并发的 fork/join 模式

go-chi：用于构建 Go HTTP 服务的轻量级且可组合的路由器

学习 Kubernetes 源码的过程中，我沉淀的笔记方法

Golang面试题：Redis 的回收策略(淘汰策略)

深入探究 K8S Pod 安全策略与准入控制器：构建坚不可摧的容器安全防线

K8S 配置魔法：ConfigMap & Secret 的神秘世界

深入解析 Kubernetes RBAC：保障集群安全与权限管理的利器

在 K8S 中部署高可用 Redis 集群

深入解析 K8S 原理及各组件的神秘面纱

使用TLA+形式化验证Go并发程序

通过写 Kubernetes 专栏，我不断在进化

Golang面试题：写屏障

📒 后端相关

微服务架构拆分的 7 大黄金法则

想要支持百万长连接，需要调优哪些参数

手把手教你用程序 Debug TCP连接的断开流程

什么是数据库的逻辑删除？数据库的物理删除和逻辑删除有什么区别

从0到1大实战：穿透 SpringCloud 工业级底座工程，15大圣经，实力瞬间爆表

一套万能的异步处理方案！

📒 前端相关

小红书的pc端瀑布流的效果是怎么实现的

8月4日内容汇总

August 4, 2024 · 10 min read

加菲猫

前端开发 @NETEASE

alt text

封面图：Safe by construction - Roberto Clapis

🌟 AI 相关

模块化RAG：RAG新范式，像乐高一样搭建万字长文

SmolLM: 一个超快速、超高性能的小模型集合

Gemini 1.5 Pro发布，赢了榜单第一，却被网友泼冷水

用近期火爆的Best-of-N策略加成变分推理Prompt，生成2024巴黎奥运会创意亮点介绍文章

【LLM开源模型】LLMs-Qwen2-240606通关攻略笔记v2.0

TRT-LLM中的Quantization GEMM（Ampere Mixed GEMM）CUTLASS 2.x 课程学习笔记

语义与效率、算法与算力双飞轮——小红书广告召回实践

豆包大模型视觉、语音能力升级！文生图更懂“国风”，TTS“拿捏”情绪

谷歌开源最强端侧小模型：2B参数越级跑赢GPT-3.5-Turbo，苹果15Pro运行飞快

吴恩达弟子打造arXiv弹幕版，每篇论文都能自由讨论了！

Modelscope Agent实操（六）：添加涂鸦作画能力到Modelscope-Agent中

大模型预训练开源数据集-整理

Llama3.1 中的Pipeline Parallelism技术Interleaved PP与WPipe的比较与扩展

以知识图谱结构为Prompt框架，帮LLM快速找出因果关系生成更精准内容

理解图结构和图推理，彻底掌握GraphRAG底层逻辑，悄悄超越99%的人 | ICLR2024

Meta「分割一切」进化2.0！一键跟踪运动物体，代码权重数据集全开源，网友：真正的OpenAI

ChatGPT版「Her」突然开放，第一波实测来了！用户已疯狂

失联大神李沐B站复更：领读Llama 3.1论文，还多讲了一点AI八卦；大模型竞技场Llama 3.1排名第三

🌟 SGLang技术分析

一文详解模型权重存储新格式 Safetensors

大道至简，GraphRAG生成的Prompt和数据集，用60行Python基础代码就能优化

亚马逊 RAG 新突破：REAPER 技术开启大型智能对话助手新境界

🌟 大模型时代的操作系统：融合Rust和大模型，vivo打造AI操作系统

别只盯着ChatGPT版「Her」，在多模态AI拟人互动上，国内玩家也支棱起来了

重磅惊喜！OpenAI突然上线GPT-4o超长输出模型！「Her」高级语音模式已开放测试！

Mistral系列模型核心技术详解

解锁开源模型高性能服务：SGLang Runtime 应用场景与实践

SGLang：LLM推理引擎发展新方向

用这条Q-Star的prompt让LLM拥有MDP，深思熟虑规划你的复杂推理

RAG 2.0谷歌RICHES：边检索、边思考、边生成

卡内基梅隆大学重磅，用这条Prompt让LLM递归内省，多轮交互中自我改进

GraphRAG+Ollama，构建本地精准全局问答系统！

TaD+RAG-缓解大模型“幻觉”的组合新疗法

大模型在推荐系统中的精准推荐策略与实践

探索大语言模型：理解Self Attention

⭐️ Go & 云原生 & Rust 相关

技术资讯

Sea-orm, diesel, sqlx 比较
如何学习Rust的类型系统设计，自己写一个新语言
Rust开发经验总结
Jiff: 一个高层次的Rust时间库
query.rs - 搜索Rust的一切
- 文档，crate，错误代码等等。就是Rust生态的google
使用Rust 10年后，我想吐槽几句。这篇文章分享了作者在使用Rust编程语言中的经验，特别是一些主要的痛点和问题。以下是总结：
- 错误处理（Result<T, E>）：
  - Rust的错误处理机制虽然强制开发者处理错误，但在实际使用中，尤其是库开发中，创建和转换错误类型非常麻烦。
  - 在应用代码中，通常只需要传播错误并向用户显示结果，但Rust缺乏Java那样的完善的错误日志和调用栈信息。
  - 作者建议Rust标准化一个类似于Box的类型，自动附加上下文信息，以便在函数间传播错误。
- 模块系统：
  - Rust的模块系统过于灵活，容易导致意外暴露类型或模块。
  - 管理跨crate的代码组织困难，特别是在大型项目（如Bevy）的单一仓库中。
  - 作者认为Rust应更加显式，类似于Java的模块路径与文件系统文件夹对应的方式。
- 编译时间和IDE工具：
  - 编译时间和IDE中的错误检查速度太慢，特别是对于大型项目（如Bevy）。
  - Rust的编译单元设计（1 crate = 1编译单元）导致每次修改都需要重新编译整个crate及其依赖项。
  - Rust分析器在大型项目中表现不佳，经常重新索引整个项目。
mistral.rs 比 llama.cpp 在大部的CUDA GPU上都快了。最新实现了 PagedAttention。
写一个toy compiler。里面讲到了borrow checker的设计
使用Rust构建搜索引擎。这篇访谈文章讲述了Meilisearch的联合创始人兼CTO Clément "Kero" Renault的经历。他从青少年时期开始编程，进入巴黎42学校，后在Veepee公司工作，参与改进搜索引擎。由于对性能的关注，他选择Rust语言自行开发搜索引擎，并在朋友的建议下创办了Meilisearch。