飞桨开源社区博客

FLUX: Fast Software-based Communication Overlap On GPUs Through Kernel Fusion

• https://arxiv.org/pdf/2406.06858
• https://github.com/bytedance/flux

论文链接：[ICLR 2025] WHEN ATTENTION SINK EMERGES IN LANGUAGE MODELS: AN EMPIRICAL VIEW

Github 仓库：https://github.com/sail-sg/Attention-Sink

• 论文链接：https://arxiv.org/pdf/2504.02263v3
• 关键词：MOE, EP, decode, 加速

论文链接：[ICLR 2025] NETMOE: ACCELERATING MOE TRAINING THROUGH DYNAMIC SAMPLE PLACEMENT

FlashOverlap 所关注和聚焦的具体重叠场景是：一个计算操作后面跟着一个和计算结果存在依赖的通信操作（Overlapping Communication and Dependent Computation）

通信是并行的代价

无论你是深度学习领域的新手，还是经验丰富的开发者，飞桨开源社区都欢迎你的加入！在这里，你可以学习最前沿的 AI 技术，结交志同道合的朋友，并为开源社区贡献自己的力量。

为繁荣新硬件生态，2025 年 3 月 20 日晚上，百度“新硬件用户共鸣会”第二期，在线上成功举办。

本篇博客旨在讲解论文 《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》 ，如有错误，欢迎指正。