【导读】研究人员对基于Transformer的Re-ID研究进行了全面回顾和深入分析，将现有工作分类为图像/视频Re-ID、数据/标注受限的Re ...

2022年，我们打赌说transformer会统治世界。 我们花了两年时间打造Sohu，这是世界上第一个用于transformer（ChatGPT中的“T”）的专用芯片。 但对于transformer来说，Sohu是有史以来最快的芯片。 借助Llama 70B每秒超过50万个token的吞吐量，Sohu可以让您构建在GPU上无法实现的 ...

本文将探讨ViT成为首选的原因、ViT的关键不同之处，以及要最大限度地发挥其的性能，哪些硬件功能必不可少。 视觉AI已不再依赖CNN——接下来会如何发展？ 多年来，卷积神经网络（CNN）在人工智能视觉领域一直占据主导地位，广泛用于自动驾驶辅助、人脸 ...

基于NL的观点，谷歌团队使用反向传播和梯度下降训练深度神经网络，本质上是一个压缩与优化问题，其目标是训练一种联想记忆（associative memory），以将各层的输入映射到其预测中对应的局部误差。

日前，OpenAI发布视频生成模型Sora，引起了全球范围内的广泛关注和讨论。从深度学习崭露头角到大模型浪潮席卷科技圈，AI发展的进程中经历了许多里程碑式事件。其中，Transformer架构可以说是大模型领域的“统治者”。对于AI大模型而言，Transformer架构发挥了 ...

Bridget Carey is an award-winning reporter who helps you level-up your life -- while having a good time geeking out. Her exclusive CNET videos get you behind the scenes as she covers new trends, ...

站在2026年的开端回望，LLM的架构之争似乎进入了一个新的微妙阶段。过去几年，Transformer架构以绝对的统治力横扫了人工智能领域，但随着算力成本的博弈和对推理效率的极致追求，挑战者们从未停止过脚步。 知名AI研究员Sebastian ...

在NIAH任务评估中，DroPE模型的召回率高达74.92%，大幅超越了传统的RoPE缩放方法。 即使在大规模的Llama2-7B模型上，仅使用0.5%的预训练预算进行重新校准，DroPE也能在长上下文问答和总结任务中展现出卓越的性能。

今日凌晨，DeepSeek 在 GitHub 上发布了一项代号为“Engram”的最新研究成果，并同步上传了题为Conditional Memory via Scalable Lookup: A New Axis of Sparsity for ...

站在 2026 年的开端回望，LLM 的架构之争似乎进入了一个新的微妙阶段。过去几年，Transformer 架构以绝对的统治力横扫了人工智能领域，但随着算力成本的博弈和对推理效率的极致追求，挑战者们从未停止过脚步。

现代大语言模型动辄堆叠数十甚至上百层，残差连接、跳跃连接、跨层路由机制层出不穷。这些架构设计背后的逻辑就是为了改善梯度流、加快收敛、提升参数利用率。但是在实践中这些技在大规模训练时却经常出现问题：损失函数突然飙升、梯度爆炸、表征坍塌、训练动态变得极度 ...