今日凌晨，DeepSeek 在 GitHub 上发布了一项代号为“Engram”的最新研究成果，并同步上传了题为Conditional Memory via Scalable Lookup: A New Axis of Sparsity for ...

The transformer, today's dominant AI architecture, has interesting parallels to the alien language in the 2016 science fiction film "Arrival." If modern artificial intelligence has a founding document ...

Ben Khalesi writes about where artificial intelligence, consumer tech, and everyday technology intersect for Android Police. With a background in AI and Data Science, he’s great at turning geek speak ...

基于NL的观点，谷歌团队使用反向传播和梯度下降训练深度神经网络，本质上是一个压缩与优化问题，其目标是训练一种联想记忆（associative memory），以将各层的输入映射到其预测中对应的局部误差。

第一阶段主要负责将局部上下文映射到静态的记忆条目中，这通过分词器压缩（tokenizer compression）和确定性哈希检索嵌入来实现。

2017年，Google发表了那篇改变AI格局的论文“Attention is All You ...

在NIAH任务评估中，DroPE模型的召回率高达74.92%，大幅超越了传统的RoPE缩放方法。 即使在大规模的Llama2-7B模型上，仅使用0.5%的预训练预算进行重新校准，DroPE也能在长上下文问答和总结任务中展现出卓越的性能。

近日，Radical Numerics 与蒙特利尔大学 Yoshua Bengio 团队找了一个新思路，为 LLM 的效率进化提供了一个极具启发性的工程视角。该团队通过将线性递归重新定义为硬件对齐的矩阵运算，提出了一套能够相当完美契合 GPU ...