最新

我构建了一个PyTorch框架，能够在中型模型上实现约40%的有效参数减少，同时训练速度提升1.58倍，推理速度提升2.05倍，且几乎保持了准确性不变。关键思路包括：动态张力阈值积极修剪低重要性权重（并提供回滚以确保稳定性）；基于振动的延迟跳过低信号计算；熵调度与稀疏转换以获得硬件收益。 这个框架是nn.Linear（CurvatureTuner）的直接替代品，能够开箱即用在多层感知器（MLP）上。接下来计划进行Transformer的测试。基准测试在约40万参数的MLP（合成数据，5个训练周期）上进行：基线：训练2.45秒 / 推理0.0045秒；增强版：有效参数约281k（减少40%） / 训练1.55秒（提升1.58倍） / 推理0.0022秒（提升2.05倍）。 代码库（MIT许可证）：[https://github.com/wwes4/AI_Accel_1.5x](https://github.com/wwes4/AI_Accel_1.5x) 欢迎反馈、分叉和真实数据集测试！受到非传统效率理念的启发。

我刚在命令行界面看到这个。真不错！我觉得昨天的会话时间似乎更长了。干得好，Anthropic！非常符合季节的特点，令人欢迎。