最新

基于Rust的分子结构工具包，集成了WebAssembly，旨在实现高性能的3D可视化和分析，能够在浏览器中运行。该工具可以解析PDB文件，处理分子结构，并通过WebAssembly以接近原生性能渲染交互式3D模型。它专为需要高效技术可视化工具的研究人员和开发者设计，避免了仅依赖JavaScript的低效解决方案的负担。 <p>这是一个非常早期的演示，我对这个项目未来的发展充满期待。欢迎大家贡献意见，让它变得更好：</p> <p><a href="https://github.com/technoabsurdist/molecule-rs">https://github.com/technoabsurdist/molecule-rs</a></p>

一个全面的博客，深入学习大型语言模型（LLM）的方方面面：分词、注意力机制、位置编码等 项目 我一直在深入研究大型语言模型（LLM）的内部结构，并开始记录我的发现。我的博客涵盖了以下主题： - 分词技术（例如，BBPE） - 注意力机制（例如，多头注意力（MHA）、多查询注意力（MQA）、多层注意力（MLA）） - 位置编码和外推（例如，RoPE、NTK感知插值、YaRN） - 像QWen、LLaMA等模型的架构细节 - 包括监督微调（SFT）和强化学习的训练方法 如果你对LLM的内部机制感兴趣，欢迎查看我的博客： [http://comfyai.app](http://comfyai.app)