返回首页
最新
一个使用 Next.js 15 创建产品候补名单的模板，结合 Notion 作为内容管理系统（CMS），Upstash Redis 用于速率限制，以及 Resend 用于通过自定义域发送电子邮件。
双子座的长上下文混合专家架构（假设）：
分享我对双子座模型如何实现其1-10百万长上下文窗口的看法（假设），并提供相关线索以支持这一观点。
专家集成（EoE）或专家网络（MeoE）具有共同/共享的长（1-10M）上下文窗口。
双子座的100万+标记的混合专家（MoE）可能使用“实例”（活跃专家集/TPU分片）共享一个共同的分布式上下文；各个活跃的专家组随后利用这个庞大上下文的相关“部分”进行生成。这允许通过不同的系统“分区”并发处理独立请求。
上下文在一个集群内的多个互联TPU之间进行分片和管理。
对于任何给定的输入，仅激活总模型中一小部分专门的“专家”子网络（一个“动态路径”），具体取决于所需的复杂性和上下文。
整体的混合专家模型能够同时处理多个并发用户请求。
每个请求及其特定的输入和上下文将触发自己独特且独立的活跃专家路径。
共享上下文可以作为独立的（迷你）上下文分片。
在单个集群中的大规模分布式混合专家（MoE）架构，通过并行性对长上下文进行分片和管理，能够处理来自该上下文窗口的一部分的并发请求，以及在大型TPU集群中独立的专家路径；如果需要，它也可以为单个请求使用整个上下文窗口。
证据支持这一点：谷歌在混合专家（MoE）研究方面的开创性工作（Shazeer, GShard, Switch），先进的TPU（v4/v5p/Ironwood）配备大量的高带宽HBM和3D环形/OCS芯片间互连（ICI），使得专家分布（MoE专家、序列并行性如环形注意力）成为可能，TPU集群的VRAM容量与1000万标记的上下文需求相匹配。谷歌的Pathways和系统优化进一步支持这一分布式并发模型。
og x 线程：https://x.com/ditpoo/status/1923966380854157434
我构建这个项目是为了通过将自然语言处理（NLP）应用于一些奇怪且未解之谜的事物来深入学习。<p>沃伊尼奇手稿是一本15世纪的书籍，使用一种未知的文字书写。至今没有人能够翻译它，许多人认为它是一个骗局、一个密码或一种构造语言。我并不是试图解码它——我只是想看看：它是否像一种结构化语言那样运作？<p>我剔除了几种常见的后缀（如aiin、dy等），以孤立出看似根词的形式。我知道这是一个很强的假设——我在代码库中直接指出了这一点——但这有助于澄清聚类。从那里，我使用了SBERT嵌入和KMeans对相似的根词进行分组，根据位置和频率推断出类似词性的角色，并构建了一个马尔可夫转移矩阵，以可视化聚类之间的流动。<p>这不是翻译，也不是解密。这是结构建模——它揭示了手稿中一些出人意料的一致语法，特别是当按部分（植物学、生物学等）划分时。<p>GitHub代码库：<a href="https://github.com/brianmg/voynich-nlp-analysis">https://github.com/brianmg/voynich-nlp-analysis</a>
文章链接：<a href="https://brig90.substack.com/p/modeling-the-voynich-manuscript-with?r=3z5dn9" rel="nofollow">https://brig90.substack.com/p/modeling-the-voynich-manuscrip...</a><p>我对NLP领域还很陌生，所以我相信我有些地方做错了——但我非常希望能得到那些在结构化语言建模或类似这种奇怪边缘案例方面有经验的人的反馈。
我们的系统通过三项关键技术升级提升了服装摄影工作流程：
1. 工作流程影响：
- 消除了模特重复使用的疲劳感。
- 与商家的实际工作流程需求紧密对接。
- 高质量的模特照片提高了转化率。
2. 动态模特生成：
- 没有预定义的模特库——每次会话随机选择种子。
- 在保持服装完整性的同时，提供姿势/角度的多样性。
3. 增强的Flux-VTON架构：
- 经过2K新服装注释的微调。
- 自适应图像大小：优化的DDIM采样。
官方网站： [https://www.aiclotheschanger.org/](https://www.aiclotheschanger.org/) （提供服装更换的免费试用，并有两个免费的AI时尚模特生成试用。AI时尚模特的链接：[https://www.aiclotheschanger.org/ai-fashion-model-generator](https://www.aiclotheschanger.org/ai-fashion-model-generator)）
我们欢迎任何反馈！