当你查看用于图像生成模型的LoRA(比如在Civitai上),你会发现各种强大的视觉风格,这使得基础模型能够不断调整,以适应当下的流行趋势。
那么,文本大型语言模型(LLM)有什么不同呢?例如,为什么没有针对Python编程、科幻写作等特定领域的LoRA呢?
我看到过关于文本LoRA与其基础模型密切相关的讨论——这在图像生成领域也是很常见的。
丰富的LoRA文化将使更多模型变得多功能,并减少不断下载新检查点的需求。
返回首页
最新
我们相信,未来5到10年将彻底改变产品的发现方式。与其依赖搜索引擎,主动智能工具将直接向合适的客户探索、评估和推荐产品,这将从根本上改变营销、搜索引擎优化(SEO)和用户获取的方式。
我们正在这个领域进行开发,专注于地理上下文发现(即位置、意图和人工智能推理的结合)。我们希望与5家具有前瞻性思维的机构或B2C初创企业合作,进行早期试点。
您将获得早期访问权限,能够影响产品路线图,并帮助您的营销团队在即将到来的浪潮中抢占先机,同时我们也将从您的使用案例中学习,以塑造产品。
如果您有兴趣在人工智能驱动的营销前沿进行实验,请与我们联系,我们很乐意与您交流。
真正理解某个事物如何运作的最佳方式就是亲自去构建它。因此,我想知道是否有好的教程可以教你从零开始构建自己的大型语言模型(LLM)。也就是说,实施分词、嵌入、注意力机制等。我并不是说可以复制chatGPT,而是更倾向于基于一个小得多的语料库和训练数据构建一个玩具模型。
我发明了离散分布网络(Discrete Distribution Networks),这是一种具有简单原理和独特特性的创新生成模型,论文已被ICLR2025接受!<p>建模数据分布是一项挑战;DDN采用了一种简单但根本不同于主流生成模型(如扩散模型、生成对抗网络、变分自编码器、自回归模型)的方法:<p>1. 该模型在一次前向传播中同时生成多个输出,而不仅仅是一个输出。
2. 它利用这些多个输出来近似训练数据的目标分布。
3. 这些输出共同代表一个离散分布。这就是我们将其命名为“离散分布网络”的原因。<p>每个生成模型都有其独特的特性,DDN也不例外。在这里,我们强调DDN的三个特点:<p>- 零样本条件生成(Zero-Shot Conditional Generation,ZSCG)。
- 以树结构组织的一维离散潜在表示。
- 完全端到端可微分。<p>ICLR的评审意见:<p>> 我认为这个方法新颖而优雅。其新颖性非常强,不应被忽视。这是一个全新的方法,与现有的任何生成模型都大相径庭。
> 这是一篇非常好的论文,可以为生成建模开辟新的方向。
蒂姆·哈特内尔是家庭计算机兴起初期最 prolific 的作者之一,他撰写了许多涵盖不同平台游戏类型的热门书籍,以及在本书中讨论的人工智能。
我从哈特内尔1986年的书《在你的IBM PC上探索人工智能》中提取了BASIC程序列表,并将它们与PC-BASIC运行环境和说明整理在一起,以便你可以亲自尝试这些程序。
尽管自哈特内尔首次撰写本书以来,人工智能的领域发生了巨大的变化,但我希望如果你对探索1980年代家庭计算平台上的人工智能基础感兴趣,能从这些程序列表中获得一些价值。
不幸的是,蒂姆·哈特内尔于1991年去世,享年仅40岁。如果没有他的著作,我想我们中的许多人可能不会找到我们在计算机领域的起点。谢谢你,蒂姆。