返回首页
最新
嗨,HN,
我一直在开发一个名为SELVIV的工具,旨在减轻工作日晚餐的压力。
核心流程很简单:
• 根据您的偏好生成每周晚餐计划
• 自动创建一个有序的购物清单,并提供简单的替代选项
• 跟随清晰、简单的烹饪步骤
目前,这只是一个等待名单和一些初步设计,但我希望能听到您的反馈:
• 这个工具是否解决了一个足够真实的问题?
• 哪个部分更重要:计划、购物清单还是烹饪指导?
• 对于第一个最小可行产品(MVP),您会削减或添加什么?
感谢您的提前反馈——我知道这是一个竞争激烈的领域,所以我很想了解大家对“晚餐吃什么?”这个问题的看法。
我正在构建一个我称之为 Async LoRA 的工具,以解决我在使用便宜的 GPU(如 Salad、runpod、临时实例等)进行长时间训练时遇到的问题。这种情况非常糟糕:一个随机节点崩溃,几小时的训练成果就会消失。大多数调度器只是重新启动整个容器,这并没有真正解决问题。到目前为止,我所做的工作包括:
- 聚合器/工作节点设置,聚合器分配小的“租约”工作(按令牌大小而非时间切片)
- 异步检查点保存,进度可以持续保存而无需暂停训练
- 预占处理——当一个工作节点崩溃时,它已经完成的工作仍然有效,剩余的工作会被重新分配
- 训练感知逻辑(步骤、令牌、损失),而不是将作业视为黑箱容器
- 开箱即用的 PyTorch/DeepSpeed 接口,这样你就不需要自己将所有组件拼接在一起。我的目标是让不稳定的集群表现得更像可靠的集群
我希望能得到大家的反馈:
- 如果你在临时/可抢占的 GPU 上进行训练,通常是如何处理检查点和故障的?
- 有什么可以让这个工具更容易集成到现有的工作流程中(如 Airflow、K8s、Ray 等)?
- 在监控方面,你更希望看到原生的训练指标(损失、令牌、过时程度),还是只显示日志/事件,让你可以接入自己的监控系统?
我在写关于Linux的博客,想知道最好的盈利方式是什么?通过联盟营销吗?但联盟营销需要转化率。我不确定我的受众能否支付高价。我也没有大量的观众,广告联盟的效果不太好。
如果我想把自己创作的东西卖给尼泊尔人,目前没有简单的方法来集成尼泊尔的支付选项,比如eSewa等。那么,我该怎么办呢?我在寻求指导。我只有两年半的经验,所以做自由职业会很困难。制作视频可能是最好的方法,但制作视频并不是我的强项。我只能在我擅长的领域写出好的脚本,仅此而已。
嗨,HN!我创建了 *pyproc*,让 Go 服务像调用本地函数一样调用 Python —— *无需 CGO,也无需单独的微服务*。它在同一主机/容器上运行一组 Python 工作进程,通过 *Unix 域套接字* 进行通信,因此您可以获得低开销、进程隔离以及超越全局解释器锁(GIL)的并行性。
<p>*为什么会有这个项目*<p>
* 保留您的 Go 服务,重用 Python/NumPy/pandas/PyTorch/scikit-learn。
* 避免网络跳转、服务发现以及单独 Python 服务的运维负担。
<p>*快速尝试(约 5 分钟)*<p>
Go(应用):<p>
```
go get github.com/YuminosukeSato/pyproc@latest
```<p>
Python(工作进程):<p>
```
pip install pyproc-worker
```<p>
最小工作进程(Python):<p>
```
from pyproc_worker import expose, run_worker
@expose
def predict(req):
return {"result": req["value"] * 2}
if __name__ == "__main__":
run_worker()
```<p>
从 Go 调用:<p>
```
import (
"context"
"fmt"
"github.com/YuminosukeSato/pyproc/pkg/pyproc"
)
func main() {
pool, _ := pyproc.NewPool(pyproc.PoolOptions{
Config: pyproc.PoolConfig{Workers: 4, MaxInFlight: 10},
WorkerConfig: pyproc.WorkerConfig{SocketPath: "/tmp/pyproc.sock", PythonExec: "python3", WorkerScript: "worker.py"},
}, nil)
_ = pool.Start(context.Background())
defer pool.Shutdown(context.Background())
var out map[string]any
_ = pool.Call(context.Background(), "predict", map[string]any{"value": 42}, &out)
fmt.Println(out["result"]) // 84
}
```<p>
*范围/限制*<p>
* 仅限同一主机/容器(UDS)。支持 Linux/macOS;Windows 命名管道尚不支持。
* 最适合请求/响应负载 ≲ ~100 KB JSON;GPU 编排和跨主机服务不在范围内。
<p>*基准测试(指示性)*<p>
* 本地 M1,简单 JSON:约 *45µs p50* 和 *~200k req/s*,使用 8 个工作进程。您的数字可能会有所不同。
<p>*包含内容*<p>
* 纯 Go 客户端(无 CGO)、Python 工作进程库、池、健康检查、优雅重启和示例。
<p>*文档与代码*<p>
* README、设计/运维/安全文档,pkg.go.dev:[<a href="https://github.com/YuminosukeSato/pyproc" rel="nofollow">https://github.com/YuminosukeSato/pyproc</a>](<a href="https://github.com/YuminosukeSato/pyproc" rel="nofollow">https://github.com/YuminosukeSato/pyproc</a>)
<p>*许可证*<p>
* Apache-2.0。当前版本:v0.2.x。
<p>*欢迎反馈*<p>
* API 易用性、负载下的故障模式,以及编解码器/传输的优先级(例如,Arrow IPC、gRPC-over-UDS)。
---
<i>详细信息请参见项目 README 和文档。</i> ([github.com][1])<p>[1]: <a href="https://github.com/YuminosukeSato/pyproc" rel="nofollow">https://github.com/YuminosukeSato/pyproc</a> “GitHub - YuminosukeSato/pyproc: 从 Go 调用 Python,无需 CGO 或微服务 - 基于 Unix 域套接字的 IPC 用于机器学习推理和数据处理”
我已经做了十多年的软件工程师。像大多数工程师一样,我喜欢构建东西,并且避免一切看起来像营销或销售的事情。我曾经对市场营销人员翻白眼。代码感觉干净,而销售则显得杂乱无章。
当我最终独立工作时,我发现了许多人只有在太晚的时候才意识到的事情:构建是简单的部分,让人们关心才是困难的部分。没有用户,即使是最好的项目也只会成为GitHub上被遗忘的代码库。
让我担忧的是,许多工程师甚至没有考虑过这个问题。我们中的很多人躲在屏幕后面,从未学会如何接触真实用户。随着人工智能的快速发展,那些安全的工作岗位正面临风险。为了更具自我维持能力,我们需要建立创业项目和副业。而这不仅仅需要编码技能。它意味着要证明人们确实想要我们所构建的东西,并学习如何将其展示给他们。
由于我不知道该如何做到这一点,我为自己构建了一个工具:QuickMarketFit.com。它可以找到人们已经在讨论你所解决的问题的地方,并为你提供实际的步骤来接触他们。与其猜测,不如从真实的讨论开始。
我之所以构建这个工具,是因为我需要它。如果你是一名希望超越编码并开始学习市场方面的工程师,也许它会对你有所帮助。
我小型的工程团队经常收到来自运营、客服和合规部门的用户流程文档更新请求。这些请求并不总是简单地说“这个过时了,可以更新吗?”更多时候是“这个还是最新的吗?”这同样需要花时间进行审核和核对。我们感觉运营团队似乎从未对他们拥有的入职和客户操作指南材料的最新性感到自信,因此我们花费大量时间创建和/或审核用户流程文档,而这些文档很快就会变得过时(即使只是稍微过时)。
还有其他人遇到这种情况吗?也许我们只是没有足够关注这个问题?有没有什么推荐的工具或方法来处理这个问题?
印度的刑法在去年七月经历了150年来最大的改革,取代了殖民时代的法律,推出了BNS、BNSS和BSA。<p>我为印度的大学生撰写了一本指南,涵盖了实用的权利和保护措施:反欺凌、骚扰、网络诈骗、住房、实习、紧急医疗护理等。<p>以下是完整的论文(47页),可在Academia.edu上查看:
https://www.academia.edu/143949864/Know_Your_Rights_Protect_Your_Future_A_Complete_Legal_Survival_Guide_for_Indian_College_Students_Under_New_Criminal_Laws_2024
_<p>我希望能收到关于这份指南对学生的可及性以及还有什么可以改进的反馈。