1作者: felix_myuk19 天前原帖
在过去几个月里,我一直在构建计算机使用代理的原型,但遇到了一个反复出现的问题:许多代理应该能够使用的网站(常见的SaaS仪表板、零售网站、报纸等)都通过识别它们为非人类而将其屏蔽。这导致执行时间变长,因为代理不知道何时停止,只是在循环中运行,直到被强制超时,或者更糟的是返回错误信息。这在需要大量并行研究的群体项目中尤其糟糕,因为它们的屏蔽率始终在40%到60%之间。 因此,我决定构建一个探测脚本:一个由Chrome控制的浏览器(与真实的计算机使用代理设置的指纹匹配),用于探测互联网上URL的屏蔽机制,并根据页面是否加载或哪个WAF供应商介入,将每个URL标记为绿色/红色(在某些情况下,使用CUA工具以获得更好的精度)。最终结果是guestlist——一个Python API,允许您在将代理发送到某个URL之前,检查该URL是否可以与您的CUA进行交互。 当然,在这个领域有一些工具可以帮助您伪装代理,使其看起来更“人性化”,这些工具效果很好,但我认为,拥有这样一个工具可以与它们结合使用,有助于在大规模项目中保持一致性。
1作者: mastabadtomm19 天前原帖
经过近三年的开发,Kronotop的首个开发者预览版现已发布。<p>Kronotop是一个基于FoundationDB构建的分布式多模型数据库。<p>我们的口号是:一个事务,多种模型。<p>文档、有序键值数据及其他模型可以参与同一个严格可串行化的事务,甚至跨命名空间。<p>我期待听到你的反馈。