在我的博士研究期间，我构建了这个工具，因为我对传统网页抓取工具在网站更新HTML时总是崩溃感到沮丧。DR Web Engine使用声明式的JSON5查询，而不是命令式的抓取代码。
<p><pre><code> 主要特点：
- JSON5查询语言（仍然可以使用XPath作为字段选择器）
- 基于AI的元素选择（用自然语言描述你想要的内容）
- 插件架构以便于扩展
- 现代浏览器自动化（基于Playwright）
- 处理动态内容和JavaScript
核心理念：以结构化格式定义要提取的数据是什么，而不是逐步定义如何提取。这使得抓取更加可维护，且不易出错。
起初是学术研究，但我重新构建了它以用于实际应用。已在arXiv上发布了相关方法论，并且现在正在积极开发开源版本。
欢迎对查询语言设计和实际应用案例提供反馈！</code></pre>
返回首页
最新
Greed.js 是一个 JavaScript 库，允许在浏览器中直接执行 PyTorch 代码。它利用浏览器的 WebGPU 来执行 PyTorch 操作。<p>我们已将核心的 PyTorch 操作用 WGSL 编写，从而加速计算。<p>此外，对于不支持 GPU 的设备/浏览器，我们实现了回退到 CPU 的功能，使用 NumPy 的 polyfill 来实现 PyTorch 的函数。