在Datastripes中利用WASM中的OPFS进行10GB以上数据处理

1作者: vinserello1 天前原帖
我们刚刚发布了一项重大的架构升级:我们的Datastripes数据库核心(编译为WASM)现在使用Origin Private File System(OPFS)。<p>这对我们的客户端数据分析以及大规模处理(已在浏览器中直接测试10GB的CSV文件)来说都是一个颠覆性的变化。此外,数据直接从OPFS流出,而不是从RAM中读取,速度接近桌面级。<p>我们希望拥有一个真正无服务器、高性能的数据分析工具,而通过为我们的浏览器内数据库提供桌面级存储系统,我们实现了这一目标。<p>因此,我们建议将OPFS作为任何数据密集型客户端系统的核心!<p>https://datastripes.com
查看原文
We just shipped a major architectural upgrade: our Datastripes database core (compiled to WASM) now uses the Origin Private File System (OPFS).<p>This is a game-changer for our client-side data analysis and for massive Scale (tested with 10GB CSV directly in the browser). Moreover, data streams directly from OPFS, not RAM, reaching near-desktop-speed.<p>We wanted a truly serverless, high-performance data analysis tool and we are getting it by giving our in-browser database a desktop-class storage system.<p>Thus, we must suggest OPFS as the core of any data intensive client-side systems!<p>https:&#x2F;&#x2F;datastripes.com