36氪首发|「未来速度」获数百万美元天使轮融资,Xorbits加速大规模数据处理和AI

2023-02-27 21:13:45 0 88

作者|肖千平、周倩

编辑|彭孝秋

36氪获悉,「未来速度」日前完成数百万美元天使轮融资,由耀途资本独家投资,融资资金将用于产品研发、用户体验改善和云平台搭建。

未来速度成立于2022年,旗下产品Xorbits为分布式数据科学计算框架,旨在加速Python生态下大规模数据的处理。

Python作为一门容易上手的编程语言,具有较高的开发效率,同时有Pandas、Numpy等丰富的第三方库帮助简化操作,是大数据及AI领域的标准语言之一。然而,在金融量化分析、生物基因测序、地理空间多维度分析等实际应用中,Python却可能面临运行效率较低、单机运行第三方库时内存不足等诸多挑战。

对此,Xorbits运用多核、异构、分布式等技术,加速执行已有代码,提高程序运行效率,能够覆盖科学计算、数据科学和机器学习等维度。同时,Xorbits还可兼容Pandas、Numpy等现有的Python数据科学库,用户无需学习新接口即可完成代码迁移,获得并行加速效果。

“就像在装修房子,我们分配10个人铺地板,5个人刷墙,把大的计算任务分解成很多小任务。”未来速度CEO秦续业告诉36氪。为了实现加速功能,Xorbits采用了分而治之的并行计算方式。具体来看,用户调用Xorbits函数时,Xorbits客户端将构建相应的计算图并提交至服务端,计算图将在服务端被处理成多个小的执行单元,再由调度器分发任务给worker执行处理。

“市面上一些大数据或并行计算框架,采用的是更为粗放的调度方式,好比先让10个人把地板铺完,才开始刷墙。”秦续业介绍。为了避免类似的算力浪费,Xorbits为细粒度调度引擎,能让任务细分与调度更加精细,如默认使用深度优先策略以尽早释放中间结果,减少计算使用的峰值内存等,目的在于以最优解进行调度。此外,Xorbits还进行了计算图动态列裁剪、图融合、支持迭代式tiling等优化工作。

相比国外Dask、Modin等计算框架,Xorbits在执行模式上也有其特色。计算框架执行模式主要分为立即执行与延迟执行两类。立即执行可在调用框架时立即计算,方便用户操作,但也压缩了性能优化的空间;延迟执行则意味着程序构建完成后,用户需要在一定节点手动调用函数等触发执行,拉高了使用门槛。而Xorbit采用了特殊的推迟执行方式,可以推断用户所需并自动将任务提交执行,尽可能减少用户操作,以此平衡计算框架的性能与易用性。

基于上述设计,在面对scalefactor100(约100GB数据集)和scalefactor1000(约1TB数据集)的基准测试中,Xorbits相比同类计算框架,运算速度能快3-7倍,且体现出更高的性能与API兼容性。

xorbits在性能上比竞争对手快7倍左右

在具体服务方面,Xorbits与多个云厂商展开合作,提供云上SaaS服务,用户改动相应代码即可进行云上运算提速。Xorbits会根据用户预算及诉求,衡量性能和性价比,为用户选择合适的方案。此外,由于Xorbits是开源平台,用户能够共同参与平台维护,并帮助平台进一步完善。

目前,Xorbits开源产品已正式发布,未来速度计划将进一步发展其开源社区,吸引更多用户共同建设平台,同时也将持续推进产品迭代,进一步简化操作。

团队方面,未来速度成员主要来自阿里、华为、微软等企业,在大数据及Python领域经验丰富。创始人秦续业毕业于上海交通大学,曾在阿里云长期负责Python数据和AI领域工作,主导并开源Mars开源项目。

投资观点:

耀途资本创始合伙人杨光表示,“数据科学和人工智能(DSML)的崛起背后,是​Python工程师的崛起。Python native生态会在未来基础设施中扮演越来越重要的角色。Python数据分析、数据科学和机器学习,不应该仅仅停留在单机,我们看好Xorbits成为推动Python从单机走向分布式的关键力量。”

收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

免责声明:内容来自用户上传发布或新闻客户端自媒体,本站仅提供信息存储空间服务,如违规请联系删除。

玩技资源 国内新闻 36氪首发|「未来速度」获数百万美元天使轮融资,Xorbits加速大规模数据处理和AI https://www.52diyhome.com/2023/02/208037.html

常见问题
  • 答:资源大部分来源于网络和本站作者若有侵权请您联系管理员删除2523030730
查看详情
  • 玩技平台的主要负责内容是提供给作者售卖资源的平台,买家有对作者投诉的权利,投诉成功后会获取相应的补偿机制。官方唯一投诉通道客服QQ:2523030730转接人工服务,投诉专属客服工号【2】
查看详情
  • 本站已开启了作者实名认证,在购买商品时请尽量选择已认证的作者,不用担心跑路和无人售后的问题。如果出现问题,本站将采取报警的方式来指正作者进行诈骗行为,并将其身份资料提供给警方处理。
查看详情
  • 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考 VIP介绍。
查看详情

相关文章

发表评论
暂无评论
官方客服团队

为您解决烦忧 - 工作日在线 专业服务

  • 0 +

    访问总数

  • 0 +

    会员总数

  • 0 +

    资源总数

  • 0 +

    今日发布

  • 0 +

    本周发布

  • 0 +

    运行天数

资源在于分享,创作来源想象