可伸缩的集群设计 满足不同爬取规模的需求

经过两年多的迭代和积淀,网多系统架构已经发展成一个成熟稳定的高可用、高伸缩的分布式系统架构,现在已经能很好地保证网多公有云业务的稳定。
  • 灵活的部署/可在单机部署,可在企业机房内部署,也可在云上(阿里云、AWS等)部署
  • 灵活的伸缩/集群可灵活伸缩,新机器运行服务即可扩展,杀掉服务即可摘除
  • 高性能优化/针对高频率的数据爬取有相应的优化

完善的协作机制 支持多租户管理

协作机制可以实现企业或组织内不同部门、不同人员的工作分配和协同,有助于账号信息保护和分工协作。
  • 多群组/支持创建群组,不同群组可分配不同权限
  • 多角色/支持创建者、开发者、使用者、访客四种角色,满足不同的权限分配需求
  • 灵活的权限/租户可通过群组继承权限,也可以以应用为单位单独设置权限

可对接网多应用市场 海量应用获取即用

网多云市场上已经有大量成熟的爬虫、API、数据等,私有云系统可一键接入并使用。
  • 网多云市场/可直接获取网多云市场的应用到系统中,直接使用
  • 应用定制/可联系网多定制应用,享受网多的大数据定制服务

丰富的应用类型 打造一站式大数据系统

网多系统除了支持爬虫开发,还支持数据清洗、机器学习,后面还将支持MapReduce计算、实时流计算,打造一站式的大数据系统。
  • 爬虫/爬取互联网上的公开数据
  • 数据清洗/对爬取的数据进行二次处理,存储为想要的格式
  • 数据API/实时把半结构化的网页数据转化为结构化的数据
  • 机器学习/通过机器学习把数据训练成模型,并直接serve使用

打造企业一站式大数据中心

微信扫一扫
联系我们
业务咨询
返回顶部