大数据平台
大数据平台
大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。
大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。

动态

银行大数据平台容器化· 1天前
强哥之神 上汽集团云计算中心   擅长领域:云计算, 容器, 服务器
13 会员关注
通过资源隔离(比如采用K8S不同的namespace并分配不同的租户quota)、容器的namespace及cgroup特性实现进程级别的隔离、通过资源限制(不同的limit、request,quota等)实现资源的分配。非容器化部署的话,一般资源分配依赖物理或虚拟机的划分,缺乏灵活性,应用进程间也可能互相干扰,影...(more)
银行大数据平台容器化· 4天前
强哥之神 上汽集团云计算中心   擅长领域:云计算, 容器, 服务器
13 会员关注
通过在 K8S 上部署大数据平台,可以利用其强大的资源管理(比如业务资源的配置request/limit)、高可用性(比如deployment等控制副本数,健康检查等)、自动扩缩容(比如弹性能力hpa/vpa等 )、统一管理和监控(比如集成promethues/grafana等)、CI/CD 集成(比如:jenkins/gitlab ci等)、网络(比...(more)
银行spark· 2024-05-08
dean25 课题专家组 民生银行   擅长领域:云计算, 容器, 容器云
25 会员关注
离线在线混合部署后,主要是错峰运行。夜间(22:00-8:00)之间是在线的低谷期,可以出让较多的CPU计算资源给大数据,比如40%-45%。白天(8:00-18:00) 是在线应用的高峰期,可以出让比如15%-20%的资源给大数据作业;晚上(18:00-22:00)在线业务负载相比白天下降,可以出让30%的资源给大...(more)
容器云·2024-04-29
  • 时间:2024-05-07
  • 地点:线上活动
  • 状态:已结束
  • 浏览24551
    报名4
    大数据·2024-03-23
    trek 南方信息股份有限公司   擅长领域:云计算, 存储, 私有云
    有用,感谢分享!
    收藏1
    评价2
    金币1
    大数据平台· 2024-03-11
    jinhaibo 课题专家组 昆仑银行   擅长领域:人工智能, 大语言模型, 大数据
    6 会员关注
    根据需求,主要是处理30亿条交易数据,并利用机器学习为交易地址打上标签,使用Hadoop和Spark是一个合适的大数据平台方案。数据量:Hadoop适合存储海量的数据,并提供了多种技术组件用于查询和分析,由于本需求是30亿条数据进行存储和处理,所以选择Hadoop是合适的。Spark是基于内存的...(more)
    大数据·2024-02-27
    twtWEI 学生   擅长领域:人工智能, 大数据, 服务器
    不全,打不开
    收藏7
    评价28
    金币5
    Hadoop·2024-02-04
    rootroot KKTech   擅长领域:数据库, 大数据, 数据治理
    可以可以可以
    收藏2
    评价2
    金币10

    描述

    大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。
    大数据平台是为了计算,现今社会所产生的越来越大的数据量。以存储、运算、展现作为目的的平台。
    X社区推广
  • 提问题