大数据(Big Data),是一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合。具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。...(more)
大数据·2024-05-07
大数据在容器中部署后,容器化的大数据能否发挥同规格下虚机大数据的性能?有什么手段保障容器大数据的性能吗
浏览758
银行大数据·2024-05-07
大数据采用容器化部署,对于namenode,resoucemanger等管理节点如何动态扩缩容?目前多的都是针对datanode或者是nodemanger的扩缩容。
浏览539
银行大语言模型·2024-01-10
微调过程中,有很多种种任务,如何收集和标注多种情况的数据,对提升大模型的综合能力应对有重要意义,希望大家可以针对:长尾场景下的数据如何清洗进行探讨,可以从方法,措施,以及注意点方面进行共识交流?...(more)
浏览1935
银行大语言模型·2024-01-15
大模型作为新的应用范式,对数据存储的需求与传统业务有所不同。本议题交流核心是分析大模型应用对数据存储需求的特殊性在哪些方面? 又有哪些与传统业务数据存储需求一致的地方?...(more)
浏览2466
基金数据库·2023-07-28
采用本地盘、SAN存储还是NAS存储或其他类型?为什么要选用这些存储?
浏览3189
银行数据备份·2023-06-08
金融行业由于监管要求,对录音录像数据要求长期保留20年,总量约2PB。想请教业界经济适用、后期管理维护少的备份及存储方案?
浏览4394
大语言模型·2024-01-04
在银行风控领域,模型广泛地应用于舆情监测、客户关系挖掘、客户评级、异常预警等场景,也积累了大量的规则和算法,并产生了较大的价值。在当前大语言模型的讨论中,风控是比较热门的潜在应用场景之一,那么大语言模型的什么能力,有可能应用在风控的什么场景,并产生优于原有策略或模...(more)
浏览1832
银行大语言模型·2024-01-03
利用大模型算法实时检测业务和IT技术数据中的异常数据,结合业务运营和科技运维相关知识,识别异常数据是否影响业务的连续性和稳定性,并定位问题根源进行解决。该议题的共识将对金融行业用户提升业务连续性管理能力有显著价值。重点研讨和交流:保障业务连续性和稳定性是金融行...(more)
浏览1102
互联网服务信创·2022-12-14
单位要求进行系统从X86INTEL的服务器迁移到金融信创云,从X86迁移到ARM信创的。 我的系统情况如下:PG数据库71套,大概50TB的数据。均在线提供24小时不间断服务。HIVE HBASE数据 450TB。其他还有ES 500GB左右的数据。  系统还面临的情况是TPS特别高,大概3000左右的TPS。...(more)
浏览6493
大数据·2024-05-07
大数据和生产业务混合部署,有哪些手段方法来保证生产业务不受大数据业务的干扰?
浏览444
银行大模型应用·2024-01-10
大模式如何与原有架构(如数据湖、湖仓一体、数据仓库)相结合,成为了企业架构中需要考虑的问题。企业需要对现有的数据架构进行全面的评估,了解其功能、数据处理能力、存储容量、查询性能等,有助于确定大模型与原有架构结合的方式和可行性。企业还需定义统一的集成接口标准,使大...(more)
浏览1295
银行大语言模型·2024-01-03
议题中的业务数据主要是指金融行业应用系统运营过程中实时产生的业务属性相关数据,IT技术数据是指承载该应用系统机房、网络、服务器、操作系统、数据库等软硬件实时运行数据。主要面临困难:在金融行业中,如何将应用系统业务数据和IT技术数据进行充分融合,并利用大模型算法实...(more)
浏览1583
软件开发K8S·2024-02-28
测试数据用sysbench写20个表x每表25000条数据,同步到redis要花半小时。请问各位大拿,问题出在什么地方呢?
浏览1487
银行大数据·2023-09-08
现阶段就是很多业务条线从我们大数据取数,但是这个数据应该怎么给到他才安全是个问题,能否在他提出取数要求之前,先让他知道他要取数的安全等级,然后领导再审批。就是提前做好数据分类分级,并且对不同等级的数据如何给出?...(more)
浏览2392
银行大数据·2024-04-23
生产环境上在离线业务混合部署实现需要用到k8s的弹性扩缩容,而弹性扩缩容的上限又涉及到命名空间的quota限制。那么当一个新系统上线k8s的时候,是否应该限制命名空间的cpu\内存的quota,如果要限制的话,如何配置才是合理的。...(more)
浏览674
互联网服务非结构化数据存储·2023-01-29
非结构化数据量大,且杂乱,是否有必要做单独的数据治理,业界陆续也有专门做非结构数据管理的产品及解决方案了,未来是否有增长的趋势?以中台为例是否有必要做单独的非结构化的数据中台?...(more)
浏览2466
X社区推广