xuyanhui

一些测试的描述如下内容最为详细，供你参考：测试对于验证系统的正确性、分析系统的性能来说非常重要，但往往容易被我们所忽视。为了能对系统有更全面的了解、能找到系统的瓶颈所在、能对系统性能做更好的改进，打算先从测试

目前来说，Hadoop还是业界中最大的分布式文件存储与计算平台，spark主要基于HDFS的存储进行迭代式计算场景比较多，尤其是以spark on yarn更为多，

一、增大同时打开的文件描述符和网络连接上限　　在Hadoop集群中，由于涉及的作业和任务数目非常多，对于某个节点，由于内核在文件描述符和网络连接数目等方面的限制，大量的文件读写操作和网络连接可能导致作业运行失败，因此

一、增大同时打开的文件描述符和网络连接上限　　在Hadoop集群中，由于涉及的作业和任务数目非常多，对于某个节点，由于内核在文件描述符和网络连接数目等方面的限制，大量的文件读写操作和网络连接可能导致作业运行失败，因此

这个问题，我有点每理解，还请仔细介绍一下。其实本身来说Hadoop只是Linux上的一个软件架构而已，跟传统的Linux并无太大区别，只是对硬件有一些要求而已，如多盘，多CPU等

其实对于Hadoop来说，最主要的两个思想，第一个是HDFS的文件存储，之后是其依赖于存储之上的并行计算框架，相对于一些时候，对于RD的要求反而在降低。

ganglia确实是一个非常帮的监控，而且也是Hadoop所有组件都支持metricsde的服务接口，通过配置即可完成一部分的监控功能，但这并不是全部，另外一部分我们还需要对集群的每一个节点进行监控，每个盘，甚至每个CPU都需要进行监控

这个不一样的，因为有些数据还是安全性很高的，另外其实有一个问题，Hadoop本身的出发点是基于海量数据的大规模存储与计算的服务，其本身依赖于HDFS的存储与备份功能，来保证数据不丢失，但并不是适合所有的计算和使用

这里面透露出两种，一是不同配置的主机服务器，而是不同配置的主机怎么提供计算调度，第一种来说不同配置的主机在一个庞大的集群里一定会很常见，对于每种主机都是要合理的使用存储于计算资源，第二点计算上，Hadoop主要依赖于ya

CPU与内存一直都是一个有正比的使用情况，主机有多少槽位，每个槽位配多少内存，这要看我们的计算框架的支持 ，例如我们的主机服务，一般都是32core+196G内存 也有24core+196内存的服务器，这部分主机主要用于基于内存计算的场景