计算机网络技术个人总结
通过本次项目的研究与实践,认识到了理论指计算机网络工程这门学科学习上的重要性,也了解到了知识不是孤立的一点儿,或者一部分,它都有一定的知识架构和知识体系,本次网络工程课中的很多知识都是基于计算机网络原理,计算机组成原理的,如果没有前导课作为基础,对本门课程的掌握就难上加难了。这次项目的研究,使得所学的专业知识得到了统一化的理解。
由于对程序这块基础不够扎实,我主要就对理论知识进行了深层次的学习。看了文献 MapReduce模型在Hadoop平台下实现作业调度算法的研究与改进。本文首先简要介绍了云计算的定义,特点和应用
场景;然后对云计算的最广泛运用的开源平台Hadoop的关键技术-MapRe
……(新文秘网https://www.wm114.cn省略497字,正式会员可完整阅读)……
s)来组织作业,并把资源公平的分到这些资源池里。默认情况下,每一个用户拥有一个独立的资源池,以使每个用户都能获得一份等同的集群资源而不管他们提交了多少作业。按用户的Uni*群组或作业配置属性来设置作业的资源池也是可以的。在每一个资源池内,会使用公平共享的方法在运行作业之间共享容量(capacity)。也可以给予资源池相应的权重,以不按比例的方式共享集群。除了提供公平共享方法外,公平调度器允许赋给资源池保证最小共享资源,这个用在确保特定用户、群组或生产应用程序总能获取到足够的资源时是很有用的。当一个资源池包含作业时,它至少能获取到它的最小共享资源,但是当资源池不完全需要它所拥有的保证共享资源时,额外的部分会在其它资源池间进行切分。
相关算法的了解,仅限于数学角度的对知识的理解。这里主要有:权重计算及更新权值、更新最小共享额、更新公平共享额算法。
1、作业权重计算
(1)默认情况下,权重是基于作业优先权的,但也可以基于作业的大小和年 龄。权重的计算方法如下:
JobWeight=
(2)根据优先权计算权重:jobWeight =jobWeight*priorityFactor
(3)根据用户自定义的weightAdjusteI’类调整权重
(4) 更新权重每个已经运行的作业权重更新公式:jobWeight=jobWeight
2、更新作业的最小共享额
在每个pool中,将其拥有的Slot按作业的权重分配给各个作业(由步骤(1)完成),分完之后将剩余的Slot按作业的权重和缺额分配给仍需slot的作业(由步骤(2)和(3)完成),如果还有S10t剩余,则将这些slot共享给其他Pool。
初始化:
当前所有作业的最小共享额置零;poo1的minMapS数或者minReduees数由用户在配置文件中设定。重复以下几步,直到slotsLeft=0:
(1)计算每个作业的最小共享额:jobinfo.minMaps或jobinfo.minReduCeS
首先计算该作业可获得的共享值:min Slots=
根据当前pool的剩余slot数,调整该共享值;
slotToGive=min{main{slots,runnableNum-curMin},min slots},将slotsToGive作为最小共享额赋予相应的作业,修改值为值减去slotsToGive。
如果此轮循环中,SlotSLeft值未变,即没有51。t分给任何作业,则将剩余的Slot共享给pool中所有作业,即,执行(2 ……(未完,全文共2193字,当前仅显示1394字,请阅读下面提示信息。
收藏《计算机网络技术个人总结》)