ITeye博客

wujun8的博客

wujun8 · 共 28 篇文章

YARN 早就支持CPU资源的调度了

首先,yarn刚出世的时候,对于CPU的调度只是在计划中,而前段时间一直用的2.0.0的版本,也做过测试,确实对cpu的资源限制不予理睬。 但是,前不久,升级到了2.3.0,没有验证这个功能是否实现,一直认为对于公平调度器的队列配置,vcores的配置无所谓,直到上次把这个值配置成了0,限制了队列的最大资源,结果用户提交的APP只能启动一个ApplicationMaster,无法启动一个Task. 好吧,看这里: Add multi-resource scheduling to the fair scheduler 在 2.1.0-beta 就提供了cpu的调度。 不过,上面提到的最大资源限…

2014-07-04 11:11 · 评论(0)

Apache Hadoop YARN – ResourceManager

原文地址: Apache Hadoop YARN – ResourceManager ResourceManager (RM) 是管理所有可用的集群资源并协助管理运行在YARN上的分布式应用的主要组件。RM与每个节点的NodeManagers (NMs)和每个应用的ApplicationMasters (AMs)一起工作。 NodeManagers 遵循来自ResourceManager的指令来管理单一节点上的可用资源。 ApplicationMasters负责与ResourceManager协商资源并与NodeManagers合作启动容器。 ResourceManager 组件 Resou…

2014-06-25 11:09 · 评论(0)

yarn fair scheduler 之概述

所有的调度器都是基于事件模型,需要处理的一个重要事件是nodeUpdate,处理各个节点的心跳。 对于公平调度器,在处理某一Node心跳事件时,先处理刚刚启动的Container和已完成任务的Container,更新集群资源情况,并尝试在当前Node上分配资源。这时就涉及选择哪一个队列中的哪一个APP的问题,实际上是利用公平排序算法将队列排序后,再对队列内部的APP排序确定一个APP参与这一次分配。如果当前Node不能满足要求,继而尝试下一个Node,所有Node不满足等待下次心跳事件。 上面没有说到资源的抢占,因为资源抢占是另一个独立的线程定时检查集群中所有队列的资源使用情况并根据队列配置…

2014-06-19 16:52 · 评论(0)

yarn fair scheduler 之公平份额算法和抢占模型

公平份额算法 这个算法是保证资源抢占的公平。计算公平份额的过程是站在整个集群资源使用的角度,假设每个队列获得一部分资源,使得资源使用量总和逼近集群分配总资源,这时有一个资源权值比,每个队列的公平份额=资源权值比 * 权值。 公平份额算法是先计算出一个资源权值比的最大值,使得资源使用量总和正好超过集群分配总资源,然后利用二分查找法在0到这个最大资源权值比之间确定一个资源权值比,使得资源使用量总和逼近集群分配总资源。资源权值比为double类型。 代码分析: <script src="https://code.csdn.net/snippets/398914.js" type="text/jav…

2014-06-19 16:21 · 评论(0)

yarn fair scheduler 之公平排序算法

这篇文章主要分析公平调度器的公平排序算法,基于hadoop-2.3.0-cdh5.0.0 首先,了解这几个概念: 资源需求量:当前队列或者应用希望获得的资源的总量。 最小份额:队列的最小共享量在配置中指定。应用的最小共享量为0。 资源使用量:当前队列或者应用已经分配到的总资源。 权值:队列的权重值在配置中指定。在开启sizebasedweight特性的情况下,应用的权重=(log2(资源需求量))*优先级*调整因子。优先级当前都是1,当应用运行超过5分钟,调整因子为3。 排序只需了解对于两个比较体的比较算法,然后对返回值升序排序。这里的比较体是队列或应用。 不说什么比较体,暂且称为队列吧,当…

2014-06-19 10:50 · 评论(0)

用php做统计出错心得

1 提前关闭数据库连接不会出错,而会导致查询结果永远都是第一次连接查询的结果; 2 这一点与php没什么关系,SQL中GROUP BY 语句后不能用SELECT的别名,无效的;见 SQL之列名与别名 3 在循环中务必对内部变量进行初始化,否则会造成累加重复数据(双层arrayname[]=""),不要因为php语法的随意而随意。

2013-05-23 15:10 · 评论(0)

首次接触birt遇到的一些问题

要创建一个birt,首先应该确定要展示的数据有哪些,一般使用的是数据库中的数据,再创建一个.rptdesign文件,做好基本的布局(或者直接使用Template),报表的形式有Table、Chart,Table就是简单的表格,Chart又分为几种格式,有直方图、柱状图、饼形图、线形图等。外观定下后,非常重要的工作就是,数据绑定(Data Binging)。在进行数据绑定时一定要对应的列名,还有数据类型注意匹配。 在工厂模式下,每个Service实例只会被构造一次,如果在这个类的内部有对象字段,构造方法对其做了实例化,然后再处理方法中使用该对象。这样就会出现,对象只初始化一次,而方法被调用多次…

2012-07-05 10:39 · 评论(0)

在linux系统中查看cpu位数

32位如下 getconf LONG_BIT 32 getconf WORD_BIT 32 64位如下 getconf LONG_BIT 64 getconf WORD_BIT 32

2012-06-28 10:12 · 评论(0)

MySql查询技巧杂记

1 查询所有用户最近一次的登录信息 select user_name ,MAX(op_time) from tb_log where op=TRUE GROUP BY user_name;

2012-06-27 13:46 · 评论(0)

河南省第五届大学生程序设计大赛回忆录

我有幸能参加这届首次被ACM官方授权的赛事,虽然结果不尽如人意,我觉得还是有必要在还记忆犹新时记录下来(免得像上次一样,已回忆不起什么),留作纪念,也可作为后来人的参考吧。 这场比赛是2012年5/13正式举行的,而我从4月份才开始正式着手准备,其实我本可以在一年之前就开始的,但是已经逝去的,后悔也没有用了。我4月份确定了两位队友,都是一个班的。这一点相当重要,这是团队比赛,不是单打独斗,要相互配合、相互信任,发挥出最大的能量。 我在备战时的策略是:①先让每个人都熟悉比赛的规则、过程;②然后对历届的试题进行分析,整理分类,看看考察的是图论、数论还是几何,或者动态规划、0/1背包等,统计各种题…

2012-05-14 13:35 · 评论(0)

河南省第五届大学生程序设计大赛最终排名

Rank Name Solved Time A B C D E F G H Total att/solv 1 郑大2队_Honorificabilitudinitatibus_ 7 900 1/28 2/44 2/180 1/84 0/-- 1/52 3/87 4/285 14/7 2 南阳理工1队_har_ 6 567 1/8 1/86 1/235 1/150 0/-- 1/23 1/65 0/-- 6/6 3 南阳理工2队_AC521_ 6 585 2/20 1/46 1/156 1/210 0/-- 1/35 1/98 0/-- 7/6 4 郑大1队_SOWHAT_ 6 655 1/1…

2012-05-14 13:24 · 评论(0)

第二届河南省大学生程序设计竞赛题型简要分析

时间限制: 每题运行时间不超过1000MS 概览: 题数 类型 1 最短路径(广度优先搜索) 2 模拟 3 树形DP;数学推导 4 数论(置换群) 5 关键路径 6 数论(进制转换) 7 二叉排序树(递归) 8 记忆化搜索 【 试题一 】 Dr.Kong的机器人 练习处: 类型:最短路径(广度优先搜索) 解法: 1、BFS,从A到B求最短路径(每条边的权值为1),可以采用Dijkstra算法(需要遍历计算的节点相当多,效率较低),利用BFS,构造队列,从A遍历到B的步数即最优解。 2、其实,求最短路径的方法有很多:Dijkstra算法、A*算法、SPFA算法、Bellman-Ford算法和F…

2012-05-02 19:03 · 评论(0)

第一届河南省大学生程序设计竞赛题型简要分析

概览: 题数 类型 1 几何 2 图论 3 组合;分治 4 多重背包 5 模拟 6 贪心 7 深度优先搜索(剪枝) 8 拓扑排序(有向图) 【试题一】 练习处: 类型:几何 解法:每个物资在每个圆形区域的有效性可以转化为数学公式: ( 是圆心坐标,R是半径,x、y是落点坐标)。 然后就是利用双层循环,在每个圆中探测每个投放物资的坐标点,有效则输出”YES”, 无效则输出”NO”。 【试题二】 练习处: 类型:图论 解法:把相关数据存入图的边结构之后,求最小生成树。有两种简单算法供选择:Prim和Kruskal。其中,Prim算法适合求边稠密的最小生成树,而Kruskal算法适合求边稀疏的最小…

2012-05-01 00:15 · 评论(0)

在程序设计竞赛中高效使用Java语言

相对于C,Java的效率低主要体现在I/O处理和对象的创建上。因此,要尽可能提高效率,应该从以下几点入手: ① 输入、输出采用缓冲区,但是不要忘了刷新缓冲区。 ② 能用基本数据类型就尽量避免使用对象,只有在使用面向对象的方法思考问题会柳暗花明时才使用对象。 ③ 类名加final修饰。 ④ 属性、方法都是static的,有些操作需要提前做的也要在static语句块中完成。 ⑤ 输入、输出流在使用后及时关闭,否则会等待JVM退出程序才结束。 于是,A+B问题的Java代码如下: //A+B import java.io.BufferedInputStream; import java.io.Bu…

2012-04-16 23:09 · 评论(0)

前四届河南省大学生程序设计竞赛总结

前四届河南省大学生程序设计竞赛 河南省计算机学会主办 竞赛时间:09:00--14:00 届数 承办方 开赛日期 1 郑州大学信息工程学院 5/18 2 河南师范大学 5/17 3 河南理工大学 5/16 4 河南科技大学 5/22 赛事一般在5月中旬举行,确切地说应该是5月份的第三个周日,第四届推迟一周,今天刚得到消息,第五届要提前一周即5/13.而周六下午一般有场热身赛,因此5/12报到。 前四届正式赛试题见: http://download.csdn.net/download/wujun8/4218470 第一届题型简要分析: http://blog.csdn.net/wujun8/a…

2012-04-13 19:42 · 评论(0)