wujun8
- 浏览: 11850 次
- 性别:
- 来自: 河南
-
最新评论
文章列表
首先，yarn刚出世的时候，对于CPU的调度只是在计划中，而前段时间一直用的2.0.0的版本，也做过测试，确实对cpu的资源限制不予理睬。
但是，前不久，升级到了2.3.0，没有验证这个功能是否实现，一直认为对于公平调度器的队列配置，vcores的配置无所谓，直到上次把这个值配置成了0，限制了队列的最大资源，结果用户提交的APP只能启动一个ApplicationMaster，无法启动一个Task.
好吧，看这里：
Add multi-resource scheduling to the fair scheduler
在2.1.0-beta就提供了cpu的调度。
不过，上面提到的最 ...
- 2014-07-04 11:11
- 浏览 485
- 评论(0)
原文地址：Apache Hadoop YARN – ResourceManager
ResourceManager (RM) 是管理所有可用的集群资源并协助管理运行在YARN上的分布式应用的主要组件。RM与每个节点的NodeManagers (NMs)和每个应用的ApplicationMasters (AMs)一起工作。
NodeManagers 遵循来 ...
- 2014-06-25 11:09
- 浏览 395
- 评论(0)
所有的调度器都是基于事件模型，需要处理的一个重要事件是nodeUpdate,处理各个节点的心跳。
对于公平调度器，在处理某一Node心跳事件时，先处理刚刚启动的Container和已完成任务的Container，更新集群资源情况，并尝试在当前Node上分配资源。这时就涉及选择哪一个队列中的哪一个APP的问题，实际上是利用公平排序算法将队列排序后，再对队列内部的APP排序确定一个APP参与这一次分配。如果当前Node不能满足要求，继而尝试下一个Node，所有Node不满足等待下次心跳事件。
上面没有说到资源的抢占，因为资源抢占是另一个独立的线程定时检查集群中所有队列的资源使用情况并根据队列配置 ...
- 2014-06-19 16:52
- 浏览 476
- 评论(0)
公平份额算法
这个算法是保证资源抢占的公平。计算公平份额的过程是站在整个集群资源使用的角度，假设每个队列获得一部分资源，使得资源使用量总和逼近集群分配总资源，这时有一个资源权值比，每个队列的公平份额=资源权值比 * 权值。
公平份额算法是先计算出一个资源权值比的最大值，使得资源使用量总和正好超过集群分配总资源，然后利用二分查找法在0到这个最大资源权值比之间确定一个资源权值比，使得资源使用量总和逼近集群分配总资源。资源权值比为double类型。
代码分析：
<script src="https://code.csdn.net/snippets/398914.js&quo ...
- 2014-06-19 16:21
- 浏览 1716
- 评论(0)
这篇文章主要分析公平调度器的公平排序算法，基于hadoop-2.3.0-cdh5.0.0
首先，了解这几个概念：
资源需求量：当前队列或者应用希望获得的资源的总量。
最小份额：队列的最小共享量在配置中指定。应用的最小共享量为0。
...
- 2014-06-19 10:50
- 浏览 714
- 评论(0)
1 提前关闭数据库连接不会出错，而会导致查询结果永远都是第一次连接查询的结果；
2 这一点与php没什么关系，SQL中GROUP BY 语句后不能用SELECT的别名，无效的；见SQL之列名与别名
3 在循环中务必对内部变量进行初始化，否则会造成累加重复数据（双层arrayname[]=""）,不要因为php语法的随意而随意。
- 2013-05-23 15:10
- 浏览 212
- 评论(0)
要创建一个birt，首先应该确定要展示的数据有哪些，一般使用的是数据库中的数据，再创建一个.rptdesign文件，做好基本的布局（或者直接使用Template），报表的形式有Table、Chart，Table就是简单的表格，Chart又分为几种格式，有直方图、柱状图、饼形图、线形图等。外观定下后，非常重要的工作就是，数据绑定（Data
Binging）。在进行数据绑定时一定要对应的列名，还有数据类型注意匹配。
- 2012-07-05 10:39
- 浏览 258
- 评论(0)
32位如下
getconf LONG_BIT
32
getconf WORD_BIT
3264位如下
getconf LONG_BIT
64
getconf WORD_BIT
32
- 2012-06-28 10:12
- 浏览 287
- 评论(0)
1 查询所有用户最近一次的登录信息
select user_name ,MAX(op_time) from tb_log where op=TRUE
GROUP BY user_name;
- 2012-06-27 13:46
- 浏览 227
- 评论(0)
我有幸能参加这届首次被ACM官方授权的赛事，虽然结果不尽如人意，我觉得还是有必要在还记忆犹新时记录下来（免得像上次一样，已回忆不起什么），留作纪念，也可作为后来人的参考吧。
这场比赛是2012年5/13正式举 ...
- 2012-05-14 13:35
- 浏览 427
- 评论(0)
Rank
Name
Solved
Time
A
B
C
D
E
F
G
H
Total att/solv
1
郑大2队_Honorificabilitudinitatibus_
7
900
1/28
2/44
2/180
1/84
0/--
1/52
3/87
4/285
14/7
2
南阳理工1队_har_
6
567
1/8
1/86
1/235
1/150
0/--
1/23
1/65
0/--
6/6
3
南阳理工2队_AC521_
6
585
2/20
1/46
...
- 2012-05-14 13:24
- 浏览 891
- 评论(0)
时间限制: 每题运行时间不超过1000MS
概览：
题数
类型
1
最短路径（广度优先搜索）
2
模拟
3
树形DP；数学推导
4
数论（置换群）
5
关键路径
6
数论（进制转换）
7
二叉排序树（递归）
8
记忆化搜索
【试题一】
Dr.Kong的机器人
练习处：
类型：最短路径（广度优先搜索）
解法：
1、BFS，从A到B求最短路径（每条边的权值为 ...
- 2012-05-02 19:03
- 浏览 309
- 评论(0)
概览：
题数
类型
1
几何
2
图论
3
组合；分治
4
多重背包
5
模拟
6
贪心
7
深度优先搜索（剪枝）
8
拓扑排序（有向图）
【试题一】
练习处：
类型：几何
解法：每个物资在每个圆形区域的有效性可以转化为数学公式：
( 是圆心坐标，R是半径，
- 2012-05-01 00:15
- 浏览 554
- 评论(0)
相对于C，Java的效率低主要体现在I/O处理和对象的创建上。因此，要尽可能提高效率，应该从以下几点入手：
① 输入、输出采用缓冲区，但是不要忘了刷新缓冲区。
② 能用基本数据类型就尽量避免使用对象，只有在使用面向对象的方法思考问题会柳暗花明时才使用对象。
③ 类名加final修饰。
④ 属性、方法都是static的，有些操作需要提前做的也要在static语句块中完成。
⑤ 输入、输出流在使用后及时关闭，否则会等待JVM退出程序才结束。
于是，A+B问题的Java代码如下：
//A+B
import java.io.BufferedInputStream;
imp ...
- 2012-04-16 23:09
- 浏览 646
- 评论(0)
前四届河南省大学生程序设计竞赛 河南省计算机学会主办
竞赛时间：09:00--14:00
届数
承办方
开赛日期
1
郑州大学信息工程学院
5/18
2
河南师范大学
5/17
3
河南理工大学
5/16
4
河南科技大学
5/22
赛事一般在5月中旬举行，确切地说应该是5月份的第三个周日，第四届推迟一周，今天刚得到消息，第五届要提前一周即5/13.而周六下午一般有场热身赛，因此5/12报到。
前四届正式赛试题见：ht ...
- 2012-04-13 19:42
- 浏览 295
- 评论(0)