linux进程管理和调度

A. linux内核设计与实现 进程调度1: 基本概念

        进程大致可分为I/O密集型和 CPU密集型。

        调度依据 动态优先级 ，所谓动态优先级就是初始化时给出一个基础优先级，随后优先级可被调度程序动态的增减。高优先级进程也获得较长的时间片。I/O密集型通常被提升优先级，而CPU密集型则被降低。            

        Linux系统有两种独立的优先级范围。第一种是 Nice 值，返回是[-20, 19]，默认值为0。数值越高优先级越低。Nice值影响了时间片的分配。如果进程拥有-20的Nice值，那么该进程将被分配理论最长的时间片。Nice值是所有Unix系统的标准优先级。

        Linux的第二种优先级范围是 实时优先级 。这个优先级的值是可配置的。通常来说范围在[0,99]。 所有实时进程的优先级都高于普通进程 。(实时进程是什么？)

        时间片是一个数值，决定了进程被抢占前可运行的时间。必须为进程分配合适长度的时间片。时间片太长会影响系统的交互性，时间片太短则会导致系统花费大量的时间用于进程的切换。同时还要兼顾I/O密集型和 CPU密集型进程的矛盾。因为I/O密集型无需长时间片，却渴望经常运行。而Linux却提供了相对较长的默认时间片——100毫秒。   

        注意到，进程不必在每次被调度运行后就花光自己所有的时间片。举例来说，如果一个进程拥有长达100毫秒的时间片，那么它可以在五个不同时段运行，每次花费20毫秒的时间片。这么做的好处是，一个拥有长时间片的进程（尽管它本身不需要如此长的时间片），可以尽可能长时间的保持运行状态。而不会过早地被丢入等待调度的队列中（稍后说到）。这就好比键盘驱动进程的实现方法。

        当某进程的状态变为TASK_RUNNING的时候，内核会检查它的优先级是否高于当前正在执行的任务。如果是，调度进程就会使该进程抢占CPU。另外，如果一个进程的时间片变成0（意味着用尽了所有时间片，只能等待所有进程时间片为0才会重新分配），调度进程会被再次调用，选择一个新的进程运行。

        个人猜测 ：这里拿文字软件和音乐播放软件来举例。CPU在每条指令执行结束后检查中断引脚。如果检测到键盘的活动，就会引发中断而将键盘输入程序的状态设置为TASK_RUNNING，然后执行上述的检查程序。因为文字软件的优先级高于音乐播放软件，所以文字软件将立即得到执行，将键入字符输入在屏幕中。完成这一工作后，文字软件将设置自身状态或是其他方法，使得音乐播放软件可以抢占CPU？

B. linux内核怎么调度系统

1.调度器的概述

多任务操作系统分为非抢占式多任务和抢占式多任务。与大多数现代操作系统一样，Linux采用的是抢占式多任务模式。这表示对CPU的占用时间由操作系统决定的，具体为操作系统中的调度器。调度器决定了什么时候停止一个进程以便让其他进程有机会运行，同时挑选出一个其他的进程开始运行。

2.调度策略

在Linux上调度策略决定了调度器是如何选择一个新进程的时间。调度策略与进程的类型有关，内核现有的调度策略如下：

#define SCHED_NORMAL 0#define SCHED_FIFO 1#define SCHED_RR 2#define SCHED_BATCH 3/* SCHED_ISO: reserved but not implemented yet */#define SCHED_IDLE 5

0: 默认的调度策略，针对的是普通进程。
1：针对实时进程的先进先出调度。适合对时间性要求比较高但每次运行时间比较短的进程。
2：针对的是实时进程的时间片轮转调度。适合每次运行时间比较长得进程。
3：针对批处理进程的调度，适合那些非交互性且对cpu使用密集的进程。
SCHED_ISO：是内核的一个预留字段，目前还没有使用
5：适用于优先级较低的后台进程。
注：每个进程的调度策略保存在进程描述符task_struct中的policy字段

3.调度器中的机制

内核引入调度类（struct sched_class）说明了调度器应该具有哪些功能。内核中每种调度策略都有该调度类的一个实例。（比如：基于公平调度类为：fair_sched_class，基于实时进程的调度类实例为：rt_sched_class），该实例也是针对每种调度策略的具体实现。调度类封装了不同调度策略的具体实现，屏蔽了各种调度策略的细节实现。
调度器核心函数schele()只需要调用调度类中的接口，完成进程的调度，完全不需要考虑调度策略的具体实现。调度类连接了调度函数和具体的调度策略。

• 武特师兄关于sche_class和sche_entity的解释，一语中的。

• 调度类就是代表的各种调度策略，调度实体就是调度单位，这个实体通常是一个进程，但是自从引入了cgroup后，这个调度实体可能就不是一个进程了，而是一个组

4.schele()函数

linux 支持两种类型的进程调度，实时进程和普通进程。实时进程采用SCHED_FIFO 和SCHED_RR调度策略，普通进程采用SCHED_NORMAL策略。
preempt_disable()：禁止内核抢占
cpu_rq（）：获取当前cpu对应的就绪队列。
prev = rq->curr;获取当前进程的描述符prev
switch_count = &prev->nivcsw;获取当前进程的切换次数。
update_rq_clock() ：更新就绪队列上的时钟
clear_tsk_need_resched()清楚当前进程prev的重新调度标志。
deactive_task():将当前进程从就绪队列中删除。
put_prev_task() :将当前进程重新放入就绪队列
pick_next_task():在就绪队列中挑选下一个将被执行的进程。
context_switch():进行prev和next两个进程的切换。具体的切换代码与体系架构有关，在switch_to()中通过一段汇编代码实现。
post_schele():进行进程切换后的后期处理工作。

5.pick_next_task函数

选择下一个将要被执行的进程无疑是一个很重要的过程，我们来看一下内核中代码的实现
对以下这段代码说明：
1.当rq中的运行队列的个数(nr_running)和cfs中的nr_runing相等的时候，表示现在所有的都是普通进程，这时候就会调用cfs算法中的pick_next_task(其实是pick_next_task_fair函数)，当不相等的时候，则调用sched_class_highest(这是一个宏，指向的是实时进程)，这下面的这个for(;;)循环中，首先是会在实时进程中选取要调度的程序（p = class->pick_next_task(rq);）。如果没有选取到，会执行class=class->next;在class这个链表中有三种类型（fair,idle,rt）.也就是说会调用到下一个调度类。

• static inline struct task_struct *pick_next_task(struct rq *rq){ const struct sched_class *class; struct task_struct *p; /*


• * Optimization: we know that if all tasks are in


• * the fair class we can call that function directly:


• *///基于公平调度的普通进程


• if (likely(rq->nr_running == rq->cfs.nr_running)) {


• p = fair_sched_class.pick_next_task(rq); if (likely(p)) return p;


• }//基于实时调度的实时进程


• class = sched_class_highest; for ( ; ; ) {


• p = class->pick_next_task(rq); //实时进程的类


• if (p) return p; /*


• * Will never be NULL as the idle class always


• * returns a non-NULL p:


• */


• class = class->next; //rt->next = fair; fair->next = idle


• }


• }



在这段代码中体现了Linux所支持的两种类型的进程，实时进程和普通进程。回顾下：实时进程可以采用SCHED_FIFO 和SCHED_RR调度策略，普通进程采用SCHED_NORMAL调度策略。
在这里首先说明一个结构体struct rq,这个结构体是调度器管理可运行状态进程的最主要的数据结构。每个cpu上都有一个可运行的就绪队列。刚才在pick_next_task函数中看到了在选择下一个将要被执行的进程时实际上用的是struct rq上的普通进程的调度或者实时进程的调度，那么具体是如何调度的呢？在实时调度中，为了实现O(1)的调度算法，内核为每个优先级维护一个运行队列和一个DECLARE_BITMAP,内核根据DECLARE_BITMAP的bit数值找出非空的最高级优先队列的编号，从而可以从非空的最高级优先队列中取出进程进行运行。
我们来看下内核的实现

• struct rt_prio_array {


• DECLARE_BITMAP(bitmap, MAX_RT_PRIO+1); /* include 1 bit for delimiter */


• struct list_head queue[MAX_RT_PRIO];


• };



数组queue[i]里面存放的是优先级为i的进程队列的链表头。在结构体rt_prio_array 中有一个重要的数据构DECLARE_BITMAP，它在内核中的第一如下：

• define DECLARE_BITMAP(name,bits)


• unsigned long name[BITS_TO_LONGS(bits)]



5.1对于实时进程的O(1)算法

这个数据是用来作为进程队列queue[MAX_PRIO]的索引位图。bitmap中的每一位与queue[i]对应，当queue[i]的进程队列不为空时，Bitmap的相应位就为1，否则为0，这样就只需要通过汇编指令从进程优先级由高到低的方向找到第一个为1的位置，则这个位置就是就绪队列中最高的优先级（函数sched_find_first_bit()就是用来实现该目的的）。那么queue[index]->next就是要找的候选进程。
如果还是不懂，那就来看两个图


由结果可以看出当nice的值越小的时候，其睡眠时间越短，则表示其优先级升高了。

7.关于获取和设置优先级的系统调用：sched_getscheler（）和sched_setscheler

• #include <sched.h>#include <stdlib.h>#include <stdio.h>#include <errno.h>#define DEATH(mess) { perror(mess); exit(errno); }void printpolicy (int policy){ /* SCHED_NORMAL = SCHED_OTHER in user-space */



• if (policy == SCHED_OTHER) printf ("policy = SCHED_OTHER = %d ", policy); if (policy == SCHED_FIFO) printf ("policy = SCHED_FIFO = %d ", policy); if (policy == SCHED_RR) printf ("policy = SCHED_RR = %d ", policy);


• }int main (int argc, char **argv){ int policy; struct sched_param p; /* obtain current scheling policy for this process */


• //获取进程调度的策略


• policy = sched_getscheler (0);


• printpolicy (policy); /* reset scheling policy */



• printf (" Trying sched_setscheler... ");


• policy = SCHED_FIFO;


• printpolicy (policy);


• p.sched_priority = 50; //设置优先级为50


• if (sched_setscheler (0, policy, &p))


• DEATH ("sched_setscheler:"); printf ("p.sched_priority = %d ", p.sched_priority); exit (0);


• }



输出结果：

• [root@wang schele]# ./get_schele_policy policy = SCHED_OTHER = 0



• Trying sched_setscheler...


• policy = SCHED_FIFO = 1


• p.sched_priority = 50



可以看出进程的优先级已经被改变。

C. Linux系统进程调度

主要参考 ：Linux manual page - sched

自从linux内核2.6.23以来，默认的进程调度器就被设置为完全公平调度器（CFS，complete fair scheler），取代了之前的O(1)调度器。

每个线程都有一个静态调度优先级，即 sched_priority 字段。

一个线程的调度策略决定了线程会被插入到同级静态优先级的线程队列的位置，以及它在队列中会怎样移动。

所有的调度都是可插入的，如果一个更高静态优先级的线程准备好了，现在运行中的线程就会被插入。而调度策略则仅仅影响了同样静态优先级的线程。

进程（线程）可以通过系统调用设置自身或者其他进程（线程）的调度策略。

其中 pid 为0时，设置自身的调度策略和参数。结构体 sched_attr 包含以下字段： size 、 sched_policy （即调度策略，具体会在下一节介绍）、 sched_flags 、 sched_nice 、 sched_runtime 、 sched_deadline 、 sched_period （最后三个为 SCHED_DEADLINE 相关的参数）。当设置成功，系统调用返回0；否则返回-1，并会设置 errno 。

普通进程： SCHED_OTHER / SCHED_BATCH / SCHED_IDLE
实时进程： SCHED_FIFO / SCHED_RR
特殊实时进程： SCHED_DEADLINE
静态优先级：Static_priority：对于普通进程，静态优先级为0；对于实时进程，静态优先级为1-99，99为最高优先级。
动态优先级：Dynamic_priority：仅对普通进程有用，取决于nice和一个动态调整的量（比如进程ready却没被调度，则增加）。

D. Linux中如何启动进程进程调度命令有哪些

Linux技术的发展引起了很多企业和个人的关注。市场对Linux运维的需求逐渐增加，学习Linux技术的人越来越多。在Linux运维中，进程是必须学习掌握的技能。那么Linux中如何启动进程？常用的进程调度命令有哪些？ 执行中的程序称作进程。当程序的可执行文件存储在存储器中并运行时，每个进程将被动态分配系统资源、内存、安全属性和相关状态。多个进程可以与同一个程序相关联，并在同一时间执行，而不会相互干扰。操作系统将有效地管理和跟踪所有正在运行的进程。 Linux中如何启动进程？启动进程的方法是什么？ 手工启动。用户在输入端发出命令，直接启动进程。分为前台启动和后台启动。前台启动：直接在SHELL中输入命令进行启动。后台启动：启动一个目前并不紧急的进程。 调度启动。系统管理员根据系统资源和进程占用资源的情况，事先进行调度安排，指定任务运行的时间和场合，到时候系统会自动完成该任务。 常用的进程调度命令有哪些？ 常用的进程调度命令有：at、batch、crontab。 以上便是关于“如何启动或终止进程？常用的进程调度命令有哪些？”的相关介绍。想要成为一名优秀的Linux运维工程师，需要掌握更多的Linux知识。

E. linux kernel功能有哪些

1、系统调用接口

提供系统的API函数，供用户使用，例如操作文件的函数、操作进程和线程的函数、操作内存的函数、操作硬件（如串口、磁盘）的函数、操作网络的函数等等。

2、实现进程管理功能

能够同时（看上去）执行多个进程（任务），比如可以同时运行文件下载、看电影、挂游戏，那么进程管理的内部实现就是进程的调度，也就是实现调度CPU的使用时间提供给不同的用户任务（进程）使用。

3、实现虚拟文件系统

所谓虚拟文件系统，即是相对于实际文件系统的系统，其实是针对实际文件系统再次的实现和接口的抽象，意思是规定了最终提供给用户使用的文件系统的接口。

以及实现实际文件系统调用硬件层的接口，那么实际文件系统就是位于虚拟文件系统和硬件抽象接口中间，就像是夹心饼干中间的奶油一样，可以更换各种颜色的奶油，但是吃起来都是奶油的味道，可便于系统的更新和前后的兼容性、扩展性。

(5)linux进程管理和调度扩展阅读：

技术特性

1、抢占式调度系统

Linux内核提供在特定条件下的抢先式调度。直到内核版本2．4，只有用户进程是抢先式的，就是说除了时间片用尽，在用户模式下执行的当前进程，如果有更高态优先级的进程进入TASK＿RUNNING状态，它就会被中断。

自从2．6系列Linux内核，增加了中断执行内核代码的任务的能力，但不是对于内核代码的所有段落。

2、可移植性

从移动电话到超级电脑，甚至于有人成功的将Linux内核在索尼出品的游戏机PS2及PS3和微软出品的游戏机Xbox上使用。Linux也是IBM超级计算机BlueGene的操作系统。

一些为手机开发的操作系统，使用Linux内核的修改后的版本，其中包括谷歌Android、FirefoxOS、HPWebOS和诺基亚Maemo。

F. Linux进程调度的概述

在Linux中，进程的运行时间不可能超过分配给他们的时间片，他们采用的是抢占式多任务处理，所回以进程之间的挂起和继答续运行无需彼此之间的协作。
在一个如linux这样的多任务系统中，多个程序可能会竞争使用同一个资源，在这种情况下，我们认为，执行短期的突发性工作并暂停运行以等待输入的程序，要比持续占用处理器以进行计算或不断轮询系统以查看是否有输入到达的程序要更好。我们称表现好的程序为nice程序，而且在某种意义上，这个nice 是可以被计算出来的。操作系统根据进程的nice值来决定它的优先级，一个进程的nice值默认为0并将根据这个程序的表现不断变化。长期不间断运行的程序的优先级一般会比较低。