其实这种问题主要网络一下就行了。我找了两篇,读了一下觉得人家说得很好。
linux的发展
近来看一篇“hacking是艺术还是科学”的文章,由此产生了一系列的联想。由艺术联系到文化是再自然不过的事,人类的历史既是科技的发展史,也是艺术的发展史。艺术(广义上包括文学)和科技构成了文化。而当今似乎科技被从文化中分离开来,于是我们不得不重谈文化。因为同商业主导的其他产物不同, Linux更是一种文化的象征。
第一在linux的媒体上看到马克思的头像觉得很可笑,但是思索一番后方才醒悟:资讯难道不是一种生产资料吗?开源与私有,恰恰就是资讯的分配方式的区别。
件同货币联系起来时,资讯的圈地运动正式开始。并在几年的你争我夺中拼杀下来。同社会的发展不同的是,软件业是直接从“原始的共产”跳向“资本”形式的。以货币来交换软件的确在一定的时期对经济起到很大的促进的作用。但是却限制了更多的人生产形式更加多样化的软件的能力。长远角度看这是对发展不利的。于是,共有的分配资讯的方式又被一些人重新重视起来。
这种共有资讯的复苏代表这软件的文艺复兴,也就是文化的复兴。开源的意义在于,首先是传播文化,文化产生软件。如同艺术中很难找到两部及其相似油画一样,社区中很难找到两部概念过分接近的软件。这就是开源社区的精神:知识的高度分享,而且高效的利用,最大限度地避免重复浪费。
初期的开源作者也是理想主义者。同早期的无产者一样,资讯无产者也是理想主义者。理想主义者感染理想主义者,却拒绝了更多的实用主义者。一定程度上限制的自身的发展。Eric不是理想主义者,所以当他提出开源作为商业模式时,就同人们第一次听到中国改革开发一样!事实证明这种决定是正确的!不同的文化中都有优秀特点、优秀的人。优秀的特点借鉴过来,优秀的人吸引过来,文化群体才能由此而壮大!相反,如果我们不能同其他群体的人和睦相处,对这些人进行人身攻击和冷言嘲讽,认为linux具有高高在上的优越感。这样非但不能为我们的群体吸引更多的优秀的支持者。也会使其他的群体产生我们本身的群体数字偏低的印象。
Linux同Windows,文化于市场的差别
我个人认为Linux同Windows不存在讨论技术的差别的意义。因为很难指定出一种适普的标准来衡量它们。但是,他们身上一些特点的却十分明显地分别体现出文化与市场的特征:
分发机制
最初的linux用户真正的是from scratch。因为发布的内核同各类的GNU软件分不在网络的各个角落。包括为了拥有图形界面,也要在安装X之后编译大量的其他软件。而为上市而开发的 windows却是一个超大的软件包。因为要做到真正的“友好”,不可能让用户用一个月的时间来安装应用软件,何况入门用户还根本无法安装应用软件。大家记得身边有些人是花多长时间理解“添加删除程序的”。
同样,普及或者商业化必然就要走集成的道路。从最早期的红帽子,到GNOME,KDE的问世。社区已经尽力提供了各种手段来促进Linux的市场和普及。当然也越来越类似windows,一些操作方式开始向windows兼容。而近年来国内一个Linux厂商的发行本将这种趋势推至极限,因此相当的受国际社区的反感。
第三方软件的管理机制
除了历史遗留问题和向DOS兼容问题。一些Windows的机制我认为不是一个Linux爱好者们所说的缺陷,而是最大限度的面向市场的结果。下面一一举例说明:
1)目录的管理方式和注册表
windows使用相互独立的第三方软件目录组织方式,并且尽量避免不必要的软件安装到系统的目录下。这样的组织正是市场最大化的结果。由于商业竞争,封闭源代码的原因。每个厂商在开发软件时的命名相互之间经常产生冲突,即使是共享库之间也互不兼容。唯一的办法就是放在各自的目录下。但这样运行程序的时候的路径又成了问题,于是目录的方式必然导致了注册表的诞生,让程序员通过注册表解决路径问题。同样也捎带解决了配置文件的路径问题,可以尽量少的避免使用配置文件了。
linux向来就没有第三方的软件的概念,从unix被发明时起就是这样。所有的软件都装在标准的几个目录下,而信息的高度共享是避免冲突的最有效的方式。这种方式可以把脚本的作用发挥到极限,以我个人的观点:同样是脚本,对windows和linux的意义有本质的区别。二者区别的根本原因就是目录的组织。而由于是信息的透明,如存在操作系统对第三方软件的保密问题,也不存在冲突问题。但是,也注定起不到windows那样的商业效果。
2)病毒的肆虐,历史遗留和市场综合作用的结果
我个人不同意*nix上鲜有病毒是因为用户数量过少的说法。我认为windows上的病毒肆虐主要有两个因素:
首先是历史遗留问题。unix从一开始就是多用户多人的操作系统,所以首先从一开始就要为权限等安全问题考虑,并且制定了一套在相当长一段时期行之有效的安全机制。而DOS的目标是在一个性能十分有限的微型计算机上提供一个简单的系统。这是十分合理的!但是却为后来的系统设计安全机制带来了兼容的问题。这是作为一个厂商和封闭源代码的软件必须考虑的。也导致了早期windows的16位代码等等。而且这些问题一直延伸到最新的操作系统和文件系统。最新的 NT内核的系统也从unix身上借鉴了一些特性。但受兼容性的束缚很多问题的解决几乎是不可能的。很多问题不是微软造成的,包括第三方的厂商甚至是用户本身造成的。
具体来说现在装机用户很多都是用在零售商那里的ghost的系统。不论多大的硬盘会被等分4-6个分区。而且全都FAT32的文件系统。而且大多数用户在重新安装系统时也不会将系统分区改成NTFS,更不会改动其他的分区。这样就带来了更多的病毒隐患,而很多病毒是在机制上早就解决了的。
另外,几乎全部的XP的桌面用户每天都在以超级用户身份使用系统。一种原因是因为XP上默认的用户权限就是超级用户。而令一个原因也迫使用户不得不每天使用超级用户,应该是厂商的水平和遗留问题。绝大部分的应用软件,尤其是国产软件在其他低权限的用户的登录上是无法正常使用的。通常情况厂商限于水平无法同系统的安全机制达成一致。比如国产杀毒软件很多,但注册系统服务的不多。我所见的同windows的安全机制结合的最好的恐怕是诺顿的软件。注册系统服务。而且用户数据保存在用户的主目录下(Do*****ents and Settings下的用户名的文件夹下)等等措施保证了无论以任何身份运行登录,杀毒软件都能够正常的起作用。而大多数的国产软件以一个管理员的身份安装之后,在另一个管理员的桌面和菜单上都找不到图标!一些软件将数据包存在安装目录下,这本来就是单用户系统下的习惯。比如QQ,默认情况下低权限用户根本没办法使用正常,要设置Tencent文件夹的权限才行,这样这个文件夹又成了对所有用户可写的了!如果把用户数据保存到Do*****ents and Settings下,每个用户相互独立有什么困难?恐怕是照顾一些使用98的用户或者自己的程序员吧!大家都使用超级用户,好啊!病毒什么的都懒得研究什么权限提升了!想改什么就改什么!记得一个同学叫我去杀毒!我一看现在的病毒真的是简单了!直接把文件名一改省得感染文件了。然后在 autorun.ini里加上一条就可以保证运行传播了!而这个病毒据说还是大名鼎鼎的流行!如果大家平时不用管理员的话,这个病毒恐怕根本没有传播的可能!所以IE和firefox都用漏洞,但IE可能就回感染系统,而firefox只能感染用户。这不是系统的问题,只是用户自身的问题,当然系统要对用户养成这些毛病负责!
然后就是市场问题,记得*nix出现病毒或者蠕虫的话。都是有人发布补丁的。蠕虫这里不谈,因为蠕虫主要是通过服务传播的,是服务的缺陷。*nix的每个病毒都象征这一些机制的问题。于是这些机制一旦修正,所有同类的病毒就不会感染了!于是*nix下的杀毒软件其实是查杀通过samba monnt的目录上的windows病毒。但作为windows来讲,病毒意味着意想不到的市场!而且这么大的经济效益也能推动全球的经济增长!用三个代表判断也是对人民有利的!
3)IDE
我觉得不同意那些对linux下IDE环境的看法。对优秀的程序员来说,整个Linux就是一个IDE,只不过你同他打交道不是用鼠标点击,而是用命令和脚本程序。由于上面谈到的目录的优势,所有的程序都被组织在一起了!其实是一个传统IDE的不同功能模块被在不同的几个程序中实现了,而且合作起来也更加灵活。而这个IDE除了软件开发还可办公和娱乐,集成度显然更高了!有些人甚至网页之类的都用脚本来处理写好的带标记的文本来发行出去。如果说哪种IDE 更加高效的话,理所当然是这种全自动的方式。
Linux在中国,文化和市场
Linux在中国达到今天的规模完全是市场的作用,说实话教育界起到的微弱的作用让人十分遗憾。人们透过媒体知道了Linux。不管是否处于宣传者的本意,linux被扣上了“高深”的光环。“CLI”、“用于服务器”之类的说法吓走了一批观望者,也有吸引了一批喜欢挑战难度的人眼球。应该说这批人都是优秀的人,但不是全部优秀的人都会对Linux产生兴趣。因为宣传中透露出linux一个特点“不成熟”,“不成熟”意味着没钱途。
人才的缺乏却给了勇敢的人“钱途”。他们成了优秀的程序员或者系统管理员,开发了很多优秀的软件。然而绝大多数为了公司,却很少为了社区。也有人成为了商业unix系统的管理员。
客观地讲,Linux的文化向国内的传播相对于市场向国内扩展是十分缓慢的。大陆的Linux厂商和产品比港台多,但是几乎所有拥有中文化信息的国际开源社区中香港和台湾的参与者都比大陆的活跃,你可以看到支持GB的软件远少于BIG5,zh_CN的文档远少于zh_TW。成熟的程序员们也不愿意些入门的文档。只有少数人以论坛版主的身份整理文章和搜集资料。文档的缺乏和语言的隔阂使我们迟迟不能真正的了解到国际社区的文化,更谈不上回报社区。媒体上的报道全部以市场为中心……国际社区疑惑了,中国人到底对linux感不感兴趣?
关于市场格局的报道太多,我手头没数据没办法评论。但是与一些报道不符的是,作为一种特殊的商业产品。linux的市场不能单单的拿订单来衡量,也不能看政府的笑脸分析。在中国RedHat/Fedora的用户数量占绝对的优势(程序员背景的用户较偏向debian和gentoo),只要到几个中文的 Linux社区看看就知道了。这些目前的用户将来一旦成了技术人员就是潜在的订单。这种规模的用户份额除了和国际市场的规模之外,主要和RedHat苦心经营的社区效应有关,通过fedora社区RedHat的开发人员几乎同用户和贡献者们无缝地交流。相比之下急于开拓市场的红旗却没有意识到这一点。多数用户对红旗的了解少得可怜。已经成为制约公司发展的瓶颈。以中国目前的现状来看,社区的意义不仅在于潜在的市场和用户,也是为公司自己培养人才。
个人虽然不赞成制作和发行带有民族气质性的linux发行版本,但还是希望国内诞生越来越多的基于社区发展起来的发行版本的开发团队以及其他的开发人员社区。同市场的昙花一现相比社区的发展壮大才跟家的持久和有力。
文化角度的Linux未来展望
观望这几年国际linux和其他开源系统的发展。社区的发展远远比市场的发展要明显得多,从文化的传播的角度看来这是一种巨大的成功。为了保持和发扬这种成果,我们需要为社区吸引更多的用户和开发人员。让更多的软件使用开源的许可协议。
在国内linux的用户可能会从学校开始逐渐的扩大。但在市场上可能还是体现在更多的商业的Unix的优秀人才的增多。这些人才普遍是在linux社区成长起来的。另外国内的用户会对国际的开源社区有更多的了解。更多的资料被翻译成简体中文。最重要的是国际社区中会出现更多的中国人。国内也会出现一些较为成熟、具有一定规模的开发社区。
Linux程序员和用户身上的优秀的品质和文化气息会吸引更多的人渴望了解和使用Linux面对他们社区的成员们应该比以前有更好的姿态去面对这些未来的同伴们。开源软件除了影响本身的开发人员和用户以外,也会对window下的程序员产生更大的影响,进而促进windows下的开发人员提高自己的水平,能够编写出同系统设计风格一致的软件。在改进安全性的同时也意识到开源对于他们的重大意义。
在同商业模式结合方面我并没有权力去做什么展望。就想去预测股市一样。Linux对未来的意义在于:通过文化的影响力让一些被作为商品的技术尽快的被普及和贬值,以此来消除知识传播的壁垒和刺激更新的技术的不断更新。而对最新的技术开放源代码也可以让这些技术得到最快速的推广和实现。
附:如何学习linux?
做为中国人的特殊情况,学习linux对中国人来说要做的事情相对多了一些:
1、以linux为荣耀,以帮助他人了解和学习linux为己任。
2、坚持访问英文网站,尤其是一些大师的个人主页。坚持阅读英文文档,并尽量翻译你读过的文档发表到国内的社区上供他人阅读和整理
3、了解unix的历史,linux的历史和hacker的历史及文化。
4、尽可能联系所以可以联系到Linux的爱好者,尽可能多的了解你能接触到的最了解linux的人对linux的看法。并于自己的观点相比较。
5、空闲时思索为什么自己喜欢linux,别人为什么喜欢linux。为什么你们喜欢的理由不同?
6、阅读各类的开源许可协议和商业的用户许可协议。对比他们各有哪些问题和优势。
以上使你了解开源文化,是作为一个合格的linux社区成员的前提。
7、安装一个linux的发行版本。
8、尽你最大的能力把你的学习、娱乐或者工作的环境转移到linux上来。尽量避免寻找linux功能类似的软件,而是寻找linux下解决同样问题的通用的方法。并且对比同windows下的解决方法哪种更加优越。
9、学会SHELL编程。SHELL几乎可以作为一个入门语言来学习。最低的要求是能够看懂你自己的版本的linux的配置脚本。理解为什么一些帖子中里提到的配置方法回起作用,并了解你的发行版本怎样从每个配置文件中把设置用环境变量的形式读取并让他生效的。
10、学会安装以各种方式发行的程序,并且让他们的安装同你系统的惯例一致。熟悉X windows的运作方式。熟悉你的发行版本的安全机制,并且学会定制他们按你的需求工作。
如果仅仅是作为用户并且部分体会unix的哲学,上面的几点就足够了。个人认为这几点足够成长为一个合格的Linux用户了。甚至只要再稍稍的扩充就可以制作自己的发行版本了!而对于不同的用户群体,比如办公用户或者科研人员等。第8条意味着不同的标准。
11、选择一门或几门语言社区常用的编程语言。
12、搜集社区或者hackers推荐的图书或资料、网站、新闻组等。
13、选择一个较小的用你当前学习的语言开发的开源项目。阅读他的代码,并且对比他的代码和你形象的编写方式是否相同?哪种更加优越?
14、尝试按照TODO中的要求为这个软件编写代码,并且同他的作者联系。学习autoconf和automake等工具的用法。
15、你也可以不参与项目的开发,但仍然能从代码阅读中获益。如果项目是一种你没有接触到的技术或者标准的实现,那么搜集资料读懂它!
16、学会使用linux下的调试工具,如果软件还不太稳定,可以帮助找出BUG并且改正。并且学会制作patch发给作者。
17、如果曾是windows的程序员,尝试把开发环境转移到linux下来。或者开始在windows的开发工作中使用开源的开发工具和SDK。
18、如果是系统管理员,还要学会在linux部署更强的各类的安全方案。但这已经不属于学习linux的范畴了。
上面介绍了几条学习的要求,主要强调的是学习的态度。至于具体什么样的技术和自己应该在技术层次上的要求,按照上面介绍的方法应该会慢慢的体会到。
linux操作系统的全称是GNU/Linux,它是由GNU工程和linux内核两个部分共同组成的一个操作系统,虽然这个系统诞生于1992年,比windows操作系统要晚,但是与windows相比它有很多独到的优势。
首先,对于普通用户而言它有以下几个优点:
1.极高的稳定性
回顾linux的历史我们会发现,linux操作系统的架构完全沿袭了UNIX的系统架构,所以先天就具有成熟稳定的特点,在这方面不是另起炉灶的windows系列操作系统可以比拟的。大家都知道,windows系统最为人垢病的缺陷之一就是系统的稳定性差,蓝屏死机相信每个windows用户都亲身体验过。虽然1999年微软不惜花费巨资打造了win2000这个划时代的产品,系统的稳定性得到了加强,后续发布的xp和2003更进一步增强了稳定性,但是蓝屏死机的问题只是有所缓解而没能彻底的根治。反观linux系统,早在上个世纪九十年代,美国motorola公司在选择电信级的操作系统的时候就选择了linux系统,它的运行可靠性要求达到99.999%。这个可靠性所代表的含义是每年的计划外停机时间累计不得超过5分钟,由此看见 linux系统所具有的稳定性不是win系统可以望其项背的。
2.先天的安全性
可以说一个操作系统的架构就已经预先决定了它的安全性。linux系统在设计的时候就是针对多用户环境的,所以对系统文件,用户文件都做了明确的区分,每个文件都有不同的用户属性。作为一个普通用户通常只能读写自己的文件,而对一般的系统文件只能读取而不能改动,一些敏感的系统文件甚至连读取都是被禁止的。这种设计在根本上保证了系统的安全,即使一个用户文件出现了问题,也不会泱及整个系统。反观windows系统,在win2000之前的时代,用户与用户之间是没有这种差别的,几乎所有的系统用户都有管理员的权限,可以任意改动系统文件。即使后来微软意识到了这个问题,在后续的系统中区分了管理员和普通用户这两种用户,但是在权限的问题上他还是没有很好的解决这个问题,管理员能做的,普通用户还是基本都可以做,比如安装软件,修改系统设置,删除用户文件。这从而也说明了,为什么一旦windows的一个普通用户中了病毒或者木马,通常会危及整个系统的安全,而在linux世界这样的情况几乎没有出现过的原因。
3.软件安装的便利性
对于计算机初级用户来说,软件安装是个很大的问题。在windows平台下,如果你不知道软件应该安装通常只要一直用鼠标点“下一步”就可以完成安装。在linux平台下,软件安装的便利性方面曾一度落后于win,但是apt的出现使得这种局面得到了彻底的改观,用户只要告诉安装程序自己现在需要安装什么软件,安装程序就会自动去下载这个程序,然后安装,最后等待用户开始运行它。从这个意义上将,linux已经超越了win软件的安装方式,进一步降低了用户的参与程度,方便了用户。
其次,谈一下对开发人员来说linux有哪些优势
1.系统所有组件的源代码都是自由的
首先需要澄清的就是自由的含义。自由软件所指的自由不是免费使用,而是指程序的源代码是开放的,任何人都可以读,可以修改,唯一的限制就是,修改后的程序必须连同源代码也一起发布。对于普通用户而言这一点也许没什么用处,但是对于开发人员来说,你们可以通过读取大量的经典程序的源代码,迅速提高自己的编码水平,在需要的时候可以修改源代码来适应自己的需要,当你主持一个项目的开发时,你可以通过吸收别人改进过的代码来不断提高这个项目的质量,当你的程序中存在bug的时候,会被读取代码的人迅速发现并提供补丁程序,使你的程序越来越安全。当你进入linux世界的时候你会发现,这里就是程序员的天堂,所有的一切你都可以主宰。而所有这些在linux平台上都是再正常不过的事,但是对于windows用户来说这些都是不可能的,源代码就是 windows的生命,任何未经授权的人想读到它都是不可能的。
2.有效保护学习成果
前面我们讲到linux的系统架构源于UNIX,这个架构从1969年诞生至今一直沿用,在可以预见的未来它仍然会使用下去。同时主力的开发语言一直是C语言,编辑器仍然是历史悠久的vi。虽然现在你可以使用任何一种语言来为linux系统贡献代码,但是它们的作用都是辅助性的,C语言作为这个系统的核心语言的地位没有发生变化。而windows平台则远远没有这么乐观。编程语言从古老的BASIC到后来的VB,C++到现在的C#,几年就一换,开发工具更是令人眼花缭乱,让人无从选择,无论你选择了哪种语言哪种开发工具,两三年后你都不得不学习新工具的使用,新平台的特点,以跟上微软变幻莫测的脚步。只有过来人才能体会到做windows平台开发的艰辛和无奈。
3.从就业的前景来看
目前做windows平台开发的程序员多如牛毛,没有研究生级别的学历和过硬的编码能力想找到一分待遇优厚的工作已经不可能了。而反观linux 平台开发,目前国内这方面的开发人员还很少,而linux应用已经在我国开始升温,广东省已经率先建立了linux的研发中心,在linux应用方面走在了全国前面。大家现在及时投身于linux平台的学习和开发,必定会为毕业后的求职增加一个有力的筹码。虽然现在广告上宣传的linux程序员月薪1万以上不能完全相信,但是它必定给我们一个信号,linux程序员在中国是大有前途的。
『贰』 如何简单的找出linux系统瓶颈
基本流程:
1、使用top查看系统的总体运行情况;
Top的输出结果那些是很有用的信息呢?我已经全部用红线框起来了,具体如下:
:load average 这行表示系统最近1分钟,5分钟,15分钟的平均负载。那么怎样的负载才是可以接受的呢?有个简单的办法,在top命令中,再按‘1’键,会列出系统使用的cpu的数量,以负载的值不要超过cpu数量最合适。
:Tasks 这行反应的是当前系统的任务状态,主要看running和zombie进程的数量,一个健康的系统zombie(僵死进程)的数量一定是为0的,否则肯定系统已经出不小的问题了。
:Cpu(s)这行反应当前cpu的工作状态,us表示用户进程占整个cpu运行时间的百分比,sy表示系统进程的占用时间百分比;id表示cpu当前的空闲时间百分比,wa表示等待时间百分比,这几个概念是最重要的。下面有个实际的列子会再详细分析。
:Mem这行反应当前系统内存使用状况
:Swap 这行就是系统交换分区使用状态,一个性能优越的系统,交换分区使用量一定是为0的,交换分区只是一种应对在系统内存不足时的一种紧急机制,用到交换分区,说明可以考虑增加内存或者裁减现有内存数据大小了。毕竟交换分区就是硬盘,速度和内存差了太多。
2、看硬盘容量,硬盘容量如果爆满的话,那么什么诡异的情况都可能出现,这个已经非常危急了,具体的命令:df;
3、看带宽;这里如果细分的话就复杂了,比如是否有网络攻击,封包数量和特征是否异常等,zabbix是其中的佼佼者,这里我们只要看目前的带宽有没有接近网卡的上限,命令: dstat -n;
这台机器是千兆网卡,现在最大才跑到2.7mbyte/s *8 ~ 20mbit/s,远远没到,带宽这个很少有机会用到网卡峰值的80%左右,但是在业务繁忙的时候,这个也是非常重要的监控对象。
4、一个具体的实例。昨天一个新同学说应用很卡,延迟较大。内存还有很多不使用,就如上面top图显示那样,还有接近3G可以使用的内存。我等录上去看了看,使用vmstat:
可以看到过段时间就会发现有些进程处于阻塞状态,原因内是因为cpu处于等待的时间变长了,cpu是空闲的很,等着进程进来运算,而进程迟迟没有到达,这个肯定就是数据在交换分区了,存取太慢导致的卡和延迟,后来关闭了交换分区,并且整理内存之后,一切就正常了。
一个初步的系统性能诊断按照基本流程就几步,只是开始接触linux的同学不知道按照一个流程来操作。所以需要多看多动手。当然现在监控软件很多,可以监控的性能指标也很多。
『叁』 centos服务器怎么内存优化
作为一名Linux系统管理员,最主要的工作是优化系统配置,使应用在系统上以最优的状态运行,但硬件问题、软件问题、网络环境等的复杂性和多变性,导致了对系统的优化变得异常复杂,如何定位性能问题出在哪个方面,是性能优化的一大难题。 本文从系统入手,重点讲述由于系统软、硬件配置不当造成的性能问题,并且给出了检测系统故障和优化性能的一般方法和流程。
一、 系统性能分析的目的
1.1 找到系统性能的瓶颈
系统的性能是指操作系统完成任务的有效性、稳定性和响应速度。Linux系统管理员可能经常会遇到系统不稳定、响应速度慢等问题,例如在Linux上搭建了一个Web服务,经常出现网页无法打开、打开速度慢等现象。遇到这些问题,就有人会抱怨Linux系统不好,其实这些都是表面现象。操作系统完成一个任务是与系统自身设置、网络拓朴结构、路由设备、路由策略、接入设备、物理线路等多个方面都密切相关的,任何一个环节出现问题,都会影响整个系统的性能。因此,当Linux应用出现问题时,应当从应用程序、操作系统、服务器硬件、网络环境等方面综合排查,定位问题出现在哪个部分,然后集中解决。
1.2 提供性能优化方案
查找系统性能瓶颈是个复杂而耗时的过程,需要在应用程序、操作系统、服务器硬件、网络环境等方面进行查找和定位,影响性能最大的是应用程序和操作系统两个方面,因为这两个方面出现的问题不易察觉,隐蔽性很强。而硬件、网络方面出现的问题,一般都能马上定位。一旦找到了系统性能问题,解决起来就非常迅速和容易,例如发现系统硬件存在问题,如果是物理故障,那么更换硬件就可以了,如果是硬件性能不能满足需求,升级硬件就可以了;如果发现是网络问题,比如带宽不够、网络不稳定,只需优化和升级网络即可;如果发现是应用程序问题,修改或优化软件系统即可;而如果是操作系统配置问题,修改系统参数、修改系统配置即可。
可见,只要找到了性能瓶颈,就可以提供性能优化方案,有标准、有目的地进行系统优化。
1.3 使系统硬件和软件资源的使用达到平衡
Linux操作系统是一个开源产品,也是一个开源软件的实践和应用平台,在这个平台下由无数的开源软件支撑,常见的有Apache、Tomcat、MySQL、PHP等。开源软件的最大理念是自由、开放,那么Linux作为一个开源平台,最终要实现的是通过这些开源软件的支持,以最低廉的成本,达到应用性能的最优化。但是,系统的性能问题并非是孤立的,解决了一个性能瓶颈,可能会出现另一个性能瓶颈,所以说性能优化的最终目的是:在一定范围内使系统的各项资源使用趋于合理并保持一定的平衡,即系统运行良好的时候恰恰就是系统资源达到了一个平衡状态的时候。而在操作系统中,任何一项资源的过度使用都会破坏这种平衡状态,从而导致系统响应缓慢或者负载过高。例如,CPU资源的过度使用会造成系统中出现大量的等待进程,导致应用程序响应缓慢,而进程的大量增加又会导致系统内存资源的增加,当物理内存耗尽时,系统就会使用虚拟内存,而虚拟内存的使用又会造成磁盘I/O的增加并加大CPU的开销。因此,系统性能的优化就是在硬件、操作系统、应用软件之间找到一个平衡点。
二、 分析系统性能涉及的人员
2.1 Linux系统管理人员
在做性能优化过程中,系统管理人员承担着很重要的任务,首先,系统管理人员要了解和掌握操作系统的当前运行状态,例如系统负载、内存状态、进程状态、CPU负荷等信息,这些信息是检测和判断系统性能的基础和依据;其次,系统管理人员还有掌握系统的硬件信息,例如磁盘I/O、CPU型号、内存大小、网卡带宽等参数信息,然后根据这些信息综合评估系统资源的使用情况;第三,作为一名系统管理人员,还要掌握应用程序对系统资源的使用情况,更深入的一点就是要了解应用程序的运行效率,例如是否有程序BUG、内存溢出等问题,通过对系统资源的监控,就能发现应用程序是否存在异常,如果确实是应用程序存在问题,需要把问题立刻反映给程序开发人员,进而改进或升级程序。
性能优化本身就是一个复杂和繁琐的过程,系统管理人员只有了解了系统硬件信息、网络信息、操作系统配置信息和应用程序信息才能有针对性地的展开对服务器性能优化,这就要求系统管理员有充足的理论知识、丰富的实战经验以及缜密分析问题的头脑。
2.2 系统架构设计人员
系统性能优化涉及的第二类人员就是应用程序的架构设计人员。如果系统管理人员在经过综合判断后,发现影响性能的是应用程序的执行效率,那么程序架构设计人员就要及时介入,深入了解程序运行状态。首先,系统架构设计人员要跟踪了解程序的执行效率,如果执行效率存在问题,要找出哪里出现了问题;其次,如果真的是架构设计出现了问题,那么就要马上优化或改进系统架构,设计更好的应用系统架构。
2.3 软件开发人员
系统性能优化最后一个环节涉及的是程序开发人员,在系统管理员或架构设计人员找到程序或结构瓶颈后,程序开发人员要马上介入进行相应的程序修改。修改程序要以程序的执行效率为基准,改进程序的逻辑,有针对性地进行代码优化。例如,系统管理人员在系统中发现有条SQL语句耗费大量的系统资源,抓取这条执行的SQL语句,发现此SQL语句的执行效率太差,是开发人员编写的代码执行效率低造成的,这就需要把这个信息反馈给开发人员,开发人员在收到这个问题后,可以有针对性的进行SQL优化,进而实现程序代码的优化。
从上面这个过程可以看出,系统性能优化一般遵循的流程是:首先系统管理人员查看系统的整体状况,主要从系统硬件、网络设备、操作系统配置、应用程序架构和程序代码五个方面进行综合判断,如果发现是系统硬件、网络设备或者操作系统配置问题,系统管理员可以根据情况自主解决;如果发现是程序结构问题,就需要提交给程序架构设计人员;如果发现是程序代码执行问题,就交给开发人员进行代码优化。这样就完成了一个系统性能优化的过程。
三、影响Linux性能的各种因素
3.1 系统硬件资源
1.CPU
CPU是操作系统稳定运行的根本,CPU的速度与性能在很大程度上决定了系统整体的性能,因此,CPU数量越多、主频越高,服务器性能也就相对越好。但事实并非完全如此。
目前大部分CPU在同一时间内只能运行一个线程,超线程的处理器可以在同一时间运行多个线程,因此,可以利用处理器的超线程特性提高系统性能。在Linux系统下,只有运行SMP内核才能支持超线程,但是,安装的CPU数量越多,从超线程获得的性能方面的提高就越少。另外,Linux内核会把多核的处理器当作多个单独的CPU来识别,例如两个4核的CPU,在Lnux系统下会被当作8个单核CPU。但是从性能角度来讲,两个4核的CPU和8个单核的CPU并不完全等价,根据权威部门得出的测试结论,前者的整体性能要比后者低25%~30%。
可能出现CPU瓶颈的应用有邮件服务器、动态Web服务器等,对于这类应用,要把CPU的配置和性能放在主要位置。
2.内存
内存的大小也是影响Linux性能的一个重要的因素,内存太小,系统进程将被阻塞,应用也将变得缓慢,甚至失去响应;内存太大,导致资源浪费。Linux系统采用了物理内存和虚拟内存两种方式,虚拟内存虽然可以缓解物理内存的不足,但是占用过多的虚拟内存,应用程序的性能将明显下降,要保证应用程序的高性能运行,物理内存一定要足够大;但是过大的物理内存,会造成内存资源浪费,例如,在一个32位处理器的Linux操作系统上,超过8GB的物理内存都将被浪费。因此,要使用更大的内存,建议安装64位的操作系统,同时开启Linux的大内存内核支持。
由于处理器寻址范围的限制,在32位Linux操作系统上,应用程序单个进程最大只能使用2GB的内存,这样以来,即使系统有更大的内存,应用程序也无法“享”用,解决的办法就是使用64位处理器,安装64位操作系统。在64位操作系统下,可以满足所有应用程序对内存的使用需求 ,几乎没有限制。
可能出现内存性能瓶颈的应用有打印服务器、数据库服务器、静态Web服务器等,对于这类应用要把内存大小放在主要位置。
3.磁盘I/O性能
磁盘的I/O性能直接影响应用程序的性能,在一个有频繁读写的应用中,如果磁盘I/O性能得不到满足,就会导致应用停滞。好在现今的磁盘都采用了很多方法来提高I/O性能,比如常见的磁盘RAID技术。
RAID的英文全称为:Rendant Array of Independent Disk,即独立磁盘冗余阵列,简称磁盘阵列。RAID通过将多块独立的磁盘(物理硬盘)按不同方式组合起来形成一个磁盘组(逻辑硬盘),从而提供比单个硬盘更高的I/O性能和数据冗余。
通过RAID技术组成的磁盘组,就相当于一个大硬盘,用户可以对它进行分区格式化、建立文件系统等操作,跟单个物理硬盘一模一样,唯一不同的是RAID磁盘组的I/O性能比单个硬盘要高很多,同时在数据的安全性也有很大提升。
根据磁盘组合方式的不同,RAID可以分为RAID0,RAID1、RAID2、RAID3、RAID4、RAID5、RAID6、RAID7、RAID0+1、RAID10等级别,常用的RAID级别有RAID0、RAID1、RAID5、RAID0+1,这里进行简单介绍。
RAID 0:通过把多块硬盘粘合成一个容量更大的硬盘组,提高了磁盘的性能和吞吐量。这种方式成本低,要求至少两个磁盘,但是没有容错和数据修复功能,因而只能用在对数据安全性要求不高的环境中。
RAID 1:也就是磁盘镜像,通过把一个磁盘的数据镜像到另一个磁盘上,最大限度地保证磁盘数据的可靠性和可修复性,具有很高的数据冗余能力,但磁盘利用率只有50%,因而,成本最高,多用在保存重要数据的场合。
『肆』 Linux内核参数之arp_ignore和arp_announce
arp_ignore和arp_announce参数都和ARP协议相关,主要用于控制系统返回arp响应和发送arp请求时的动作。这两个参数很重要,特别是在LVS的DR场景下,它们的配置直接影响到DR转发是否正常。
首先看一下Linux内核文档中对于它们的描述:
arp_ignore - INTEGER
Define different modes for sending replies in response to
received ARP requests that resolve local target IP addresses:
0 - (default): reply for any local target IP address, configured
on any interface
1 - reply only if the target IP address is local address
configured on the incoming interface
2 - reply only if the target IP address is local address
configured on the incoming interface and both with the
sender's IP address are part from same subnet on this interface
3 - do not reply for local addresses configured with scope host,
only resolutions for global and link addresses are replied
4-7 - reserved
8 - do not reply for all local addresses
The max value from conf/{all,interface}/arp_ignore is used
when ARP request is received on the {interface}
arp_ignore参数的作用是控制系统在收到外部的arp请求时,是否要返回arp响应。
arp_ignore参数常用的取值主要有0,1,2,3~8较少用到:
0:响应任意网卡上接收到的对本机IP地址的arp请求(包括环回网卡上的地址),而不管该目的IP是否在接收网卡上。
1:只响应目的IP地址为接收网卡上的本地地址的arp请求。
2:只响应目的IP地址为接收网卡上的本地地址的arp请求,并且arp请求的源IP必须和接收网卡同网段。
3:如果ARP请求数据包所请求的IP地址对应的本地地址其作用域(scope)为主机(host),则不回应ARP响应数据包,如果作用域为全局(global)或链路(link),则回应ARP响应数据包。
4~7:保留未使用
8:不回应所有的arp请求
sysctl.conf中包含all和eth/lo(具体网卡)的arp_ignore参数,取其中较大的值生效。
arp_announce - INTEGER
Define different restriction levels for announcing the local
source IP address from IP packets in ARP requests sent on
interface:
0 - (default) Use any local address, configured on any interface
1 - Try to avoid local addresses that are not in the target's
subnet for this interface. This mode is useful when target
hosts reachable via this interface require the source IP
address in ARP requests to be part of their logical network
configured on the receiving interface. When we generate the
request we will check all our subnets that include the
target IP and will preserve the source address if it is from
such subnet. If there is no such subnet we select source
address according to the rules for level 2.
2 - Always use the best local address for this target.
In this mode we ignore the source address in the IP packet
and try to select local address that we prefer for talks with
the target host. Such local address is selected by looking
for primary IP addresses on all our subnets on the outgoing
interface that include the target IP address. If no suitable
local address is found we select the first local address
we have on the outgoing interface or on all other interfaces,
with the hope we will receive reply for our request and
even sometimes no matter the source IP address we announce.
The max value from conf/{all,interface}/arp_announce is used.
arp_announce的作用是控制系统在对外发送arp请求时,如何选择arp请求数据包的源IP地址。(比如系统准备通过网卡发送一个数据包a,这时数据包a的源IP和目的IP一般都是知道的,而根据目的IP查询路由表,发送网卡也是确定的,故源MAC地址也是知道的,这时就差确定目的MAC地址了。而想要获取目的IP对应的目的MAC地址,就需要发送arp请求。arp请求的目的IP自然就是想要获取其MAC地址的IP,而arp请求的源IP是什么呢? 可能第一反应会以为肯定是数据包a的源IP地址,但是这个也不是一定的,arp请求的源IP是可以选择的,控制这个地址如何选择就是arp_announce的作用)
arp_announce参数常用的取值有0,1,2。
0:允许使用任意网卡上的IP地址作为arp请求的源IP,通常就是使用数据包a的源IP。
1:尽量避免使用不属于该发送网卡子网的本地地址作为发送arp请求的源IP地址。
2:忽略IP数据包的源IP地址,选择该发送网卡上最合适的本地地址作为arp请求的源IP地址。
sysctl.conf中包含all和eth/lo(具体网卡)的arp_ignore参数,取其中较大的值生效。
(1)当arp_ignore参数配置为0时,eth1网卡上收到目的IP为环回网卡IP的arp请求,但是eth1也会返回arp响应,把自己的mac地址告诉对端。
(2)当arp_ignore参数配置为1时,eth1网卡上收到目的IP为环回网卡IP的arp请求,发现请求的IP不是自己网卡上的IP,不会回arp响应。
(3)当arp_announce参数配置为0时,系统要发送的IP包源地址为eth1的地址,IP包目的地址根据路由表查询判断需要从eth2网卡发出,这时会先从eth2网卡发起一个arp请求,用于获取目的IP地址的MAC地址。该arp请求的源MAC自然是eth2网卡的MAC地址,但是源IP地址会选择eth1网卡的地址。
(4)当arp_announce参数配置为2时,eth2网卡发起arp请求时,源IP地址会选择eth2网卡自身的IP地址。
因为DR模式下,每个真实服务器节点都要在环回网卡上绑定虚拟服务IP。这时候,如果客户端对于虚拟服务IP的arp请求广播到了各个真实服务器节点,如果arp_ignore参数配置为0,则各个真实服务器节点都会响应该arp请求,此时客户端就无法正确获取LVS节点上正确的虚拟服务IP所在网卡的MAC地址。假如某个真实服务器节点A的网卡eth1响应了该arp请求,客户端把A节点的eth1网卡的MAC地址误认为是LVS节点的虚拟服务IP所在网卡的MAC,从而将业务请求消息直接发到了A节点的eth1网卡。这时候虽然因为A节点在环回网卡上也绑定了虚拟服务IP,所以A节点也能正常处理请求,业务暂时不会受到影响。但时此时由于客户端请求没有发到LVS的虚拟服务IP上,所以LVS的负载均衡能力没有生效。造成的后果就是,A节点一直在单节点运行,业务量过大时可能会出现性能瓶颈。
所以DR模式下要求arp_ignore参数要求配置为1。
每个机器或者交换机中都有一张arp表,该表用于存储对端通信节点IP地址和MAC地址的对应关系。当收到一个未知IP地址的arp请求,就会再本机的arp表中新增对端的IP和MAC记录;当收到一个已知IP地址(arp表中已有记录的地址)的arp请求,则会根据arp请求中的源MAC刷新自己的arp表。
如果arp_announce参数配置为0,则网卡在发送arp请求时,可能选择的源IP地址并不是该网卡自身的IP地址,这时候收到该arp请求的其他节点或者交换机上的arp表中记录的该网卡IP和MAC的对应关系就不正确,可能会引发一些未知的网络问题,存在安全隐患。
所以DR模式下要求arp_announce参数要求配置为2。
arp_ignore和arp_announce参数分别有all,default,lo,eth1,eth2...等对应不同网卡的具体参数。当all和具体网卡的参数值不一致时,取较大值生效。
一般只需修改all和某个具体网卡的参数即可(取决于你需要修改哪个网卡)。下面以修改lo网卡为例:
net.ipv4.conf.all.arp_ignore=1
net.ipv4.conf.lo.arp_ignore=1
net.ipv4.conf.all.arp_announce=2
net.ipv4.conf.lo.arp_announce=2
sysctl -w net.ipv4.conf.all.arp_ignore=1
sysctl -w net.ipv4.conf.lo.arp_ignore=1
sysctl -w net.ipv4.conf.all.arp_announce=2
sysctl -w net.ipv4.conf.lo.arp_announce=2
echo "1">/proc/sys/net/ipv4/conf/all/arp_ignore
echo "1">/proc/sys/net/ipv4/conf/lo/arp_ignore
echo "2">/proc/sys/net/ipv4/conf/all/arp_announce
echo "2">/proc/sys/net/ipv4/conf/lo/arp_announce
『伍』 linux查看哪个进程占ioutil
Linux系统出现了性能问题,一般我们可以通过top.iostat,vmstat等命令来查看初步定位问题。其中iostat可以给我们提供丰富的IO状态数据。 www.jb51.net
iostat结果分析
[kefu@SZ-8 linux]$ iostat -x -k
Linux 2.6.18-128.el5_cyou_1.0 (SZ-8.30) 09/08/2011
avg-cpu: %user %nice %system %iowait %steal %idle
16.58 0.00 2.79 0.46 0.00 80.16
Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util
sda 0.06 29.28 0.22 37.14 10.21 265.68 14.77 0.02 0.51 0.15 0.55
sda1 0.00 0.00 0.00 0.00 0.00 0.00 10.79 0.00 2.66 2.43 0.00
sda2 0.01 0.78 0.10 0.36 0.81 4.58 23.51 0.00 1.21 0.84 0.04
sda3 0.03 15.17 0.09 35.39 8.98 202.24 11.91 0.01 0.26 0.12 0.44
sda4 0.00 0.00 0.00 0.00 0.00 0.00 2.00 0.00 33.33 33.33 0.00
sda5 0.01 1.59 0.03 0.51 0.34 8.40 32.20 0.00 1.19 0.58 0.03
sda6 0.00 0.00 0.00 0.12 0.00 0.48 8.18 0.00 5.02 4.53 0.05
sda7 0.00 0.00 0.00 0.00 0.00 0.00 45.00 0.00 5.52 3.04 0.00
sda8 0.00 0.00 0.00 0.00 0.00 0.00 40.88 0.00 7.62 6.03 0.00
sda9 0.00 0.00 0.00 0.00 0.00 0.00 39.71 0.00 7.37 5.83 0.00
sda10 0.00 0.00 0.00 0.00 0.00 0.00 37.57 0.00 5.70 3.54 0.00
sda11 0.00 11.74 0.01 0.76 0.08 49.97 131.48 0.01 10.74 0.57 0.04
sdb 0.01 3.91 20.24 20.21 1262.95 1853.94 154.09 0.52 12.84 1.97 7.95
rrqm/s:每秒进行merge的读操作数目。即delta(rmerge)/s
wrqm/s:每秒进行merge的写操作数目。即delta(wmerge)/s
r/s:每秒完成的读I/O设备次数。即delta(rio)/s
w/s:每秒完成的写I/0设备次数。即delta(wio)/s
rsec/s:每秒读扇区数。即delta(rsect)/s
wsec/s:每秒写扇区数。即delta(wsect)/s
rKB/s:每秒读K字节数。是rsec/s的一半,因为每扇区大小为512字节
wKB/s:每秒写K字节数。是wsec/s的一半
avgrq-sz:平均每次设备I/O操作的数据大小(扇区)。即delta(rsect+wsect)/delta(rio+wio)
avgqu-sz:平均I/O队列长度。即delta(aveq)/s/1000(因为aveq的单位为毫秒)
await:平均每次设备I/O操作的等待时间(毫秒)。即delta(ruse+wuse)/delta(rio+wio)
svctm:平均每次设备I/O操作的服务时间(毫秒)。即delta(use)/delta(rio+wio)
%util:一秒中有百分之多少的时间用于I/O操作,或者说一秒中有多少时间I/O队列是非空的。即delta(usr)/s/1000(因为use的单位为毫秒)
如果%util接近100%,说明产生的I/O请求太多,I/O系统已经满负载,该磁盘可能存在瓶颈。
比较重要的参数
%util:一秒中有百分之多少的时间用于I/O操作,或者说一秒中有多少时间I/O队列是非空的
svctm:平均每次设备I/O操作的服务时间
await:平均每次设备I/O操作的等待时间
avgqu-sz:平均I/O队列长度
如果%util接近100%,表明I/O请求太多,I/O系统已经满负荷,磁盘可能存在瓶颈,一般%util大于70%,I/O压力就比较大,读取速度有较多的wait。
同时可以结合vmstat查看查看b参数(等待资源的进程数)和wa参数(I/O等待所占用的CPU时间的百分比,高过30%时I/O压力高)
await的大小一般取决于服务时间(svctm)以及I/O队列的长度和I/O请求的发出模式。如果svctm比较接近await,说明I/O几乎没有等待时间;如果
await远大于svctm,说明I/O队列太长,应用得到的响应时间变慢。
形象的比喻
r/s+w/s类似于交款人的总数
平均队列长度(avgqu-sz)类似于单位时间里平均排队的人数
平均服务时间(avctm)类似于收银员的收款速度
平均等待时间(await)类似于平均每人的等待时间
平均I/O数据(avgrq-sz)类似于平均每人所买的东西
I/O操作率(%util)类似于收款台前有人排队的时间比例
svctm一般要小于await(因为同时等待的请求的等待时间被重复计算了),svctm的大小一般和磁盘性能有关,CPU/内存的负荷也会对其有影响,请求过多也会
间接导致svctm的增加。await的大小一般取决于服务时间(svctm)以及I/O队列的长度和I/O请求的发出模式。如果svctm比较接近await,说明I/O几乎没有
等待时间;如果await远大于svctm,说明I/O队列太长,应用得到的响应时间变慢,如果响应时间超过了用户可以容许的范围,这时可以考虑更换更快的磁盘,调
整内核elevator算法,优化应用,或者升级CPU
队列长度(avcqu-sz)也可作为衡量系统I/O负荷的指标,但由于avcqu-sz是按照单位时间的平均值,所以不能反映瞬间的I/O洪水。
『陆』 程序装载进入内存
上一讲,我们看到了如何通过链接器,把多个文件合并成一个最终可执行文件。在运行这些可执行文件的时候,我们其实是通过一个装载器,解析 ELF 或者 PE 格式的可执行文件。装载器会把对应的指令和数据加载到内存里面来,让 CPU 去执行。
说起来只是装载到内存里面这一句话的事儿,实际上装载器需要满足两个要求。
第一,可执行程序加载后占用的内存空间应该是连续的 ,执行指令的时候,程序计数器是顺序地一条一条指令执行下去。这也就意味着,这一条条指令需要连续地存储在一起。
第二,我们需要同时加载很多个程序,并且不能让程序自己规定在内存中加载的位置。 虽然编译出来的指令里已经有了对应的各种各样的内存地址,但是实际加载的时候,我们其实没有办法确保,这个程序一定加载在哪一段内存地址上。因为我们现在的计算机通常会同时运行很多个程序,可能你想要的内存地址已经被其他加载了的程序占用了。
要满足这两个基本的要求,我们很容易想到一个办法。那就是我们可以在内存里面,找到一段连续的内存空间,然后分配给装载的程序,然后把这段连续的内存空间地址,和整个程序指令里指定的内存地址做一个映射。
我们把指令里用到的内存地址叫作 虚拟内存地址 (Virtual Memory Address),实际在内存硬件里面的空间地址,我们叫 物理内存地址 (Physical Memory Address)。
程序里有指令和各种内存地址,我们只需要关心虚拟内存地址就行了。对于任何一个程序来说,它看到的都是同样的内存地址。我们维护一个虚拟内存到物理内存的映射表,这样实际程序指令执行的时候,会通过虚拟内存地址,找到对应的物理内存地址,然后执行。因为是连续的内存地址空间,所以我们只需要维护映射关系的起始地址和对应的空间大小就可以了。
内存分段
这种找出一段连续的物理内存和虚拟内存地址进行映射的方法,我们叫分段(Segmentation)。这里的段,就是指系统分配出来的那个连续的内存空间。
分段的办法很好,解决了程序本身不需要关心具体的物理内存地址的问题,但它也有一些不足之处,第一个就是内存碎片(Memory Fragmentation)的问题。
我们来看这样一个例子。我现在手头的这台电脑,有 1GB 的内存。我们先启动一个图形渲染程序,占用了 512MB 的内存,接着启动一个 Chrome 浏览器,占用了 128MB 内存,再启动一个 Python 程序,占用了 256MB 内存。这个时候,我们关掉 Chrome,于是空闲内存还有 1024 - 512 - 256 = 256MB。按理来说,我们有足够的空间再去装载一个200MB 的程序。但是,这 256MB 的内存空间不是连续的,而是被分成了两段 128MB 的内存。因此,实际情况是,我们的程序没办法加载进来。
当然,这个我们也有办法解决。解决的办法叫 内存交换 (Memory Swapping)。
我们可以把 Python 程序占用的那 256MB 内存写到硬盘上,然后再从硬盘上读回来到内存里面。不过读回来的时候,我们不再把它加载到原来的位置,而是紧紧跟在那已经被占用了的 512MB 内存后面。这样,我们就有了连续的 256MB 内存空间,就可以去加载一个新的200MB 的程序。如果你自己安装过 Linux 操作系统,你应该遇到过分配一个 swap 硬盘分区的问题。这块分出来的磁盘空间,其实就是专门给 Linux 操作系统进行内存交换用的。
虚拟内存、分段,再加上内存交换,看起来似乎已经解决了计算机同时装载运行很多个程序的问题。不过,你千万不要大意,这三者的组合仍然会遇到一个性能瓶颈。硬盘的访问速度要比内存慢很多,而每一次内存交换,我们都需要把一大段连续的内存数据写到硬盘上。所以,如果内存交换的时候,交换的是一个很占内存空间的程序,这样整个机器都会显得卡顿。
内存分页
既然问题出在内存碎片和内存交换的空间太大上,那么解决问题的办法就是,少出现一些内存碎片。另外,当需要进行内存交换的时候,让需要交换写入或者从磁盘装载的数据更少一点,这样就可以解决这个问题。这个办法,在现在计算机的内存管理里面,就叫作 内存分页 (Paging)。
和分段这样分配一整段连续的空间给到程序相比,分页是把整个物理内存空间切成一段段固定尺寸的大小 。而对应的程序所需要占用的虚拟内存空间,也会同样切成一段段固定尺寸的大小。这样一个连续并且尺寸固定的内存空间,我们叫页(Page)。从虚拟内存到物理内存的映射,不再是拿整段连续的内存的物理地址,而是按照一个一个页来的。页的尺寸一般远远小于整个程序的大小。在 Linux 下,我们通常只设置成 4KB。你可以通过命令看看你手头的 Linux 系统设置的页的大小。
getconf PAGE_SIZE
由于内存空间都是预先划分好的,也就没有了不能使用的碎片,而只有被释放出来的很多4KB 的页。即使内存空间不够,需要让现有的、正在运行的其他程序,通过内存交换释放出一些内存的页出来,一次性写入磁盘的也只有少数的一个页或者几个页,不会花太多时间,让整个机器被内存交换的过程给卡住。
更进一步地,分页的方式使得我们在加载程序的时候,不再需要一次性都把程序加载到物理内存中。我们完全可以在进行虚拟内存和物理内存的页之间的映射之后,并不真的把页加载到物理内存里,而是只在程序运行中,需要用到对应虚拟内存页里面的指令和数据时,再加载到物理内存里面去。
实际上,我们的操作系统,的确是这么做的。当要读取特定的页,却发现数据并没有加载到物理内存里的时候,就会触发一个来自于 CPU 的 缺页错误 (Page Fault)。我们的操作系统会捕捉到这个错误,然后将对应的页,从存放在硬盘上的虚拟内存里读取出来,加载到物理内存里。这种方式,使得我们可以运行那些远大于我们实际物理内存的程序。同时,这样一来,任何程序都不需要一次性加载完所有指令和数据,只需要加载当前需要用到就行了。
通过虚拟内存、内存交换和内存分页这三个技术的组合,我们最终得到了一个让程序不需要考虑实际的物理内存地址、大小和当前分配空间的解决方案。这些技术和方法,对于我们程序的编写、编译和链接过程都是透明的。这也是我们在计算机的软硬件开发中常用的一种方法,就是 加入一个间接层 。
通过引入虚拟内存、页映射和内存交换,我们的程序本身,就不再需要考虑对应的真实的内存地址、程序加载、内存管理等问题了。任何一个程序,都只需要把内存当成是一块完整而连续的空间来直接使用。
总结延伸
现在回到开头我问你的问题,我们的电脑只要 640K 内存就够了吗?很显然,现在来看,比尔·盖茨的这个判断是不合理的,那为什么他会这么认为呢?因为他也是一个很优秀的程序员啊!
在虚拟内存、内存交换和内存分页这三者结合之下,你会发现,其实要运行一个程序,“必需”的内存是很少的。CPU 只需要执行当前的指令,极限情况下,内存也只需要加载一页就好了。再大的程序,也可以分成一页。每次,只在需要用到对应的数据和指令的时候,从硬盘上交换到内存里面来就好了。以我们现在 4K 内存一页的大小,640K 内存也能放下足足 160 页呢,也无怪乎在比尔·盖茨会说出“640K ought to be enough for anyone”这样的话。
不过呢,硬盘的访问速度比内存慢很多,所以我们现在的计算机,没有个几 G 的内存都不好意思和人打招呼。
那么,除了程序分页装载这种方式之外,我们还有其他优化内存使用的方式么?下一讲,我们就一起来看看“动态装载”,学习一下让两个不同的应用程序,共用一个共享程序库的办法。