『壹』 Node.js 與 Python 作為後端服務的編程語言各有什麼優劣
一. NodeJS的特點
我們先來看看NodeJS官網上的介紹:
Node.jsis a platform built on Chrome』sjavaScriptruntime for easily building fast, scalable network applications.node.jsuses an event-driven, non-blocking I/O model that makes it lightweight and efficient, perfect for data-intensive real-time applications that run across distributed devices.
其特點為:
1. 它是一個Javascript運行環境
2. 依賴於Chrome V8引擎進行代碼解釋
3. 事件驅動
4. 非阻塞I/O
5. 輕量、可伸縮,適於實時數據交互應用
6. 單進程,單線程
二. NodeJS帶來的對系統瓶頸的解決方案
它的出現確實能為我們解決現實當中系統瓶頸提供了新的思路和方案,下面我們看看它能解決什麼問題。
1. 並發連接
舉個例子,想像一個場景,我們在銀行排隊辦理業務,我們看看下面兩個模型。
(1)系統線程模型:
這種模型的問題顯而易見,服務端只有一個線程,並發請求(用戶)到達只能處理一個,其餘的要先等待,這就是阻塞,正在享受服務的請求阻塞後面的請求了。
(2)多線程、線程池模型:
這個模型已經比上一個有所進步,它調節服務端線程的數量來提高對並發請求的接收和響應,但並發量高的時候,請求仍然需要等待,它有個更嚴重的問題。到代碼層面上來講,我們看看客戶端請求與服務端通訊的過程:
服務端與客戶端每建立一個連接,都要為這個連接分配一套配套的資源,主要體現為系統內存資源,以PHP為例,維護一個連接可能需要20M的內存。這就是為什麼一般並發量一大,就需要多開伺服器。
那麼NodeJS是怎麼解決這個問題的呢?我們來看另外一個模型,想像一下我們在快餐店點餐吃飯的場景。
(3)非同步、事件驅動模型
我們同樣是要發起請求,等待伺服器端響應;但是與銀行例子不同的是,這次我們點完餐後拿到了一個號碼,拿到號碼,我們往往會在位置上等待,而在我們後面的請求會繼續得到處理,同樣是拿了一個號碼然後到一旁等待,接待員能一直進行處理。
等到飯菜做號了,會喊號碼,我們拿到了自己的飯菜,進行後續的處理(吃飯)。這個喊號碼的動作在NodeJS中叫做回調(Callback),能在事件(燒菜,I/O)處理完成後繼續執行後面的邏輯(吃飯),這體現了NodeJS的顯著特點,非同步機制、事件驅動整個過程沒有阻塞新用戶的連接(點餐),也不需要維護已經點餐的用戶與廚師的連接。
基於這樣的機制,理論上陸續有用戶請求連接,NodeJS都可以進行響應,因此NodeJS能支持比Java、PHP程序更高的並發量雖然維護事件隊列也需要成本,再由於NodeJS是單線程,事件隊列越長,得到響應的時間就越長,並發量上去還是會力不從心。
總結一下NodeJS是怎麼解決並發連接這個問題的:更改連接到伺服器的方式,每個連接發射(emit)一個在NodeJS引擎進程中運行的事件(Event),放進事件隊列當中,而不是為每個連接生成一個新的OS線程(並為其分配一些配套內存)。
2. I/O阻塞
NodeJS解決的另外一個問題是I/O阻塞,看看這樣的業務場景:需要從多個數據源拉取數據,然後進行處理。
(1)串列獲取數據,這是我們一般的解決方案,以PHP為例
假如獲取profile和timeline操作各需要1S,那麼串列獲取就需要2S。
(2)NodeJS非阻塞I/O,發射/監聽事件來控制執行過程
NodeJS遇到I/O事件會創建一個線程去執行,然後主線程會繼續往下執行的,因此,拿profile的動作觸發一個I/O事件,馬上就會執行拿timeline的動作,兩個動作並行執行,假如各需要1S,那麼總的時間也就是1S。它們的I/O操作執行完成後,發射一個事件,profile和timeline,事件代理接收後繼續往下執行後面的邏輯,這就是NodeJS非阻塞I/O的特點。
總結一下:Java、PHP也有辦法實現並行請求(子線程),但NodeJS通過回調函數(Callback)和非同步機制會做得很自然。
三. NodeJS的優缺點
優點:1. 高並發(最重要的優點)
2. 適合I/O密集型應用
缺點:1. 不適合CPU密集型應用;CPU密集型應用給Node帶來的挑戰主要是:由於JavaScript單線程的原因,如果有長時間運行的計算(比如大循環),將會導致CPU時間片不能釋放,使得後續I/O無法發起;
解決方案:分解大型運算任務為多個小任務,使得運算能夠適時釋放,不阻塞I/O調用的發起;
2. 只支持單核CPU,不能充分利用CPU
3. 可靠性低,一旦代碼某個環節崩潰,整個系統都崩潰
原因:單進程,單線程
解決方案:(1)Nnigx反向代理,負載均衡,開多個進程,綁定多個埠;
(2)開多個進程監聽同一個埠,使用cluster模塊;
4. 開源組件庫質量參差不齊,更新快,向下不兼容
5. Debug不方便,錯誤沒有stack trace
四. 適合NodeJS的場景
1. RESTful API
這是NodeJS最理想的應用場景,可以處理數萬條連接,本身沒有太多的邏輯,只需要請求API,組織數據進行返回即可。它本質上只是從某個資料庫中查找一些值並將它們組成一個響應。由於響應是少量文本,入站請求也是少量的文本,因此流量不高,一台機器甚至也可以處理最繁忙的公司的API需求。
2. 統一Web應用的UI層
目前MVC的架構,在某種意義上來說,Web開發有兩個UI層,一個是在瀏覽器裡面我們最終看到的,另一個在server端,負責生成和拼接頁面。
不討論這種架構是好是壞,但是有另外一種實踐,面向服務的架構,更好的做前後端的依賴分離。如果所有的關鍵業務邏輯都封裝成REST調用,就意味著在上層只需要考慮如何用這些REST介面構建具體的應用。那些後端程序員們根本不操心具體數據是如何從一個頁面傳遞到另一個頁面的,他們也不用管用戶數據更新是通過Ajax非同步獲取的還是通過刷新頁面。
3. 大量Ajax請求的應用
例如個性化應用,每個用戶看到的頁面都不一樣,緩存失效,需要在頁面載入的時候發起Ajax請求,NodeJS能響應大量的並發請求。總而言之,NodeJS適合運用在高並發、I/O密集、少量業務邏輯的場景。
Python的優缺點
優點
簡單————Python是一種代表簡單主義思想的語言。閱讀一個良好的Python程序就感覺像是在讀英語一樣,盡管這個英語的要求非常嚴格!Python的這種偽代碼本質是它最大的優點之一。它使你能夠專注於解決問題而不是去搞明白語言本身。
易學————就如同你即將看到的一樣,Python極其容易上手。前面已經提到了,Python有極其簡單的語法。
免費、開源————Python是FLOSS(自由/開放源碼軟體)之一。簡單地說,你可以自由地發布這個軟體的拷貝、閱讀它的源代碼、對它做改動、把它的一部分用於新的自由軟體中。FLOSS是基於一個團體分享知識的概念。這是為什麼Python如此優秀的原因之一——它是由一群希望看到一個更加優秀的Python的人創造並經常改進著的。
高層語言————當你用Python語言編寫程序的時候,你無需考慮諸如如何管理你的程序使用的內存一類的底層細節。
可移植性————由於它的開源本質,Python已經被移植在許多平台上(經過改動使它能夠工作在不同平台上)。如果你小心地避免使用依賴於系統的特性,那麼你的所有Python程序無需修改就可以在下述任何平台上面運行。這些平台包括linux、Windows、FreeBSD、Macintosh、Solaris、OS/2、Amiga、AROS、AS/400、BeOS、OS/390、z/OS、Palm OS、QNX、VMS、Psion、Acom RISC OS、VxWorks、PlayStation、Sharp Zaurus、Windows CE甚至還有PocketPC、Symbian以及Google基於linux開發的Android平台!
解釋性————這一點需要一些解釋。一個用編譯性語言比如C或C++寫的程序可以從源文件(即C或C++語言)轉換到一個你的計算機使用的語言(二進制代碼,即0和1)。這個過程通過編譯器和不同的標記、選項完成。當你運行你的程序的時候,連接/轉載器軟體把你的程序從硬碟復制到內存中並且運行。而Python語言寫的程序不需要編譯成二進制代碼。你可以直接從源代碼 運行 程序。在計算機內部,Python解釋器把源代碼轉換成稱為位元組碼的中間形式,然後再把它翻譯成計算機使用的機器語言並運行。事實上,由於你不再需要擔心如何編譯程序,如何確保連接轉載正確的庫等等,所有這一切使得使用Python更加簡單。由於你只需要把你的Python程序拷貝到另外一台計算機上,它就可以工作了,這也使得你的Python程序更加易於移植。
面向對象————Python既支持面向過程的編程也支持面向對象的編程。在「面向過程」的語言中,程序是由過程或僅僅是可重用代碼的函數構建起來的。在「面向對象」的語言中,程序是由數據和功能組合而成的對象構建起來的。與其他主要的語言如C++和Java相比,Python以一種非常強大又簡單的方式實現面向對象編程。
可擴展性————如果你需要你的一段關鍵代碼運行得更快或者希望某些演算法不公開,你可以把你的部分程序用C或C++編寫,然後在你的Python程序中使用它們。
可嵌入性————你可以把Python嵌入你的C/C++程序,從而向你的程序用戶提供腳本功能。
豐富的庫————Python標准庫確實很龐大。它可以幫助你處理各種工作,包括正則表達式、文檔生成、單元測試、線程、資料庫、網頁瀏覽器、CGI、FTP、電子郵件、XML、XML-RPC、HTML、WAV文件、密碼系統、GUI(圖形用戶界面)、Tk和其他與系統有關的操作。記住,只要安裝了Python,所有這些功能都是可用的。這被稱作Python的「功能齊全」理念。除了標准庫以外,還有許多其他高質量的庫,如wxPython、Twisted和Python圖像庫等等。
概括————Python確實是一種十分精彩又強大的語言。它合理地結合了高性能與使得編寫程序簡單有趣的特色。
規范的代碼————Python採用強制縮進的方式使得代碼具有極佳的可讀性。
缺點
強制縮進
這也許不應該被稱為局限,但是它用縮進來區分語句關系的方式還是給很多初學者帶來了困惑。即便是很有經驗的Python程序員,也可能陷入陷阱當中。最常見的情況是tab和空格的混用會導致錯誤,而這是用肉眼無法分別的。
單行語句和命令行輸出問題
很多時候不能將程序連寫成一行,如import sys;for i in sys.path:print i。而perl和awk就無此限制,可以較為方便的在shell下完成簡單程序,不需要如Python一樣,必須將程序寫入一個.py文件。(對很多用戶而言這也不算是限制)
NO.1 運行速度,有速度要求的話,用C++改寫關鍵部分吧。
NO.2 國內市場較小(國內以python來做主要開發的,目前只有一些web2.0公司)。但時間推移,目前很多國內軟體公司,尤其是游戲公司,也開始規模使用他。
No.3 中文資料匱乏(好的python中文資料屈指可數)。托社區的福,有幾本優秀的教材已經被翻譯了,但入門級教材多,高級內容還是只能看英語版。
NO.4 構架選擇太多(沒有像C#這樣的官方.net構架,也沒有像ruby由於歷史較短,構架開發的相對集中。Ruby on Rails 構架開發中小型web程序天下無敵)。不過這也從另一個側面說明,python比較優秀,吸引的人才多,項目也多。
『貳』 頁面怎麼用node.js調用mdb資料庫
1、跨進程通信
新版的nodejs里增加了對子進程的操作,跨進程通信不是問題。
http://nodejs.org/docs/latest/api/all.html#child_Processes
復制代碼 代碼如下:
var util = require('util'),
exec = require('child_process').exec,
child;
child = exec('cat *.js bad_file | wc -l',
function (error, stdout, stderr) {
console.log('stdout: ' + stdout);
console.log('stderr: ' + stderr);
if (error !== null) {
console.log('exec error: ' + error);
}
});
如例我們可以拿到控制台的輸出內容stdout!
2、資料庫訪問相關ActiveX,ADODB.Connection
參考:http://msdn.microsoft.com/en-us/library/windows/desktop/aa746471%28v=vs.85%29.aspx
復制代碼 代碼如下:
var connection = new ActiveXObject("ADODB.Connection");
var result = 'ok';
try{
connection.Open("Provider=Microsoft.Jet.OLEDB.4.0;Data Source=" + params.accessfile);
connection.Execute(params.sql);
} catch(ex){
result = ex.message;
}
return {
result: result
};
connection.Open(connectionString),鏈接字元串參數可以設置訪問sql server。
參考:http://www.connectionstrings.com/sql-server-2005
3、為方便維護,特別將cscript和nodejs的腳本合並,用typeof exports判斷當前運行環境。
4、字元編碼cscript代碼使用ascii編碼
非ascii碼字元進行「\uHHHH」Unicode編碼。
5、命令行字元需轉義,雙引號、百分號在命令行有特殊意義。
參數傳遞使用base64編碼,避免沖突
cscript環境MSXML2.DOMDocument可以做base64編解碼
復制代碼 代碼如下:
function base64Decode(base64){
var xmldom = new ActiveXObject("MSXML2.DOMDocument");
var adostream = new ActiveXObject("ADODB.Stream");
var temp = xmldom.createElement("temp");
temp.dataType = "bin.base64";
temp.text = base64;
adostream.Charset = "utf-8";
adostream.Type = 1; // 1=adTypeBinary 2=adTypeText
adostream.Open();
adostream.Write(temp.nodeTypedValue);
adostream.Position = 0;
adostream.Type = 2; // 1=adTypeBinary 2=adTypeText
var result = adostream.ReadText(-1); // -1=adReadAll
adostream.Close();
adostream = null;
xmldom = null;
return result;
}
『叄』 如何利用Node.js 構建分布式集群
那麼到底是如何實現服務端調用解耦的呢?在實現方案中,我們採用了(Node.js + Protocol Buffers + Zookeeper + RabbitMQ)的組合,從而實現配置集中化管理:
1.Node.js,主要用於開發業務邏輯。
作為天生的非同步腳本語言,Node.js 使用事件驅動、 非阻塞I/O模型大大提升了研發效率,非常適合在分布式設備上運行的數據密集型的實時應用。
我們通過 Fibers庫採用協程的方式來解決Node.js 非同步編程匿名回調問題,將非同步回調邏輯轉化為同步,同時也滿足了程序員使用同步方法編寫非同步程序的情懷。
可參考官方介紹: https://nodejs.org/
https://github.com/laverdet/node-fibers
2.Protocol Buffers,用於強約束消息定義。
Protocol Buffers一種數據交換的格式,它獨立於語言,獨立於平台。由於它是一種二進制的格式,相比XML和JSON,傳輸效率會更高,可以將它用於分布式應用之間的數據通信或者異構環境下的數據交換。我們主要將Protocol Buffers用來模版化定義消息結構。
可參考: https://github.com/google/protobuf
3.Zookeeper,實現配置集中管理。
Zookeeper分布式服務框架是Apache Hadoop 的一個子項目,簡單的說,Zookeeper=文件系統+通知機制。它主要是用來解決分布式應用中經常遇到的一些數據管理問題,如:統一命名服務、狀態同步服務、集群管理、分布式應用配置項的管理等。
我們使用ZooKeeper看重的是它不僅支持集群高可用,還支持持久化節點、臨時節點存儲和節點變更監控的特點,主要使用了它提供的命名服務、配置管理和集群管理服務。其中,臨時節點特性用以實現名字服務注冊,節點變更監控實現配置集中管理。
參考: https://zookeeper.apache.org/
4.RabbitMQ,實現異構通訊服務間的解耦。
Rabbitmq是一種應用程序對應用程序的通信方法,選擇RabbitMQ的原因在於它可以支持集群高可用、簡單易用、性能出色和完善的管理工具(如:Web ui / Rest API )的特點。
使用Rabbitmq中間件服務端實現解耦,其中主要是利用( Work Queue + Topics Exchange )來實現後端的無縫擴容,並採用Publish/Subscribe + RPC 實現調用解耦,並利用MQ 統一輸入輸出。
參考: https://www.rabbitmq.com/
走過的一些坑
最後,總結經驗避免犯同樣的錯,是非常重要的,還有一些技術遺留問題,需要我們自行避開這些坑。以下是我們在構建RPC框架過程中遇到的一些坑:
非同步編程效率問題(Fibers)& Node.js 內存泄漏問題
在復雜在構建復雜應用的時候,很多地方都可能發生內存泄露,也需要考慮非同步編程效率問題。為解決這兩個問題,我們目前主要採取以下三個手段來解決:
a) 框架封裝所有網路通信,業務方只關注業務邏輯、提高研發效率;
b)通過Fibers 封裝所有非同步函數調用轉換為同步方法;
c)謹慎選擇第三方庫。
非同步框架中日誌跟蹤
非同步程序記錄日誌亂序不利於跟蹤業務邏輯調用路徑。為解決這個問題,我們通過包裝 Fibers 對每一個 Fiber 實例進行編號,在所有日誌輸出中列印 Fiber id 記錄非同步調用路徑,並配合跨模塊會話編號實現請求調用跟蹤,以此解決日誌紀錄的無序問題。
RabbitMQ HA 高可用問題
如果需要實現RabbitMQ HA 高可用特性,有兩種途徑可以實現:Server 端 HA 和 Client HA。Server 端的高可用性可使用 LVS 或 HAProxy來實現,Client 端的高可用性也是一種選擇,這樣可以減少架構復雜度和層次依賴。值得注意的是,實現高可用特性時,要記得開啟Queue 高可用配置。
(https://www.rabbitmq.com/ha.html)
RabbitMQ HA 網路閃斷導致節點分區問題
網路不穩定導致RabbitMQ HA 網路閃斷,進而導致節點分區問題。針對這個問題,需要添加對 /api/nodes 進行監控,並及時處理分區問題。
具體的解決方法可參考: https://www.rabbitmq.com/partitions.html
ZooKeeper Session Expired
針對ZooKeeper 會話過期問題,需要大家特別關注處理Zookeeper 集群斷開後的重連處理,因為如果重連邏輯沒有處理好的話,所有依賴ZooKeeper的特性都將不可用。
具體解決方法可參考: http://wiki.apache.org/hadoop/ZooKeeper/FAQ
結 語
經過應用實踐,目前看來 Node.js幾乎可以做到其他後端語言所能做到所有的事情,ES6特性正式發布如今有人已經開始高喊「javascript: The World's Best Programming Language」,但我也並不認為整個後端完全用Node.js來實現會是一個很好的方案。
本文中提到了Node.js的諸多優點,如非同步、非阻塞和事件驅動等,但其也存在一些缺點,如默認單進程單線程不能利用多核,腳本弱類型容易出現運行時BUG,同時因為它簡單易用,也導致了代碼質量不易控制,對開發人員也提出了更高的要求。所以,就個人經驗來看,建議偏復雜業務邏輯控制使用Node.js,如果是偏極致性能的業務建議和C++等其他方案結合使用。
『肆』 如何將xml文件轉成word文檔
1、找到需要轉換為word文檔的xml文檔。
『伍』 JSON,JS,NODEJS三者的關系是怎樣
三者性質完全不一樣
JS是JavaScript語言,是一種解釋性編程語言
JSON是JavaScript Object Notation,意思是JS語言中對象的表達專法,常用於數據傳輸(與屬XML的作用類似),常在AJAX中替代XML
NodeJS是一種服務端平台,可以在服務端運行用JavaScript寫的服務端腳本
注意的是:JS中函數本身就是個對象,所以函數可以作為形參不是NodeJS獨有的,准確的說,NodeJS就是用Chrome瀏覽器的Google V8解釋器來解釋JS
總結來說:
JS是個編程語言
JSON是一種數據格式(沒有邏輯只有數據)
NodeJS是個軟體(JS服務端運行環境)
順帶一提:HTML是XML的派生(HTML是一種XML)但是為了適應其特定作用而有所改變,HTML(XML)與JSON同為數據表達語言,嚴格來講並不包含邏輯只包含數據。
『陸』 js如何遠程讀取XML並保存本地輸出
先判斷瀏覽器,然後讀取xml數據就可以了
//判斷不同的瀏覽器
function InitMf()
{
var mf_change=false;
try {
mf_change = new ActiveXObject("Msxml2.XMLHTTP");
} catch (e) {
try {
mf_change = new ActiveXObject("Microsoft.XMLHTTP");
} catch (E) {
mf_change = false;
}
}
if (!mf_change && typeof XMLHttpRequest!='undefined') {
mf_change = new XMLHttpRequest();
}
return mf_change;
}
讀取數據
var xmlHttp = InitMf();
var HTML = "";
//獲得xml文件
xmlHttp.open("GET", xmlfile+"?"+Math.random(), true);
// 設置處理伺服器的JS函數,函數又 xmlHttp.onreadystatechange來確定
xmlHttp.onreadystatechange=function() {
//alert(xmlHttp.status);
if (xmlHttp.readyState==4 && xmlHttp.status==200) {
//ajax的XML傳輸的解析。獲取解析的數據
var xml = xmlHttp.responseXML;
var node = xml.getElementsByTagName("item");//獲得總結點
for(var i = 0 ; i < node.length ; i++){
var str_t = "";
var str_d = "";
var menuHTML = "";
var elem = node[i];
//下面開始獲得子節點數據,當然可以繼續循環,獲得更下面的節點
var title = elem.getElementsByTagName("title")[0].textContent != undefined ? elem.getElementsByTagName("title")[0].textContent : elem.getElementsByTagName("title")[0].text;
這些只是部分代碼,不過已經足夠了