matlab能處理大數據嗎

Ⅰ matlab能處理千萬行

clc
clear
Ly=fopen('F:\Ly\201704\16\ergou.txt','wt');
fid=fopen('F:\Ly\201704\16\舉畝謹z1.txt','rt');
%%逐行讀取，逐行處理，逐行輸出。
while feof(fid)~=1
A=fgetl(fid);
%%處理數據代碼段正基
[row_A,column_A]=size(A);
k=1;column_Rs=1;temp_A= char();
for i=1:column_A
if (A(i)>=

開通VIP 解鎖文章
打開CSDN，閱讀體驗耐納更佳

Ⅱ matlab能處理多大的矩陣

MATLAB應該對矩陣的大小沒碰譽限制，但是用戶的內存對程序有限制。

計算一個矩陣所用的內存大小可以這樣：

numel(A)*8 位元組

因為matlab矩陣都是double類型的，一個double是用8個位元組，可以用 numel(A)*8/1024 KB

numel(A)*8/1024/1024 MB

numel(A)*8/1024/1024/1024 GB

(2)matlab能處理大數據嗎擴展閱讀：

MATLAB和矩陣有關的拿含函數

ones( ) 創建一個所有元素都為1的矩陣，其中可以制定維數，1，2….個變數

zeros() 創建一個所有元素都為0的矩陣

eye() 創消吵笑建對角元素為1，其他元素為0的矩陣

diag() 根據向量創建對角矩陣，即以向量的元素為對角元素

rand() 創建隨機矩陣，服從均勻分布

randn() 創建隨機矩陣，服從正態分布

Ⅲ 有關於大數據處理的軟體，能夠大批量的進行數學計算。求大家推薦

我接觸過的軟體，MATLAB比較適合你，簡單易學，許多復雜矩陣運算都已經模塊化了，很方便。

Ⅳ matlab2022b佔用內存太大

你可以毀世嘗試使用以下方法進行減少內存佔用:

1. 關閉不必要的程序和文件，避免多程序同時運行。

2. 減少大量變數的內存使用。 盡量使用佔用空間小的數據類型或數據壓縮演算法。

3. 通過減小圖像或視頻大小、采樣率或幀率等，降低需要處理的數據量。

4. 盡量使用MATLAB內置功能而不是自己編寫程序和函數。這樣可以省略常見繁瑣的內存管理步驟塵余歲。

5. 如果出現極端情況內存仍然不夠用，可以考慮使用硬碟交換技術，將一部分數據轉移到臨時文件中。

希望以上方法能夠幫助你減少MATLAB2022b的派睜內存佔用。

Ⅳ 如何用MATLAB處理大數據

那怎麼用matlab處理rsoft數據
比如，你的文件名為A.txt 確保A中是行或列矩陣內
現在導入
x=load('A.txt'); %x是行或列矩陣
y=sin(x) % 這里加入公容式是y=sin（x），這個你根據自己的可以換。
然後到處y即可，也可以作圖。

Ⅵ matlab能否處理大量excel文件的數據

可以的，試用xlsread函數就可以讀取EXCEL文件。

Ⅶ 大數據處理需要用到的九種編程語言

大數據處理需要用到的九種編程語言

隨著大數據的熱潮不斷升溫，幾乎各個領域都有洪水傾瀉般的信息涌來，面對用戶成千上萬的瀏覽記錄、記錄行為數據，如果就單純的Excel來進行數據處理是遠遠不能滿足的。但如果只用一些操作軟體來分析，而不怎麼如何用邏輯數據來分析的話，那也只是簡單的數據處理。

替代性很高的工作，而無法深入規劃策略的核心。

當然，基本功是最不可忽略的環節，想要成為數據科學家，對於這幾個程序你應該要有一定的認識：

若要列出所有程序語言，你能忘記其他的沒關系，但最不能忘的就是R。從1997年悄悄地出現，最大的優勢就是它免費，為昂貴的統計軟體像是Matlab或SAS的另一種選擇。

但是在過去幾年來，它的身價大翻轉，變成了資料科學界眼中的寶。不只是木訥的統計學家熟知它，包括WallStreet交易員、生物學家，以及矽谷開發者，他們都相當熟悉R。多元化的公司像是Google、Facebook、美國銀行以及NewYorkTimes通通都使用R，它的商業效用持續提高。

R的好處在於它簡單易上手，透過R，你可以從復雜的數據集中篩選你要的數據，從復雜的模型函數中操作數據，建立井然有序的圖表來呈現數字，這些都只需要幾行程序代碼就可以了，打個比方，它就像是好動版本的Excel。

R最棒的資產就是活躍的動態系統，R社群持續地增加新的軟體包，還有以內建豐富的功能集為特點。目前估計已有超過200萬人使用R，最近的調查顯示，R在數據科學界里，到目前為止最受歡迎的語言，佔了回復者的61%（緊追在後的是39%的Python）。

它也吸引了WallStreet的注目。傳統而言，證券分析師在Excel檔從白天看到晚上，但現在R在財務建模的使用率逐漸增加，特別是可視化工具，美國銀行的副總裁NiallO』Conno說，「R讓我們俗氣的表格變得突出」。

在數據建模上，它正在往逐漸成熟的專業語言邁進，雖然R仍受限於當公司需要製造大規模的產品時，而有的人說他被其他語言篡奪地位了。

「R更有用的是在畫圖，而不是建模。」頂尖數據分析公司Metamarkets的CEO，MichaelDriscoll表示，

「你不會在Google的網頁排名核心或是Facebook的朋友們推薦演算法時看到R的蹤影，工程師會在R里建立一個原型，然後再到Java或Python里寫模型語法」。

舉一個使用R很有名的例子，在2010年時，PaulButler用R來建立Facebook的世界地圖，證明了這個語言有多豐富多強大的可視化數據能力，雖然他現在比以前更少使用R了。

「R已經逐漸過時了，在龐大的數據集底下它跑的慢又笨重」Butler說。

所以接下來他用什麼呢?

如果說R是神經質又令人喜愛的Geek，那Python就是隨和又好相處的女生。

Python結合了R的快速、處理復雜數據采礦的能力以及更務實的語言等各個特質，迅速地成為主流，Python比起R，學起來更加簡單也更直觀，而且它的生態系統近幾年來不可思議地快速成長，在統計分析上比起R功能更強。

Butler說，「過去兩年間，從R到Python地顯著改變，就像是一個巨人不斷地推動向前進」。

在數據處理范疇內，通常在規模與復雜之間要有個取捨，而Python以折衷的姿態出現。IPythonNotebook（記事本軟體）和NumPy被用來暫時存取較低負擔的工作量，然而Python對於中等規模的數據處理是相當好的工具；Python擁有豐富的資料族，提供大量的工具包和統計特徵。

美國銀行用Python來建立新產品和在銀行的基礎建設介面，同時也處理財務數據，「Python是更廣泛又相當有彈性，所以大家會對它趨之若鶩。」O』Donnell如是說。

然而，雖然它的優點能夠彌補R的缺點，它仍然不是最高效能的語言，偶爾才能處理龐大規模、核心的基礎建設。Driscoll是這么認為的。

今日大多數的數據科學都是透過R、Python、Java、Matlab及SAS為主，但仍然存在著鴻溝要去彌補，而這個時候，新進者Julia看到了這個痛點。

Julia仍太過於神秘而尚未被業界廣泛的採用，但是當談到它的潛力足以搶奪R和Python的寶座時，數據黑客也難以解釋。原因在於Julia是個高階、不可思議的快速和善於表達的語言，比起R要快的許多，比起Python又有潛力處理更具規模的數據，也很容易上手。

「Julia會變的日漸重要，最終，在R和Python可以做的事情在Julia也可以」。Butler是這么認為的。

就現在而言，若要說Julia發展會倒退的原因，大概就是它太年輕了。Julia的數據小區還在初始階段，在它要能夠和R或Python競爭前，它還需要更多的工具包和軟體包。

Driscoll說，它就是因為它年輕，才會有可能變成主流又有前景。

Driscoll說，Java和以Java為基礎的架構，是由矽谷里最大的幾家科技公司的核心所建立的，如果你從Twitter、Linkedin或是Facebook里觀察，你會發現Java對於所有數據工程基礎架構而言，是非常基礎的語言。

Java沒有和R和Python一樣好的可視化功能，它也不是統計建模的最佳工具，但是如果你需要建立一個龐大的系統、使用過去的原型，那Java通常會是你最基的選擇。

Hadoop and Hive

為了迎合大量數據處理的需求，以Java為基礎的工具群興起。Hadoop為處理一批批數據處理，發展以Java為基礎的架構關鍵；相較於其他處理工具，Hadoop慢許多，但是無比的准確和可被後端資料庫分析廣泛使用。和Hive搭配的很好，Hive是基於查詢的架構下，運作的相當好。

又是另一個以Java為基礎的語言，和Java很像，對任何想要進行大規模的機械學習或是建立高階的演算法，Scala會是逐漸興起的工具。它是善於呈現且擁有建立可靠系統的能力。

「Java像是用鋼鐵建造的；Scala則是讓你能夠把它拿進窯烤然後變成鋼的黏土」Driscoll說。

說到當你需要快速的、實時的分析時，你會想到什麼?Kafka將會是你的最佳夥伴。其實它已經出現五年有了，只是因為最近串流處理興起才變的越來越流行。

Kafka是從Linkedin內誕生的，是一個特別快速的查詢訊息系統。Kafka的缺點呢?就是它太快了，因此在實時操作時它會犯錯，有時候會漏掉東西。

魚與熊掌不可兼得，「必須要在准確度跟速度之間做一個選擇」，Driscoll說。所以全部在矽谷的科技大公司都利用兩個管道：用Kafka或Storm處理實時數據，接下來打開Hadoop處理一批批處理數據系統，這樣聽起來有點麻煩又會有些慢，但好處是，它非常非常精準。

Storm是另一個從Scala寫出來的架構，在矽谷逐漸大幅增加它在串流處理的受歡迎程度，被Twitter並購，這並不意外，因為Twitter對快速事件處理有極大的興趣。

Matlab可以說是歷久不衰，即使它標價很高；在非常特定的利基市場它使用的相當廣泛，包括密集的研究機器學習、信號處理、圖像辨識等等。

Octave和Matlab很像，除了它是免費的之外。然而，在學術信號處理的圈子，幾乎都會提到它。

GO是另一個逐漸興起的新進者，從Google開發出來的，放寬點說，它是從C語言來的，並且在建立強大的基礎架構上，漸漸地成為Java和Python的競爭者。

這么多的軟體可以使用，但我認為不見得每個都一定要會才行，知道你的目標和方向是什麼，就選定一個最適合的工具使用吧!可以幫助你提升效率又達到精準的結果。

以上是小編為大家分享的關於大數據處理需要用到的九種編程語言的相關內容，更多信息可以關注環球青藤分享更多干貨

Ⅷ matlab可以做big data嗎

從2014b引入岩做了一歲純些大數據分析的能力粗雀衡，但沒用過。

以下是release notes裡面的介紹：

Big data analysis on your desktop that can scale to Hadoop with maprece

The maprece function enables analysis of data sets that do not fit in your computer's memory. It is used to process large data sets on your desktop, and can also be extended to run on Hadoop® to process big data. MapRece is a powerful technique for applying data processing methods to very large data sets, from simple statistics to complex machine learning algorithms.

For more information, including a selection of examples, see MapRece.

The functionality of maprece extends beyond MATLAB with the following procts:

• Access relational databases using Database Toolbox™

• Increased performance on desktops with Parallel Computing Toolbox

• Scaling up to Hadoop using MATLAB Distributed Computing Server™

• Create deployable archives or standalone applications that run against Hadoop using MATLAB Compiler™

Ⅸ Matlab高手請指教（龐大數據讀取如何處理）

matlab讀取100萬個數據的速陪塵度很快 運算起蘆讓禪來比較慢 如果用c c++反而難編程 我的課題讀取10個圖 每個30萬個點 3色也只用了很少時間 不超過20秒 你的還不如我多吧 你才200萬個點 不過matlab計算比較慢 需要一分鍾或者更長

vb也是解釋性語言 慢 和matlab一樣 如果你追求速度 可以用matlab的mex功能 用c編寫程序 再補充數據介面 再用mex運行c程滑衡序 和m文件一樣 既快又簡單 還兼容m文件

Ⅹ MATLAB大數據處理

應使用eval來計算字元串：

X=zeros(30,1);

fori=1:30
eval(sprintf('X(%d)=x%d(1,6)',i,i));
end