大數據調度前端頁面

『壹』 大數據需要學習前端嗎

不需要學習很精通，但是要了解代碼結構，可以學習java基礎和資料庫

『貳』 如何在網頁上實現千萬級別的大數據可視化渲染

實現千萬級別的大數據可視化渲染技巧：

藉助Echarts、HighCharts、D3.js等開源的可視化插件，嵌入代碼，開發成插件包，可視化工程師和前端開發常用。

代表工具FineReport（www.finereport.com），通用的報表製作和數據可視化工具，是一個開放的商業報表工具。好比Excel，小到可以存儲統計數據、製作各式各樣的圖表、dashboard，大到製作財務報表、開發進銷存系統。大家若不熟悉，可自行和Excel綁定對比。

Vue的背後

Vue是一套用於構建用戶界面的漸進式框架。與其它大型框架不同的是，Vue 被設計為可以自底向上逐層應用。Vue 的核心庫只關注視圖層，不僅易於上手，還便於與第三方庫或既有項目整合。

另一方面，當與現代化的工具鏈以及各種支持類庫結合使用時，Vue 也完全能夠為復雜的單頁應用提供驅動。用Vue的時候不需要開發者全部學會，而是學一部分就可以用一部分，就可以簡單概括為漸進式的前端框架。

『叄』 js大數據量如何實現頁面的局部渲染（不是局部刷新）--解決方法

把看到的區域當畫布，創建足夠能展現界面的Dom就夠了。
比如一個屏幕的高度一般是800像素左右，假設一條記錄佔用的高度是20像素，我們只用創建40個對象即可。
接下來就是對這40個對象進行數據填充，通過滾動條調整填充數據的起始下標。
10W條記錄，IE下有些卡
<style type="text/css">
.panel{
overflow:scroll;
width:200px;
height:80%;
}
.panel .scroll{
}
.item{
width:500px;
height:20px;
}
.odd{
background-color:#ccc;
}
.items{
overflow:hidden;
position:absolute;
}
.red{
color:red;
}
.green{
color:green;
}
</style>
<script>
window.console = window.console || { log: function() {} };

function absolutePoint(element) {
var result = [element.offsetLeft, element.offsetTop];
element = element.offsetParent;
while (element) {
result[0] += element.offsetLeft;
result[1] += element.offsetTop;
element = element.offsetParent;
}
return result;
}
function ListView(options){
options = options || {};

var self = this,
$C = function(tagName) { return document.createElement(tagName); }, // 創建節點
p,
height,
item_height, // 項高
view_count, // 可見項條數
parent = options.parent || document.body, // 容器
height, // 面板歷史高度
div_panel = $C("div"),
div_scroll = $C("div"),
div_items = $C("div"),
div_items_list = [$C("div")],
freed = [div_panel, div_scroll, div_items]; // 可釋放的對象

div_panel.className = "panel";
parent.appendChild(div_panel);

div_items.className = "items";
document.body.appendChild(div_items);

div_scroll.className = "scroll";
div_panel.appendChild(div_scroll);

div_panel.onscroll = function() {
doChange();
}
div_panel.onresize = function() {
doChange();
}

div_items_list[0].className = "item";
div_items.appendChild(div_items_list[0]);

div_scroll.style.width = div_items_list[0].clientWidth + "px";
item_height = div_items_list[0].clientHeight;

p = absolutePoint(div_panel);
with(div_items.style) {
left = p[0] + "px";
top = p[1] + "px";
width = div_panel.clientWidth;
height = div_panel.clientHeight;
}
/**
* 界面改變
*/
function doChange() {
if (!item_height) return;
var i, div;
if (height != div_panel.clientHeight) {
height = div_panel.clientHeight;
view_count = parseInt(height / item_height);
for (i = div_items_list.length; i < view_count; i++) {
div = $C("div");
div.className = "item" + (i % 2 == 0 ? "" : " odd");
div_items.appendChild(div);
div_items_list.push(div);
}
for (i = 0; i < div_items_list.length; i++) {
div_items_list[i].style.display = i < view_count ? "" : "none";
}
div_scroll.style.height = div_panel.clientHeight + options.count - view_count + "px";
console.log(["view_count", view_count]);
}
div_items.scrollLeft = div_panel.scrollLeft;
if (!options.ondrawitem) return;
i = Math.min(view_count, div_items_list.length);
while(i--) {
// 重新繪制
options.ondrawitem(i + div_panel.scrollTop, div_items_list[i]);
}
}

doChange();
this.doChange = doChange;
/**
* 釋放Dom對象
*/
this.dispose = function() {
var i = freed.length;
while(i--) {
freed[i].parentNode.removeChild(freed[i]);
}
i = freed.length;
while(i--) {
div_items_list[i].parentNode.removeChild(div_items_list[i]);
}
}
}
function format(template, json) {
if (!json) return template;
return template && template.replace(/\$\{(.+?)\}/g, function() {
return json[arguments[1]];
})
}
window.onload = function() {
var i = 100000, data = new Array(i);
while(i--) {
data[i] = { index: i, random: Math.random(), key: (+new Date()).toString(36) };
}
var listview = new ListView({
count: data.length,
ondrawitem: function(i, div) {
div.innerHTML = format(" <em>${index} </em> <span class=\"red\">${random} </span> <span class=\"green\">${key} </span>", data[i]);
}
});
};
</script>

『肆』 js大數據量如何實現頁面的局部渲染（不是局部刷新）

不知道你所說的「實現局部渲染」是什麼意思，
不就是載入時間太長了?
這里要優化的，回肯定是你的js代碼,
比如答，盡量減少對document的操作次數(可組裝成一條或幾條記錄後，再將生成的html添加到document,而不是一邊組裝一邊添加)
另外可以對1000多條數據分頁啊！

『伍』 前端處理較大數據量防止頁面卡死的方法

把數組分割一下，然後把數據一段一段的顯示到頁面，可利用 window.requestAnimationFrame或者setInterval不斷填充數據；

window.requestAnimationFrame() 告訴瀏覽器——你希望執行一個動畫，並且要求瀏覽器在 下次重繪之前 調用指定的回調函數更新動畫。該方法需要傳入一個回調函數作為參數，該回調函數會在瀏覽器下一次重繪之前執行；

原文

『陸』 前端怎麼優化大數據頁面

1.減少HTTP請求次數

盡量合並圖片、CSS、JS。比如載入一個頁面，如果有5個css文件的話，那麼會發出5次http請求，這樣會讓用戶第一次訪問你的頁面的時候會長時間等待。而如果把這個5個文件合成一個的話，就只需要發出一次http請求，節省網路請求時間，加快頁面的載入。

2.使用CDN

網站上靜態資源即css、js全都使用cdn分發，圖片亦然。

3.避免空的src和href

當link標簽的href屬性為空、script標簽的src屬性為空的時候，瀏覽器渲染的時候會把當前頁面的URL作為它們的屬性值，從而把頁面空襪巧的內容載入進來作為它斗鍵們的值。所以要避免犯這樣的疏忽。

4.為文件頭指定Expires

Exipres是用來設置文件的好乎過期時間的，一般對css、js、圖片資源有效。他可以使內容具有緩存性，這樣下回再訪問同樣的資源時就通過瀏覽器緩存區讀取，不需要再發出http請求

『柒』 前端怎麼優化大數據頁面

顯示三屏數據，其他的移除DOM。

如果要陸蠢在前端呈現大量的數據，一般的策略就是分頁。前端要呈早凳陪現百萬數據，這個需求是很少見的，但是展示千條稍微復雜粗慶點的數據，這種需求還是比較常見，只要內存夠，javascript肯定是吃得消的，計算幾千上萬條數據，js效率根本不在話下，

『捌』 如何進行大數據分析及處理

探碼科技大數據分析及處理過程

聚雲化雨的處理方式

• 聚雲：探碼科技全面覆蓋各類數據的處理應用。以數據為原料，通過網路數據採集、生產設備數據採集的方式將各種原始數據凝結成雲，為客戶打造強大的數據存儲庫；

• 化雨：利用模型演算法和人工智慧等技術對存儲的數據進行計算整合讓數據與演算法產生質變反應化雲為雨，讓真正有價值的數據流動起來；

• 開渠引流，潤物無聲：將落下「雨水」匯合成數據湖泊，對數據進行標注與處理根據行業需求開渠引流，將一條一條的數據支流匯合集成數據應用中，為行業用戶帶來價值，做到春風化雨，潤物無聲。

『玖』 針對前端大數據量處理（如10W+）

一般對兩個數組做做交集和並集處理用遍歷方法一般就是通過遍歷for等方法，但是如果遇到大數據量（10萬條數據）就會用到很長的時間和耗費內存，因為javascrip為單線程，會影響到用戶的體驗和頁面渲染、邏輯處理等問題！

使用定時器去讓大數據遍歷的時候能分成很多個非同步方法(每個非同步方法去遍歷大數據數組的一部分數據)去執行，互相也不影響，並監聽到所有非同步方法執行完成再進行下一步處理！豈不美滋滋！

之前方法

使用for循環一次性遍歷0W條數據來查找交集和並集，發現使用的時間能達到10S左右（相當影響體驗感受和邏輯處理）

方法優化 DataProcessing 類

// 測試數據

63毫秒！ 可以對DataProcessing進行更多的擴展！

多學習、多看報、多運動，不對的地方望指出來，謝謝

『拾』 Hadoop 和 BI 如何結合搭建一個基於 Hadoop+Hive 的數據倉庫，它的前端展現如何實現如何實現 BI

剛好不久前做過一個，使用hadoop+hive+elasticsearch給公司做的BI。

過程是這樣的：

1. 數據由產生端向數據收集伺服器發送請求，json文本形式存在收集伺服器磁碟上。
   

2. 定時任務，通過MR Job將數據清洗整理修復分類，雲端持久化，之後的數據作為BI的基礎數據存入hive。

3. 定時任務，每天跑hive sql（寫了一個動態渲染sql語句的引擎），更新累積表，並分析出具體各個指標的分析結果，存入elasticsearch。

4. 前端用的highcharts，jquery請求後端，傳入一些范圍限制條件，後端拿到限制條件組出查詢語句，從ES中取出符合的結果，返給前端。

5. 前端展現，即是分類的指標，篩選條件，指標內有圖表和詳細數據，以及多條件多指標橫縱對比，導出等等。