大數據標簽技術

⑴ rfid電子標簽屬於大數據方向嗎

有關聯，大數據以容量大、類型多、存取速度快、應用價值高為主要特徵的數據集合，最早應用於IT行業，目前正快速發展為對數量巨大、來源分散、格式多樣的數據進行採集、存儲和關聯分析，從中發現新知識、創造新價值、提升新能力的新一代信息技術和服務業態。而rfid電子標簽是一種無線射頻識別技術，可通過無線電訊號識別特定目標並讀寫相關數據。

⑵ 基於大數據的用戶標簽體系建設思路和應用

基於大數據的用戶標簽體系建設思路和應用
在大數據時代，數據在呈現出海量化、多樣化和價值化變化的同時，也改變了傳統IT行業的市場競爭環境、營銷策略和服務模式。
如何在ZB級的海量數據中獲取並篩選有價值的信息，是對IT企業的一大挑戰。通過構建客戶標簽，支撐精準營銷服務，是應對上述挑戰的有效解決方案。
但是怎麼設計一個完善的用戶標簽體系？怎麼打標簽？打哪些標簽？誰來打？怎麼使用用戶標簽創建商業價值？
這些都是產品設計層面需要解決的問題。
掌上醫訊一直以來都致力於打造醫生的今日頭條和智能化的學習平台，通過大數據技術實現醫生學習的智能化和個性化，而要構建這樣一個學習平台，最基礎的就是要建立用戶的標簽體系。
經過長時間的學習、思考、借鑒和實踐，現在已經有了自己的標簽構建思路，並且也已經提取出了符合自身業務的標簽。我們十分重視用戶行為日誌的收集，現在已經有了億萬級別的日誌數據，正在搭建數據處理和標簽計算平台，以下是我們整理的建設思想。
標簽系統的結構
標簽系統可以分為三個部分：數據加工層、數據服務層和數據應用層。
每個層面向的用戶對象不一樣，處理事務有所不同。層級越往下，與業務的耦合度就越小。層級越往上，業務關聯性就越強。
數據加工層
數據加工層收集、清洗和提取數據。掌上醫訊有諸多的學習模塊，同時又有網站、APP、小程序等多個產品形式，每個產品模塊和產品端都會產生大量的業務數據和行為數據，這些數據極為相似又各不相同，為了搭建完善的用戶標簽體系，需要盡可能匯總最大范圍的數據。收集了所有數據之後，需要經過清洗、去重、去無效、去異常等等。
數據業務層
數據加工層為業務層提供最基礎的數據能力，提供數據原材料。業務層屬於公共資源層，並不歸屬某個產品或業務線。它主要用來維護整個標簽體系，集中在一個地方來進行管理。
在這一層，運營人員和產品能夠參與進來，提出業務要求：將原材料進行切割。
主要完成以下核心任務：
定義業務方需要的標簽。創建標簽實例。執行業務標簽實例，提供相應數據。數據應用層
應用層的任務是賦予產品和運營人員標簽的工具能力，聚合業務數據，構建具體的數據應用場景。
（1）標簽的類型
從數據提取維度來看，標簽可分為：事實標簽、模型標簽和預測標簽。
（2）事實標簽
從生產系統獲取數據，定性或定量描述用戶的自然屬性、產品屬性、消費屬性、資源屬性等，以及根據工作人員經驗積累的業務規則進行篩選、分析生產的標簽，如是否活躍用戶、是否是考生等。
（3）模型標簽
對用戶屬性及行為等屬性的抽象和聚類，通過剖析用戶的基礎數據為用戶貼上相應的總結概括性標簽及指數，標簽代表用戶的興趣、偏好、需求等，指數代表用戶的興趣程度、需求程度、購買概率等。
（4）預測標簽
基於用戶的屬性、行為、信令、位置和特徵，挖掘用戶潛在需求，針對這些潛在需求配合營銷策略、規則進行打標，實現營銷適時、適機、適景推送給用戶。
從數據的時效性來看，標簽可分為：靜態屬性標簽和動態屬性標簽。
（5）靜態屬性標簽
長期甚至永遠都不會發生改變。比如性別，出生日期，這些數據都是既定的事實，幾乎不會改變。
（6）動態屬性標簽
存在有效期，需要定期地更新，保證標簽的有效性。比如：用戶的購買力，用戶的活躍情況。
標簽的定義
給用戶打標簽，建立用戶畫像，最終都是為了去應用，所以我們要站在應用場景上去定義用戶的標簽體系，每個標簽都有最終的用途。比如：我們做考試培訓服務，我們需要建立「是否考生」的標簽。
另外，不同的行業他們的用戶特徵也是有顯著區別的，比如：醫生用戶相比普通用戶來說，就多了像「科室」、「職稱」、「所在醫院等級」等特殊含義的標簽。
而標簽是有層級關系的，既是為了管理，更好的理解，又是為了控制粗細力度，方便最終的應用。標簽深度一般控制在四級比較合適，到了第四級就是具體的標簽實例。
我們根據公司的業務首先劃分了人口屬性、行為屬性、用戶分類和商業屬性四個大的分類，下面又分了上網習慣、學習慣、人群屬性、消費能力、消費習慣等分類，最末級精確到用戶的活躍等級、閱讀來源、考試偏好等具體的標簽。
標簽的維護
每個標簽都不會憑空產生的，也不會一成不變，更不會憑空消失。標簽的維護需要生成規則，需要定義權重，需要更新策略。
生成規則
如第一部分所說，標簽分為事實標簽，模型標簽和預測標簽三大類。對於這三類的標簽，生成規則的難度和復雜性也是逐級遞增的。事實標簽只需要考慮從什麼地方提取即可，它即包含明確的標簽定義，又包含無法窮舉的標簽集，比如：關注的病種。
而模型標簽需要進行數據的關聯和邏輯關系的設計，通過一定的模型對數據進行計算得來。而預測標簽相對就非常的復雜，無法從原始數據提取標簽，標簽的生成准確度就太依賴我們大數據分析和人工智慧技術的應用。
定義權重
一個標簽會在多個場景下出現，比如：一個疾病標簽，它極可能在瀏覽過程中生成，也有可能在搜索場景下產生，但是對於這兩個場景所對應的同一個標簽，他們的權重是不同的。瀏覽相比搜索，權重要小得多，因為搜索的主動需求更大。
更新策略
上文我們從數據的時效性上對標簽分為靜態屬性標簽和動態屬性標簽，對於靜態屬性標簽的處理相對比較簡單，就不停的累加即可。但是對於動態屬性標簽，需要對過期標簽進行降權甚至刪除處理，比如：醫生考試前和考試後，會影響「是否考生」這個標簽的，這就需要制定更新策略。
標簽建設的技術架構
標簽體系的建設涉及很多環節，數據量也十分巨大，需要有一個健壯且高效的技術架構來支持數據的存儲及計算，掌上醫訊採用了sql資料庫和no-sql資料庫來滿足結構化數據和非結構化數據的存儲。
使用hadoop的分布式存儲技術及hive和hbase組件作為數據倉庫，使用MapRece和spark分布式計算來提高計算速度，使用kylin進行多維分析，通過BI工具和介面對外提供應用，使用sqoop和kettle進行數據的抽取及流程的調用。
更多的應用場景
用戶標簽建立已經基本應用在掌上醫訊的內容智能推薦的學習場景中，但隨著標簽的完善以及智能化處理的提升，這套標簽體系將有更廣闊的應用場景。
（1）智能化學習場景的構建
通過用戶學習需求的標簽的分析進行用戶分群，針對不同的用戶群在APP的功能和內容上進行個性化展示，滿足不同學習需求的用戶個性化的學習服務。
（2）精準營銷推廣的建立
更細粒度的對用戶進行篩選，同時能夠精準預測可能存在的目標用戶進行推廣，從而擴大醫生覆蓋，提升推廣的轉化率。
（3）KOL用戶畫像的描繪
基於該標簽模型，增加對外部數據的採集分析，更加完整的生成醫生360度的用戶畫像，幫助企業尋找潛在的KOL用戶，實現用戶洞察，輔助市場決策。
標簽的建設是一個看似高大上，其實很繁瑣、糾結的過程，需要對業務抽絲剝繭，還要應對運營需求的各種變化，不過對公司發展的影響也是深遠的。

⑶ 大數據 BI兩者什麼關系企業用BI嗎

大數據與BI是兩種不同的概念和工具，是社會發展到不同階段的產物，大數據對於BI，既有傳承，也有發展。

大數據是什麼：

大數據(Big Data)是指在可承受的時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力來適應海量、高增長率和多樣化的信息資產。大數據更偏重於發現，以及猜測並印證的循環逼近過程。

BI是什麼：

BI(BusinessIntelligence)即商業智能，它是一套完整的解決方案，用來將企業中現有的數據進行有效的整合，快速准確的提供報表並提出決策依據，幫助企業做出明智的業務經營決策。

大數據和BI從思想角度上來看，都是遵循「數據→信息→知識→智慧」這個發展過程的，兩者的區別在於下面幾點：

01數據來源

大數據與BI的數據來源側重點是不同的，BI的數據來源一般為企業內部信息化系統中的數據，大數據的數據來源不僅包含企業內部的信息化系統的數據，還包括各種外部系統、機器設備、資料庫的數據。

大數據的數據來源更廣泛，而且數據多來自於雲端，可無限擴展。

02發展方向

BI在企業中的應用是一種管理和思維方式的轉變，對企業內部數據進行分析，支撐企業運營與決策，從傳統商業模式走向商業智能。

大數據除了解決企業業務問題，還包括與行業、產業的深度融合，不同行業所呈現的內容與分析維度各不相同，是用全新的數據技術手段來拓展和優化企業業務。

03技術標簽

BI的技術標簽：ETL、數據倉庫、OLAP、可視化報表。

大數據的技術標簽：Hadoop、MPP、MapRece、HDFS、流處理等。

隨著時代變革與技術迭代，相應的，BI在技術上也經歷了多次優化和變革，新型BI被賦予了更多「大數據」潛能，既滿足海量實時數據分析，也滿足決策型的業務分析。

以分析雲為例，就是最典型的大數據與BI相結合的產物，也解決了大數據和BI之間如何取捨的問題。

大數據≠BI，大數據也不是BI的簡單升級，大數據涉及了思想、工具和技術的深層次變革。無論企業當前如何選擇，未來終將迎來數字化轉型，走到數據驅動時代。

⑷ 大數據的應用是否都建立在標簽的基礎上

數據獲取手段、數來據處理技術的自改進導致"大數據"爆發。測試行業對於大數據的應用也是很多的，比如TestBird在做測試時是基於大量的數據基礎的，對於測試的分析和bug探索效果都能有很大的提升。
當然，在測試技術上，也有很好的大數據運用例子。比如你可以通過大數據統計點來寫測試用例。產品需要快速迭代，又要保證版本質量不下降，就必須做到精準測試的用例精簡。
也就是統計用戶行為預埋下的點，用戶使用次數的數據穩健並且有跡可循，測試路徑就非常的清晰明朗。

⑸ 常用的大數據技術有哪些

大數據技術包括數據收集、數據存取、基礎架構、數據處理、統計分析、數據挖掘、模型預測、結果呈現。

1、數據收集：在大數據的生命周期中，數據採集處於第一個環節。根據MapRece產生數據的應用系統分類，大數據的採集主要有4種來源：管理信息系統、Web信息系統、物理信息系統、科學實驗系統。

2、數據存取：大數據的存去採用不同的技術路線，大致可以分為3類。第1類主要面對的是大規模的結構化數據。第2類主要面對的是半結構化和非結構化數據。第3類面對的是結構化和非結構化混合的大數據，

3、基礎架構：雲存儲、分布式文件存儲等。

4、數據處理：對於採集到的不同的數據集，可能存在不同的結構和模式，如文件、XML 樹、關系表等，表現為數據的異構性。對多個異構的數據集，需要做進一步集成處理或整合處理，將來自不同數據集的數據收集、整理、清洗、轉換後，生成到一個新的數據集，為後續查詢和分析處理提供統一的數據視圖。

5、統計分析：假設檢驗、顯著性檢驗、差異分析、相關分析、T檢驗、方差分析、卡方分析、偏相關分析、距離分析、回歸分析、簡單回歸分析、多元回歸分析、逐步回歸、回歸預測與殘差分析、嶺回歸、logistic回歸分析、曲線估計、因子分析、聚類分析、主成分分析、因子分析、快速聚類法與聚類法、判別分析、對應分析、多元對應分析(最優尺度分析)、bootstrap技術等等。

6、數據挖掘：目前，還需要改進已有數據挖掘和機器學習技術；開發數據網路挖掘、特異群組挖掘、圖挖掘等新型數據挖掘技術；突破基於對象的數據連接、相似性連接等大數據融合技術；突破用戶興趣分析、網路行為分析、情感語義分析等面向領域的大數據挖掘技術。

7、模型預測：預測模型、機器學習、建模模擬。

8、結果呈現：雲計算、標簽雲、關系圖等。