redispipelinejava

1. 零基礎學Python應該學習哪些入門知識

1、Python入門導學
Python的特性、優點、缺點、前景以及 python能做些什麼？
2、Python環境安裝
一鍵安裝Python的編譯環境，寫出第一段Python代碼
3、理解什麼是寫代碼與Python的基本類型
Python的基本類型，包括整形、浮點型；10、8、2、16進制數的意義和轉換關系；布爾類型；字元串與字元串常見運算操作
4、Python中表示「組」的概念與定義
了解「組」的概念，以及在Python中用來表示「組」的一些類型，包括：元組、列表、集合和字典。
5、變數與運算符
了解變數的意義與七種運算符，並對每一種運算符的擴展做出詳細的講解
6、分支、循環、條件與枚舉
代碼的基本邏輯結構，包括條件控制（if else）、循環控制（for in 、while）、表達式與運算符的優先順序。此外，還有Python的枚舉類型以及Python編碼的規范。
7、包、模塊、函數與變數作用域
了解Python代碼的組織結構核心：包、模塊與函數。需要對Python代碼的組織結構有一個非常清晰的認識。重點是函數，除了了解函數的基本概念外，還需要了解Python靈活的函數參數機制（默認參數、關鍵字參數與列表參數）。
8、Python函數
函數是所有語言中都具備的基本代碼組織結構。函數的重要性不言而喻。而對於Python來說，函數的用法及其靈活，遠比其他語言要強大很多。了解Python函數的定義、調用、序列解包、必須參數、關鍵字參數、默認參數等諸多內容。
9、高級部分：面向對象
了解面向對象的概念。包括面向對象的三大特性（繼承、封裝、多態）、類的基本構成元素、python的內置類屬性、方法重寫、運算符重載、靜態方法等
10、正則表達式與JSON
正則表達式也是文本解析中非常重要的知識點。了解如何在Python中編寫正則表達式與常見的正則表達式。此外，重點了解包括JSON對象，JSON字元串，Python類型與JSON的轉換。
11、Python的高級語法與用法
了解Python進階部分的高級特性，如枚舉、閉包
12、函數式編程： 匿名函數、高階函數、裝飾器
進一步了解函數式編程的lambda、mapece、filter以及裝飾器
13、實戰：原生爬蟲
學習如何訪問網路數據、獲取與解析網路數據、爬蟲的基本原理解釋。並用最基礎語法不使用爬蟲框架的原生爬蟲項目。
14、Pythonic與Python雜記
了解擴展Python的優秀寫法，學會如何寫出優質的Pythonic風格的代碼。包括：如何讓字典保持有序、lmbda表達式的應用等高級Python知識

2. Jedis干什麼用的

redis是key-value存儲系統。

key-value分布式存儲系統查詢速度快、存放數據量大、支持高並發，非常適合通過主鍵進行查詢，但不能進行復雜的條件查詢。

如果輔以Real-Time Search Engine（實時搜索引擎）進行復雜條件檢索、全文檢索，就可以替代並發性能較低的MySQL等關系型資料庫，達到高並發、高性能，節省幾十倍伺服器數 量的目的。

以MemcacheDB、Tokyo Tyrant為代表的key-value分布式存儲，在上萬並發連接下，輕松地完成高速查詢。而MySQL，在幾百個並發連接下，就基本上崩潰了。

在此基礎上，redis支持各種不同方式的排序。與memcached一樣，為了保證效率，數據都是緩存在內存中。區別的是redis會周期性的把更新的數據寫入磁碟或者把修改操作寫入追加的記錄文件，並且在此基礎上實現了master-slave(主從)同步。

(2)redispipelinejava擴展閱讀：

Jedis主存保護是存儲保護的重要環節。主存保護一般有存儲區域保護和訪問方式保護。存儲區域保護可採用界限寄存器方式，由系統軟體經特權指令給定上、下界寄存器內容，從而劃定每個用戶程序的區域，禁止越界訪問。

Jedis當兩鍵符合時才允許執行存取操作，從而保護別的程序區域不被侵犯，環狀保護是把系統程序和用戶程序按重要性分層，稱為環，對每個環都規定訪問它的級別，違反規定的存取操作是非法的，以此實現對正在執行的程序的保護。

3. 大數據技術有哪些

大數據技術，就是從各種類型的數據中快速獲得有價值信息的技術。大數據領域已經涌現出了大量新的技術，它們成為大數據採集、存儲、處理和呈現的有力武器。

大數據處理關鍵技術一般包括：大數據採集、大數據預處理、大數據存儲及管理、大數據分析及挖掘、大數據展現和應用(大數據檢索、大數據可視化、大數據應用、大數據安全等)。

六、大數據展現與應用技術

大數據技術能夠將隱藏於海量數據中的信息和知識挖掘出來，為人類的社會經濟活動提供依據，從而提高各個領域的運行效率，大大提高整個社會經濟的集約化程度。在我國，大數據將重點應用於以下三大領域：商業智能、政府決策、公共服務。例如：商業智能技術，政府決策技術，電信數據信息處理與挖掘技術，電網數據信息處理與挖掘技術，氣象信息分析技術，環境監測技術，警務雲應用系統(道路監控、視頻監控、網路監控、智能交通、反電信詐騙、指揮調度等公安信息系統)，大規模基因序列分析比對技術，Web信息挖掘技術，多媒體數據並行化處理技術，影視製作渲染技術，其他各種行業的雲計算和海量數據處理應用技術等。

4. redis客戶端選型-Jedis、lettuce、Redisson

1.背景

    研發部門對於客戶端選型比較廣泛和隨意，依賴的分支也不統一，感覺就像網路到一個就直接用，或者是有一個功能滿足就換，沒有考慮到其他組的使用情況以及集中維護。

    另外一個是如果作為公司pom腳手架的基本組成部分，需要考慮統一成一個還是多個並存的問題，現在有兩個考量：如果性能不是大問題，建議統一集中為一個就行; 如果需要多個並存，至少不能多於2個客戶端。

2.比較

    官方推薦的java客戶端只有Jedis、lettuce、Redisson，所以這次分析只針對這三個進行。

2.1.概述

    Jedis: redis的Java實現客戶端，提供了比較全面的Redis命令的支持。

    lettuce: Lettuce is a scalable thread-safe Redis client for synchronous, asynchronous and reactive usage. Multiple threads may share one connection if they avoid blocking and transactional operations such as BLPOP and MULTI/EXEC. Lettuce is built with netty. Supports advanced Redis features such as Sentinel, Cluster, Pipelining, Auto-Reconnect and Redis data models.

    Redisson: Redisson是一個在Redis的基礎上實現的Java駐內存數據網格（In-Memory Data Grid）。它不僅提供了一系列的分布式的Java常用對象，還提供了許多分布式服務。其中包括(BitSet, Set, Multimap, SortedSet, Map, List, Queue, BlockingQueue, Deque, BlockingDeque, Semaphore, Lock, AtomicLong, CountDownLatch, Publish / Subscribe, Bloom filter, Remote service, Spring cache, Executor service, Live Object service, Scheler service) Redisson提供了使用Redis的最簡單和最便捷的方法。Redisson的宗旨是促進使用者對Redis的關注分離（Separation of Concern），從而讓使用者能夠將精力更集中地放在處理業務答舉邏輯上。

lettuce: 直接看官網的： https://lettuce.io/

2.2.性能

    Jedis的性能比lettuce和Redisson都要差一點，三者的主要差異在於以下:

    1.Jedis使用同步和阻塞IO的方式，不支持非同步；lettuce和Redisson支持非同步，底層是基於netty框架的事件驅動作為通信層。

    2.Jedis設計上就是基於線程不安全來設計，一個連接只能被一個線程使用，但清皮碧是可以結合連接池來提高其性能；lettuce和Redis基於線程安全來設計的，一個連接是被共享使用的，但是也提供了連接池，主要用於事務以及阻塞操作的命令。

    3.lettuce和Redisson支持非同步流的方式。

    一些公開的benchmark結果:

    Redisson和Jedis:

https://dzone.com/articles/redisson-pro-vs-jedis-which-is-faster

    Jedis和lettuce:

https://www.bby.cn/detail.html?id=9108

    上面的測試結果都是比較久遠的，沒找到三者共同參與的性能測試結果。

    沒有做三者的性能基準測試，主要是無目的性、無針對性的條件限制(並發數、數據量、指令kv的握燃大小范圍)，很難去做定量和可對比的基準測試（主要是我懶）。

2.3.功能

    Jedis: 提供比較全面的redis原生指令的支持，上層封裝比較弱，集群特性支持度非常低，高級特性幾乎沒有。

    lettuce: 高級redis客戶端，支持各種模式的redis連接和操作，高級特性幾乎沒有。

    Redisson: 高級redis客戶端，支持各種模式的redis連接和操作，同時提供一大堆的實用功能。

    Jedis和lettuce沒什麼功能，就簡單的操作，連分布式鎖都需要自己實現，所以先聊聊Redisson的高級功能，中間偶爾會用Jedis和lettuce做對比。

    1.十幾種編碼方式。

    Redisson是基於對象的操作，對於key對象和value對象可用不同的高級編碼方式:

    JsonJacksonCodec、AvroJacksonCodec、SmileJacksonCodec、CborJacksonCodec、MsgPackJacksonCodec、IonJacksonCodec、KryoCodec、SerializationCodec、FstCodec、LZ4Codec、SnappyCodec、CompositeCodec

    和四種基本的編碼方式:

    JsonJacksonMapCodec、StringCodec、LongCodec、ByteArrayCodec

    而Jedis操作只針對位元組數組, lettuce支持ByteArrayCodec、StringCodec、CipherCodec、CompressionCodec四種。

    按需使用，沒有編碼方式的比對。

2.分布式集合。

    把大集合拆分並均勻分布到各個節點上，集合包括Set、Map、BitSet、Bloom Filter、Spring Cache和Hibernate Cache，並且支持本地緩存。（只有專業版才能用）分布式鎖。

各種各樣的分布式鎖: 可重入鎖ReentrantLock、公平鎖FairLock、聯鎖MultiLock、紅鎖RedLock、讀寫鎖ReadWriteLock、信號量Semaphore、可過期的信號量PermitExpirableSemaphore、計數器CountDownLatch

3.RPC

4.分布式調度任務服務

5.分布式MR

6.復雜多維對象結構和對象引用的支持

7.集群pipeline

    lettuce也支持。

    jedis不支持，jedis連多key（分布在不同節點的）操作都不支持。

8.事務

    提供了XA Transactions標準的實現，可以集成到Spring中。（只有專業版才能用）

9.集群管理工具

    （只有專業版才能用）

10.限流器

    分布式的限流工具（有timeout功能）。

11.自增/分布式ID

12.BloomFilter

13.延遲隊列

2.4.選型

    Spring最早是默認以Jedis作為客戶端, 但是後來改為了lettuce, lettuce與Jedis相比比較明顯的特點是非同步和線程安全, 底層是netty大殺器作為通信層, 性能比Jedis的線程不安全+連接池要好。

    Redisson是以其強大的功能以及面向對象的設計優於其他兩者。

    根據我們的業務需要:

    1.限流

    2.分布式鎖

    3.緩存

    4.GID生成

    5.延時隊列

    6.lua腳本

    7.請求合並

    Redisson都能滿足，實際上單是使用Redisson作為Spring的客戶端就足夠了。

    個人傾向lettuce + Redisson。

5. 怎樣學習大數據

1.首先，我們想學習大數據，就要了解一下大數據的前景。大數據廣泛應用於電版網運行權、經營管理及優質服務等各大領域，並正在改變著各行各業，也引領了大數據人才的變革。大數據就業前景怎麼樣?這對於在就業迷途中的我們是一個很重要的信息。隨著國家重視大數據，政府扶持大數據，大數據在企業中生根發芽，開花結果。未來三至五年，中國需要180萬數據人才，但目前只有約30萬人。到2020年，企業基於大數據計算分析存儲、數據挖掘、數據分析等數據產業的發展，我國需要更多的數據人才。
2.學大數據之前，要有一定的電腦基礎，如果對電腦一竅不通，那麼無法快速接觸，因為大數據就是電腦專業。大數據屬於編程，學大數據JAVA這一塊很重要，JAVA是學習大數據的基礎。正所謂基礎打撈才能學得更好。
3.我介意去專業的電腦學校學習，學校從辦學開始就一張從事計算機專業，那麼學校就會有專業的老師，專業的設備。