redispipelinejava

1. 零基础学Python应该学习哪些入门知识

1、Python入门导学
Python的特性、优点、缺点、前景以及 python能做些什么？
2、Python环境安装
一键安装Python的编译环境，写出第一段Python代码
3、理解什么是写代码与Python的基本类型
Python的基本类型，包括整形、浮点型；10、8、2、16进制数的意义和转换关系；布尔类型；字符串与字符串常见运算操作
4、Python中表示“组”的概念与定义
了解“组”的概念，以及在Python中用来表示“组”的一些类型，包括：元组、列表、集合和字典。
5、变量与运算符
了解变量的意义与七种运算符，并对每一种运算符的扩展做出详细的讲解
6、分支、循环、条件与枚举
代码的基本逻辑结构，包括条件控制（if else）、循环控制（for in 、while）、表达式与运算符的优先级。此外，还有Python的枚举类型以及Python编码的规范。
7、包、模块、函数与变量作用域
了解Python代码的组织结构核心：包、模块与函数。需要对Python代码的组织结构有一个非常清晰的认识。重点是函数，除了了解函数的基本概念外，还需要了解Python灵活的函数参数机制（默认参数、关键字参数与列表参数）。
8、Python函数
函数是所有语言中都具备的基本代码组织结构。函数的重要性不言而喻。而对于Python来说，函数的用法及其灵活，远比其他语言要强大很多。了解Python函数的定义、调用、序列解包、必须参数、关键字参数、默认参数等诸多内容。
9、高级部分：面向对象
了解面向对象的概念。包括面向对象的三大特性（继承、封装、多态）、类的基本构成元素、python的内置类属性、方法重写、运算符重载、静态方法等
10、正则表达式与JSON
正则表达式也是文本解析中非常重要的知识点。了解如何在Python中编写正则表达式与常见的正则表达式。此外，重点了解包括JSON对象，JSON字符串，Python类型与JSON的转换。
11、Python的高级语法与用法
了解Python进阶部分的高级特性，如枚举、闭包
12、函数式编程： 匿名函数、高阶函数、装饰器
进一步了解函数式编程的lambda、mapece、filter以及装饰器
13、实战：原生爬虫
学习如何访问网络数据、获取与解析网络数据、爬虫的基本原理解释。并用最基础语法不使用爬虫框架的原生爬虫项目。
14、Pythonic与Python杂记
了解扩展Python的优秀写法，学会如何写出优质的Pythonic风格的代码。包括：如何让字典保持有序、lmbda表达式的应用等高级Python知识

2. Jedis干什么用的

redis是key-value存储系统。

key-value分布式存储系统查询速度快、存放数据量大、支持高并发，非常适合通过主键进行查询，但不能进行复杂的条件查询。

如果辅以Real-Time Search Engine（实时搜索引擎）进行复杂条件检索、全文检索，就可以替代并发性能较低的MySQL等关系型数据库，达到高并发、高性能，节省几十倍服务器数 量的目的。

以MemcacheDB、Tokyo Tyrant为代表的key-value分布式存储，在上万并发连接下，轻松地完成高速查询。而MySQL，在几百个并发连接下，就基本上崩溃了。

在此基础上，redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现了master-slave(主从)同步。

(2)redispipelinejava扩展阅读：

Jedis主存保护是存储保护的重要环节。主存保护一般有存储区域保护和访问方式保护。存储区域保护可采用界限寄存器方式，由系统软件经特权指令给定上、下界寄存器内容，从而划定每个用户程序的区域，禁止越界访问。

Jedis当两键符合时才允许执行存取操作，从而保护别的程序区域不被侵犯，环状保护是把系统程序和用户程序按重要性分层，称为环，对每个环都规定访问它的级别，违反规定的存取操作是非法的，以此实现对正在执行的程序的保护。

3. 大数据技术有哪些

大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。

大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。

六、大数据展现与应用技术

大数据技术能够将隐藏于海量数据中的信息和知识挖掘出来，为人类的社会经济活动提供依据，从而提高各个领域的运行效率，大大提高整个社会经济的集约化程度。在我国，大数据将重点应用于以下三大领域：商业智能、政府决策、公共服务。例如：商业智能技术，政府决策技术，电信数据信息处理与挖掘技术，电网数据信息处理与挖掘技术，气象信息分析技术，环境监测技术，警务云应用系统(道路监控、视频监控、网络监控、智能交通、反电信诈骗、指挥调度等公安信息系统)，大规模基因序列分析比对技术，Web信息挖掘技术，多媒体数据并行化处理技术，影视制作渲染技术，其他各种行业的云计算和海量数据处理应用技术等。

4. redis客户端选型-Jedis、lettuce、Redisson

1.背景

    研发部门对于客户端选型比较广泛和随意，依赖的分支也不统一，感觉就像网络到一个就直接用，或者是有一个功能满足就换，没有考虑到其他组的使用情况以及集中维护。

    另外一个是如果作为公司pom脚手架的基本组成部分，需要考虑统一成一个还是多个并存的问题，现在有两个考量：如果性能不是大问题，建议统一集中为一个就行; 如果需要多个并存，至少不能多于2个客户端。

2.比较

    官方推荐的java客户端只有Jedis、lettuce、Redisson，所以这次分析只针对这三个进行。

2.1.概述

    Jedis: redis的Java实现客户端，提供了比较全面的Redis命令的支持。

    lettuce: Lettuce is a scalable thread-safe Redis client for synchronous, asynchronous and reactive usage. Multiple threads may share one connection if they avoid blocking and transactional operations such as BLPOP and MULTI/EXEC. Lettuce is built with netty. Supports advanced Redis features such as Sentinel, Cluster, Pipelining, Auto-Reconnect and Redis data models.

    Redisson: Redisson是一个在Redis的基础上实现的Java驻内存数据网格（In-Memory Data Grid）。它不仅提供了一系列的分布式的Java常用对象，还提供了许多分布式服务。其中包括(BitSet, Set, Multimap, SortedSet, Map, List, Queue, BlockingQueue, Deque, BlockingDeque, Semaphore, Lock, AtomicLong, CountDownLatch, Publish / Subscribe, Bloom filter, Remote service, Spring cache, Executor service, Live Object service, Scheler service) Redisson提供了使用Redis的最简单和最便捷的方法。Redisson的宗旨是促进使用者对Redis的关注分离（Separation of Concern），从而让使用者能够将精力更集中地放在处理业务答举逻辑上。

lettuce: 直接看官网的： https://lettuce.io/

2.2.性能

    Jedis的性能比lettuce和Redisson都要差一点，三者的主要差异在于以下:

    1.Jedis使用同步和阻塞IO的方式，不支持异步；lettuce和Redisson支持异步，底层是基于netty框架的事件驱动作为通信层。

    2.Jedis设计上就是基于线程不安全来设计，一个连接只能被一个线程使用，但清皮碧是可以结合连接池来提高其性能；lettuce和Redis基于线程安全来设计的，一个连接是被共享使用的，但是也提供了连接池，主要用于事务以及阻塞操作的命令。

    3.lettuce和Redisson支持异步流的方式。

    一些公开的benchmark结果:

    Redisson和Jedis:

https://dzone.com/articles/redisson-pro-vs-jedis-which-is-faster

    Jedis和lettuce:

https://www.bby.cn/detail.html?id=9108

    上面的测试结果都是比较久远的，没找到三者共同参与的性能测试结果。

    没有做三者的性能基准测试，主要是无目的性、无针对性的条件限制(并发数、数据量、指令kv的握燃大小范围)，很难去做定量和可对比的基准测试（主要是我懒）。

2.3.功能

    Jedis: 提供比较全面的redis原生指令的支持，上层封装比较弱，集群特性支持度非常低，高级特性几乎没有。

    lettuce: 高级redis客户端，支持各种模式的redis连接和操作，高级特性几乎没有。

    Redisson: 高级redis客户端，支持各种模式的redis连接和操作，同时提供一大堆的实用功能。

    Jedis和lettuce没什么功能，就简单的操作，连分布式锁都需要自己实现，所以先聊聊Redisson的高级功能，中间偶尔会用Jedis和lettuce做对比。

    1.十几种编码方式。

    Redisson是基于对象的操作，对于key对象和value对象可用不同的高级编码方式:

    JsonJacksonCodec、AvroJacksonCodec、SmileJacksonCodec、CborJacksonCodec、MsgPackJacksonCodec、IonJacksonCodec、KryoCodec、SerializationCodec、FstCodec、LZ4Codec、SnappyCodec、CompositeCodec

    和四种基本的编码方式:

    JsonJacksonMapCodec、StringCodec、LongCodec、ByteArrayCodec

    而Jedis操作只针对字节数组, lettuce支持ByteArrayCodec、StringCodec、CipherCodec、CompressionCodec四种。

    按需使用，没有编码方式的比对。

2.分布式集合。

    把大集合拆分并均匀分布到各个节点上，集合包括Set、Map、BitSet、Bloom Filter、Spring Cache和Hibernate Cache，并且支持本地缓存。（只有专业版才能用）分布式锁。

各种各样的分布式锁: 可重入锁ReentrantLock、公平锁FairLock、联锁MultiLock、红锁RedLock、读写锁ReadWriteLock、信号量Semaphore、可过期的信号量PermitExpirableSemaphore、计数器CountDownLatch

3.RPC

4.分布式调度任务服务

5.分布式MR

6.复杂多维对象结构和对象引用的支持

7.集群pipeline

    lettuce也支持。

    jedis不支持，jedis连多key（分布在不同节点的）操作都不支持。

8.事务

    提供了XA Transactions标准的实现，可以集成到Spring中。（只有专业版才能用）

9.集群管理工具

    （只有专业版才能用）

10.限流器

    分布式的限流工具（有timeout功能）。

11.自增/分布式ID

12.BloomFilter

13.延迟队列

2.4.选型

    Spring最早是默认以Jedis作为客户端, 但是后来改为了lettuce, lettuce与Jedis相比比较明显的特点是异步和线程安全, 底层是netty大杀器作为通信层, 性能比Jedis的线程不安全+连接池要好。

    Redisson是以其强大的功能以及面向对象的设计优于其他两者。

    根据我们的业务需要:

    1.限流

    2.分布式锁

    3.缓存

    4.GID生成

    5.延时队列

    6.lua脚本

    7.请求合并

    Redisson都能满足，实际上单是使用Redisson作为Spring的客户端就足够了。

    个人倾向lettuce + Redisson。

5. 怎样学习大数据

1.首先，我们想学习大数据，就要了解一下大数据的前景。大数据广泛应用于电版网运行权、经营管理及优质服务等各大领域，并正在改变着各行各业，也引领了大数据人才的变革。大数据就业前景怎么样?这对于在就业迷途中的我们是一个很重要的信息。随着国家重视大数据，政府扶持大数据，大数据在企业中生根发芽，开花结果。未来三至五年，中国需要180万数据人才，但目前只有约30万人。到2020年，企业基于大数据计算分析存储、数据挖掘、数据分析等数据产业的发展，我国需要更多的数据人才。
2.学大数据之前，要有一定的电脑基础，如果对电脑一窍不通，那么无法快速接触，因为大数据就是电脑专业。大数据属于编程，学大数据JAVA这一块很重要，JAVA是学习大数据的基础。正所谓基础打捞才能学得更好。
3.我介意去专业的电脑学校学习，学校从办学开始就一张从事计算机专业，那么学校就会有专业的老师，专业的设备。