『壹』 為什麼redis在java是同步緩存,而在nodejs是非同步緩存
我看了一下node redis代碼,來client.get直接返回的結果是!自client.shou_buffer。而且對於非同步操作的js,這個值肯定是它向redis發送請求之前就被返回了的。
var returned = client.get(key,function(err,repy){
value = repy;
console.log(『value is 』,value);
client.quit();
})
console.log(『returned is 』,returned)
你可以看看哪個被先列印出來。 而且不要在返回數據之後就quit,因為你還要接著存取數據,下次難道還要用client手動連接上嗎?這不是php。
『貳』 java代碼怎麼正則刪除redis的數據
java代碼怎麼正則刪除redis的數據,即批量刪除符合一定條件的redis數據,現在介紹批量刪除已某些字元開頭的redis數據:
在Java中連接Redis,並進行操作,首先得載入以JAR包形式存在的Java中的Redis Client,我們這里選擇Jedis。以下是使用Jedis的具體步驟:
在Maven項目中,在pom.xml中增加如下語句(即載入Jedis jar包):
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>2.7.2</version>
<type>jar</type>
</dependency>
如不是Maven工程,就自行下載Jedis jar包引用即可。
在載入Jedis JAR包之後,可以直接使用新建一個Jedis實例的方法,來建立一個到Redis的連接,並進行操作。不過跟Mysql一樣,每次操作的時候,都建立連接,很耗費性能。解決方法就是從一個連接池中取出連接對象,用完還回去。使用連接池的方案還能解決很多同步性問題。
在Jedis中,管理Redis連接的類是JedisPool
package com.atzy
importredis.clients.jedis.Jedis;
importredis.clients.jedis.JedisPool;
publicclassRedisHelper{
publicstaticvoidmain(String[]args){
JedisPooljedisPool=newJedisPool("localhost",6379);
Jedisjedis=null;
try{
jedis=jedisPool.getResource();
Stringpre_str="ab";
Set<String>set=jedis.keys(pre_str+"*");
Iterator<String>it=set.iterator();
while(it.hasNext()){
StringkeyStr=it.next();
System.out.println(keyStr);
jedis.del(keyStr);
}
}catch(Exceptione){
e.printStackTrace();
}finally{
if(jedis!=null)
jedis.close();
}
jedisPool.destroy();
}
}
以上代碼則是批量刪除以某字元串前綴的key 。
『叄』 java redis set怎樣設置key
RedisClient.set("定義名" , 內容, 時間);
eg:
RedisClient.set("loginStatus" , phone.toString(), 15 * 1000);
『肆』 java代碼中 單表查詢出的list集合 怎麼讀寫到redis中
查詢出來的結果集是返回一個List,然後你倒序添加數據到redis裡面就可以了。
// 返回一個資料庫查詢結果集,list
List<Map> list = userService.getUserList();
//倒序把數據放進去就好了,不然取出來的數據,跟你查詢出來的結果數據是相反的
for (int i = list.size() - 1; i >= 0; i--) {
RedisPool.getClient().lpush("userList", list.get(i).toString());
}
----------------------------下面是RedisPool類-------------
import redis.clients.jedis.Jedis;
/**
* redis緩存運用
*
* @author TongJun
*
*/
public class RedisPool {
// redis 對象
private static Jedis jedis = null;
private static final String IP = "127.0.0.1";
private static final int PROT = 6379;
/**
* 單例模式構造redis對象
*
* @return
*/
public static synchronized Jedis getClient() {
if (jedis == null) {
jedis = new Jedis(IP, PROT);
}
return jedis;
}
}
『伍』 redis是怎麼實現的
第一:Redis 是什麼?
Redis是基於內存、可持久化的日誌型、Key-Value資料庫 高性能存儲系統,並提供多種語言的API.
第二:出現背景
數據結構(Data Structure)需求越來越多, 但memcache中沒有, 影響開發效率
性能需求, 隨著讀操作的量的上升需要解決,經歷的過程有:
資料庫讀寫分離(M/S)–>資料庫使用多個Slave–>增加Cache (memcache)–>轉到Redis
解決寫的問題:
水平拆分,對表的拆分,將有的用戶放在這個表,有的用戶放在另外一個表;
可靠性需求
Cache的"雪崩"問題讓人糾結
Cache面臨著快速恢復的挑戰
開發成本需求
Cache和DB的一致性維護成本越來越高(先清理DB, 再清理緩存, 不行啊, 太慢了!)
開發需要跟上不斷湧入的產品需求
硬體成本最貴的就是資料庫層面的機器,基本上比前端的機器要貴幾倍,主要是IO密集型,很耗硬體;
維護性復雜
一致性維護成本越來越高;
BerkeleyDB使用B樹,會一直寫新的,內部不會有文件重新組織;這樣會導致文件越來越大;大的時候需要進行文件歸檔,歸檔的操作要定期做;
這樣,就需要有一定的down time;
基於以上考慮, 選擇了Redis
第三:Redis 在新浪微博中的應用
Redis簡介
1. 支持5種數據結構
支持strings, hashes, lists, sets, sorted sets
string是很好的存儲方式,用來做計數存儲。sets用於建立索引庫非常棒;
2. K-V 存儲 vs K-V 緩存
新浪微博目前使用的98%都是持久化的應用,2%的是緩存,用到了600+伺服器
Redis中持久化的應用和非持久化的方式不會差別很大:
非持久化的為8-9萬tps,那麼持久化在7-8萬tps左右;
當使用持久化時,需要考慮到持久化和寫性能的配比,也就是要考慮redis使用的內存大小和硬碟寫的速率的比例計算;
3. 社區活躍
Redis目前有3萬多行代碼, 代碼寫的精簡,有很多巧妙的實現,作者有技術潔癖
Redis的社區活躍度很高,這是衡量開源軟體質量的重要指標,開源軟體的初期一般都沒有商業技術服務支持,如果沒有活躍社區做支撐,一旦發生問題都無處求救;
Redis基本原理
redis持久化(aof) append online file:
寫log(aof), 到一定程度再和內存合並. 追加再追加, 順序寫磁碟, 對性能影響非常小
1. 單實例單進程
Redis使用的是單進程,所以在配置時,一個實例只會用到一個CPU;
在配置時,如果需要讓CPU使用率最大化,可以配置Redis實例數對應CPU數, Redis實例數對應埠數(8核Cpu, 8個實例, 8個埠), 以提高並發:
單機測試時, 單條數據在200位元組, 測試的結果為8~9萬tps;
2. Replication
過程: 數據寫到master–>master存儲到slave的rdb中–>slave載入rdb到內存。
存儲點(save point): 當網路中斷了, 連上之後, 繼續傳.
Master-slave下第一次同步是全傳,後面是增量同步;、
3. 數據一致性
長期運行後多個結點之間存在不一致的可能性;
開發兩個工具程序:
1.對於數據量大的數據,會周期性的全量檢查;
2.實時的檢查增量數據,是否具有一致性;
對於主庫未及時同步從庫導致的不一致,稱之為延時問題;
對於一致性要求不是那麼嚴格的場景,我們只需要要保證最終一致性即可;
對於延時問題,需要根據業務場景特點分析,從應用層面增加策略來解決這個問題;
例如:
1.新注冊的用戶,必須先查詢主庫;
2.注冊成功之後,需要等待3s之後跳轉,後台此時就是在做數據同步。
第四:分布式緩存的架構設計
1.架構設計
由於redis是單點,項目中需要使用,必須自己實現分布式。基本架構圖如下所示:
2.分布式實現
通過key做一致性哈希,實現key對應redis結點的分布。
一致性哈希的實現:
lhash值計算:通過支持MD5與MurmurHash兩種計算方式,默認是採用MurmurHash,高效的hash計算.
l一致性的實現:通過java的TreeMap來模擬環狀結構,實現均勻分布
3.client的選擇
對於jedis修改的主要是分區模塊的修改,使其支持了跟據BufferKey進行分區,跟據不同的redis結點信息,可以初始化不同的 ShardInfo,同時也修改了JedisPool的底層實現,使其連接pool池支持跟據key,value的構造方法,跟據不同 ShardInfos,創建不同的jedis連接客戶端,達到分區的效果,供應用層調用
4.模塊的說明
l臟數據處理模塊,處理失敗執行的緩存操作。
l屏蔽監控模塊,對於jedis操作的異常監控,當某結點出現異常可控制redis結點的切除等操作。
整個分布式模塊通過hornetq,來切除異常redis結點。對於新結點的增加,也可以通過reload方法實現增加。(此模塊對於新增結點也可以很方便實現)
對於以上分布式架構的實現滿足了項目的需求。另外使用中對於一些比較重要用途的緩存數據可以單獨設置一些redis結點,設定特定的優先順序。另外對 於緩存介面的設計,也可以跟據需求,實現基本介面與一些特殊邏輯介面。對於cas相關操作,以及一些事物操作可以通過其watch機制來實現。
聲明:所有博客服務於分布式框架,作為框架的技術支持及說明,框架面向企業,是大型互聯網分布式企業架構,後期會介紹linux上部署高可用集群項目。
『陸』 如何用java獲取redis的info
預備
jedis-2.5.2
commons-pool2-2.2.jar
使用單連接
此方式僅建議用於開發環境做調試用。
// 創建連接
String host = "192.168.56.102";
int port = 6379;
Jedis client = new Jedis(host, port);
// 執行set指令
String result = client.set("key-string", "Hello, Redis!");
System.out.println( String.format("set指令執行結果:%s", result) );
// 執行get指令
String value = client.get("key-string");
System.out.println( String.format("get指令執行結果:%s", value) );
運行上述代碼,控制台輸出:
set指令執行結果:OK
get指令執行結果:Hello, Redis!
使用連接池
此方式適用於僅使用單個Redis實例的場景。
// 生成連接池配置信息
JedisPoolConfig config = new JedisPoolConfig();
config.setMaxIdle(10);
config.setMaxTotal(30);
config.setMaxWaitMillis(3*1000);
// 在應用初始化的時候生成連接池
JedisPool pool = new JedisPool(config, "192.168.56.102", 6379);
// 在業務操作時,從連接池獲取連接
Jedis client = pool.getResource();
try {
// 執行指令
String result = client.set("key-string", "Hello, Redis!");
System.out.println( String.format("set指令執行結果:%s", result) );
String value = client.get("key-string");
System.out.println( String.format("get指令執行結果:%s", value) );
} catch (Exception e) {
// TODO: handle exception
} finally {
// 業務操作完成,將連接返回給連接池
if (null != client) {
pool.returnResource(client);
}
} // end of try block
// 應用關閉時,釋放連接池資源
pool.destroy();
運行上述代碼,控制台輸出:
set指令執行結果:OK
get指令執行結果:Hello, Redis!
使用連接池+分布式
在規模較大的系統中,往往會有多個Redis實例做負載均衡。並且還實現主從備份,當主實例發生故障時,切換至從實例提供服務。
類似於Memcached的客戶端,Jedis也提供了客戶端分布式操作的方式,採用一致性哈希演算法。
// 生成多機連接信息列表
List<JedisShardInfo> shards = new ArrayList<JedisShardInfo>();
shards.add( new JedisShardInfo("127.0.0.1", 6379) );
shards.add( new JedisShardInfo("192.168.56.102", 6379) );
// 生成連接池配置信息
JedisPoolConfig config = new JedisPoolConfig();
config.setMaxIdle(10);
config.setMaxTotal(30);
config.setMaxWaitMillis(3*1000);
// 在應用初始化的時候生成連接池
ShardedJedisPool pool = new ShardedJedisPool(config, shards);
// 在業務操作時,從連接池獲取連接
ShardedJedis client = pool.getResource();
try {
// 執行指令
String result = client.set("key-string", "Hello, Redis!");
System.out.println( String.format("set指令執行結果:%s", result) );
String value = client.get("key-string");
System.out.println( String.format("get指令執行結果:%s", value) );
} catch (Exception e) {
// TODO: handle exception
} finally {
// 業務操作完成,將連接返回給連接池
if (null != client) {
pool.returnResource(client);
}
} // end of try block
// 應用關閉時,釋放連接池資源
pool.destroy();
運行上述代碼,控制台輸出:
set指令執行結果:OK
get指令執行結果:Hello, Redis!