Java可以使用JDBC对数据库进行读写。JDBC访问一般分为如下流程:
一、加载JDBC驱动程序:
在连接数据库之前,首先要加载想要连接的数据库的驱动到JVM(Java虚拟机), 这通过java.lang.Class类的静态方法forName(String className)实现。
例如:
try{
//加载MySql的驱动类
Class.forName("com.mysql.jdbc.Driver") ;
}catch(ClassNotFoundException e){
System.out.println("找不到驱动程序类 ,加载驱动失败!");
e.printStackTrace() ;
}
成功加载后,会将Driver类的实例注册到DriverManager类中。
二、提供JDBC连接的URL 连接URL定义了连接数据库时的协议、子协议、数据源标识。
书写形式:协议:子协议:数据源标识 协议:在JDBC中总是以jdbc开始
子协议:是桥连接的驱动程序或是数据库管理系统名称。
数据源标识:标记找到数据库来源的地址与连接端口。
例如:(MySql的连接URL)
jdbc:mysql://localhost:3306/test?useUnicode=true&characterEncoding=gbk
useUnicode=true:表示使用Unicode字符集。如果characterEncoding设置为
gb2312或GBK,本参数必须设置为true 。characterEncoding=gbk:字符编码方式。
三、创建数据库的连接
要连接数据库,需要向java.sql.DriverManager请求并获得Connection对象,该对象就代表一个数据库的连接。
使用DriverManager的getConnectin(String url,String username,String password )方法传入指定的欲连接的数据库的路径、数据库的用户名和密码来获得。
例如:
//连接MySql数据库,用户名和密码都是root
String url = "jdbc:mysql://localhost:3306/test" ;
String username = "root" ;
String password = "root" ;
try{
Connection con =
DriverManager.getConnection(url , username , password ) ;
}catch(SQLException se){
System.out.println("数据库连接失败!");
se.printStackTrace() ;
}
四、创建一个Statement
要执行SQL语句,必须获得java.sql.Statement实例,Statement实例分为以下3种类型:
1、执行静态SQL语句。通常通过Statement实例实现。
2、执行动态SQL语句。通常通过PreparedStatement实例实现。
3、执行数据库存储过程。通常通过CallableStatement实例实现。
具体的实现方式:
Statement stmt = con.createStatement() ;
PreparedStatement pstmt = con.prepareStatement(sql) ;
CallableStatement cstmt = con.prepareCall("{CALL demoSp(? , ?)}") ;
五、执行SQL语句
Statement接口提供了三种执行SQL语句的方法:executeQuery 、executeUpdate和execute
1、ResultSet executeQuery(String sqlString):执行查询数据库的SQL语句,返回一个结果集(ResultSet)对象。
2、int executeUpdate(String sqlString):用于执行INSERT、UPDATE或DELETE语句以及SQL DDL语句,如:CREATE TABLE和DROP TABLE等
3、execute(sqlString):用于执行返回多个结果集、多个更新计数或二者组合的语句。
具体实现的代码:
ResultSet rs = stmt.executeQuery("SELECT * FROM ...") ;
int rows = stmt.executeUpdate("INSERT INTO ...") ;
boolean flag = stmt.execute(String sql) ;
六、处理结果 两种情况:
1、执行更新返回的是本次操作影响到的记录数。
2、执行查询返回的结果是一个ResultSet对象。
ResultSet包含符合SQL语句中条件的所有行,并且它通过一套get方法提供了对这些行中数据的访问。
使用结果集(ResultSet)对象的访问方法获取数据:
while(rs.next()){
String name = rs.getString("name") ;
String pass = rs.getString(1); // 此方法比较高效(列是从左到右编号的,并且从列1开始)
}
七、关闭JDBC对象
操作完成以后要把所有使用的JDBC对象全都关闭,以释放JDBC资源,关闭顺序和声明顺序相反:
1、关闭记录集
2、关闭声明
3、关闭连接对象
if(rs != null){ // 关闭记录集
try{
rs.close() ;
}catch(SQLException e){
e.printStackTrace() ;
}
}
if(stmt != null){ // 关闭声明
try{
stmt.close() ;
}catch(SQLException e){
e.printStackTrace() ;
}
}
if(conn != null){ // 关闭连接对象
try{
conn.close() ;
}catch(SQLException e){
e.printStackTrace() ;
}
}
(1)mysql数据库物理写入扩展阅读
样例
package first;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.concurrent.Executors;
import java.util.concurrent.ScheledExecutorService;
import java.util.concurrent.TimeUnit;
public class lianjie {
public static void main(String[] args) {
Runnable runnable = new Runnable() {
public void run() {
//声明Connection对象
Connection con;
//驱动程序名
String driver1 = "com.microsoft.sqlserver.jdbc.SQLServerDriver";
//URL指向要访问的数据库名
String url1 = "jdbc:sqlserver://IP地址和端口号;DateBaseName=数据库名";
//MySQL配置时的用户名
String user1 = "user";
//MySQL配置时的密码
String password1 = "user";
//声明Connection对象
Connection con1;
//驱动程序名
String driver2 = "com.microsoft.sqlserver.jdbc.SQLServerDriver";
//URL指向要访问的数据库名
String url2 = "jdbc:sqlserver://IP地址和端口号;DateBaseName=数据库名";
//MySQL配置时的用户名
String user2 = "user";
//MySQL配置时的密码
String password2 = "user";
//遍历查询结果集
try {
//加载驱动程序
Class.forName(driver1);
//1.getConnection()方法,连接MySQL数据库!!
con = DriverManager.getConnection(url1,user1,password1);
if(!con.isClosed())
System.out.println("成功连接到数据库!");
try {
//加载驱动程序
Class.forName(driver2);
//1.getConnection()方法,连接MySQL数据库!!
con1 = DriverManager.getConnection(url2,user2,password2);
if(!con1.isClosed())
System.out.println("成功连接到数据库!");
//2.创建statement类对象,用来执行SQL语句!!
Statement statement = con.createStatement();
//要执行的SQL语句
String sql = "use 数据库名 select * from 表名";
//3.ResultSet类,用来存放获取的结果集!!
ResultSet rs = statement.executeQuery(sql);
//要执行的SQL语句
String sql1 = "use tiantiana insert into Table_1(tiantian,qiqi,yuyu)VALUES(?,?,?)";
//3.ResultSet类,用来存放获取的结果集!!
PreparedStatement pst = con1.prepareStatement(sql1);
System.out.println ("tiantian"+"/t"+"qiqi"+"/t"+"yuyu");
while(rs.next()){
System.out.print(rs.getString(1));
System.out.print(rs.getString(2));
System.out.print(rs.getString(3));
pst.setString(1,rs.getString(1));
pst.setString(2,rs.getString(2));
pst.setString(3,rs.getString(3));
pst.executeUpdate();
}
pst.close();
rs.close();
//2.创建statement类对象,用来执行SQL语句!!
Statement statement1 = con.createStatement();
//要执行的SQL语句
String sql2 = "use 数据库名 select * from 表名";
//3.ResultSet类,用来存放获取的结果集!!
ResultSet rs1 = statement1.executeQuery(sql2);
//要执行的SQL语句
String sql3 = "use tiantiana insert into Table_2(tiantian1,qiqi1,yuyu1)VALUES(?,?,?)";
//3.ResultSet类,用来存放获取的结果集!!
PreparedStatement pst1 = con1.prepareStatement(sql3);
System.out.println ("tiantian1"+"/t"+"qiqi1"+"/t"+"yuyu1");
while(rs1.next()){
System.out.print(rs1.getString(1));
System.out.print(rs1.getString(2));
System.out.print(rs1.getString(3));
pst1.setString(1,rs1.getString(1));
pst1.setString(2,rs1.getString(2));
pst1.setString(3,rs1.getString(3));
pst1.executeUpdate();
}
//关闭链接
rs1.close();
pst.close();
con1.close();
con.close();
} catch(ClassNotFoundException e) {
//数据库驱动类异常处理
System.out.println("对不起,找不到驱动程序!");
e.printStackTrace();
} catch(SQLException e) {
//数据库连接失败异常处理
e.printStackTrace();
}catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}finally{
System.out.println("数据库数据成功获取!!");
}
} catch(ClassNotFoundException e) {
//数据库驱动类异常处理
System.out.println("对不起,找不到驱动程序!");
e.printStackTrace();
} catch(SQLException e) {
//数据库连接失败异常处理
e.printStackTrace();
}catch (Exception e) {
// TODO: handle exception
e.printStackTrace();
}finally{
System.out.println("数据库数据成功获取!!");
}
}
};
ScheledExecutorService service = Executors
.();
// 第二个参数为首次执行的延时时间,第三个参数为定时执行的间隔时间
service.scheleAtFixedRate(runnable, 10, 60*2, TimeUnit.SECONDS);
}
}
❷ MySQL数据库 写入大量数据如何实现
//最快的方法10000记录23MS
publicstaticvoidinsert(){
//开时时间
Longbegin=newDate().getTime();
//sql前缀
Stringprefix="INSERTINTOtb_big_data(count,create_time,random)VALUES";
try{
//保存sql后缀
StringBuffersuffix=newStringBuffer();
//设置事务为非自动提交
conn.setAutoCommit(false);
//Statementst=conn.createStatement();
//比起st,pst会更好些
PreparedStatementpst=conn.prepareStatement("");
//外层循环,总提交事务次数
for(inti=1;i<=100;i++){
//第次提交步长
for(intj=1;j<=10000;j++){
//构建sql后缀
suffix.append("("+j*i+",SYSDATE(),"+i*j
*Math.random()+"),");
}
//构建完整sql
Stringsql=prefix+suffix.substring(0,suffix.length()-1);
//添加执行sql
pst.addBatch(sql);
//执行操作
pst.executeBatch();
//提交事务
conn.commit();
//清空上一次添加的数据
suffix=newStringBuffer();
}
//头等连接
pst.close();
conn.close();
}catch(SQLExceptione){
e.printStackTrace();
}
//结束时间
Longend=newDate().getTime();
//耗时
System.out.println("cast:"+(end-begin)/1000+"ms");
}
❸ 把很多TXT文件内容写入MYSQL数据库,有一亿条数据,如何提高写入效率求高手赐教修改如下代码
非root用户运行MySQL,当MySQL配置比较高时,MySQL运行中生效的参数值与配置的值不一样,所以具体分析一下MySQL是怎么调整这些参数值的。这篇文章的目的是为了说明在系统资源不够的情况下,MySQL 是怎么调整者三个参数的。说明此文涉及到三个参数open_files_limit、max_connections、table_open_cache。与这三个参数相关的系统资源是打开文件数限制,即文件描述符(fd)限制。系统参数与文件描述符的关系-max_connection&fd: 每一个MySQL connection 都需要一个文件描述符;-table_open_cache&fd打开一张表至少需要一个 文件描述符,如打开MyISAM需要两个fd;- 系统最大打开文件数可以通过ulimit -n查看。MySQL调整参数的方式
根据配置(三个参数的配置值或默认值)计算request_open_files(需要的文件描述符);
2.获取有效的系统的限制值effective_open_files; 3.根据effective_open_files调整request_open_files; 4.根据调整后的request_open_files,计算实际生效的参数值(show variables可查看参数值)。计算request_open_filesrequest_open_files有三个计算公式:1. // 最大连接数+同时打开的表的最大数量+其他(各种日志等等)2. limit_1= max_connections+table_cache_size * 2 + 10;3. 4. //假设平均每个连接打开的表的数量(2-4)5. //源码中是这么写的:6. //We are trying to allocate no less than7. // max_connections*5 file handles8. limit_2= max_connections * 5;9. 10. //mysql 默认的默认是500011. limit_3= open_files_limit ? open_files_limit : 5000;12. 13. 所以open_files_limit期待的最低14. request_open_files= max(limit_1,limit_2,limit_3);计算effective_open_files:MySQL 的思路:
在有限值的的范围内MySQL尽量将effective_open_files的值设大。
修正request_open_files
requested_open_files= min(effective_open_files,request_open_files)
重新计算参数值
修正open_files_limit
open_files_limit=effective_open_files
修正max_connections
max_connections根据request_open_files来做修正。1. limit = requested_open_files - 10 - TABLE_OPEN_CACHE_MIN * 2;
如果配置的max_connections值大于limit,则将max_connections的值修正为limit
其他情况下max_connections保留配置值
修正table_cache_size
table_cache_size会根据request_open_files来做修正1. // mysql table_cache_size 最小值,4002. limit1 = TABLE_OPEN_CACHE_MIN3. // 根据 requested_open_files 计算4. limit2 = (requested_open_files - 10 - max_connections) / 25. limit = max(limit1,limt2);
如果配置的table_cache_size值大于limit,则将table_cache_size的值修正为limit
其他情况下table_cache_size保留配置值
举例
以下用例在非 root 用户下运行
参数设置:
//mysql
max_connections = 500
table_open_cache = 999
//ulimit -n
1500
生效的值:
open_files_limit = 1500 max_connections = min[(1500 - 10 - 800),500] = 500
table_open_cache = ( 1500 - 10 - 500) / 2 =495
❹ MYSQL数据库的物理设计都包括哪些内容,怎么设计
你想设计什么样的数据库啊?..可以简单的说明一下吗?..
设计数据库步骤:概念模型,逻辑模型,物理模型.
概念模型:用户需求和运行需求的一个高级表示.
逻辑模型:用于捕捉结构化数据的软件模型的详细表示.
物理模型:数据库的所有表和列的详细规范.
一,在概念上设计一个数据库(概念模型)
需求:实体,属性,关系.
软件:Microsoft Office Visio for Enterprise Anchitects
步骤:启用软件,创建实体,添加属性,添加关系
二,在逻辑上设计一个数据库来利用关系引擎
需求:表,列,外键.
软件:同上
在概念模型的基础上创建.
三,物理创建数据库.
1,打开SQL Server Management Studio
2,右击数据库-新建数据库.
架构:数据库-安全性(右击)-新建-架构
架构是用于简化数据库对象管理的一种命名空间.
创建表来实现:数据库-(右击)表-新建表;
设置主键:右击想要设置成主键的项-设置主键
CHECK约束:右击想要约束的项-CHECK约束-添加-表达式
数值属性:
1,整数和数量:
bit(0_1) tiyint(0_255) smallint(-32768_32767) int(-2147483648_2147483647) bigint(...)
2,精确数据:
decimal(精度9,小数位数0-5) numeric(19,0-9) dec(28/38 0-13/0-17) money(18,4) smallmoney(9,4)
3,科学与工程数据:
float(存储空间4/8,小数位数1-24/25-53) real(4,24) double(8,53)
4,字符串属性:
长度固定:char nchar
长度可变:varchar nvarchar
5,日期与时间属性:
datetime和smalldatetime
2005提供的约束:
NO NTULL:必需填的属性.
CREATE TABLE EM(
EMNumber INT NOT NULL
)
DEFAULT:插入一行的时候,如果没有为一个列指定值,就会自动使用DEFAULT值.
PRIMARY KEY:定义主键.
CREATE TABLE EM(
EMNumber INT NOT NULL
PRIMARY KEY(EMNumber,..)
)
UNIQUE:约束一个值,使它不在表中重复.
CREATE TABLE EM(
EMNumber INT NOT NULL
UNIQUE(EMNumber,..)
)
CHECK:限制列的取值范围和模式.
CREATE TABLE EM(
EMNumber INT NOT NULL
CHECK(EMNumber>0)
)
FOREIGN KEY:将一个列表中的值限制为可以在另一个列表中发现的值.
CREATE TABLE EM(
EMNumber INT NOT NULL
FOREING KEY(EMNumber,..)
)
注:使用时最好都使用代码来操作,并少用中文.
如果是MySQL里面设计的话..很简单..一句话..
create datebase [数据库名];
创建表:
create table [表名](
[表属性] [属性类型]
);
如:
//创建数据库
create datebase school;
//创建表
create table student(
no int primary key,
name varchar(10) not null
);
至于表属性的类型,你可以在网上找API文档..
❺ 要疯了,怎样用多线程向MYSQL数据库中写入数据
在MySQL 8.0 之前, 我们假设一下有一条烂SQL,
mysqlselect * from t1 order by rand() ;
以多个线程在跑,导致CPU被跑满了,其他的请求只能被阻塞进不来。那这种情况怎么办?
大概有以下几种解决办法:
设置max_execution_time 来阻止太长的读SQL。那可能存在的问题是会把所有长SQL都给KILL 掉。有些必须要执行很长时间的也会被误杀。
自己写个脚本检测这类语句,比如order by rand(), 超过一定时间用Kill query thread_id 给杀掉。
那能不能不要杀掉而让他正常运行,但是又不影响其他的请求呢?
那mysql 8.0 引入的资源组(resource group,后面简写微RG)可以基本上解决这类问题。
比如我可以用 RG 来在SQL层面给他限制在特定的一个CPU核上,这样我就不管他,让他继续运行,如果有新的此类语句,让他排队好了。
为什么说基本呢?目前只能绑定CPU资源,其他的暂时不行。
那我来演示下如何使用RG。
创建一个资源组user_ytt. 这里解释下各个参数的含义,
type = user 表示这是一个用户态线程,也就是前台的请求线程。如果type=system,表示后台线程,用来限制mysql自己的线程,比如Innodb purge thread,innodb read thread等等。
vcpu 代表cpu的逻辑核数,这里0-1代表前两个核被绑定到这个RG。可以用lscpu,top等列出自己的CPU相关信息。
thread_priority 设置优先级。user 级优先级设置大于0。
mysqlmysql> create resource group user_ytt type = user vcpu = 0-1 thread_priority=19 enable;Query OK, 0 rows affected (0.03 sec)
RG相关信息可以从 information_schema.resource_groups 系统表里检索。
mysqlmysql> select * from information_schema.resource_groups;+---------------------+---------------------+------------------------+----------+-----------------+| RESOURCE_GROUP_NAME | RESOURCE_GROUP_TYPE | RESOURCE_GROUP_ENABLED | VCPU_IDS | THREAD_PRIORITY |+---------------------+---------------------+------------------------+----------+-----------------+| USR_default | USER | 1 | 0-3 | 0 || SYS_default | SYSTEM | 1 | 0-3 | 0 || user_ytt | USER | 1 | 0-1 | 19 |+---------------------+---------------------+------------------------+----------+-----------------+3 rows in set (0.00 sec)
我们来给语句select guid from t1 group by left(guid,8) order by rand() 赋予RG user_ytt。
mysql> show processlist;+-----+-----------------+-----------+------+---------+-------+------------------------+-----------------------------------------------------------+| Id | User | Host | db | Command | Time | State | Info |+-----+-----------------+-----------+------+---------+-------+------------------------+-----------------------------------------------------------+| 4 | event_scheler | localhost | NULL | Daemon | 10179 | Waiting on empty queue | NULL || 240 | root | localhost | ytt | Query | 101 | Creating sort index | select guid from t1 group by left(guid,8) order by rand() || 245 | root | localhost | ytt | Query | 0 | starting | show processlist |+-----+-----------------+-----------+------+---------+-------+------------------------+-----------------------------------------------------------+3 rows in set (0.00 sec)
找到连接240对应的thread_id。
mysqlmysql> select thread_id from performance_schema.threads where processlist_id = 240;+-----------+| thread_id |+-----------+| 278 |+-----------+1 row in set (0.00 sec)
给这个线程278赋予RG user_ytt。没报错就算成功了。
mysqlmysql> set resource group user_ytt for 278;Query OK, 0 rows affected (0.00 sec)
当然这个是在运维层面来做的,我们也可以在开发层面结合 MYSQL HINT 来单独给这个语句赋予RG。比如:
mysqlmysql> select /*+ resource_group(user_ytt) */guid from t1 group by left(guid,8) order by rand()....8388602 rows in set (4 min 46.09 sec)
RG的限制:
Linux 平台上需要开启 CAPSYSNICE 特性。比如我机器上用systemd 给mysql 服务加上
systemctl edit mysql@80 [Service]AmbientCapabilities=CAP_SYS_NICE
mysql 线程池开启后RG失效。
freebsd,solaris 平台thread_priority 失效。
目前只能绑定CPU,不能绑定其他资源。