前段时间,高级数据库原理课程结课,老师布置了一个大作业——实现一个分布式数据库查询系统,因为鄙人一直学习.net,故想使用这个平台实现,以进一步提高自身的水平。开始热情致高,吾在网上搜了n天,也没有什么好的资料,只找到一篇题目为《利用c#实现分布式数据库查询》的文章,此篇文章在多个site上都有雷同,作者不详……
摸索了几天,找到了实现的方案——.net remoting 技术可以实现远程对象,而ado.net则提供了强大的数据存取接口。我对ado.net比较熟悉,问题的难点就在与如何实现远程服务器。虽然是一边摸索,一边做,但是已经小有成果,呵呵,基本实现了老师的要求,诚然,做出的这个东东还很幼稚,几乎没什么实际价值,但是,还是值得拿出来给有这方面需要的同行提供一些信息,或者请这方面的高手指点一下。
下面开始言归正传。
开始动手之前,你需要了解.net remoting 技术的基本理论,熟悉分布式数据库原理,熟练掌握ado.net,并熟悉vs.net的开发环境。下面仅就这几个方面做些简单的介绍。
remoting:一种分布式处理方式,也可将它看作是dcom的一种升级,它改善了很多功能,并极好的融合到.net平台下。.net remoting 提供了一种允许对象通过应用程序域与另一对象进行交互的框架。
在remoting中是通过通道(channel)来实现两个应用程序域之间对象的通信的。
首先,客户端通过remoting,访问通道以获得服务端对象,再通过代理解析为客户端对象。这就提供一种可能性,即以服务的方式来发布服务器对象。远程对象代码可以运行在服务器上(如服务器激活的对象和客户端激活的对象),然后客户端再通过remoting连接服务器,获得该服务对象并通过序列化在客户端运行。
在remoting中,对于要传递的对象,设计者除了需要了解通道的类型和端口号之外,无需再了解数据包的格式。但必须注意的是,客户端在获取服务器端对象时,并不是获得实际的服务端对象,而是获得它的引用。这既保证了客户端和服务器端有关对象的松散耦合,同时也优化了通信的性能。
分布式数据库系统
就其本质而言,分布式数据库系统的数据在逻辑上是统一的,而在物理上却是分散的。与集中式数据库相比它有如下主要优点:
· 解决组织机构分散而数据需要相互联系的问题。
· 均衡负载。负载在各处理机间分担,可避免临界瓶颈。
· 可靠性高。数据分布在不同场地,且存有多个副本,即使个别场地发生故障,不致引起整个系统的瘫痪。
· 可扩充性好。当需要增加新的相对自主的组织单位时,可在对当前机构影响最小的情况下进行扩充。
ado.net
分布式数据库系统虽然有诸多优点,但它同时也带来了许多新问题。如:数据一致性问题、数据远程传递的实现、通信开销的降低等,这使得分布式数据库系统的开发变得较为复杂。幸运的是,微软的.net开发环境为我们提供了c#开发语言和ado.net数据访问模型,结合两者来开发分布式数据库系统能够大大简化开发工作。
ado.net以xml为核心,是.net数据库应用程序的解决方案。它使用离线数据结构,数据源中的数据被缓存到数据集(dataset)对象中,用户无须锁定数据源,数据以xml格式保存。在分布式数据库系统中,很可能出现多个用户同时访问和修改数据的情况,因此,对于分布式数据库系统,数据一致性是不可或缺的。ado.net通过使用乐观一致性方案来控制数据一致性(实际上dataset对象被设计成支持使用乐观一致性控制机制),即数据行只有在数据库中真正被更新时才会被锁定,而在悲观一致性方案中,数据行在从被提取出来到在数据库中更
新这段时间内一直被锁定。因此,使用ado.net能够在更少的时间内响应数量巨大的用户。
另外,在分布式数据库系统中,还会经常遇到当用户修改自从提取出来以来已经被修改的行时,违反一致性原则。对此问题ado.net也作了很好地解决,即使用dataset对象为每一条修改过的记录维护两个版本:原始版本和更新版本,在更新的记录被写回数据库之前,先要把数据集中记录的原始版本与数据库中的当前版本进行比较,如果两个版本匹配,就在数据库中更新记录;否则,就会出现违反一致性原则的错误。
下面开始程序实现。
第1章 系统总体结构
1.1 总体结构图
1.2 关键组件结构图
系统结构中关键的组件有远程对象,和本地服务器,实现的功能基本一致。下面以远程
对象为例,说明组件的实现。远程对象在服务器端解决方案下的库文件中声明,通过服务器端进行注册,客户端通过tcp通道与服务器端远程对象通信,实现数据集的查询和传输。主要的数据成员有:sqlconnection(sql server数据库的连接对象)、 sqlcommand (sql命令对象)、sqldataadapter(数据适配器,填充数据集)组件——dbserverlibrary:
第2 章 数据字典结构
因时间仓促,未实现数据字典,所有实验要求的sql经过解析后,直接通过代码判断,
向相应场地发送命令。
第3 章 代码结构
代码分为三部分:远程对象,服务器端代码和客户端代码。
其中:远程对象部署在各个服务器端,客户端除了实现查询命令的解析和传送外
外,还有一个本地服务器,进行相应的本地查询。
远程对象代码:
using system;
using system.runtime.serialization;
using system.data;
using system.data.sqlclient;
using system.windows.forms;
namespace dbserverlibrary
{
[serializableattribute] //it is very important for remoting data
public class dbserver : marshalbyrefobject
{
private string connstr;
private string clientsql;
public sqlconnection sqlconn;
public sqlcommand sqlcomm;
public sqldataadapter sqladapter;
public void getclientsql(string sql)
{
if(clientsql != null)
{
clientsql = null;
}
clientsql = sql;
messagebox.show(clientsql);
}
public dbserver()
{
//localdata initialize
connstr = “data source = localhost;initial catalog=ddb;user id=sa;password=;”;
sqlconn = new sqlconnection(connstr);
}
public dataset getdataset() // 执行select
{
dataset ds = new dataset();
if (sqlcomm != null)
{
sqlcomm = null;
}
if(sqlconn.state == connectionstate.closed)
{
sqlconn.open();
}
try
{
sqlcomm = new sqlcommand();
sqlcomm.connection = sqlconn;
sqlcomm.commandtext = clientsql;
sqlcomm.commandtype = commandtype.text;
sqladapter = new sqldataadapter();
sqladapter.selectcommand = sqlcomm;
sqladapter.fill(ds);
}
catch(sqlexception ex)
{
messagebox.show(ex.message);
}
return ds;
}
public int executesql() //执行insert和delete
{
int affectednumber;
if (sqlcomm != null)
{
sqlcomm = null;
}
if(sqlconn.state == connectionstate.closed)
{
sqlconn.open();
}
try
{
sqlcomm = new sqlcommand();
sqlcomm.connection = sqlconn;
sqlcomm.commandtype = commandtype.text;
sqlcomm.commandtext = clientsql;
affectednumber = sqlcomm.executenonquery();
return affectednumber;
}
catch(sqlexception ex)
{
messagebox.show(ex.message);
return 0;
}
}
}
}
服务器端代码:
private void frmsupplierserver_load(object sender, system.eventargs e)
{
tcpchannel chan = new tcpchannel(8888);
channelservices.registerchannel(chan);
//注册提供服务的远程对象 remotingconfiguration.registerwellknownservicetype(typeof(dbserverlibrary.dbserver) ,”dbserver”,wellknownobjectmode.singleton);
}
客户端代码:
解析sql:sqlparse.cs
namespace supplierclient
{
public class sqlparse
{
//得到sql语句的类型
public string getsqltype(string sqltext) //type of sql statements
{
}
//得到select语句要查询的表名
public string getselecttablename(string sqltext)
{
}
//得到select语句中的where子句
public string getwhereclause(string sqltext)
{
}
//得到查询条件中的字段名
public string getselectfield(string sqltext)
{
}
//得到分片依据,返回scity的值
public string getselectcityvalue(string sqltext)
{
}
//设定select语句经解析后的格式
public arraylist setselectlist(string sqltext)
{
}
//如果没有分片信息,则向3个场地都发送命令
public arraylist sendtoallsite(string sqltext)
{
}
//得到insert语句要查询的表名
public string getinserttablename(string sqltext)
{
}
//根据插入的表和值,设定场地:insert into supplier values(no,name,city),return city
public string getinsertcityvalue(string sqltext)
{
}
//如果表名是supplier,则根据city值设定向哪个场地发送命令
public arraylist setinsertsite(string sqltext)
{
}
//生成解析后的insert命令列表
public arraylist setinsertlist(string sqltext)
{
}
本地服务器查询代码:localserver.cs
namespace supplierclient
{
public class localserver
{
}
//返回查询结果
public dataset makedataset(string sqltext)
{
}
//执行插入和删除操作,并返回影响记录数
public int executesql(string sqltext)
{
}
第4 章 界面
4.1 客户端
客户端启动后,用户首先在文本框中输入sql命令,然后通过解析后向相应场地发送命令,并将返回的结果集进行合并,显示在界面中,显示结果后空白的文本框用来显示执行插入删除操作时的结果信息。
4.2 服务器
服务器端仅实现对远程对象的注册,因此界面不需要实现功能,只需要在启动时注册远程对象即可,接收到的客户端的用户命令是通过消息框显示的。如上图所示。
第5 章 命令处理及核心算法流程
insert 操作——
//得到insert语句要查询的表名
public string getinserttablename(string sqltext)
{
}
//根据插入的表和值,设定场地:insert into supplier values(no,name,city),return city
public string getinsertcityvalue(string sqltext)
{
}
//如果表名是supplier,则根据city值设定向哪个场地发送命令
public arraylist setinsertsite(string sqltext)
{
}
//生成解析后的insert命令列表
public arraylist setinsertlist(string sqltext)
{
}
delete 操作——
向各个场地发送,通过定义数据库中表的关系及约束来保证完整性和一致性,如果删除命令不成功,则返回异常信息,否则,返回各个场地成功执行命令影响的记录数目。
select 操作——
//得到sql语句的类型
public string getsqltype(string sqltext) //type of sql statements
{
}
//得到select语句要查询的表名
public string getselecttablename(string sqltext)
{
}
//得到select语句中的where子句
public string getwhereclause(string sqltext)
{
}
//得到查询条件中的字段名
public string getselectfield(string sqltext)
{
}
//得到分片依据,返回scity的值
public string getselectcityvalue(string sqltext)
{
}
//设定select语句经解析后的格式
public arraylist setselectlist(string sqltext)
{
}
//如果没有分片信息,则向3个场地都发送命令
public arraylist sendtoallsite(string sqltext)
{
}
第6章 结论
远程处理是.net框架提供的一项强大的技术,利用它可以使位于任何位置的应用程序互相通信,这些应用程序可能在同一台计算机上运行,也可能位于同一局域网中的不同计算机上,或者位于相隔万里的有巨大差异的网络中。
使用.net remoting技术结合ado.net能够高效、可靠地解决这两方面的问题。具体表现为,在c#中通过使用.net远程处理框架能够方便地解决数据、命令远程传递问题;c#通过ado.net对数据库进行操作,使分布式数据库系统中对数据库的各种操作变得高效、可靠,同时易于解决数据一致性问题。
由于时间关系,程序中仍有部分bug,将在下一步继续完善,而且,还应进一步完善数据字典,使程序结构更加清晰,增强可扩充性。