sql 中的Bulk和C# 中的SqlBulkCopy批量插入数据 …
2018-06-23 23:28:52来源:未知 阅读 ()
通常,我们会对于一个文本文件数据导入到数据库中,不多说,上代码。
首先,表结构如下.
其次,在我当前D盘中有个文本文件名为2.txt的文件。
在数据库中,可以这样通过一句代码插入。
Bulk insert T_Demo From 'D:\2.txt' With ( fieldterminator=',', rowterminator='\n' )
1) bulk insert: 为Sql server 中一个批量插入的操作
2)T_Demo: 要插入的表
3)'D:\2.txt': 数据源文件所在磁盘上的物理路径
4)with 相当于一些插入的附属条件,可以起这里添加一些约束限制条件等
5) fieldterminator=’,’字段的分割符为”,”一般的txt文本数据源的字段分隔都为逗号,当然也可以为其他,比如”|”
6)rowterminator=’\n’各条信息间的分割符为’\n’,一般的txt文本数据源的信息间的分割都是换行符,即一条信息占一行,也可以用其他格式如:”|\n”
在微软官方给的详细如下:
BULK INSERT [ database_name . [ schema_name ] . | schema_name . ] [ table_name | view_name ] FROM 'data_file' [ WITH ( [ [ , ] BATCHSIZE = batch_size ] [ [ , ] CHECK_CONSTRAINTS ] [ [ , ] CODEPAGE = { 'ACP' | 'OEM' | 'RAW' | 'code_page' } ] [ [ , ] DATAFILETYPE = { 'char' | 'native'| 'widechar' | 'widenative' } ] [ [ , ] FIELDTERMINATOR = 'field_terminator' ] [ [ , ] FIRSTROW = first_row ] [ [ , ] FIRE_TRIGGERS ] [ [ , ] FORMATFILE = 'format_file_path' ] [ [ , ] KEEPIDENTITY ] [ [ , ] KEEPNULLS ] [ [ , ] KILOBYTES_PER_BATCH = kilobytes_per_batch ] [ [ , ] LASTROW = last_row ] [ [ , ] MAXERRORS = max_errors ] [ [ , ] ORDER ( { column [ ASC | DESC ] } [ ,...n ] ) ] [ [ , ] ROWS_PER_BATCH = rows_per_batch ] [ [ , ] ROWTERMINATOR = 'row_terminator' ] [ [ , ] TABLOCK ] [ [ , ] ERRORFILE = 'file_name' ] )]
这里我们主要看with中的一些参数:(部分)
1) BATCHSIZE : 指定批处理中的行数
2) CHECK_CONSTRAINTS:启用约束检查,指定在大容量导入操作期间,必须检查所有对目标表或视图的约束。若没有 CHECK_CONSTRAINTS 选项,则忽略所有 CHECK 和 FOREIGN KEY 约束,并在该操作后将表的约束标记为不可信。始终强制使用 UNIQUE、PRIMARY KEY 和 NOT NULL 约束。
3) FIRE_TRIGGERS
指定将在大容量导入操作期间执行目标表中定义的所有插入触发器。如果为针对目标表的 INSERT 操作定义了触发器,则每次完成批处理操作时均激发触发器。
4) KEEPNULLS
指定空列在大容量导入操作期间应保留 Null 值,而不插入列的任何默认值
5) ORDER ( { column [ ASC | DESC ] } [ ,...n ] )
指定如何对数据文件中的数据排序。如果根据表中的聚集索引(如果有)对要导入的数据排序,则可提高大容量导入的性能
6) ERRORFILE ='file_name'
指定用于收集格式有误且不能转换为 OLE DB 行集的行的文件。这些行将按原样从数据文件复制到此错误文件中。
--------------------------------------------------------------SqlBulkCopy分割线---------------------------------------------------------------------
在C#中,我们可以使用sqlBulkCopy去批量插入数据,其他批量插入方法不在讨论。
上代码......
/// <summary> /// SqlBulkCopy批量插入数据 /// </summary> /// <param name="connectionStr">链接字符串</param> /// <param name="dataTableName">表名</param> /// <param name="sourceDataTable">数据源</param> /// <param name="batchSize">一次事务插入的行数</param> public static void SqlBulkCopyByDataTable(string connectionStr, string dataTableName, DataTable sourceDataTable, int batchSize = 100000) { using (SqlConnection connection=new SqlConnection(connectionStr)) { using (SqlBulkCopy sqlBulkCopy=new SqlBulkCopy(connectionStr,SqlBulkCopyOptions.UseInternalTransaction)) { try { sqlBulkCopy.DestinationTableName = dataTableName; sqlBulkCopy.BatchSize = batchSize; for (int i = 0; i < sourceDataTable.Columns.Count; i++) { sqlBulkCopy.ColumnMappings.Add(sourceDataTable.Columns[i].ColumnName,sourceDataTable.Columns[i].ColumnName); } sqlBulkCopy.WriteToServer(sourceDataTable); } catch (Exception ex) { throw ex; } } } }
使用方式如下,这里我将插入100万条数据,
在SqlBulkCopyByDataTable方法中每次插入10万条,
其插入方式SqlBulkCopyOptions.UseInternalTransaction (即事务插入,可用其他方式。)
DataTable dt = new DataTable("测试"); dt.Columns.Add("ID",typeof(int)); dt.Columns.Add("Name", typeof(string)); dt.Columns.Add("Age", typeof(int)); for (int i = 1; i <= 1000000; i++) { DataRow row = dt.NewRow(); row["ID"] = i; row["Name"] = "名字"+i; row["Age"] = i; dt.Rows.Add(row); } string connStr = System.Configuration.ConfigurationManager.ConnectionStrings["connStr"].ConnectionString; Stopwatch stopWatch = new Stopwatch(); stopWatch.Start(); SqlBulkCopyByDataTable(connStr, "T_Demo", dt); Console.WriteLine(stopWatch.Elapsed); Console.ReadKey();
用时为如下。
参考: http://blog.csdn.net/xuemoyao/article/details/8506338
本文到此结束。
纯属回顾与粗谈,并没有细说。
请各位见谅。
标签:
版权申明:本站文章部分自网络,如有侵权,请联系:west999com@outlook.com
特别注意:本站所有转载文章言论不代表本站观点,本站所提供的摄影照片,插画,设计作品,如需使用,请与原作者联系,版权归原作者所有
- DIV居中的经典方法 2020-06-13
- CSS中的float和margin的混合使用 2020-06-11
- 循序渐进VUE+Element 前端应用开发(2)--- Vuex中的API、Sto 2020-05-25
- CSS中的一些细节 2020-04-17
- HttpServlet在第一个Servlet程序中的知识点 2020-03-28
IDC资讯: 主机资讯 注册资讯 托管资讯 vps资讯 网站建设
网站运营: 建站经验 策划盈利 搜索优化 网站推广 免费资源
网络编程: Asp.Net编程 Asp编程 Php编程 Xml编程 Access Mssql Mysql 其它
服务器技术: Web服务器 Ftp服务器 Mail服务器 Dns服务器 安全防护
软件技巧: 其它软件 Word Excel Powerpoint Ghost Vista QQ空间 QQ FlashGet 迅雷
网页制作: FrontPages Dreamweaver Javascript css photoshop fireworks Flash