当前位置:
首页 > Python基础教程 >
-
C#教程之C# SqlBulkCopy数据批量入库
准备条件:20万+数据
界面设计使用的WPF。
没有对比就没有伤害,以下是我两种方式导入数据案例。
运行 结果对比:
首先使用一般sql语句导入,因为时间原因,我就没有等待程序执行完,但是我记录了大约需要多少时间,以及执行了多少时间。
导入数据共计:258113条,执行了38秒,已经入库了6971条,大约还需要1429秒。(不去考虑电脑配置,界面数据加载耗时等因素)
接下来我们看看同样的数据量 SqlBulkCopy效果如何:
当我注释代码中使用异步操作,当然,界面会出现假死状态。再来看看运行结果。
解析数据时间明显减少。
以下是这个测试工具的全部代码:
/// <summary> /// BatchImportForm.xaml 的交互逻辑 /// </summary> public partial class BatchImportForm : Window { private static readonly string ConnStr = ConfigurationManager.ConnectionStrings["myconnStr"].ConnectionString; public BatchImportForm() { InitializeComponent(); } private void BtnQueryImport_Click(object sender, RoutedEventArgs e) { var filePath = GetFilePath(); if (!string.IsNullOrEmpty(filePath)) { // 防止界面假死状态 Task task = Task.Factory.StartNew(() => { SqlWork(filePath); }); } } private string GetFilePath() { // 读取文本文件 OpenFileDialog ofd = new OpenFileDialog(); ofd.InitialDirectory = System.Environment.CurrentDirectory+ "\\Resources\\Txt"; // @"C:\Users\WenDaoJun\Documents\Visual Studio 2015\Projects\JWell\JWell.Cloud.UI\Resources\Txt"; ofd.Title = "读取文件"; ofd.FileName = ""; ofd.RestoreDirectory = true; ofd.Filter = "所有文件(*.*)|*.*|文本文件(*.txt)|*.txt"; ofd.ValidateNames = true; ofd.CheckFileExists = true; ofd.CheckPathExists = true; string strName = string.Empty; if (ofd.ShowDialog() == true) { strName = ofd.FileName; } if (strName == "") { MessageBox.Show("没有选择文件!"); return null; } return strName; } private void BtnQueryImportTwo_Click(object sender, RoutedEventArgs e) { string filePath = GetFilePath(); //if (!string.IsNullOrEmpty(filePath)) //{ // Task task = Task.Factory.StartNew(() => // { // SqlBulkWord(filePath); // }); //} SqlBulkWord(filePath); } /// <summary> /// 第一种方法 /// </summary> /// <param name="fuillPath"></param> private void SqlWork(string fuillPath) { var lines = File.ReadAllLines(fuillPath, Encoding.Default); // 异步给控件赋值 this.Dispatcher.Invoke(() => { this.JingDuOn.Maximum = lines.Length; }); this.Dispatcher.Invoke(() => { this.LblRuKuOne.Content = lines.Length; }); using (SqlConnection conn = new SqlConnection(ConnStr)) { conn.Open(); var t1 = DateTime.Now; for (int i = 0; i < lines.Length; i++) { // 拼接数据 // 解析文本文件 "\"号段\"\t\"所属地区\"\t\"号码类型\"\t\"区号\"" var strs = lines[i].Split('\t'); var telNumber = strs[0].Trim('"'); var telArea = strs[1].Trim('"'); var telType = strs[2].Trim('"'); var telAreaCode = strs[3].Trim('"'); // 入库 using (SqlCommand cmd = conn.CreateCommand()) { cmd.CommandText = @"insert into TelNum(TelNumber,TelType,TelArea,TelAreaCode) values(@TelNumber,@TelType,@TelArea,@TelAreaCode)"; cmd.Parameters.Add(new SqlParameter("@TelNumber", telNumber)); cmd.Parameters.Add(new SqlParameter("@TelType", telArea)); cmd.Parameters.Add(new SqlParameter("@TelArea", telType)); cmd.Parameters.Add(new SqlParameter("@TelAreaCode", telAreaCode)); cmd.ExecuteNonQuery(); //异步委托 this.JingDuOn.Dispatcher.Invoke(() => { this.JingDuOn.Value += 1; }); this.LblJinDuOne.Dispatcher.Invoke(() => { this.LblJinDuOne.Content = i; }); } var t2 = DateTime.Now; var tsp = t2 - t1; // 异步给控件赋值 this.LblHaoShiOne.Dispatcher.Invoke(() => { this.LblHaoShiOne.Content = tsp.TotalSeconds; }); this.LblZongHaoShiOne.Dispatcher.Invoke(() => { this.LblZongHaoShiOne.Content = $"倒计时{(tsp.TotalSeconds * lines.Length / (i + 1))}秒完成。"; }); } } } /// <summary> /// 第二种方法 /// </summary> /// <param name="filePath"></param> private void SqlBulkWord(string filePath) { var lines = File.ReadAllLines(filePath, Encoding.Default); this.Dispatcher.Invoke(() => { this.JingDuTwo.Maximum = lines.Length; }); this.Dispatcher.Invoke(() => { this.LblRuKuTwo.Content = lines.Length; }); var t1 = DateTime.Now; // 创建入库需要的数据源 DataTable DataTable dt = new DataTable(); dt.Columns.Add(new DataColumn("TelNumber", typeof(string))); dt.Columns.Add(new DataColumn("TelType", typeof(string))); dt.Columns.Add(new DataColumn("TelArea", typeof(string))); dt.Columns.Add(new DataColumn("TelAreaCode", typeof(string))); for (int i = 0; i < lines.Length; i++) { var row = dt.NewRow(); // 拼接数据 // 解析文本文件 "\"号段\"\t\"所属地区\"\t\"号码类型\"\t\"区号\"" var strs = lines[i].Split('\t'); row["TelNumber"] = strs[0].Trim('"'); row["TelType"] = strs[1].Trim('"'); row["TelArea"] = strs[2].Trim('"'); row["TelAreaCode"] = strs[3].Trim('"'); dt.Rows.Add(row); this.JingDuTwo.Dispatcher.Invoke(() => { this.JingDuTwo.Value += 1; }); this.LblJinDuTwo.Dispatcher.Invoke(() => { this.LblJinDuTwo.Content = i; }); } var t2 = DateTime.Now; var tsp = t2 - t1; this.LblHaoShiTwo.Dispatcher.Invoke(() => { this.LblHaoShiTwo.Content = tsp.TotalSeconds; }); // 入库计时 var sw = new Stopwatch(); sw.Start(); using (SqlBulkCopy sbk = new SqlBulkCopy(ConnStr)) { //表名 sbk.DestinationTableName = "TelNum"; //DataTable中的列名和数据库中列名对应 sbk.ColumnMappings.Add("TelNumber", "TelNumber"); sbk.ColumnMappings.Add("TelType", "TelType"); sbk.ColumnMappings.Add("TelArea", "TelArea"); sbk.ColumnMappings.Add("TelAreaCode", "TelAreaCode"); sbk.WriteToServer(dt); } sw.Stop(); this.LblZongHaoShiTwo.Dispatcher.Invoke(() => { this.LblZongHaoShiTwo.Content=sw.Elapsed.TotalSeconds; }); } }
栏目列表
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
SQL SERVER中递归
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
这是目前我见过最好的跨域解决方案!
减少回流与重绘
减少回流与重绘
如何使用KrpanoToolJS在浏览器切图
performance.now() 与 Date.now() 对比
一款纯 JS 实现的轻量化图片编辑器
关于开发 VS Code 插件遇到的 workbench.scm.
前端设计模式——观察者模式
前端设计模式——中介者模式
创建型-原型模式