`

当SqlServer数据量很大时,如何优化表格能加快处理速度

sql 
阅读更多
表设计和查询的一些参考
1.合理使用索引
索引是数据库中重要的数据结构,它的根本目的就是为了提高查询效率。现在大多数的数据库产品都采用IBM最先提出的ISAM索引结构。索引的使用要恰到好处,其使用原则如下:
●在经常进行连接,但是没有指定为外键的列上建立索引,而不经常连接的字段则由优化器自动生成索引。
●在频繁进行排序或分组(即进行group by或order by操作)的列上建立索引。
●在条件表达式中经常用到的不同值较多的列上建立检索,在不同值少的列上不要建立索引。比如在雇员表的“性别”列上只有“男”与“女”两个不同值,因此就无必要建立索引。如果建立索引不但不会提高查询效率,反而会严重降低更新速度。
●如果待排序的列有多个,可以在这些列上建立复合索引(compound index)。
● 使用系统工具。如Informix数据库有一个tbcheck工具,可以在可疑的索引上进行检查。在一些数据库服务器上,索引可能失效或者因为频繁操作而 使得读取效率降低,如果一个使用索引的查询不明不白地慢下来,可以试着用tbcheck工具检查索引的完整性,必要时进行修复。另外,当数据库表更新大量 数据后,删除并重建索引可以提高查询速度。
2.避免或简化排序
应当简化或避免对大型表进行重复的排序。当能够利用索引自动以适当的次序产生输出时,优化器就避免了排序的步骤。以下是一些影响因素:
●索引中不包括一个或几个待排序的列;
●group by或order by子句中列的次序与索引的次序不一样;
●排序的列来自不同的表。
为了避免不必要的排序,就要正确地增建索引,合理地合并数据库表(尽管有时可能影响表的规范化,但相对于效率的提高是值得的)。如果排序不可避免,那么应当试图简化它,如缩小排序的列的范围等。
3.消除对大型表行数据的顺序存取
在嵌套查询中,对表的顺序存取对查询效率可能产生致命的影响。比如采用顺序存取策略,一个嵌套3层 的查询,如果每层都查询1000行,那么这个查询就要查询10亿行数据。避免这种情况的主要方法就是对连接的列进行索引。例如,两个表:学生表(学号、姓 名、年龄……)和选课表(学号、课程号、成绩)。如果两个表要做连接,就要在“学号”这个连接字段上建立索引。
还可以使用并集来避免顺序存取。尽管在所有的检查列上都有索引,但某些形式的where子句强迫优化器使用顺序存取。下面的查询将强迫对orders表执行顺序操作:
SELECT * FROM orders WHERE (customer_num=104 AND order_num>1001) OR order_num=1008
虽然在customer_num和order_num上建有索引,但是在上面的语句中优化器还是使用顺序存取路径扫描整个表。因为这个语句要检索的是分离的行的集合,所以应该改为如下语句:
SELECT * FROM orders WHERE customer_num=104 AND order_num>1001
UNION
SELECT * FROM orders WHERE order_num=1008
这样就能利用索引路径处理查询。
4.避免相关子查询
一个列的标签同时在主查询和where子句中的查询中出现,那么很可能当主查询中的列值改变之后,子查询必须重新查询一次。查询嵌套层次越多,效率越低,因此应当尽量避免子查询。如果子查询不可避免,那么要在子查询中过滤掉尽可能多的行。
5.避免困难的正规表达式
MATCHES和LIKE关键字支持通配符匹配,技术上叫正规表达式。但这种匹配特别耗费时间。例如:SELECT * FROM customer WHERE zipcode LIKE “98_ _ _”
即使在zipcode字段上建立了索引,在这种情况下也还是采用顺序扫描的方式。如果把语句改为SELECT * FROM customer WHERE zipcode >“98000”,在执行查询时就会利用索引来查询,显然会大大提高速度。
另外,还要避免非开始的子串。例如语句:SELECT * FROM customer WHERE zipcode[2,3] >“80”,在where子句中采用了非开始子串,因而这个语句也不会使用索引。
6.使用临时表加速查询
把表的一个子集进行排序并创建临时表,有时能加速查询。它有助于避免多重排序操作,而且在其他方面还能简化优化器的工作。例如:
SELECT cust.name,rcvbles.balance,……other columns
FROM cust,rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
AND cust.postcode>“98000”
ORDER BY cust.name
如果这个查询要被执行多次而不止一次,可以把所有未付款的客户找出来放在一个临时文件中,并按客户的名字进行排序:
SELECT cust.name,rcvbles.balance,……other columns
FROM cust,rcvbles
WHERE cust.customer_id = rcvlbes.customer_id
AND rcvblls.balance>0
ORDER BY cust.name
INTO TEMP cust_with_balance
然后以下面的方式在临时表中查询:
SELECT * FROM cust_with_balance
WHERE postcode>“98000”
临时表中的行要比主表中的行少,而且物理顺序就是所要求的顺序,减少了磁盘I/O,所以查询工作量可以得到大幅减少。
注意:临时表创建后不会反映主表的修改。在主表中数据频繁修改的情况下,注意不要丢失数据。
7.用排序来取代非顺序存取
非顺序磁盘存取是最慢的操作,表现在磁盘存取臂的来回移动。SQL语句隐藏了这一情况,使得我们在写应用程序时很容易写出要求存取大量非顺序页的查询。
有些时候,用数据库的排序能力来替代非顺序的存取能改进查询。
--------------------------------
1。表里面存在多个类型的数据,是把表拆开,每个类型一张表,还是就放在一个表里,拆开以后可以分流数据量,但是会导致查询和统计的处理困难。
答:对于含有图象数据类型的表还是另设一张表专门用来存储图象比较好.
对于图象表:
a:用这张表可以专门用来存储图片.
b:如果把图象字段放在大表里,那么会给管理和编程带来很大的麻烦,如果图象被存储在大表中,一旦由于图象出现某些错误,那么将会影响整张数据表,那是很危险和很不明智的。
c:这样也方便以后对各个表的维护。(有的表只维护文本数据,有的表只维护图象数据)

2。数据库在维护这样大数据量的单表时需要注意什么?(暂时不考虑什么数据库)
答:利用磁盘的条带化,将你的整张大表放在多个 物理磁盘上,可以充分的利用计算机的并行操作来提高系统的性能.(利用RAID5可以实现,还有很好的容错功能).要创建好对于你的查寻有利的索引,对于 经常更新的表创建索引时要慎重考虑.太多的索引会影响数据库的更新性能.在创建索引时必须设置好填充因子,这样可以避免在对数据表更新时对表中数据页的拆 分,减少对系统资源的耗费.将你的数据库设置成自动创建统计信息和自动更新统计信息,让优化器有最新的统计可以利用来提高系统的查询性能.如果表太大要定 期的对表进行维护和检查(包括物理上和逻辑上的).及时做好对数据的备份.
3。如果要建一个表保存历史数据,那么历史数据表和当前的数据表应该怎么组织,才能最好的实现数据的一致和便于查询统计?(现在考虑只在这个单表里面保存大概两个月的数据)
现在只是初步有了这几个考虑,以前设计数据库的时候也没有考虑那么多,希望能够借鉴一下大家的经验!
答:保存历史数据的表结构最好和当前的表结构一致,才能最好的实现数据的一致和便于查询统计,对于历史记录可以设置成只读的,可以尽量多的创建对你的查询有意义的索引.
在你大批量的将数据从当前表导入到历史表中时,可以先将索引删除,完成导入以后再重建.在导入前可以将数据库的恢复模型改为大容量型的,可以提高系统的导入速度,不过他的安全性会降低.
如果你的内存足够大,那么可以将你的经常用于查询的热表锁定在高速缓存当中,这样可以避免IO操作,减小瓶颈.大大的提高系统的查询性能.
注意:对于where column='%条件%'这样的查询条件,优化器是利用不上索引的,对于这样的模糊查询最好应用全文索引.

分享到:
评论

相关推荐

    SQL SERVER 2000开发与管理应用实例

    9.4.3 在客户端实现SQL Server数据导入与导出处理的一些说明 289 9.5 在数据库中存取文件 290 9.5.1 SQL Server中的文件存取方法 290 9.5.2 程序中的文件存取处理方法 292 第 10 章 作业 295 10.1 ...

    仓库管理系统C#+SQL2005

    另外,数据信息处理工作量大,容易出错,数据繁多,容易丢失,且不易查找。总的来说,缺乏系统、规范的信息管理手段。而且,一般的存储情况是记录在账本上的,仓库的工作人员和管理员也只是当时记得比较清楚,时间一...

    数据库原理(第5版)

    与之前我们使用与DBMS无关的方式进行讨论一样,本书将尽可能选择独立于操作系统的软件,目前网络上有非常多的杰出软件可以使用,许多大的DBMS厂商都提供了其主要产品的免费版本(如Microsoft 的SQL Server Express版...

    PL/SQL Developer8.04官网程序_keygen_汉化

     可配置的树形浏览能够显示同PL/SQL开发相关的全部信息,使用该浏览器可以获取对象描述、浏览对象定义、创建测试脚本以便调试、使能或禁止触发器或约束条件、重新编译不合法对象、查询或编辑表格、浏览数据、在对象...

    SQL语法大全

    sql="insert into 目标数据表 select * from 源数据表" (把源数据表的记录添加到目标数据表) (5) 数据记录统计函数: AVG(字段名) 得出一个表格栏平均值 COUNT(*|字段名) 对数据行数的统计或对某一栏有值的数据...

    asp.net知识库

    在Framework1.0下同时连接SqlServer和Oracle的一些体会 XML XPath XPath最通俗的教程(ZZ) XPath中相对路径和绝对路径 XPath 简单语法 Asp.Net(C#)利用XPath解析XML文档示例 XSL .Net框架下的XSLT转换技术简介 一个...

    PLSQLDeveloper下载

    对象浏览器——可配置的树形浏览能够显示同PL/SQL开发相关的全部信息,使用该浏览器可以获取对象描述、浏览对象定义、创建测试脚本以便调试、使能或禁止触发器或约束条件、重新编译不合法对象、查询或编辑表格、浏览...

    金松WEB超级数据库工具 V2.5

    【甲】支持全部主流数据库,配置简单,使用方便,能节省大量时间,比所有的数据专用工具都好用。当然了,功能目前只局限于执行sql上,以后会扩充到,更强大全面的数据库管理工具。 【乙】软件功能 『子』支持数据...

    PLSQL Developer(免安装、汉化版,很好用的) 8.0.3.1510.rar

    对象浏览器——可配置的树形浏览能够显示同PL/SQL开发相关的全部信息,使用该浏览器可以获取对象描述、浏览对象定义、创建测试脚本以便调试、使能或禁止触发器或约束条件、重新编译不合法对象、查询或编辑表格、浏览...

    金松中小学教务管理系统(职校版)

    (1)系统采用Borland dbExpress数据访问技术+MS SQL Server2000为后台数据库开发,具有较高的安全性,能在校园网上很好地运行,适合职业学校网上电子教务管理。 (2)数据表按照教育部《教育管理信息化标准》...

    数据库学习基础之名词解释

    FoxPro比FoxBASE在功能和性能上又有了很大的改进,主要是引入了窗口、按纽、列表框和文本框等控件,进一步提高了系统的开发能力。  什么是数据库的主码(主键)?  能够唯一表示数据表中的每个记录的【字段】或者...

    管理信息系统课程设计报告[仓库管理系统].doc

    另外信息处理工作量大,容易出错 ,由于数据繁多,容易丢失,且不易查找。总的来说,缺乏系统,规的信息管理手段。而 且一般的存储情况是记录在账本上的,仓库的工作人员和管理员也是当时记得清楚,时 间一长,如果要...

    金松数据库管理工具 3.0

    【甲】支持全部主流数据库,配置简单,使用方便,能节省大量时间,比所有的数据专用工具都好用。当然了,功能目前只局限于执行sql上,以后会扩充到,更强大全面的数据库管理工具。 【乙】软件功能 『子』支持数据...

    学生学籍管理系统数据库系统SQL.docx

    当学生需要查询成绩时,可以很简单地将其需要的信息从数据库中查找出来并可以打印查询结果。 随着当今网络技术的发展,提供网络在线查询功能,可以为毕业生提供更多的就业机会。 1.3.2系统功能要求 学生学籍管理...

    AppFramework_V1.0_New

    代码生成器,ORMap,支持Oracle/SqlServer/MSAccess,性能大大优于iBatisNet,终身免费,随意使用。 =========== 软件说明: 1.1 引言 约有90%的企业信息化管理系统基于数据库实现,这类系统中又有超过...

Global site tag (gtag.js) - Google Analytics