人若无名,便可专心练剑

 优化 标签

mysql优化学习小计(二)

  |   0 评论   |   3,683 浏览

一,日志跟踪:
1)查看mysql是否开启慢查询日志
     show variables like 'slow_query_log';
2)设置没有索引的记录到慢查询日志
     set global log_queries_not_using_indexes=on;
3)查看超过多长时间的sql进行记录到慢查询日志
     show variables like 'long_query_time'
4)开启慢查询日志
     set global slow_query_log=on
5)查看日志记录位置
     show variables like 'slow_query_log_file'
6)查看日志
     tail -50 /home/mysql/data/mysql-slow.log
二,日志分析(都需要perl的集成开发环境http://www.activestate.com/activeperl/downloads)
1,使用官方自带的工具,用mysql官方提供的日志分析工具查看TOP3慢日志
  mysqldumpslow -t 3 /home/mysql/data/mysql-slow.log | more
2,pt-query-digest(相关使用:http://blog.csdn.net/seteor/article/details/24017913)
    下载:http://www.percona.com/doc/percona-toolkit/2.2/pt-query-digest.html
          curl -o 'pt-query-digest' http://www.percona.com/get/pt-query-digest
  分析:
1,查询次数大且每次查询占用时间长的
2,IO 大的sql
     注意pt-query-digest分析中的rows examine项目
3,未命中索引的sql
     pt-query-digest 分析中,rows examine 和 row send的对比

     
三,explain分析


xtra:关于MYSQL如何解析查询的额外信息。可以看到的坏的例子是Using temporary和Using filesort,意思MYSQL根本不能使用索引,结果是检索会很慢
extra列返回的描述的意义
Distinct:一旦MYSQL找到了与行相联合匹配的行,就不再搜索了
Not exists: MYSQL优化了LEFT JOIN,一旦它找到了匹配LEFT JOIN标准的行,就不再搜索
Range checked for each Record(index map:#):没有找到理想的索引,因此对于从前面表中来的每一个行组合,MYSQL检查使用哪个索引,
并用它来从表中返回行。这是使用索引的最慢的连接之一
Using filesort: 看到这个的时候,查询就需要优化了。MYSQL需要进行额外的步骤来发现如何对返回的行排序。它根据连接类型以及存储排序键值和匹配条件的全部行的行指针来排序全部行
Using index: 列数据是从仅仅使用了索引中的信息而没有读取实际的行动的表返回的,这发生在对表的全部的请求列都是同一个索引的部分的时候
Using temporary 看到这个的时候,查询需要优化了。这里,MYSQL需要创建一个临时表来存储结果,这通常发生在对不同的列集进行ORDER BY上,而不是GROUP BY上
Where used 使用了WHERE从句来限制哪些行将与下一张表匹配或者是返回给用户。如果不想返回表中的全部行,并且连接类型ALL或index,这就会发生,或者是查询有问题不同连接类型的解释(按照效率高低的顺序排序)
system 表只有一行:system表。这是const连接类型的特殊情况
const:表中的一个记录的最大值能够匹配这个查询(索引可以是主键或惟一索引)。因为只有一行,这个值实际就是常数,因为MYSQL先读这个值然后把它当做常数来对待
eq_ref:在连接中,MYSQL在查询时,从前面的表中,对每一个记录的联合都从表中读取一个记录,它在查询使用了索引为主键或惟一键的全部时使用
ref:这个连接类型只有在查询使用了不是惟一或主键的键或者是这些类型的部分(比如,利用最左边前缀)时发生。对于之前的表的每一个行联合,全部记录都将从表中读出。这个类型严重依赖于根据索引匹配的记录多少—越少越好
range:这个连接类型使用索引返回一个范围中的行,比如使用>或<查找东西时发生的情况
index: 这个连接类型对前面的表中的每一个记录联合进行完全扫描(比ALL更好,因为索引一般小于表数据)
ALL:这个连接类型对于前面的每一个记录联合进行完全扫描,这一般比较糟糕,应该尽量避免


1. mysql选择索引并不一定只会在join条件和where条件上选择,有时候也会智能的选择order by、group by上的字段
2.distinct会干扰order by智能选择索引。distinct和order by共存对索引是有影响的,一般是在非where条件选择索引的情况下

参考链接:


  http://qdjalone.blog.51cto.com/1222376/1360112
  http://www.cnblogs.com/lyhabc/p/3886402.html



mysql优化学习小计(一)

  |   0 评论   |   3,119 浏览

1,优化sql一般步奏

     1.1 通过show status 和应用特点了解sql执行频率
        通过 SHOW STATUS 可以提供服务器状态信息,也可以使用 mysqladmin extended-status 命令获得。SHOW 
        STATUS 可以根据需要显示 session 级别的统计结果和 global级别的统计结果。
        以下几个参数对 Myisam 和 Innodb 存储引擎都计数:
            1. Com_select 执行 select 操作的次数,一次查询只累加 1;
            2. Com_insert 执行 insert 操作的次数,对于批量插入的 insert 操作,只累加一次;
            3. Com_update 执行 update 操作的次数;
            4. Com_delete 执行 delete 操作的次数;
        以下几个参数是针对 Innodb 存储引擎计数的,累加的算法也略有不同:
            1. Innodb_rows_read select 查询返回的行数;
            2. Innodb_rows_inserted 执行 Insert 操作插入的行数;
            3. Innodb_rows_updated 执行 update 操作更新的行数;
            4. Innodb_rows_deleted 执行 delete 操作删除的行数;
        通过以上几个参数,可以很容易的了解当前数据库的应用是以插入更新为主还是
        以查询操作为主,以及各种类型的 SQL 大致的执行比例是多少。对于更新操作的计数 ,
        是对执行次数的计数,不论提交还是回滚都会累加。
        对于事务型的应用,通过 Com_commit 和 Com_rollback 可以了解事务提交和回滚
        的情况,对于回滚操作非常频繁的数据库,可能意味着应用编写存在问题。
        此外,以下几个参数便于我们了解数据库的基本情况:
            1. Connections 试图连接 Mysql 服务器的次数
            2. Uptime 服务器工作时间
            3. Slow_queries 慢查询的次数
     1.2 定位执行效率较低的 SQL 语句:
            可以通过以下两种方式定位执行效率较低的 SQL 语句:
        1. 可以通过慢查询日志定位那些执行效率较低的 sql 语句,用--log-slow-queries[=file_name]选项启动时,mysqld 写一个包含所有执行时间超过
              long_query_time 秒的 SQL 语句的日志文件。可以链接到管理维护中的相关章节。
        2. 慢查询日志在查询结束以后才纪录,所以在应用反映执行效率出现问题的时候查询
            慢查询日志并不能定位问题,可以使用 show processlist 命令查看当前 MySQL 在
            进行的线程,包括线程的状态,是否锁表等等,可以实时的查看 SQL 执行情况, 同
                时对一些锁表操作进行优化。
     1.3 通过 EXPLAIN 分析低效 SQL 的执行计划
            通过以上步骤查询到效率低的 SQL 后,我们可以通过 explain 或者 desc 获取
            MySQL 如何执行 SELECT 语句的信息,包括 select 语句执行过程表如何连接和连接的
            次序。
            explain 可以知道什么时候必须为表加入索引以得到一个使用索引来寻找记录的更快的 SELECT。
mysql> explain select sum(moneys) from sales a,companys b where a.company_id =
b.id and a.year = 2006;
+----------------+----------+-----------+----------------+----------------+----------+-----------+----------------+
| select_type | table | type | possible_keys| key | key_len | rows
| Extra |
+----------------+----------+-----------+----------------+----------------+----------+-----------+----------------+
| SIMPLE | b | index | PRIMARY | PRIMARY | 4 | 1 | Using index
|
| SIMPLE | a | ALL | NULL | NULL | NULL | 12 | Using where
|
+----------------+----------+-----------+----------------+----------------+----------+-----------+----------------+
2 rows in set (0.02 sec)

 select_type: select 类型
 table: 输出结果集的表
type: 表示表的连接类型
当表中仅有一行是type的值为system是最佳的连接类型;
当select操作中使用索引进行表连接时type的值为ref;
当select的表连接没有使用索引时,经常会看到type的值为ALL,表示对该表
进行了全表扫描,这时需要考虑通过创建索引来提高表连接的效率。
possible_keys: 表示查询时,可以使用的索引列.
key: 表示使用的索引
key_len: 索引长度
rows: 扫描范围
    Extra: 执行情况的说明和描述
   1.4 确定问题,并采取相应的优化措施:
    经过以上步骤,基本可以确认问题出现的原因,可以根据情况采取相应的措施,进行优化提高执行的效率。
        例如上面的例子,我们确认是对 a 表的全表扫描导致效率的不理想,我们对 a
        表的 year 字段创建了索引,查询需要扫描的行数明显较少。
mysql> explain select sum(moneys) from sales a,companys b where a.company_id =
b.id and a.year = 2006;
+----------------+----------+-----------+----------------+----------------+----------+-----------+----------------+
| select_type | table | type | possible_keys| key | key_len | rows
| Extra |
+----------------+----------+-----------+----------------+----------------+----------+-----------+----------------+
| SIMPLE | b | index | PRIMARY | PRIMARY | 4 | 1 | Using index
|
| SIMPLE | a | ref | year | year | 4 | 3 | Using
where |
+----------------+----------+-----------+----------------+----------------+----------+-----------+----------------+
    2 rows in set (0.02 sec)

2.索引问题

      2.1 索引的存储分类
        myisam 表的数据文件和索引文件是自动分开的;innodb 的数据和索引是存储在
        同一个表空间里面,但可以有多个文件组成。
        创建索引语法如下:
            CREATE [UNIQUE|FULLTEXT|SPATIAL] INDEX index_name
            [USING index_type]
            ON tbl_name (index_col_name,...)
            index_col_name:
            col_name [(length)] [ASC | DESC]
        索引的存储类型目前只有两种(btree 和 hash),具体和表的模式相关:
            myisam btree
            innodb btree
            memory/heap hash,btree
        mysql 目前不支持函数索引,只能对列的前一部分(length)进行索引,例:
        create index ind_test on table1(name(5)),
            对于 char 和 varchar 列,使用前缀索引将大大节省空间。
      2.2 MySQL 如何使用索引
            索引用于快速找出在某个列中有一特定值的行。对相关列使用索引是提高
            SELECT 操作性能的最佳途径。
            查询要使用索引最主要的条件是查询条件中需要使用索引关键字,如果是多列索
            引,那么只有查询条件使用了多列关键字最左边的前缀时,才可以使用索引,否则将
            不能使用索引。
            下列情况下,Mysql 不会使用已有的索引:
            1. 如果 mysql 估计使用索引比全表扫描更慢,则不使用索引。例如:如果 key_part1
                  均匀分布在 1 和 100 之间,下列查询中使用索引就不是很好:
                  SELECT * FROM table_name where key_part1 > 1 and key_part1 < 90
            2. 如果使用 heap 表并且 where 条件中不用=索引列,其他> 、<、 >=、 <=均不使用
          索引;
            3. 如果不是索引列的第一部分;
            4. 如果 like 是以%开始;
            5. 对 where 后边条件为字符串的一定要加引号,字符串如果为数字 mysql 会自动转为
              字符串,但是不使用索引
     2.3 查看索引使用情况
        如果索引正在工作,Handler_read_key 的值将很高,这个值代表了一个行被索
        引值读的次数,很低的值表明增加索引得到的性能改善不高,因为索引并不经常使用 。
        Handler_read_rnd_next 的值高则意味着查询运行低效,并且应该建立索引补
         救。这个值的含义是在数据文件中读下一行的请求数。如果你正进行大量的表扫描,
        该值较高。通常说明表索引不正确或写入的查询没有利用索引。
    语法:  
mysql> show status like 'Handler_read%';

3,常用优化

    3.1 大批量插入数据:
         1. 对于 Myisam 类型的表,可以通过以下方式快速的导入大量的数据。
            ALTER TABLE tblname DISABLE KEYS;
            loading the data
           ALTER TABLE tblname ENABLE KEYS;
            这两个命令用来打开或者关闭 Myisam 表非唯一索引的更新。在导入大量的数据到一
            个非空的 Myisam 表时,通过设置这两个命令,可以提高导入的效率。对于导入大量
            数据到一个空的 Myisam 表,默认就是先导入数据然后才创建索引的,所以不用进行
            设置。     
        2. 而对于 Innodb 类型的表,这种方式并不能提高导入数据的效率。对于 Innodb 类型
              的表,我们有以下几种方式可以提高导入的效率:
            a. 因为 Innodb 类型的表是按照主键的顺序保存的,所以将导入的数据按照主键的顺
                序排列,可以有效的提高导入数据的效率。如果 Innodb 表没有主键,那么系统会默认
                创建一个内部列作为主键,所以如果可以给表创建一个主键,将可以利用这个优势提高
                导入数据的效率。
            b. 在导入数据前执行 SET UNIQUE_CHECKS=0,关闭唯一性校验,在导入结束后执行 SET
                UNIQUE_CHECKS=1,恢复唯一性校验,可以提高导入的效率。
            c. 如果应用使用自动提交的方式,建议在导入前执行 SET AUTOCOMMIT=0,关闭自动
                 提交,导入结束后再执行 SET AUTOCOMMIT=1,打开自动提交,也可以提高导入的效率。
    3.2 优化 insert 语句:
        3. 如果你同时从同一客户插入很多行,使用多个值表的 INSERT 语句。这比使用分开
            INSERT 语句快(在一些情况中几倍)。
            Insert into test values(1,2),(1,3),(1,4)…
        4. 如果你从不同客户插入很多行,能通过使用 INSERT DELAYED 语句得到更高的速度。
          Delayed 的含义是让 insert 语句马上执行,其实数据都被放在内存的队列中,并
             没有真正写入磁盘;这比每条语句分别插入要快的多;LOW_PRIORITY 刚好相反,
          在所有其他用户对表的读写完后才进行插入;
        5. 将索引文件和数据文件分在不同的磁盘上存放(利用建表中的选项);
        6. 如果进行批量插入,可以增加 bulk_insert_buffer_size 变量值的方法来提高速
              度,但是,这只能对 myisam 表使用;
        7. 当从一个文本文件装载一个表时,使用 LOAD DATA INFILE。这通常比使用很多
          INSERT 语句快 20 倍;
        8. 根据应用情况使用 replace 语句代替 insert;
        9. 根据应用情况使用 ignore 关键字忽略重复记录。
   3.3 优化 group by 语句
       默认情况下,MySQL 排序所有 GROUP BY col1,col2,....。查询的方法如同在查询
      中指定 ORDER BY col1,col2,...。如果显式包括一个包含相同的列的 ORDER BY
      子句,MySQL 可以毫不减速地对它进行优化,尽管仍然进行排序。
      如果查询包括 GROUP BY 但你想要避免排序结果的消耗,你可以指定 ORDER BY NULL
        禁止排序。
        例如:
            INSERT INTO foo  SELECT a, COUNT(*) FROM bar GROUP BY a ORDER BY NULL;
   3.4 优化 order by 语句:
        在某些情况中,MySQL 可以使用一个索引来满足 ORDER BY 子句,而不需要额外的排
        序。 where 条件和 order by 使用相同的索引,并且 order by 的顺序和索引顺序相同 ,
        并且 order by 的字段都是升序或者都是降序。
       例如:下列 sql 可以使用索引。
        SELECT * FROM t1 ORDER BY key_part1,key_part2,... ;
        SELECT * FROM t1 WHERE key_part1=1 ORDER BY key_part1 DESC, key_part2 DESC;
        SELECT * FROM t1 ORDER BY key_part1 DESC, key_part2 DESC;
    但是以下情况不使用索引:
        SELECT * FROM t1 ORDER BY key_part1 DESC, key_part2 ASC;
    --order by 的字段混合 ASC 和 DESC
        SELECT * FROM t1 WHERE key2=constant ORDER BY key1;
    --用于查询行的关键字与 ORDER BY 中所使用的不相同
        SELECT * FROM t1 ORDER BY key1, key2;
      --对不同的关键字使用 ORDER BY :
  3.5 优化 join 语句:
     查询结果,然后把这个结果作为过滤条件用在另一个查询中。使用子查询可以一次性
    的完成很多逻辑上需要多个步骤才能完成的 SQL 操作,同时也可以避免事务或者表锁
    死,并且写起来也很容易。但是,有些情况下,子查询可以被更有效率的连接(JOIN)替代。
    假设我们要将所有没有订单记录的用户取出来,可以用下面这个查询完成:
    SELECT * FROM customerinfo WHERE CustomerID NOT in (SELECT CustomerID FROM salesinfo )
    如果使用连接(JOIN).. 来完成这个查询工作,速度将会快很多。尤其是当 salesinfo
    表中对 CustomerID 建有索引的话,性能将会更好,查询如下:
    SELECT * FROM customerinfo
    LEFT JOIN salesinfoON customerinfo.CustomerID=salesinfo.CustomerID
    WHERE salesinfo.CustomerID IS NULL
    连接(JOIN).. 之所以更有效率一些,是因为 MySQL 不需要在内存中创建临时表来完
     成这个逻辑上的需要两个步骤的查询工作。
  3.6 mysql 如何优化 or 条件:
        对于 or 子句,如果要利用索引,则 or 之间的每个条件列都必须用到索引;如果
       没有索引,则应该考虑增加索引。
  3.7 查询优先还是更新(insert 、update 、delete)优先 :
    MySQL 还允许改变语句调度的优先级,它可以使来自多个客户端的查询更好地协
    作,这样单个客户端就不会由于锁定而等待很长时间。改变优先级还可以确保特定类
    型的查询被处理得更快。
    我们首先应该确定应用的类型,判断应用是以查询为主还是以更新为主的,是确
    保查询效率还是确保更新的效率,决定是查询优先还是更新优先。
    下面我们提到的改变调度策略的方法主要是针对 Myisam 存储引擎的,对于
    Innodb 存储引擎,语句的执行是由获得行锁的顺序决定的。
      MySQL 的默认的调度策略可用总结如下:
        1. 写入操作优先于读取操作。
        2. 对某张数据表的写入操作某一时刻只能发生一次,写入请求按照它们到达的次序来处理。
        3. 对某张数据表的多个读取操作可以同时地进行。
    MySQL 提供了几个语句调节符,允许你修改它的调度策略:
        1. LOW_PRIORITY关键字应用于DELETE、INSERT、LOAD DATA、REPLACE和UPDATE。
        2. HIGH_PRIORITY关键字应用于SELECT和INSERT语句。
        3. DELAYED关键字应用于INSERT和REPLACE语句。
    如果写入操作是一个 LOW_PRIORITY (低优先级)请求,那么系统就不会认为它的优
    先级高于读取操作。在这种情况下,如果写入者在等待的时候,第二个读取者到达了,那么
    就允许第二个读取者插到写入者之前。只有在没有其它的读取者的时候,才允许写入者开始
    操作。这种调度修改可能存在 LOW_PRIORITY 写入操作永远被阻塞的情况。
    SELECT 查询的 HIGH_PRIORITY (高优先级)关键字也类似。它允许 SELECT 插入正
    在等待的写入操作之前,即使在正常情况下写入操作的优先级更高。另外一种影响是,高优
    先级的 SELECT 在正常的 SELECT 语句之前执行,因为这些语句会被写入操作阻塞。
    如果你希望所有支持 LOW_PRIORITY 选项的语句都默认地按照低优先级来处理,那么
    请使用--low-priority-updates 选项来启动服务器。通过使用 INSERT HIGH_PRIORITY 来把
    INSERT 语句提高到正常的写入优先级,可以消除该选项对单个 INSERT 语句的影响。
  3.8 使用 SQL 提示:
        SELECT SQL_BUFFER_RESULTS ...
        将强制 MySQL 生成一个临时结果集。只要所有临时结果集生成后,所有表上的锁定均
        被释放。这能在遇到表锁定问题时或要花很长时间将结果传给客户端时有所帮助。
        当处 理一个会 让客户端 耗费点时 间才能 处理的大 结果集时 ,可以考 虑使用
        SQL_BUFFER_RESULT 提示字。这样可以告诉 MySQL 将结果集保存在一个临时表中,这
        样可以尽早的释放各种锁。
   USE INDEX
        在你查询语句中表名的后面,添加 USE INDEX 来提供你希望 MySQ 去参考的索引列
        表,就可以让 MySQL 不再考虑其他可用的索引。
        Eg:SELECT * FROM mytable USE INDEX (mod_time, name) ...
   IGNORE INDEX
        如果你只是单纯的想让 MySQL 忽略一个或者多个索引,可以使用 IGNORE INDEX 作
        为 Hint。
        Eg:SELECT * FROM mytale IGNORE INDEX (priority) ...
   FORCE INDEX
        为强制 MySQL 使用一个特定的索引,可在查询中使用 FORCE INDEX 作为 Hint 。
        Eg:SELECT * FROM mytable FORCE INDEX (mod_time) ...

其他优化方法:
     定期分析表:
    ANALYZE TABLE
        语法:
        ANALYZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...
        本语句用于分析和存储表的关键字分布。在分析期间,使用一个读取锁定对表进行锁
        定。这对于 MyISAM, BDB 和 InnoDB 表有作用。对于 MyISAM 表,本语句与使用 myisamchk -a 相当。
    CHECK TABLE
        语法:
        CHECK TABLE tbl_name [, tbl_name] ... [option] ...
        option = {QUICK | FAST | MEDIUM | EXTENDED | CHANGED}
        检查一个或多个表是否有错误。CHECK TABLE 对 MyISAM 和 InnoDB 表有作用。对于
    MyISAM 表,关键字统计数据被更新。
        CHECK TABLE 也可以检查视图是否有错误,比如在视图定义中被引用的表已不存在。
      CHECKSUM TABLE
        语法:
        CHECKSUM TABLE tbl_name [, tbl_name] ... [ QUICK | EXTENDED ]
    报告一个表校验和。
     使用 optimize table :
   OPTIMIZE TABLE
        语法:
        OPTIMIZE [LOCAL | NO_WRITE_TO_BINLOG] TABLE tbl_name [, tbl_name] ...
        如果已经删除了表的一大部分,或者如果您已经对含有可变长度行的表(含有
        VARCHAR, BLOB 或 TEXT 列的表)进行了很多更改,则应使用 OPTIMIZE TABLE。被删
        除的记录被保持在链接清单中,后续的 INSERT 操作会重新使用旧的记录位置。您可
        以使用 OPTIMIZE TABLE 来重新利用未使用的空间,并整理数据文件的碎片。
         OPTIMIZE TABLE 只对 MyISAM, BDB 和 InnoDB 表起作用。

linux 内核参数优化

  |   0 评论   |   3,175 浏览

目录

1linux内核参数注释

2、两种修改内核参数方法

3、内核优化参数生产配置

参数解释由网络上收集整理,常用优化参数对比了网上多个实际应用进行表格化整理,使查看更直观。

学习linux也有不少时间了,每次优化linux内核参数时,都是在网上拷贝而使用,甚至别人没有列出来的参数就不管了,难道我就不需要了吗?

参考文章:

linux内核TCP相关参数解释

http://os.chinaunix.net/a2008/0918/985/000000985483.shtml

linux内核参数优化

http://blog.chinaunix.net/uid-29081804-id-3830203.html

linux内核调整和内核参数详解

http://blog.csdn.net/cnbird2008/article/details/4419354

1linux内核参数注释

以下表格中红色字体为常用优化参数

根据参数文件所处目录不同而进行分表整理

下列文件所在目录:/proc/sys/net/ipv4/

名称

默认值

建议值

描述

tcp_syn_retries

5

1

对于一个新建连接,内核要发送多少个 SYN 连接请求才决定放弃。不应该大于255,默认值是5,对应于180秒左右时间。。(对于大负载而物理通信良好的网络而言,这个值偏高,可修改为2.这个值仅仅是针对对外的连接,对进来的连接,是由tcp_retries1决定的)

tcp_synack_retries

5

1

对于远端的连接请求SYN,内核会发送SYN  ACK数据报,以确认收到上一个 SYN连接请求包。这是所谓的三次握手( threeway handshake)机制的第二个步骤。这里决定内核在放弃连接之前所送出的 SYN+ACK 数目。不应该大于255,默认值是5,对应于180秒左右时间。

tcp_keepalive_time

7200

600

TCP发送keepalive探测消息的间隔时间(秒),用于确认TCP连接是否有效。

防止两边建立连接但不发送数据的攻击。

tcp_keepalive_probes

9

3

TCP发送keepalive探测消息的间隔时间(秒),用于确认TCP连接是否有效。

tcp_keepalive_intvl

75

15

探测消息未获得响应时,重发该消息的间隔时间(秒)。默认值为75秒。 (对于普通应用来说,这个值有一些偏大,可以根据需要改小.特别是web类服务器需要改小该值,15是个比较合适的值)

tcp_retries1

3

3

放弃回应一个TCP连接请求前﹐需要进行多少次重试。RFC规定最低的数值是3

tcp_retries2

15

5

在丢弃激活(已建立通讯状况)TCP连接之前﹐需要进行多少次重试。默认值为15,根据RTO的值来决定,相当于13-30分钟(RFC1122规定,必须大于100).(这个值根据目前的网络设置,可以适当地改小,我的网络内修改为了5)

tcp_orphan_retries

7

3

在近端丢弃TCP连接之前﹐要进行多少次重试。默认值是7个﹐相当于 50 - 16分钟﹐视 RTO 而定。如果您的系统是负载很大的web服务器﹐那么也许需要降低该值﹐这类 sockets 可能会耗费大量的资源。另外参的考tcp_max_orphans(事实上做NAT的时候,降低该值也是好处显著的,我本人的网络环境中降低该值为3)

tcp_fin_timeout

60

2

对于本端断开的socket连接,TCP保持在FIN-WAIT-2状态的时间。对方可能会断开连接或一直不结束连接或不可预料的进程死亡。默认值为 60 秒。

tcp_max_tw_buckets

180000

36000

系统在同时所处理的最大 timewait sockets 数目。如果超过此数的话﹐time-wait socket 会被立即砍除并且显示警告信息。之所以要设定这个限制﹐纯粹为了抵御那些简单的 DoS 攻击﹐不过﹐如果网络条件需要比默认值更多﹐则可以提高它(或许还要增加内存)(事实上做NAT的时候最好可以适当地增加该值)

tcp_tw_recycle

0

1

打开快速 TIME-WAIT sockets 回收。除非得到技术专家的建议或要求﹐请不要随意修改这个值。(NAT的时候,建议打开它)

tcp_tw_reuse

0

1

表示是否允许重新应用处于TIME-WAIT状态的socket用于新的TCP连接(这个对快速重启动某些服务,而启动后提示端口已经被使用的情形非常有帮助)

tcp_max_orphans

8192

32768

系统所能处理不属于任何进程的TCP sockets最大数量。假如超过这个数量﹐那么不属于任何进程的连接会被立即reset,并同时显示警告信息。之所以要设定这个限制﹐纯粹为了抵御那些简单的 DoS 攻击﹐千万不要依赖这个或是人为的降低这个限制。如果内存大更应该增加这个值。(这个值Redhat AS版本中设置为32768,但是很多防火墙修改的时候,建议该值修改为2000)

tcp_abort_on_overflow

0

0

当守护进程太忙而不能接受新的连接,就象对方发送reset消息,默认值是false。这意味着当溢出的原因是因为一个偶然的猝发,那么连接将恢复状态。只有在你确信守护进程真的不能完成连接请求时才打开该选项,该选项会影响客户的使用。(对待已经满载的sendmail,apache这类服务的时候,这个可以很快让客户端终止连接,可以给予服务程序处理已有连接的缓冲机会,所以很多防火墙上推荐打开它)

tcp_syncookies

0

1

只有在内核编译时选择了CONFIG_SYNCOOKIES时才会发生作用。当出现syn等候队列出现溢出时象对方发送syncookies目的是为了防止syn flood攻击。

tcp_stdurg

0

0

使用 TCP urg pointer 字段中的主机请求解释功能。大部份的主机都使用老旧的 BSD解释,因此如果您在 Linux打开它﹐或会导致不能和它们正确沟通。

tcp_max_syn_backlog

1024

16384

对于那些依然还未获得客户端确认的连接请求﹐需要保存在队列中最大数目。对于超过 128Mb 内存的系统﹐默认值是 1024 ﹐低于 128Mb 的则为 128。如果服务器经常出现过载﹐可以尝试增加这个数字。警告﹗假如您将此值设为大于 1024﹐最好修改include/net/tcp.h里面的TCP_SYNQ_HSIZE﹐以保持TCP_SYNQ_HSIZE*16(SYN Flood攻击利用TCP协议散布握手的缺陷,伪造虚假源IP地址发送大量TCP-SYN半打开连接到目标系统,最终导致目标系统Socket队列资源耗尽而无法接受新的连接。为了应付这种攻击,现代Unix系统中普遍采用多连接队列处理的方式来缓冲(而不是解决)这种攻击,是用一个基本队列处理正常的完全连接应用(Connect()Accept() ),是用另一个队列单独存放半打开连接。这种双队列处理方式和其他一些系统内核措施(例如Syn-Cookies/Caches)联合应用时,能够比较有效的缓解小规模的SYN Flood攻击(事实证明)

tcp_window_scaling

1

1

该文件表示设置tcp/ip会话的滑动窗口大小是否可变。参数值为布尔值,为1时表示可变,为0时表示不可变。tcp/ip通常使用的窗口最大可达到 65535 字节,对于高速网络,该值可能太小,这时候如果启用了该功能,可以使tcp/ip滑动窗口大小增大数个数量级,从而提高数据传输的能力(RFC 1323)。(对普通地百M网络而言,关闭会降低开销,所以如果不是高速网络,可以考虑设置为0

tcp_timestamps

1

1

Timestamps 用在其它一些东西中﹐可以防范那些伪造的sequence 号码。一条1G的宽带线路或许会重遇到带 out-of-line数值的旧sequence 号码(假如它是由于上次产生的)Timestamp 会让它知道这是个 '旧封包'(该文件表示是否启用以一种比超时重发更精确的方法(RFC 1323)来启用对 RTT 的计算;为了实现更好的性能应该启用这个选项。)

tcp_sack

1

1

使用 Selective ACK﹐它可以用来查找特定的遗失的数据报--- 因此有助于快速恢复状态。该文件表示是否启用有选择的应答(Selective Acknowledgment),这可以通过有选择地应答乱序接收到的报文来提高性能(这样可以让发送者只发送丢失的报文段)。(对于广域网通信来说这个选项应该启用,但是这会增加对 CPU 的占用。)

tcp_fack

1

1

打开FACK拥塞避免和快速重传功能。(注意,当tcp_sack设置为0的时候,这个值即使设置为1也无效)[这个是TCP连接靠谱的核心功能]

tcp_dsack

1

1

允许TCP发送"两个完全相同"SACK

tcp_ecn

0

0

TCP的直接拥塞通告功能。

tcp_reordering

3

6

TCP流中重排序的数据报最大数量 (一般有看到推荐把这个数值略微调整大一些,比如5)

tcp_retrans_collapse

1

0

对于某些有bug的打印机提供针对其bug的兼容性。(一般不需要这个支持,可以关闭它)

tcp_wmemmindefaultmax

4096

16384

131072

8192

131072

16777216

发送缓存设置

min:为TCP socket预留用于发送缓冲的内存最小值。每个tcp socket都可以在建议以后都可以使用它。默认值为4096(4K)。

default:为TCP socket预留用于发送缓冲的内存数量,默认情况下该值会影响其它协议使用的net.core.wmem_default 值,一般要低于net.core.wmem_default的值。默认值为16384(16K)。

max: 用于TCP socket发送缓冲的内存最大值。该值不会影响net.core.wmem_max,"静态"选择参数SO_SNDBUF则不受该值影响。默认值为131072(128K)。(对于服务器而言,增加这个参数的值对于发送数据很有帮助,在我的网络环境中,修改为了51200 131072 204800)

tcp_rmemmindefaultmax

4096

87380

174760

32768

131072

16777216

接收缓存设置

tcp_wmem

tcp_memmindefaultmax

根据内存计算

786432

1048576 1572864

low:当TCP使用了低于该值的内存页面数时,TCP不会考虑释放内存。即低于此值没有内存压力。(理想情况下,这个值应与指定给 tcp_wmem 的第 2 个值相匹配 - 这第 2 个值表明,最大页面大小乘以最大并发请求数除以页大小 (131072 * 300 / 4096)。 )

pressure:当TCP使用了超过该值的内存页面数量时,TCP试图稳定其内存使用,进入pressure模式,当内存消耗低于low值时则退出pressure状态。(理想情况下这个值应该是 TCP 可以使用的总缓冲区大小的最大值 (204800 * 300 / 4096)。 )

high:允许所有tcp sockets用于排队缓冲数据报的页面量。(如果超过这个值,TCP 连接将被拒绝,这就是为什么不要令其过于保守 (512000 * 300 / 4096) 的原因了。 在这种情况下,提供的价值很大,它能处理很多连接,是所预期的 2.5 倍;或者使现有连接能够传输 2.5 倍的数据。 我的网络里为192000 300000 732000)

一般情况下这些值是在系统启动时根据系统内存数量计算得到的。

tcp_app_win

31

31

保留max(window/2^tcp_app_win, mss)数量的窗口由于应用缓冲。当为0时表示不需要缓冲。

tcp_adv_win_scale

2

2

计算缓冲开销bytes/2^tcp_adv_win_scale(如果tcp_adv_win_scale > 0)或者bytes-bytes/2^(-tcp_adv_win_scale)(如果tcp_adv_win_scale BOOLEAN>0)

tcp_low_latency

0

0

允许 TCP/IP 栈适应在高吞吐量情况下低延时的情况;这个选项一般情形是的禁用。(但在构建Beowulf 集群的时候,打开它很有帮助)

tcp_westwood

0

0

启用发送者端的拥塞控制算法,它可以维护对吞吐量的评估,并试图对带宽的整体利用情况进行优化;对于 WAN通信来说应该启用这个选项。

tcp_bic

0

0

为快速长距离网络启用 Binary Increase Congestion;这样可以更好地利用以 GB 速度进行操作的链接;对于WAN 通信应该启用这个选项。

ip_forward

0

NAT必须开启IP转发支持,把该值写1

ip_local_port_range:minmax

32768

61000

1024

65000

表示用于向外连接的端口范围,默认比较小,这个范围同样会间接用于NAT表规模。

ip_conntrack_max

65535

65535

系统支持的最大ipv4连接数,默认65536(事实上这也是理论最大值),同时这个值和你的内存大小有关,如果内存128M,这个值最大81921G以上内存这个值都是默认65536


所处目录/proc/sys/net/ipv4/netfilter/

文件需要打开防火墙才会存在

名称

默认值

建议值

描述

ip_conntrack_max

65536

65536

系统支持的最大ipv4连接数,默认65536(事实上这也是理论最大值),同时这个值和你的内存大小有关,如果内存128M,这个值最大81921G以上内存这个值都是默认65536,这个值受/proc/sys/net/ipv4/ip_conntrack_max限制


ip_conntrack_tcp_timeout_established

432000

180

已建立的tcp连接的超时时间,默认432000,也就是5天。影响:这个值过大将导致一些可能已经不用的连接常驻于内存中,占用大量链接资源,从而可能导致NAT ip_conntrack: table full的问题建议:对于NAT负载相对本机的 NAT表大小很紧张的时候,可能需要考虑缩小这个值,以尽早清除连接,保证有可用的连接资源;如果不紧张,不必修改

ip_conntrack_tcp_timeout_time_wait

120

120

time_wait状态超时时间,超过该时间就清除该连接

ip_conntrack_tcp_timeout_close_wait

60

60

close_wait状态超时时间,超过该时间就清除该连接

ip_conntrack_tcp_timeout_fin_wait

120

120

fin_wait状态超时时间,超过该时间就清除该连接


文件所处目录/proc/sys/net/core/

名称

默认值

建议值

描述

netdev_max_backlog


1024

16384

每个网络接口接收数据包的速率比内核处理这些包的速率快时,允许送到队列的数据包的最大数目,对重负载服务器而言,该值需要调高一点。

somaxconn 


128

16384

用来限制监听(LISTEN)队列最大数据包的数量,超过这个数量就会导致链接超时或者触发重传机制。

web应用中listen函数的backlog默认会给我们内核参数的net.core.somaxconn限制到128,而nginx定义的NGX_LISTEN_BACKLOG默认为511,所以有必要调整这个值。对繁忙的服务器,增加该值有助于网络性能

wmem_default


129024

129024

默认的发送窗口大小(以字节为单位)

rmem_default


129024

129024

默认的接收窗口大小(以字节为单位)

rmem_max


129024

873200

最大的TCP数据接收缓冲

wmem_max

129024

873200

最大的TCP数据发送缓冲


2、两种修改内核参数方法:

1、使用echo value方式直接追加到文件里echo "1" >/proc/sys/net/ipv4/tcp_syn_retries,但这种方法设备重启后又会恢复为默认值

2、把参数添加到/etc/sysctl.conf中,然后执行sysctl -p使参数生效,永久生效


3、内核生产环境优化参数

这儿所列参数是老男孩老师生产中常用的参数:

net.ipv4.tcp_syn_retries = 1

net.ipv4.tcp_synack_retries = 1

net.ipv4.tcp_keepalive_time = 600

net.ipv4.tcp_keepalive_probes = 3

net.ipv4.tcp_keepalive_intvl =15

net.ipv4.tcp_retries2 = 5

net.ipv4.tcp_fin_timeout = 2

net.ipv4.tcp_max_tw_buckets = 36000

net.ipv4.tcp_tw_recycle = 1

net.ipv4.tcp_tw_reuse = 1

net.ipv4.tcp_max_orphans = 32768

net.ipv4.tcp_syncookies = 1

net.ipv4.tcp_max_syn_backlog = 16384

net.ipv4.tcp_wmem = 8192 131072 16777216

net.ipv4.tcp_rmem = 32768 131072 16777216

net.ipv4.tcp_mem = 786432 1048576 1572864

net.ipv4.ip_local_port_range = 1024 65000

net.ipv4.ip_conntrack_max = 65536

net.ipv4.netfilter.ip_conntrack_max=65536

net.ipv4.netfilter.ip_conntrack_tcp_timeout_established=180

net.core.somaxconn = 16384

net.core.netdev_max_backlog = 16384

对比网上其他人的生产环境优化参数,需要优化的参数基本差不多,只是值有相应的变化。具体优化值要参考应用场景,这儿所列只是常用优化参数,是否适合,可在上面查看该参数描述,理解后,再根据自己生产环境而设。

其它相关linux内核参数调整文章:

Linux内核参数优化

http://flandycheng.blog.51cto.com/855176/476769

优化linux的内核参数来提高服务器并发处理能力

http://www.ha97.com/4396.html

nginxweb服务器linux内核参数优化

http://blog.csdn.net/force_eagle/article/details/6725243


From:http://yangrong.blog.51cto.com/6945369/1321594