『壹』 在linux中打開了太多文件Toomanyopenfiles的三種解決方法
回答一、
[root@lxadmin nginx]# cat /proc/sys/fs/file-max
8192
文件系統最大可打開文件數
[root@lxadmin nginx]# ulimit -n
1024
程序限制只能打開1024個文件
使用[root@lxadmin nginx]# ulimit -n 8192調整一下
或者永久調整打開文件數 可在啟動文件/etc/rc.d/rc.local末尾添加(在/etc/sysctl.conf末尾添加fs.file-max=xxx無效)
ulimit -n 8192
回答二、
Linux內核有時會報告「Too many open files」,起因是file-max默認值(8096)太小。要解決這個問題,可以root身份執行下列命令(或將它們加入/etc/rcS.d/*下的init腳本。)
# echo "65536" > /proc/sys/fs/file-max # 適用於2.2和2.4版內核
# echo "131072" > /proc/sys/fs/inode-max # 僅適用於2.2版內核
回答三、
辦法是修改操作系統的打開文件數量限制,方法如下:
1. 按照最大打開文件數量的需求設置系統, 並且通過檢查/proc/sys/fs/file-max文件來確認最大打開文件數已經被正確設置。
# cat /proc/sys/fs/file-max
如果設置值太小, 修改文件/etc/sysctl.conf的變數到合適的值。 這樣會在每次重啟之後生效。 如果設置值夠大,跳過下步。
# echo 2048 > /proc/sys/fs/file-max
編輯文件/etc/sysctl.conf,插入下行。
fs.file-max = 8192
2. 在/etc/security/limits.conf文件中設置最大打開文件數, 下面是一行提示:
#
添加如下這行。
* - nofile 8192
這行設置了每個用戶的默認打開文件數為2048。 注意"nofile"項有兩個可能的限制措施。就是項下的hard和soft。 要使修改過得最大打開文件數生效,必須對這兩種限制進行設定。 如果使用"-"字元設定, 則hard和soft設定會同時被設定。
硬限製表明soft限制中所能設定的最大值。 soft限制指的是當前系統生效的設置值。 hard限制值可以被普通用戶降低。但是不能增加。 soft限制不能設置的比hard限制更高。 只有root用戶才能夠增加hard限制值。
當增加文件限制描述,可以簡單的把當前值雙倍。 例子如下, 如果你要提高默認值1024, 最好提高到2048, 如果還要繼續增加, 就需要設置成4096。
另外一種情況是在創建索引的時候,也有兩種可能,一種是 合並因子太小,導致創建文件數量超過操作系統限制,這時可以修改合並因子,也可以修改操作系統的打開文件數限制;另外一種是合並因子受虛擬機內存的限制,無法調整到更大,而 需要索引的doc 數量又非常的大,這個時候就只能通過修改操作系統的打開文件數限制來解決了。
在此基礎上,我還修改了以下一個配置文件
vi /etc/sysctl.conf
添加:
# Decrease the time default value for tcp_fin_timeout connection
net.ipv4.tcp_fin_timeout = 30
# Decrease the time default value for tcp_keepalive_time connection
net.ipv4.tcp_keepalive_time = 1800
# Turn off tcp_window_scaling
net.ipv4.tcp_window_scaling = 0
# Turn off the tcp_sack
net.ipv4.tcp_sack = 0
#Turn off tcp_timestamps
net.ipv4.tcp_timestamps = 0
然後 service network restart,這些都和TCP sockets有關的優化。
另外需要在 /etc/rc.d/rc.local里添加已使得重啟的時候生效。
echo "30">/proc/sys/net/ipv4/tcp_fin_timeout
echo "1800">/proc/sys/net/ipv4/tcp_keepalive_time
echo "0">/proc/sys/net/ipv4/tcp_window_scaling
echo "0">/proc/sys/net/ipv4/tcp_sack
echo "0">/proc/sys/net/ipv4/tcp_timestamps
因為不是所有的程序都在root下跑的,所有linux有對hard 與soft open files 的區分,普通用戶受hard的限制,無論ulimit -n $數值調到多高,都跑不到 /etc/security/limits.conf里nofile的值.
這樣的優化後 lsof -p $java_pid|wc -l可以跑到4千以上都不會拋出too many open files。謝謝閱讀,希望能幫到大家,請繼續關注,我們會努力分享更多優秀的文章。
『貳』 淺談linux下進程最大數、最大線程數、進程打開的文件數
Linux系統中進程、線程和文件描述符的數量都有其限制。理論上,每個進程在全局段描述表GDT中佔用兩個表項,使得最大進程數理論上為8180除以2,大約4090個。然而,PID值的限制默認設置為32768,意味著用戶創建進程的上限實際是這個值,即使root用戶不修改內核參數也只能達到32768個進程。
單個進程的線程數受線程庫限制,Linuxthreads限制為1024,NPTL則受限於系統資源,特別是線程棧內存。在Ubuntu-14.04-LTS-64bit系統上,Linuxthreads最多創建381個線程。32位系統中,由於內存限制,實際線程數略少於理論值。
打開文件描述符數(file-max)和nr_open參數控制了系統范圍內進程能打開的文件數。默認情況下,file-max為186405,而nr_open則限制了單進程的最大文件數。為了提高上限,可以增大這兩個值,但需要注意hard limit和soft limit的關系,以及與inode-max(2.2內核時)的兼容性。
對於非root用戶,修改hard limit有限制,需要在/etc/security/limits.conf中永久設置。而nofile參數,盡管可以設置為unlimited,但實際操作中會遇到無法登錄的限制,其上限由nr_open決定,通常為1048576。
2.4和2.6內核在處理線程和內存管理上有所不同,2.6內核在高並發場景下表現更好,但需要確保線程安全和內存管理。單進程伺服器的並發線程數受內存和ulimit參數影響,64位系統上的具體限制需視硬體配置而定。
總的來說,理解並調整這些限制對於優化Linux系統性能和資源管理至關重要。
『叄』 Linux如何修改文件打開數
操作系統版本:Redhat 5.4
問題背景:Tsung壓力測試,想要盡可能多地建立tcp請求,發現每次只能建立1013個請求。
原因分析:Linux默認的文件打開數是1024,減掉其他地方用掉的11個,剩下的就是1013個了。
解決方案:
1)先用ulimit -n或ulimit -a命令,發現文件打開數是1024
當前設置最大打開文件數可以通過如下命令查看。
ulimit -n
這個數字說明了一個普通用戶能夠在一個單獨會話中所能打開最大的文件數目。
注意。如果是root,以下操作不能使ulimit -n的輸出增加。因為用戶root用戶不受這個ulimit限制。只有普通用戶才會受這個限制。
為了提高最大打開文件數到默認值1024以上, 需要在系統上修改2個地方。
在這個案例中, 我們將最大打開文件數增加到2048。 所有的步驟需要root用戶操作。普通用戶需要重新登錄才能使設置生效。
1. 按照最大打開文件數量的需求設置系統,並且通過檢查/proc/sys/fs/file-max文件來確認最大打開文件數已經被正確設置。
# cat /proc/sys/fs/file-max
如果設置值太小, 修改文件/etc/sysctl.conf的變數到合適的值。 這樣會在每次重啟之後生效。如果設置值夠大,跳過下步。
# echo 2048 > /proc/sys/fs/file-max編輯文件/etc/sysctl.conf,插入下行。
fs.file-max = 2048
2. 在/etc/security/limits.conf文件中設置最大打開文件數, 下面是一行提示:
# 添加如下這行。
* - nofile 2048
這行設置了每個用戶的默認打開文件數為2048。
注意"nofile"項有兩個可能的限制措施。就是項下的hard和soft。
要使修改過得最大打開文件數生效,必須對這兩種限制進行設定。
如果使用"-"字元設定, 則hard和soft設定會同時被設定。
硬限製表明soft限制中所能設定的最大值。
soft限制指的是當前系統生效的設置值。
hard限制值可以被普通用戶降低。但是不能增加。
soft限制不能設置的比hard限制更高。
只有root用戶才能夠增加hard限制值。
當增加文件限制描述,可以簡單的把當前值雙倍。
例子如下, 如果你要提高默認值1024, 最好提高到2048, 如果還要繼續增加, 就需要設置成4096。
3.Add the following line to the /etc/pam.d/login and /etc/pam.d/xdm file, if it does not already exist:
session required /lib/security/pam_limits.so
4. logout and logon
或者在shell配置文件裡面動態載入。
如.bashrc里加:
ulimit -HSn 2048
二、安裝
tar zxvf mysql-5.1.50-linux-i686-glibc23.tar.gz
cp -rf mysql-5.1.50-linux-i686-glibc23 /usr/local/
cd /usr/local/
mv mysql-5.1.50-linux-i686-glibc23/ mysql
安裝為默認的路徑,這樣就不用為程序目錄做軟鏈接了
groupadd mysql
useradd -g mysql mysql
cd mysql/
cp support-files/my-medium.cnf /etc/my.cnf
sed -i 's/log-bin=mysql-bin/#log-bin=mysql-bin/g' /etc/my.cnf
sed -i 's/binlog_format=mixed/#binlog_format=mixed/g' /etc/my.cnf
sed -i 's/skip-locking/skip-locking/nmax_connections = 1000/nwait_timeout = 5/g' /etc/my.cnf
接下來初始化資料庫
scripts/mysql_install_db --user=mysql
安裝mysql服務控制
cp support-files/mysql.server /etc/rc.d/init.d/mysqld
chmod 755 /etc/rc.d/init.d/mysqld
chkconfig --add mysqld
chkconfig mysqld on
service mysqld start
bin/mysqladmin -u root password 123654