linux怎麼抓取臨時文件

❶ linuxtcpmp抓取HTTP包的詳細解釋

tcpmp

tcpmp是linux系統自帶的抓包工具，主要通過命令行的方式，比較適合在線上伺服器進行抓包操作，如果是windows或者ubuntu完全可 以選擇一些圖形化的工具，ubuntu比較推薦用wireshark，安裝方式很簡單sudo apt一下即可。

命令行格式：
tcpmp [ -adeflnNOpqStvx ] [ -c 數量 ] [ -F 文件名 ][ -i 網路介面 ] [ -r 文件名] [ -s snaplen ][ -T 類型 ] [ -w 文件名 ] [表達式 ]

常用的參數：
-l 使標准輸出變為緩沖行形式；
-n 不把網路地址轉換成名字；

-c 在收到指定的包的數目後，tcpmp就會停止；
-i 指定監聽的網路介面；(如果沒有指定可能在默認網卡上監聽，需要指定綁定了特定IP的網卡)
-w 直接將包寫入文件中，並不分析和列印出來；
-s 指定記錄package的大小，常見 -s 0 ，代表最大值65535，一半linux傳輸最小單元MTU為1500，足夠了
-X 直接輸出package data數據，默認不設置，只能通過-w指定文件進行輸出

常用表達式：

關於類型的關鍵字，主要包括host，net，port
傳輸方向的關鍵字，主要包括src , dst ,dst or src, dst and src
協議的關鍵字，主要包括fddi,ip ,arp,rarp,tcp,udp等類型
邏輯運算，取非運算是 'not ' '! ', 與運算是'and','&&'或運算 是'or' ,'||'
其他重要的關鍵字如下：gateway, broadcast,less,greater

實際例子：

1. http數據包抓取 (直接在終端輸出package data)

tcpmp tcp port 80 -n -X -s 0 指定80埠進行輸出

2. 抓取http包數據指定文件進行輸出package

tcpmp tcp port 80 -n -s 0 -w /tmp/tcp.cap

對應的/tmp/tcp.cap基本靠肉眼已經能看一下信息，比如http Header , content信息等

3. 結合管道流

tcpmp tcp port 80 -n -s 0 -X -l | grep xxxx

這樣可以實時對數據包進行字元串匹配過濾

4. mod_proxy反向代理抓包

線上伺服器apache+jetty，通過apache mod_proxy進行一個反向代理，80 apache埠, 7001 jetty埠

apache埠數據抓包：tcpmp tcp port 80 -n -s 0 -X -i eth0 注意：指定eth0網路介面
jetty埠數據抓包：tcpmp tcp port 7001 -n -s 0 -X -i lo 注意：指定Loopback網路介面

5. 只監控特定的ip主機
tcpmp tcp host 10.16.2.85 and port 2100 -s 0 -X
需要使用tcp表達式的組合，這里是host指示只監聽該ip

小技巧：

1. 可結合tcpmp(命令) + wireshark(圖形化)

操作：

在伺服器上進行tcpmp -w /tmp/tcp.cap 指定輸出外部文件
scp /tmp/tcp.cap 拷貝文件到你本地
wireshark & 啟動wireshark
通過File -> Open 打開拷貝下來的文件，這樣就可以利用進行數據包分析了
剩下來的事就非常方便了

tcpmp -XvvennSs 0 -i eth0 tcp[20:2]=0x4745 or tcp[20:2]=0x4854

0x4745 為"GET"前兩個字母"GE"

0x4854 為"HTTP"前兩個字母"HT"

說明： 通常情況下:一個正常的TCP連接，都會有三個階段:1、TCP三次握手;2、數據傳送;3、TCP四次揮手

裡面的幾個概念：

• SYN: (同步序列編號,Synchronize Sequence Numbers)
• ACK: (確認編號,Acknowledgement Number)
• FIN: (結束標志,FINish)

  TCP三次握手(創建 OPEN)

  • 客戶端發起一個和服務創建TCP鏈接的請求，這里是SYN(J)
  • 服務端接受到客戶端的創建請求後，返回兩個信息： SYN(K) + ACK(J+1)
  • 客戶端在接受到服務端的ACK信息校驗成功後(J與J+1)，返回一個信息：ACK(K+1)
  • 服務端這時接受到客戶端的ACK信息校驗成功後(K與K+1)，不再返回信息，後面進入數據通訊階段

    數據通訊

    • 客戶端/服務端 read/write數據包

      TCP四次握手(關閉 finish)

      • 客戶端發起關閉請求，發送一個信息：FIN(M)
      • 服務端接受到信息後，首先返回ACK(M+1),表明自己已經收到消息。
      • 服務端在准備好關閉之前，最後發送給客戶端一個 FIN(N)消息，詢問客戶端是否准備好關閉了
      • 客戶端接受到服務端發送的消息後，返回一個確認信息: ACK(N+1)
      • 最後，服務端和客戶端在雙方都得到確認時，各自關閉或者回收對應的TCP鏈接。

        詳細的狀態說明(以及linux相關參數調整)

        1. SYN_SEND
           • 客戶端嘗試鏈接服務端，通過open方法。也就是TCP三次握手中的第1步之後,注意是客戶端狀態
           • sysctl -w net.ipv4.tcp_syn_retries = 2 ,做為客戶端可以設置SYN包的重試次數，默認5次(大約180s)引用校長的話：僅僅重試2次，現代網路夠了
           • SYN_RECEIVED
             • 服務接受創建請求的SYN後，也就是TCP三次握手中的第2步，發送ACK數據包之前
             • 注意是服務端狀態,一般15個左右正常，如果很大，懷疑遭受SYN_FLOOD攻擊
             • sysctl -w net.ipv4.tcp_max_syn_backlog=4096 , 設置該狀態的等待隊列數，默認1024，調大後可適當防止syn-flood，可參見man 7 tcp
             • sysctl -w net.ipv4.tcp_syncookies=1 ,打開syncookie，在syn backlog隊列不足的時候，提供一種機制臨時將syn鏈接換出
             • sysctl -w net.ipv4.tcp_synack_retries = 2 ,做為服務端返回ACK包的重試次數，默認5次(大約180s)引用校長的話：僅僅重試2次，現代網路夠了
             • ESTABLISHED
               • 客戶端接受到服務端的ACK包後的狀態，服務端在發出ACK在一定時間後即為ESTABLISHED
               • sysctl -w net.ipv4.tcp_keepalive_time = 1200 ，默認為7200秒(2小時)，系統針對空閑鏈接會進行心跳檢查，如果超過net.ipv4.tcp_keepalive_probes * net.ipv4.tcp_keepalive_intvl = 默認11分，終止對應的tcp鏈接，可適當調整心跳檢查頻率
               • 目前線上的監控 waring:600 , critial : 800
               • FIN_WAIT1
                 • 主動關閉的一方，在發出FIN請求之後，也就是在TCP四次握手的第1步
                 • CLOSE_WAIT
                   • 被動關閉的一方，在接受到客戶端的FIN後，也就是在TCP四次握手的第2步
                   • FIN_WAIT2
                     • 主動關閉的一方，在接受到被動關閉一方的ACK後，也就是TCP四次握手的第2步
                     • sysctl -w net.ipv4.tcp_fin_timeout=30, 可以設定被動關閉方返回FIN後的超時時間，有效回收鏈接，避免syn-flood.
                     • LASK_ACK
                       • 被動關閉的一方，在發送ACK後一段時間後(確保客戶端已收到)，再發起一個FIN請求。也就是TCP四次握手的第3步
                       • TIME_WAIT
                         • 主動關閉的一方，在收到被動關閉的FIN包後，發送ACK。也就是TCP四次握手的第4步
                         • sysctl -w net.ipv4.tcp_tw_recycle = 1 , 打開快速回收TIME_WAIT，Enabling this option is not recommended since this causes problems when working with NAT (Network Address Translation)
                         • sysctl -w net.ipv4.tcp_tw_reuse =1, 快速回收並重用TIME_WAIT的鏈接,貌似和tw_recycle有沖突，不能重用就回收?
                         • net.ipv4.tcp_max_tw_buckets: 處於time_wait狀態的最多鏈接數，默認為180000.

        相關說明

        • 主動關閉方在接收到被動關閉方的FIN請求後，發送成功給對方一個ACK後,將自己的狀態由FIN_WAIT2修改為TIME_WAIT，而必須 再等2倍的MSL(Maximum Segment Lifetime,MSL是一個數據報在internetwork中能存在的時間)時間之後雙方才能把狀態 都改為CLOSED以關閉連接。目前RHEL里保持TIME_WAIT狀態的時間為60秒
        • keepAlive策略可以有效的避免進行三次握手和四次關閉的動作

          其他網路重要參數

          net.ipv4.tcp_rmem 參數

          默認值： min=4096 default=87380 max=4194304
          

          net.ipv4.tcp_wmem 參數

          默認值： min=4096 default=16384 max=4194304