php分布式文件管理系統

⑴ 如何使用PHP開發高效的WEB系統

• 一般對於一個功能頁抄面在20以下的網站，我們可以用一個很簡單的框架結構來寫。在這個規模上，我建議是使用比較直接的面向過程編碼方法，原因很簡單，沒有必要把class文件弄的N 多。

• php開發高效WEB系統中型項目

  結構優美的OO化的PHP，建議使用一個良好設計的框架來做，這個框架可以是基於MVC模型，封裝了眾多底層操作的。

• 大型項目

  簡單的指分布式項目，就是說，你的程序需要被部署在N台伺服器上了。在這個層級上，PHP比起j2ee的確缺乏很多支持。
  

⑵ php網站運維主要做什麼

運維工程師幹些什麼

總結兩句話

1、保障業務長期穩定運行（如網站伺服器、游戲伺服器等等）。

2、保障數據安全可靠（如用戶名密碼、游戲數據、博客文章、交易數據等等）。

由這兩句話推演運維工程師要學些什麼

一、保障業務長期穩定運行

出一點點差錯，用戶納橡就要投訴了。

1、業務跑在什麼上面？

網站伺服器一般是apache,nginx,tomcat等。但是真正跑通流程還需要Mysql資料庫來存儲用戶密碼及其它。很多程序都要php的解析，所以LNMP、LAMP(即nginx、apache、mysql、php)環境部署是必須掌握的技能。

2、業務出了問題怎麼及時知道？

這就需要監控軟體來郵件或簡訊來通知你，常用的有zabbix,nagios等。報警發郵件，也得一個郵件程序呀，sendmail或postfix。

3、在家裡收到報警，但伺服器是內網IP，怎麼也得解決問題吧？

在公司搭建openvpn或pptp或openswan，在家裡通過VPN撥入內網，24小時解決問題唉，半夜爬起來解決問題也沒工資。

二、保障數據安全可靠

出一點點差錯，領導要找你喝茶了。

1、有時需要手動改資料庫內容？

所以要會基本的Mysql資料庫增刪查改命令。

2、萬一資料庫伺服器硬體壞了怎麼辦？

需要有個備庫以備不時之需，所以需要Mysql主從復制。

3、資料庫要還原怎麼辦？

所以需要在crond中定期全備Mysql數據，以便還原使用。如果要還原到指定時間點，還要學會Mysql增量備份與恢復。

4、如果是用戶上傳的圖片或文件伺服器壞了怎麼辦？

定時備份可能還不夠，需陸茄兆要使用rsync加inotify來實時備份。以便任一時刻主伺服器壞掉，也能保障所有圖片有備份可以用來恢復。

5、小心黑客，要增加伺服器安全性？

ssh輕易不能讓外人訪問，那麼就設置只允許公司的IP或跳板機IP訪問，這些都通過iptables來控制。

三、大性能

小公司總有一天會牛逼起來的，實在牛不起來咱也可以跳到大公司。

1、越來越多的用戶來訪問我們的網站，一台web伺服器抗不住了怎麼辦？

那就需要多台web伺服器來負擔，但多台伺服器之間怎麼進行負載均衡呢，這就需要用到nginx反向代理或LVS+keepalived或haproxy+heartbeat了。

2、用戶注冊發表的文章與評論太多，一台資料庫抗不住了怎麼辦？

資料庫壓力分為讀和寫，如果寫抗不住，需要進行分表分庫到多個伺服器上。如果是讀壓力不夠了，可以使用mysql-proxy讀寫分離，來分擔讀的壓力。更簡單方便的方法，把資料庫里的內容放到內存上，這就用上memcache或redis了。

3、N多用戶上傳下載文件，磁碟抗不住了怎麼辦？

把多塊磁碟做成raid，或者使用分布式存儲文件系統如MFS，GlusterFS來提高磁碟的讀寫能力。

4、網站上好多圖片，總有用戶反應網站載入太慢，怎麼辦？

這時可以把網站上的圖片通過squid或varnish緩存到網站前端，盡可能的增加訪問速度，當然，最好是購買商業的CDN加速。

5、運營商是個大難題，他們之間的帶寬好像很小，聯通IP訪問我電信網站怎麼就這么慢呢？

這時可以使用bind自建一個DNS服務早租器，把網站的DNS記錄指向自建DNS伺服器上，配置好解析規則，以後聯通IP解析到聯通網站上，電信IP解析到電信網站上，體驗就會好很多啦。

四、自動化

終極目標：跑死機器，閑死人。

1、公司新買100台伺服器，公司竟然就1個移動光碟機，這裝系統得到什麼時候？

使用kickstart或cobbler來網路遠程自動安裝系統吧。

2、每次裝完機要優化很多內容，什麼文件描述符、埠、軟體安裝啊，手動操作不累死去？

趕緊學會shell，將解放非常多的工作量。

3、系統裝完後登陸要輸入密碼，這么多台啊？

使用expect吧，自動讀取提示來輸入密碼，並執行命令。

4、要批量把新代碼發布到線上伺服器，怎麼辦？

使用saltstack或puppet或ansible吧，絕對爽歪歪。

五、其他

1、搭整套測試環境需要5台伺服器，但公司窮的只有一台空閑伺服器？

學會xen或kvm或docker吧，虛擬出多台伺服器，就能解決資源問題了。特別是docker，強烈推薦，以後某個研發人員讓你部署一套新環境，分分鍾幫他解決。

2、研發人員的代碼控制，許可權控制，總要運維人員管呀？

svn或git，這個是肯定要有的。

結尾：

現在我們在回過頭來思考，運維工程師平時幹些啥呢？

1、隨時解決報警故障。

2、業務程序更新。

3、編寫一些腳本，監控或完成其他可自動完成功能。

4、運維架構完善，部署一些用起來更方便更可靠或性能更好的開源工具以及制定運維流程規范。

5、打雜，如調交換機，裝系統，部署新環境等。

⑶ php大型應用如何採用分布式架構

大型分布式架構都是靠多種語言和工具共同分工合作實現的。

不是一兩種工具或者語言能實現的，如果專指php那是沒有意義的，因為php本身只是一個單進程的東東，更別說分布式。

大規叢賀模的web應用以及分布式架構主要在於伺服器的整體架構：

1、web服務集群；

2、資料庫集群；

3、分布式緩存；

php充其量只是實現其中一個節點的某個具體的web應用。

SD框架支持長連接協議TCP，WebSocket，短連接協議HTTP，以及UDP。

通過配置開放不同的埠開發者可以輕松管理不同的協議，並且可以共用一套業務代碼，當然你可以通過智能路由進行代碼的隔離。

長連接可以配置不同的數據傳輸協議，比如二進制協議文本協議等等，通過框架提供的封裝器孫鄭首解包器介面可以自定義各種各種的協議封裝，並且各種協議之間可以自動轉換，比如你通過廣播發送一個信息，該信息流向不同客戶端，客戶端間採用不同協議，那麼框架會根據不同的埠自動轉換不同的協議封裝。

也可以通過Http給所有長連接客戶端發送推送消息，類似這種混合協議協作的業務在SD框架上會異常簡單。

(3)php分布式文件管理系統擴展閱讀：

普通的Web開發，常用的模式就是用戶登錄之後，登錄狀態信息保存在Session中，用戶一些常用的熱數據保存在文件緩存中，用戶上傳的附件信息保存在Web伺服器的某個目錄上。這種方式對於一般的Web應用，使用很方便，完全能夠勝任。但是對於高並發的企業級網站，就應付不了了。需要採用Web集群實現負載均衡。

使用Web集群方式部署之後，首要調整的就是用戶狀態信息與附件信息。用戶狀態不能再保存到Session中，緩存也不能用本地Web伺服器的文件緩存，以及附件，也不能保存在Web伺服器上了。因為要保證集群裡面的各個Web伺服器，狀態完全一致。

因此，需要將用戶狀態、緩存等保存到專用的緩存伺服器，比如Memcache。附件需要保存到雲存儲中，比如七牛雲存儲、阿里雲存儲、騰訊雲存儲等。

SD框架內大多數的對象都使用了對象池技術，對象池技術有利於系統內存的穩定，減少GC的次數，提高系統的運行效率，事實證明對象池對系統穩定做出了極大的貢獻。

開發者也可以使用這一套對象池技術，增加對對象的復用，減少GC和NEW的頻率，對系統毛刺則數現象和內存泄露方面都有很大的穩定性提升。

⑷ php能實現分布式資料庫嗎

分布式資料庫系統通常使用較小的計算機系統，每台計算機凳叢告可單獨放在一個地方，每台計算機中都有dbms的一份完整拷貝副本，並具有自己局部的資料庫，位於不同地點的許多計算機通過網路互相連接，共同組成一個完整的、全局的大型資料庫。

這種組織資料庫的方法克服了物理中心資料庫組織的弱點。首先，降低了數據傳送代價，因為大多數的對資料庫的訪問操作都是針對局部資料庫的，而不是對其他位置的資料庫訪問；其次，系統的可靠性提高了很多，因為當網路出現故障時，仍然允許對局部資料庫的操作，而且一個位置的故障不影響其他位置的處理工作，只有當訪問出現故障棗明位置的數據時，在某種程度上才受影響；第三，便於系統的擴充，增加一個新的局部資料庫，或在某個位置擴充一台適當的小型計算機，都很容易實現。然而有些功能要付出更高的代價。例如，為了調配在幾個位置上的活動，事務管理的性能比在中心資料庫時花費更高，而且甚至抵消許多其他的優點。

分布式資料庫系統主要特點：

多數處理就地完成；

各地的計算機由數據通信網路相聯系；

克服了中心資料庫的弱點：降低了數據傳輸代價；

提高了系統的可靠性，局部系統發生故障，其他部分還可繼續工作；

各個資料庫的位置是透明的，方便系統的擴充；

為了協調整個系統的事務活動，事務管理的性能花費高；

數據分片

類型：

（1）水平分片：按一定的條件把全局關系的所有元組劃分成若干不相交的子集，每個子集為關系的一個片段。

（2）垂直分片：把一個全局關系的屬性集分成若乾子集，並在這些子集上作投影運算，每個投影稱為垂直分片。

（3）導出分片：又稱為導出水平分片，即水平分片的條件不是本關系屬性的條件，而是其他關系屬性的條件。

（4）混合分片：以上三種方法的混合。可以先水平分片再垂直分片，或先垂直分片再水平分片，或其他形式，但他們的結果是鄭枝不相同的。

⑸ 誰清楚phpcms和dedecms各個缺點和優點

phpcms優點：

1. 模塊化安裝，非常適合安裝，拆卸，和拿到市場上去交易非常方便的。

2. 靈活的標簽語法，非常強大。

3. 緩存做的非常優秀。幾乎支持目前主流的幾大緩存系統解決方案運轎，file緩存，eaelerator緩存，memcache緩存，shmop緩存等

4. 安全性也不錯的。後台為了防範入侵，採用了cookie和session同時存在驗證技術，才可以安全進入後台。

多次登錄失敗，開啟驗證碼功能。防止機器人頻繁猜口令。

5. 資料庫。在根目錄下的include目錄下，db_aess.phpdb_mssql.phpdb_mysql.php等，就照著他的方法，在雀此增加幾個也沒問題的。

6.兼容性。是在php4的基礎上開發的，所以向下兼容性是不錯的。在include/global.func.php 這個文件可以看到很多if(!function_exist()){}，這些代碼就是為了兼容php4相關函數。

phpcms缺點：

1. 後台對應的模塊的功能列表url,從資料庫中讀取的，也即是，安裝的時候，將url寫入資料庫了。這個如果二次開發要修改的話，不是很方便的，最好是寫到文件中，讀取文件內容，方便開發者開發，而且也更容易維護，如果是出於安全考慮的話，不妨加下密也可以的。

2. 分部式。 後台的某些功能模塊，還是要調用各個應用模塊的admin部分，相關＊．inc．php文件．如果我要把其中某個模塊或應用獨立出去部署到其他的伺服器上，就不方便了。

3.資料庫設計問題，後台開設模型時，表的引擎只能是myIsam,而不能選擇其他的，欄位的類型，比如要開設一個欄位為number,類型為int,但是在新增加的模型表中還是以varchar出現，而不是int,長度是默認的255.modelfiled表，才發現該系統是將類型寫到該表中了。

4.加密/解密程序。目前已經在想相關安全網站已被爆以破解。這也不是什麼新聞了。在開發中，關注下相關安全廠商發布的漏洞。

5. 資料庫抽象層。就以上提到的幾個數據頃悄迅庫文件。 db_mssql.php db_mysql.php db_aess.php 等對於資料庫分布式，應該沒問題的。 資料庫抽象層處理數據比較快，且快平台更容易且更容易維護，這個是需要考慮的。

Dedecms功能實用，模板功能使用簡單。

⑹ php有沒有好的分布式日誌收集系統

用syslog-ng呢？

⑺ php可以支持目前主流的資料庫

php支持的資料庫有很多噢，下面列舉一下！

MySQL

MySQL 是最流行的關系型資料庫管理系統，在 WEB 應用方面 MySQL 是最好的 RDBMS(Relational Database Management System：關系資料庫管理系統)應用軟體之一。

MsSql

ms SQL是指微軟的SQLServer資料庫伺服器，它是一個資料庫平台，提供資料庫的從伺服器到終端的完整的解決方案，其中資料庫伺服器部分，是一個資料庫管理系統，用於建立、使用和維護資料庫。

Oracle

oracle是甲骨文公司的一款關系資料庫管理系統。它是在資料庫領域一直處於領先地位的產品。可以說Oracle資料庫系統是目前世界上流行的關系資料庫管理系統，系統可移植性好、使用方便、功能強，適用於各類大、中、小、微機環境。它是一種高效率、可靠性好的、適應高吞吐量的資料庫方案。

Access

Access是由微軟發布的關系資料庫管理系統。它結合了 MicrosoftJet Database Engine 和 圖形用戶界面兩項特點，是 Microsoft Office 的系統程序之一。

PostgreSQL

PostgreSQL是一種特性非常齊全的自由軟體的對象-關系型資料庫管理系統（ORDBMS），是以加州大學計算機系開發的POSTGRES，4.2版本為基礎的對象關系型資料庫管理系統。POSTGRES的許多領先概念只是在比較遲的時候才出現在商業網站資料庫中。

InterBase

InterBase是一種關系數據管理系統(Relational database management system RDBMS)，它提供了在單機或多用戶環境中的快速數據處理及共享的工具。InterBase的核心是提供透明的多機種支持的網路運行伺服器技術。InterBase是可以在Windows 95、Windows NT、Novell NetWare及多種UNIX操作系統上運行的工具。

CUBRID

CUBRID是一個全面開源，且完全免費的關系資料庫管理系統。

dBase

dBase是第一個在個人電腦上被廣泛使用的單機版資料庫系統。

Firebird/InterBase

Firebird特性介紹firebird是一個全功能的，強大高效的，輕量級，免維護的資料庫。

IBM DB2

IBM DB2 是美國IBM公司開發的一套關系型資料庫管理系統

Informix

Informix是IBM公司出品的關系資料庫管理系統（RDBMS）家族。

MaxDB

MaxDB是一種企業級資料庫管理系統。

MongoDB

MongoDB 是一個基於分布式文件存儲的資料庫。

mSQL

mSQL（mini SQL）是一個單用戶資料庫管理系統，個人使用免費，商業使用收費。由於它的短小精悍，使其開發的應用系統特別受到互聯網用戶青睞。

SQLite

SQLite，是一款輕型的資料庫,是遵守ACID的關系型資料庫管理系統,它包含在一個相對小的C庫中。

SQLSRV

SQL Server（SQLSRV ）是由Microsoft開發和推廣的關系資料庫管理系統（RDBMS）。

Sybase

美國Sybase公司研製的一種關系型資料庫系統，是一種典型的UNIX或WindowsNT平台上客戶機/伺服器環境下的大型資料庫系統。

tokyo_tyrant

一個可持久化數據的，好處是速度不錯，而且大至兼容Memcached的文本協議，客戶端可以繼續使用SpyMemcached。
希望對你有幫助，謝謝採納！

⑻ php mysql分布式資料庫如何實現

當前做分布式的廠商有幾家，我知道比較出名的有「華為雲分布式資料庫DDM」和「阿里雲分布式資料庫」，感興趣可以自行搜素了解下。

分布式資料庫的幾點概念可以了解一下。

數據分庫：

以表為單位，把原有資料庫切分成多個資料庫。切分後不同的表存儲在不同的資料庫上。

以表中的數據行記錄為單位，把原有邏輯資料庫切分成多個物理資料庫分片，表數據記錄分布存儲在各個分片上。

路由分發：

在分布式資料庫中，路由的作用即將SQL語句進行解析，並轉發到正確的分片上，保證SQL執行後得到正確的結果，並且節約QPS資源。

讀寫分離：

資料庫中對計算和緩存資源消耗較多的往往是密集或復雜的SQL查詢。當系統資源被查詢語句消耗，反過來會影響數據寫入操作，進而導致資料庫整體性能下降，響應緩慢。因此，當資料庫CPU和內存資源佔用居高不下，且讀寫比例較高時，可以為資料庫添加只讀資料庫。

⑼ php的memcached分布式hash演算法,如何解決分布不均crc32這個演算法沒辦法把key值均勻的分布出去

memcached的總結和分布式一致性hash
當前很多大型的web系統為了減輕資料庫伺服器負載，會採用memchached作為緩存系統以提高響應速度。
目錄： （http://hounwang.com/lesson.html）
memchached簡介
hash
取模
一致性hash
虛擬節點
源碼解析
參考資料
1. memchached簡介
memcached是一個開源的高性能隱悶野分布式內存對象緩存系統。
其實思想還是比較簡單的，實現包括server端（memcached開源項目一般只單指server端）和client端兩部分:
server端本質是一個in-memory key-value store，通過在內存中維護一個大的hashmap用來存儲小塊的任意數據，對外通過統一的簡單介面（memcached protocol）來提供操作。
client端是一個library，負責處理memcached protocol的網路通信細節，與memcached server通信，針對各種語言的不同實現分裝了易用的API實現了與不同語言平台的集成。
web系統則通過client庫來使用memcached進行對象緩存。
2. hash
memcached的分布式主要體現在client端，對於server端，僅僅是部署多個memcached server組成集群，每個server獨自維護自己的數據（互相之間沒有任何通信），通過daemon監聽埠等待client端的請求。
而在client端，通過一致的hash演算法，將要存儲的數據分布到某個特定的server上進行存儲，後續讀取查詢使用同樣的hash演算法即可定位。
client端可以採用各種hash演算法來定位server：
取模
最簡單的hash演算法
targetServer = serverList[hash(key) % serverList.size]
直接用key的hash值（計算key的hash值的方法可以自由選擇，比如演算法CRC32、MD5,甚至本地hash系統，如java的hashcode）模上server總數來定位目標server。這種演算法不僅簡單，而且具有不錯的隨機分布特性。
但是問題也很明顯，server總數不能輕易變化。因為如果增加/減少memcached server的數量，對原先存儲的所有key的後續查詢都將定位到別的server上，導致所有的cache都不能被命中而失效。
一致性hash
為了解決這個問題，需要採用一致性hash演算法（consistent hash）
相對於取模的演算法，一致性hash演算法除了計算key的hash值外，還會計算每個server對應的hash值，然後將這些hash值映射到一個有限的值域上（比如0~2^32）。灶喊通過尋找hash值大於hash(key)的最小server作為存儲該key數據的目標server。如果找不到，則直接把具有罩野最小hash值的server作為目標server。
為了方便理解，可以把這個有限值域理解成一個環，值順時針遞增。
如上圖所示，集群中一共有5個memcached server，已通過server的hash值分布到環中。
如果現在有一個寫入cache的請求，首先計算x=hash(key)，映射到環中，然後從x順時針查找，把找到的第一個server作為目標server來存儲cache，如果超過了2^32仍然找不到，則命中第一個server。比如x的值介於A~B之間，那麼命中的server節點應該是B節點
可以看到，通過這種演算法，對於同一個key，存儲和後續的查詢都會定位到同一個memcached server上。
那麼它是怎麼解決增/刪server導致的cache不能命中的問題呢？
假設，現在增加一個server F，如下圖
此時，cache不能命中的問題仍然存在，但是只存在於B~F之間的位置（由C變成了F），其他位置（包括F~C）的cache的命中不受影響（刪除server的情況類似）。盡管仍然有cache不能命中的存在，但是相對於取模的方式已經大幅減少了不能命中的cache數量。
虛擬節點
但是，這種演算法相對於取模方式也有一個缺陷：當server數量很少時，很可能他們在環中的分布不是特別均勻，進而導致cache不能均勻分布到所有的server上。
如圖，一共有3台server – 1，2，4。命中4的幾率遠遠高於1和2。
為解決這個問題，需要使用虛擬節點的思想：為每個物理節點（server）在環上分配100～200個點，這樣環上的節點較多，就能抑制分布不均勻。
當為cache定位目標server時，如果定位到虛擬節點上，就表示cache真正的存儲位置是在該虛擬節點代表的實際物理server上。
另外，如果每個實際server的負載能力不同，可以賦予不同的權重，根據權重分配不同數量的虛擬節點。
// 採用有序map來模擬環
this.consistentBuckets = new TreeMap();
MessageDigest md5 = MD5.get();//用MD5來計算key和server的hash值
// 計算總權重
if ( this.totalWeight for ( int i = 0; i < this.weights.length; i++ )
this.totalWeight += ( this.weights[i] == null ) ? 1 : this.weights[i];
} else if ( this.weights == null ) {
this.totalWeight = this.servers.length;
}
// 為每個server分配虛擬節點
for ( int i = 0; i < servers.length; i++ ) {
// 計算當前server的權重
int thisWeight = 1;
if ( this.weights != null && this.weights[i] != null )
thisWeight = this.weights[i];
// factor用來控制每個server分配的虛擬節點數量
// 權重都相同時，factor=40
// 權重不同時，factor=40*server總數*該server權重所佔的百分比
// 總的來說，權重越大，factor越大，可以分配越多的虛擬節點
double factor = Math.floor( ((double)(40 * this.servers.length * thisWeight)) / (double)this.totalWeight );
for ( long j = 0; j < factor; j++ ) {
// 每個server有factor個hash值
// 使用server的域名或IP加上編號來計算hash值
// 比如server - "172.45.155.25:11111"就有factor個數據用來生成hash值：
// 172.45.155.25:11111-1, 172.45.155.25:11111-2, ..., 172.45.155.25:11111-factor
byte[] d = md5.digest( ( servers[i] + "-" + j ).getBytes() );
// 每個hash值生成4個虛擬節點
for ( int h = 0 ; h < 4; h++ ) {
Long k =
((long)(d[3+h*4]&0xFF) << 24)
| ((long)(d[2+h*4]&0xFF) << 16)
| ((long)(d[1+h*4]&0xFF) << 8 )
| ((long)(d[0+h*4]&0xFF));
// 在環上保存節點
consistentBuckets.put( k, servers[i] );
}
}
// 每個server一共分配4*factor個虛擬節點
}
// 採用有序map來模擬環
this.consistentBuckets = new TreeMap();
MessageDigest md5 = MD5.get();//用MD5來計算key和server的hash值
// 計算總權重
if ( this.totalWeight for ( int i = 0; i < this.weights.length; i++ )
this.totalWeight += ( this.weights[i] == null ) ? 1 : this.weights[i];
} else if ( this.weights == null ) {
this.totalWeight = this.servers.length;
}
// 為每個server分配虛擬節點
for ( int i = 0; i < servers.length; i++ ) {
// 計算當前server的權重
int thisWeight = 1;
if ( this.weights != null && this.weights[i] != null )
thisWeight = this.weights[i];
// factor用來控制每個server分配的虛擬節點數量
// 權重都相同時，factor=40
// 權重不同時，factor=40*server總數*該server權重所佔的百分比
// 總的來說，權重越大，factor越大，可以分配越多的虛擬節點
double factor = Math.floor( ((double)(40 * this.servers.length * thisWeight)) / (double)this.totalWeight );
for ( long j = 0; j < factor; j++ ) {
// 每個server有factor個hash值
// 使用server的域名或IP加上編號來計算hash值
// 比如server - "172.45.155.25:11111"就有factor個數據用來生成hash值：
// 172.45.155.25:11111-1, 172.45.155.25:11111-2, ..., 172.45.155.25:11111-factor
byte[] d = md5.digest( ( servers[i] + "-" + j ).getBytes() );
// 每個hash值生成4個虛擬節點
for ( int h = 0 ; h < 4; h++ ) {
Long k =
((long)(d[3+h*4]&0xFF) << 24)
| ((long)(d[2+h*4]&0xFF) << 16)
| ((long)(d[1+h*4]&0xFF) << 8 )
| ((long)(d[0+h*4]&0xFF));
// 在環上保存節點
consistentBuckets.put( k, servers[i] );
}
}
// 每個server一共分配4*factor個虛擬節點
}
// 用MD5來計算key的hash值
MessageDigest md5 = MD5.get();
md5.reset();
md5.update( key.getBytes() );
byte[] bKey = md5.digest();

// 取MD5值的低32位作為key的hash值
long hv = ((long)(bKey[3]&0xFF) << 24) | ((long)(bKey[2]&0xFF) << 16) | ((long)(bKey[1]&0xFF) << 8 ) | (long)(bKey[0]&0xFF);

// hv的tailMap的第一個虛擬節點對應的即是目標server
SortedMap tmap = this.consistentBuckets.tailMap( hv );
return ( tmap.isEmpty() ) ? this.consistentBuckets.firstKey() : tmap.firstKey();
更多問題到問題求助專區（http://bbs.hounwang.com/）

⑽ 大型的PHP應用，通常使用什麼應用做消息隊列

一、消息隊列概述
消息隊列中間件是分布式系統中重要的組件，主要解決應用耦合，非同步消息，流量削鋒等問題。實現高性能，高可用，可伸縮和最終一致性架構。是大型分布式系統不可缺少的中間件。
目前在生產環境，使用較多的消息隊列有ActiveMQ，RabbitMQ，ZeroMQ，Kafka，MetaMQ，RocketMQ等。
二、消息隊列應用場景
以下介紹消息隊列在實際應用中常用的使用場景。非同步處理，應用解耦，流量削鋒和消息通訊四個場景。
2.1非同步處理
場景說明：用戶注冊後，需要發注冊郵件和注冊簡訊。傳統的做法有兩種1.串列的方式；2.並行方式。
（1）串列方式：將注冊信息寫入資料庫成功後，發送注冊郵件，再發送注冊簡訊。以上三個任務全部完成後，返回給客戶端。（架構KKQ：466097527，歡迎加入）
（2）並行方式：將注冊信息寫入資料庫成功後，發送注冊郵件的同時，發送注冊簡訊。以上三個任務完成後，返回給客戶端。與串列的差別是，並行的方式可以提高處理的時間。
假設三個業務節點每個使用50毫秒鍾，不考慮網路等其他開銷，則串列方式的時間是150毫秒，並行的時間可能是100毫秒。
因為CPU在單位時間內處理的請求數是一定的，假設CPU1秒內吞吐量是100次。則串列方式1秒內CPU可處理的請求量是7次（1000/150）。並行方式處理的請求量是10次（1000/100）。
小結：如以上案例描述，傳統的方式系統的性能（並發量，吞吐量，響應時間）會有瓶頸。如何解決這個問題呢？
引入消息隊列，將不是必須的業務邏輯，非同步處理。改造後的架構如下：
按照以上約定，用戶的響應時間相當於是注冊信息寫入資料庫的時間，也就是50毫秒。注冊郵件，發送簡訊寫入消息隊列後，直接返回，因此寫入消息隊列的速度很快，基本可以忽略，因此用戶的響應時間可能是50毫秒。因此架構改變後，系統的吞吐量提高到每秒20 QPS。比串列提高了3倍，比並行提高了兩倍。
2.2應用解耦
場景說明：用戶下單後，訂單系統需要通知庫存系統。傳統的做法是，訂單系統調用庫存系統的介面。如下圖：
傳統模式的缺點：
1） 假如庫存系統無法訪問，則訂單減庫存將失敗，從而導致訂單失敗；
2） 訂單系統與庫存系統耦合；
如何解決以上問題呢？引入應用消息隊列後的方案，如下圖：
訂單系統：用戶下單後，訂單系統完成持久化處理，將消息寫入消息隊列，返回用戶訂單下單成功。
庫存系統：訂閱下單的消息，採用拉/推的方式，獲取下單信息，庫存系統根據下單信息，進行庫存操作。
假如：在下單時庫存系統不能正常使用。也不影響正常下單，因為下單後，訂單系統寫入消息隊列就不再關心其他的後續操作了。實現訂單系統與庫存系統的應用解耦。
2.3流量削鋒
流量削鋒也是消息隊列中的常用場景，一般在秒殺或團搶活動中使用廣泛。
應用場景：秒殺活動，一般會因為流量過大，導致流量暴增，應用掛掉。為解決這個問題，一般需要在應用前端加入消息隊列。
可以控制活動的人數；
可以緩解短時間內高流量壓垮應用；
用戶的請求，伺服器接收後，首先寫入消息隊列。假如消息隊列長度超過最大數量，則直接拋棄用戶請求或跳轉到錯誤頁面；
秒殺業務根據消息隊列中的請求信息，再做後續處理。
2.4日誌處理
日誌處理是指將消息隊列用在日誌處理中，比如Kafka的應用，解決大量日誌傳輸的問題。架構簡化如下：
日誌採集客戶端，負責日誌數據採集，定時寫受寫入Kafka隊列；
Kafka消息隊列，負責日誌數據的接收，存儲和轉發；
日誌處理應用：訂閱並消費kafka隊列中的日誌數據；
以下是新浪kafka日誌處理應用案例：
(1)Kafka：接收用戶日誌的消息隊列。
(2)Logstash：做日誌解析，統一成JSON輸出給Elasticsearch。
(3)Elasticsearch：實時日誌分析服務的核心技術，一個schemaless，實時的數據存儲服務，通過index組織數據，兼具強大的搜索和統計功能。
(4)Kibana：基於Elasticsearch的數據可視化組件，超強的數據可視化能力是眾多公司選擇ELK stack的重要原因。
2.5消息通訊
消息通訊是指，消息隊列一般都內置了高效的通信機制，因此也可以用在純的消息通訊。比如實現點對點消息隊列，或者聊天室等。
點對點通訊：
客戶端A和客戶端B使用同一隊列，進行消息通訊。
聊天室通訊：
客戶端A，客戶端B，客戶端N訂閱同一主題，進行消息發布和接收。實現類似聊天室效果。
以上實際是消息隊列的兩種消息模式，點對點或發布訂閱模式。模型為示意圖，供參考。
三、消息中間件示例
3.1電商系統
消息隊列採用高可用，可持久化的消息中間件。比如Active MQ，Rabbit MQ，Rocket Mq。（1）應用將主幹邏輯處理完成後，寫入消息隊列。消息發送是否成功可以開啟消息的確認模式。（消息隊列返回消息接收成功狀態後，應用再返回，這樣保障消息的完整性）
（2）擴展流程（發簡訊，配送處理）訂閱隊列消息。採用推或拉的方式獲取消息並處理。
（3）消息將應用解耦的同時，帶來了數據一致性問題，可以採用最終一致性方式解決。比如主數據寫入資料庫，擴展應用根據消息隊列，並結合資料庫方式實現基於消息隊列的後續處理。
3.2日誌收集系統
分為Zookeeper注冊中心，日誌收集客戶端，Kafka集群和Storm集群（OtherApp）四部分組成。
Zookeeper注冊中心，提出負載均衡和地址查找服務；
日誌收集客戶端，用於採集應用系統的日誌，並將數據推送到kafka隊列；
四、JMS消息服務
講消息隊列就不得不提JMS 。JMS（Java Message Service,Java消息服務）API是一個消息服務的標准/規范，允許應用程序組件基於JavaEE平台創建、發送、接收和讀取消息。它使分布式通信耦合度更低，消息服務更加可靠以及非同步性。
在EJB架構中，有消息bean可以無縫的與JM消息服務集成。在J2EE架構模式中，有消息服務者模式，用於實現消息與應用直接的解耦。
4.1消息模型
在JMS標准中，有兩種消息模型P2P（Point to Point）,Publish/Subscribe(Pub/Sub)。
4.1.1 P2P模式
P2P模式包含三個角色：消息隊列（Queue），發送者(Sender)，接收者(Receiver)。每個消息都被發送到一個特定的隊列，接收者從隊列中獲取消息。隊列保留著消息，直到他們被消費或超時。
P2P的特點
每個消息只有一個消費者（Consumer）(即一旦被消費，消息就不再在消息隊列中)
發送者和接收者之間在時間上沒有依賴性，也就是說當發送者發送了消息之後，不管接收者有沒有正在運行，它不會影響到消息被發送到隊列
接收者在成功接收消息之後需向隊列應答成功
如果希望發送的每個消息都會被成功處理的話，那麼需要P2P模式。（架構KKQ：466097527，歡迎加入）
4.1.2 Pub/sub模式
包含三個角色主題（Topic），發布者（Publisher），訂閱者（Subscriber） 。多個發布者將消息發送到Topic,系統將這些消息傳遞給多個訂閱者。
Pub/Sub的特點
每個消息可以有多個消費者
發布者和訂閱者之間有時間上的依賴性。針對某個主題（Topic）的訂閱者，它必須創建一個訂閱者之後，才能消費發布者的消息。
為了消費消息，訂閱者必須保持運行的狀態。
為了緩和這樣嚴格的時間相關性，JMS允許訂閱者創建一個可持久化的訂閱。這樣，即使訂閱者沒有被激活（運行），它也能接收到發布者的消息。
如果希望發送的消息可以不被做任何處理、或者只被一個消息者處理、或者可以被多個消費者處理的話，那麼可以採用Pub/Sub模型。
4.2消息消費
在JMS中，消息的產生和消費都是非同步的。對於消費來說，JMS的消息者可以通過兩種方式來消費消息。
（1）同步
訂閱者或接收者通過receive方法來接收消息，receive方法在接收到消息之前（或超時之前）將一直阻塞；
（2）非同步
訂閱者或接收者可以注冊為一個消息監聽器。當消息到達之後，系統自動調用監聽器的onMessage方法。
JNDI：Java命名和目錄介面,是一種標準的Java命名系統介面。可以在網路上查找和訪問服務。通過指定一個資源名稱，該名稱對應於資料庫或命名服務中的一個記錄，同時返回資源連接建立所必須的信息。
JNDI在JMS中起到查找和訪問發送目標或消息來源的作用。（架構KKQ：466097527，歡迎加入）
4.3JMS編程模型
(1) ConnectionFactory
創建Connection對象的工廠，針對兩種不同的jms消息模型，分別有QueueConnectionFactory和TopicConnectionFactory兩種。可以通過JNDI來查找ConnectionFactory對象。
(2) Destination
Destination的意思是消息生產者的消息發送目標或者說消息消費者的消息來源。對於消息生產者來說，它的Destination是某個隊列（Queue）或某個主題（Topic）;對於消息消費者來說，它的Destination也是某個隊列或主題（即消息來源）。
所以，Destination實際上就是兩種類型的對象：Queue、Topic可以通過JNDI來查找Destination。
(3) Connection
Connection表示在客戶端和JMS系統之間建立的鏈接（對TCP/IP socket的包裝）。Connection可以產生一個或多個Session。跟ConnectionFactory一樣，Connection也有兩種類型：QueueConnection和TopicConnection。
(4) Session
Session是操作消息的介面。可以通過session創建生產者、消費者、消息等。Session提供了事務的功能。當需要使用session發送/接收多個消息時，可以將這些發送/接收動作放到一個事務中。同樣，也分QueueSession和TopicSession。
(5) 消息的生產者
消息生產者由Session創建，並用於將消息發送到Destination。同樣，消息生產者分兩種類型：QueueSender和TopicPublisher。可以調用消息生產者的方法（send或publish方法）發送消息。
(6) 消息消費者
消息消費者由Session創建，用於接收被發送到Destination的消息。兩種類型：QueueReceiver和TopicSubscriber。可分別通過session的createReceiver(Queue)或createSubscriber(Topic)來創建。當然，也可以session的creatDurableSubscriber方法來創建持久化的訂閱者。
(7) MessageListener
消息監聽器。如果注冊了消息監聽器，一旦消息到達，將自動調用監聽器的onMessage方法。EJB中的MDB（Message-Driven Bean）就是一種MessageListener。
深入學習JMS對掌握JAVA架構，EJB架構有很好的幫助，消息中間件也是大型分布式系統必須的組件。本次分享主要做全局性介紹，具體的深入需要大家學習，實踐，總結，領會。
五、常用消息隊列
一般商用的容器，比如WebLogic，JBoss，都支持JMS標准，開發上很方便。但免費的比如Tomcat，Jetty等則需要使用第三方的消息中間件。本部分內容介紹常用的消息中間件（Active MQ,Rabbit MQ，Zero MQ,Kafka）以及他們的特點。
5.1 ActiveMQ
ActiveMQ 是Apache出品，最流行的，能力強勁的開源消息匯流排。ActiveMQ 是一個完全支持JMS1.1和J2EE 1.4規范的 JMS Provider實現，盡管JMS規范出台已經是很久的事情了，但是JMS在當今的J2EE應用中間仍然扮演著特殊的地位。
ActiveMQ特性如下：
⒈ 多種語言和協議編寫客戶端。語言: Java,C,C++,C#,Ruby,Perl,Python,PHP。應用協議： OpenWire,Stomp REST,WS Notification,XMPP,AMQP
⒉ 完全支持JMS1.1和J2EE 1.4規范 （持久化，XA消息，事務)
⒊ 對spring的支持，ActiveMQ可以很容易內嵌到使用Spring的系統裡面去，而且也支持Spring2.0的特性
⒋ 通過了常見J2EE伺服器（如 Geronimo,JBoss 4,GlassFish,WebLogic)的測試，其中通過JCA 1.5 resource adaptors的配置，可以讓ActiveMQ可以自動的部署到任何兼容J2EE 1.4 商業伺服器上
⒌ 支持多種傳送協議：in-VM,TCP,SSL,NIO,UDP,JGroups,JXTA
⒍ 支持通過JDBC和journal提供高速的消息持久化
⒎ 從設計上保證了高性能的集群，客戶端-伺服器，點對點
⒏ 支持Ajax
⒐ 支持與Axis的整合
⒑ 可以很容易得調用內嵌JMS provider，進行測試
5.2 RabbitMQ
RabbitMQ是流行的開源消息隊列系統，用erlang語言開發。RabbitMQ是AMQP（高級消息隊列協議）的標准實現。支持多種客戶端，如：Python、Ruby、.NET、Java、JMS、C、PHP、ActionScript、XMPP、STOMP等，支持AJAX，持久化。用於在分布式系統中存儲轉發消息，在易用性、擴展性、高可用性等方面表現不俗。
幾個重要概念：
Broker：簡單來說就是消息隊列伺服器實體。
Exchange：消息交換機，它指定消息按什麼規則，路由到哪個隊列。
Queue：消息隊列載體，每個消息都會被投入到一個或多個隊列。
Binding：綁定，它的作用就是把exchange和queue按照路由規則綁定起來。
Routing Key：路由關鍵字，exchange根據這個關鍵字進行消息投遞。
vhost：虛擬主機，一個broker里可以開設多個vhost，用作不同用戶的許可權分離。
procer：消息生產者，就是投遞消息的程序。
consumer：消息消費者，就是接受消息的程序。
channel：消息通道，在客戶端的每個連接里，可建立多個channel，每個channel代表一個會話任務。
消息隊列的使用過程，如下：
（1）客戶端連接到消息隊列伺服器，打開一個channel。
（2）客戶端聲明一個exchange，並設置相關屬性。
（3）客戶端聲明一個queue，並設置相關屬性。
（4）客戶端使用routing key，在exchange和queue之間建立好綁定關系。
（5）客戶端投遞消息到exchange。
exchange接收到消息後，就根據消息的key和已經設置的binding，進行消息路由，將消息投遞到一個或多個隊列里。
5.3 ZeroMQ
號稱史上最快的消息隊列，它實際類似於Socket的一系列介面，他跟Socket的區別是：普通的socket是端到端的（1:1的關系），而ZMQ卻是可以N：M 的關系，人們對BSD套接字的了解較多的是點對點的連接，點對點連接需要顯式地建立連接、銷毀連接、選擇協議（TCP/UDP）和處理錯誤等，而ZMQ屏蔽了這些細節，讓你的網路編程更為簡單。ZMQ用於node與node間的通信，node可以是主機或者是進程。
引用官方的說法： 「ZMQ(以下ZeroMQ簡稱ZMQ)是一個簡單好用的傳輸層，像框架一樣的一個socket library，他使得Socket編程更加簡單、簡潔和性能更高。是一個消息處理隊列庫，可在多個線程、內核和主機盒之間彈性伸縮。ZMQ的明確目標是「成為標准網路協議棧的一部分，之後進入Linux內核」。現在還未看到它們的成功。但是，它無疑是極具前景的、並且是人們更加需要的「傳統」BSD套接字之上的一 層封裝。ZMQ讓編寫高性能網路應用程序極為簡單和有趣。」
特點是：
高性能，非持久化；
跨平台：支持Linux、Windows、OS X等。
多語言支持； C、C++、Java、.NET、Python等30多種開發語言。
可單獨部署或集成到應用中使用；
可作為Socket通信庫使用。
與RabbitMQ相比，ZMQ並不像是一個傳統意義上的消息隊列伺服器，事實上，它也根本不是一個伺服器，更像一個底層的網路通訊庫，在Socket API之上做了一層封裝，將網路通訊、進程通訊和線程通訊抽象為統一的API介面。支持「Request-Reply 「，」Publisher-Subscriber「，」Parallel Pipeline」三種基本模型和擴展模型。
ZeroMQ高性能設計要點：
1、無鎖的隊列模型
對於跨線程間的交互（用戶端和session）之間的數據交換通道pipe，採用無鎖的隊列演算法CAS；在pipe兩端注冊有非同步事件，在讀或者寫消息到pipe的時，會自動觸發讀寫事件。
2、批量處理的演算法
對於傳統的消息處理，每個消息在發送和接收的時候，都需要系統的調用，這樣對於大量的消息，系統的開銷比較大，zeroMQ對於批量的消息，進行了適應性的優化，可以批量的接收和發送消息。
3、多核下的線程綁定，無須CPU切換
區別於傳統的多線程並發模式，信號量或者臨界區， zeroMQ充分利用多核的優勢，每個核綁定運行一個工作者線程，避免多線程之間的CPU切換開銷。
5.4 Kafka
Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網路上的許多社會功能的一個關鍵因素。 這些數據通常是由於吞吐量的要求而通過處理日誌和日誌聚合來解決。 對於像Hadoop的一樣的日誌數據和離線分析系統，但又要求實時處理的限制，這是一個可行的解決方案。Kafka的目的是通過Hadoop的並行載入機制來統一線上和離線的消息處理，也是為了通過集群機來提供實時的消費。
Kafka是一種高吞吐量的分布式發布訂閱消息系統，有如下特性：
通過O(1)的磁碟數據結構提供消息的持久化，這種結構對於即使數以TB的消息存儲也能夠保持長時間的穩定性能。（文件追加的方式寫入數據，過期的數據定期刪除）
高吞吐量：即使是非常普通的硬體Kafka也可以支持每秒數百萬的消息。
支持通過Kafka伺服器和消費機集群來分區消息。
支持Hadoop並行數據載入。
Kafka相關概念
Broker
Kafka集群包含一個或多個伺服器，這種伺服器被稱為broker[5]
Topic
每條發布到Kafka集群的消息都有一個類別，這個類別被稱為Topic。（物理上不同Topic的消息分開存儲，邏輯上一個Topic的消息雖然保存於一個或多個broker上但用戶只需指定消息的Topic即可生產或消費數據而不必關心數據存於何處）
Partition
Parition是物理上的概念，每個Topic包含一個或多個Partition.
Procer
負責發布消息到Kafka broker
Consumer
消息消費者，向Kafka broker讀取消息的客戶端。
Consumer Group
每個Consumer屬於一個特定的Consumer Group（可為每個Consumer指定group name，若不指定group name則屬於默認的group）。
一般應用在大數據日誌處理或對實時性（少量延遲），可靠性（少量丟數據）要求稍低的場景使用。