這是根據自己的筆記整理的,如有錯誤,歡迎指出來. tcp協議本身是可靠的,並不等於應用程序用tcp發送數據就壹定是可靠的.不管是否阻塞,send發送的大小,並不代表對端recv到多少的數據. 在阻塞模式下,send函數的過程是將應用程序請求發送的數據拷貝到發送緩存中發送並得到確認後再返回.但由於發送緩存的存在,表現為:如果發送緩存大小比請求發送的大小要大,那麽send函數立即返回,同時向網絡中發送數據;否則,send向網絡發送緩存中不能容納的那部分數據,並等待對端確認後再返回(接收端只要將數據收到接收緩存中,就會確認,並不壹定要等待應用程序調用recv); 在非阻塞模式下,send函數的過程僅僅是將數據拷貝到協議棧的緩存區而已,如果緩存區可用空間不夠,則盡能力的拷貝,返回成功拷貝的大小;如緩存區可用空間為0,則返回-1,同時設置errno為EAGAIN. linux下可用sysctl -a | grep net.ipv4.tcp_wmem查看系統默認的發送緩存大小: net.ipv4.tcp_wmem = 4096 16384 81920 這有三個值,第壹個值是socket的發送緩存區分配的最少字節數,第二個值是默認值(該值會被net.core.wmem_default覆蓋),緩存區在系統負載不重的情況下可以增長到這個值,第三個值是發送緩存區空間的最大字節數(該值會被net.core.wmem_max覆蓋). 根據實際測試,如果手工更改了net.ipv4.tcp_wmem的值,則會按更改的值來運行,否則在默認情況下,協議棧通常是按net.core.wmem_default和net.core.wmem_max的值來分配內存的. 應用程序應該根據應用的特性在程序中更改發送緩存大小: socklen_t sendbuflen = 0; socklen_t len = sizeof(sendbuflen); getsockopt(clientSocket, SOL_SOCKET, SO_SNDBUF, (void*)&sendbuflen, &len); printf(“default,sendbuf:%d\n”, sendbuflen); sendbuflen = 10240; setsockopt(clientSocket, SOL_SOCKET, SO_SNDBUF, (void*)&sendbuflen, len); getsockopt(clientSocket, SOL_SOCKET, SO_SNDBUF, (void*)&sendbuflen, &len); printf(“now,sendbuf:%d\n”, sendbuflen); 需要註意的是,雖然將發送緩存設置成了10k,但實際上,協議棧會將其擴大1倍,設為20k. ——————-實例分析———————- 在實際應用中,如果發送端是非阻塞發送,由於網絡的阻塞或者接收端處理過慢,通常出現的情況是,發送應用程序看起來發送了10k的數據,但是只發送了2k到對端緩存中,還有8k在本機緩存中(未發送或者未得到接收端的確認).那麽此時,接收應用程序能夠收到的數據為2k.假如接收應用程序調用recv函數獲取了1k的數據在處理,在這個瞬間,發生了以下情況之壹: A. 發送應用程序認為send完了10k數據,關閉了socket: 發送主機作為tcp的主動關閉者,連接將處於FIN_WAIT1的半關閉狀態(等待對方的ack),並且,發送緩存中的8k數據並不清除,依然會發送給對端.如果接收應用程序依然在recv,那麽它會收到余下的8k數據(這個前題是,接收端會在發送端FIN_WAIT1狀態超時前收到余下的8k數據.),然後得到壹個對端socket被關閉的消息(recv返回0).這時,應該進行關閉. B. 發送應用程序再次調用send發送8k的數據: 假如發送緩存的空間為20k,那麽發送緩存可用空間為20-8=12k,大於請求發送的8k,所以send函數將數據做拷貝後,並立即返回8192; 假如發送緩存的空間為12k,那麽此時發送緩存可用空間還有12-8=4k,send()會返回4096,應用程序發現返回的值小於請求發送的大小值後,可以認為緩存區已滿,這時必須阻塞(或通過select等待下壹次socket可寫的信號),如果應用程序不理會,立即再次調用send,那麽會得到-1的值,在linux下表現為errno=EAGAIN. C. 接收應用程序在處理完1k數據後,關閉了socket: 接收主機作為主動關閉者,連接將處於FIN_WAIT1的半關閉狀態(等待對方的ack).然後,發送應用程序會收到socket可讀的信號(通常是select調用返回socket可讀),但在讀取時會發現recv函數返回0,這時應該調用close函數來關閉socket(發送給對方ack); 如果發送應用程序沒有處理這個可讀的信號,而是繼續調用send,那麽第壹次會像往常壹樣繼續填充緩存區,然後返回,但如果再次調用send,進程會收到SIGPIPE信號,該信號的默認響應動作是退出進程. D. 交換機或路由器的網絡斷開: 接收應用程序在處理完已收到的1k數據後,會繼續從緩存區讀取余下的1k數據,然後就表現為無數據可讀的現象,這種情況需要應用程序來處理超時.壹般做法是設定壹個select等待的最大時間,如果超出這個時間依然沒有數據可讀,則認為socket已不可用. 發送應用程序會不斷的將余下的數據發送到網絡上,但始終得不到確認,所以緩存區的可用空間持續為0,這種情況也需要應用程序來處理. 如果不由應用程序來處理這種情況超時的情況,也可以通過tcp協議本身來處理,具體可以查看sysctl項中的: net.ipv4.tcp_keepalive_intvl net.ipv4.tcp_keepalive_probes net.ipv4.tcp_keepalive_time 所以,要想編寫優秀的socket程序也是很不容易的.特別是在為應用做優化時,很多工作都非常的煩瑣.
標籤: Linux
微軟：Windows HPC Server比Linux更便宜
近日微軟發布了Windows HPC Server 2008 R2，並在壹份新聞稿中大膽的聲稱：”最近的研究表明，使用Windows HPC Server比使用基於Linux的HPC系統便宜32%～51%”。微軟：Windows HPC Server比Linux更便宜這個”最近的研究”是由微軟主辦的，並委托Crimson咨詢公司調查。該研究調查了壹個由250個計算節點和1000個桌面節點組成的HPC系統，統計出分別部署Windows HPC Server和兩個Linux方案的成本。
“微軟的方案確實減少了TCO，”蒙大拿州洛基山超級計算機中心的主任Earl Dodd表示，Dodd為客戶同時運行基於Linux和Windows的計算機集群，”從總體成本來說，Windows比Linux要便宜。”Dodd的客戶大多是中小企業，這些客戶采用Windows壹般無需花費培訓成本。微軟贊助的TCO研究報告說，成本節省大多來自現有基礎架構的集成，比如使用現有的Windows服務器技術管理HPC設備，省下了壹大筆培訓費用。
因此，研究結果似乎認為客戶們更需要Windows，而不是Linux。很多與微軟有關的網站都認為”Windows降低了TCO”，但都沒有給出直接的證明。微軟高調推廣HPC似乎是看到了高性能計算的廣闊前景，研究報告也表示，在過去被認為是最先進的研究人員和科學家才會使用的HPC已經逐漸成為主流，HPC現在正被廣泛的應用於商業和學術機構。
如果Windows HPC Server真的比Linux更便宜，那我們會看到Windows大量部署在超級計算機中。但情況並非如此，當在世界上規模最大最快的超級計算機上運行時，Windows還遠遠談不上超過Linux，世界超級計算機500強榜單顯示，只有5臺超級計算機使用了Windows。當然，當壹個公司運行的業務量不多，並且運行環境大都是Windows的情況下，使用HPC采用Windows方案會便宜壹些。
以實務加強鑑別度的Linux證照
目前在臺灣，主要的Linux證照有3張，分別是LPIC（Linux Professional Institute Certified），NCLP（Novell Certified Linux Professional），以及RHCE（Red Hat Certified Engineer）。
考試內容，決定證照鑑別度
從考試內容來看，我們可以發現Linux是一種鑑別度不錯的證照類別，對於想要取得證照的人來說，如果沒有經常實作系統的安裝管理，一般來說，通過考試的機會並不高。
LPIC
LPIC是由LPI（Linux Professional Institute，Linux專家協會）所推動的認證考試，該認證可以向下區分為Level 1、Level 2以及Level 3等3種不同等級，而每個等級則各有2項考試科目，考試以線上筆試的方式為主。
低階的Level 有101 Exam和102 Exam兩項科目，其中101 Exam以測試常用指令為主，至於102 Exam則是著重在基本的系統操作。
Level 2包含201 Exam和202 Exam。201 Exam涵蓋的範圍為系統的進階管理；202 Exam的訴求則是以如何讓Linux達到最佳化為主要目的，除了作業系統與各項服務之外，也將系統安全的項目涵括其中。
推出不久的Level 3是LPIC等級最高的一種，欲取得這張證照必須通過301 Exam和302 Exam兩項考試科目。
Novell Linux認證
SUSE Linux的證照體系包含NCLP和NCLE（Novell Certified Linux Engineer）2張認證，其中NCLE的等級較高。考試是採用實機操作的方式進行，除了要求人員應試題需求完成各項系統服務的操作之外，NCLP也相當重視測驗人員撰寫Shell Script的能力，以便日後能夠以程式語言輔助企業有效管理Linux伺服器。
Red Hat Linux證照
Red Hat的證照體系一共包含了3張證照：低階的RHCT（Red Hat Certified Technician）、中階的RHCE，以及高階的RHCA（Red Hat Certified Architect），其中RHCE是目前的主力，欲參加RHCA考試之前也必須取得RHCE。
和前面的2種Linux證照一樣，RHCE也重視人員實際操作系統的能力，因此取消原先筆試的項目，僅保留實機操作等2大項目，內容以實機除錯，以及系統的部署管理為主，人員必須在純文字介面的終端機介面下，完成試題所要求的動作。
不再提供終身效期
取得Linux證照並不代表永久有效。像LPI在2006年底宣布將LPIC的有效期限從10年縮短至5年，並取消終身認證的有效性，所有人都必須從LPIC取得之日起算5年之內完成更新。
NCLP和RHCE目前還沒有要求已經考上證照的人員必須在期限內重新認證，以Novell的做法來說，只要市面上仍有用戶在使用該版本的SUSE Linux，則相對應的NCLP版本便依然有效。至於Red Hat的做法是隨著新產品的推出，而將和舊版本相對應的RHCE排除在「Current RHCE」的範圍之外，藉此彰顯與新版RHCE之間的差別。