阿里云專線200G實戰總結

今年因為項目需要，在阿里云開了300多臺ECS꧅機器做計算，計算生成的數據需要下載到本地機房的服務器硬盤里保存，用到了阿里云高速通道、ECS𓄧高性能計算、IDC網絡架構、任務調度等技術，項目持續了兩個月，期間學習和解決了一些問題，也踩了一些坑，今天把項目中遇到的問題及解決方案整理出來，供大家參考。

說明：25GB數據=200Gbps帶寬 / 8Byte

需求很簡單，使用高頻CPU計算數據，然后把每秒產生的25GB數據下載到本地機房的機械硬盤里存儲。

其中的關鍵問題有：

1、300臺ECS機器的調度問題

每秒需要計算的數據量巨大，ꦛ單臺ECS肯定完不成，需要數百臺機器同時計算，管♒理這些機器和計算任務是一個問題。

2、每秒25GB數據網絡傳輸問題

25GB數據需要使用200Gbps帶寬，傳輸如𝔍果用公網流量費用會高的嚇人，而且會嚴重影響城市骨干網絡的穩定。只能使用專線，阿里云單條專線最大只有100G，我們用了兩條100G專線。

3、每秒25GB的存儲問題

除了解決計算和傳輸問題，存儲也是個大ꦺ問題，企業級機械硬盤的讀寫速度只有120MB/s，單塊硬盤肯定接不住，需要在IDC機ꦛ房組建服務器集群下載數據。

4、下載任務的調度問題

因為在阿里云使用了數百臺ECS服務器，每臺機器計算任務完成時間不⭕同，下載時間也會不同，還要考慮每臺ECS的配置不同，𒆙這塊就踩了一個巨大的坑，后面會講細節。

具體方案：

首先要在阿里云申𓆉請開通高速通道（專線服務），申請通過后才可以進入阿里云ꩵ機房施工（拉專線），施工費：15000元/次，100G的專線費用：33900元/月。以上完成后就可以進入阿里云機房和自己的機房施工了。

從阿里云機房拉一條光纖到自己機房的交換🔯機上，交換機選用華為的百G交換機，服務器網卡通過pci-e接口都換成了萬兆網卡，交換機到服務器使用萬兆網線。每臺交換機下面掛20臺萬兆服務器，主要是保證能把100G的專線接滿，還要考慮服務器💖死機，掉盤等情況，所以每臺交換機的服務器至少在10臺以上。

為了能跑滿單條100G的🃏專線，服務꧃器全部安裝pci-e的萬兆網卡，使用的是14T機械硬盤，磁盤讀寫平均在120MB/s，每臺機器萬兆帶寬，就是1250MB/s的數據，至少需要安裝11塊硬盤。

任務調度和下載服務需要解決的問題：

1、給每臺ECS分配任務，并監控任務的狀態

2、將完成的任務信息上傳到數據庫，包括：服務器ip、任務名稱、文件名稱、文件路徑3、線下機房每臺服務器中安裝下載腳本，處理下載任務4、下載腳本獲取本機磁盤空間，根據剩余空間排序，遠程下載文件5、下載完成后上報數據庫，修改文件狀態，并通知ECS服務器刪除此文件我們使用Python+MySql開發了上述的任務♑調度系統，使𓄧用Python開發腳本部署在每臺服務器處理下載任務，文件下載使用的scp命令。

遇到的最大坑，整個架構運行后總是達不到200Gbps，我們檢查了ID๊C的兩臺百G交換機，檢查了萬兆網卡，檢查了磁盤讀寫速度、檢查了萬兆網線、檢查了兩條百G專線，整個網絡鏈路和設備都可以達到理想性能，但是整體性能到不了，導致任務擁堵。經過一天排查發現是阿里云ECS的單機網卡問題導致的，原因是不同配置的ECS，上行和下行帶寬大小是不一樣的，有的機器是10Gbps，有的只有1Gbps，后來我們修改的下載任務的分配機制，當ESC的帶寬是1Gbps時，同時只分配一個下載任務，10Gbps的ECS同時最多分配10個下載任務。

其它總結：整個項目🐲中最大困難是對整🍸個網絡鏈路和設備的部署，為了能承接單條100G的專線，需要交換機、網線、網卡、主板、硬盤等鏈路中的環節都能發揮到極限。

實際上兩臺100G專線+兩臺百G交換機≤200G，理論情況ဣ可以達到200G，實際上最高只能到95%，因為線路和設備會有損耗，任務的執行環節會有空閑，所以設計系🅺統的負荷時不能按理論值計算。

億聯云作為國內知名的云服務綜合解決方案提供商，擁有包括數據中心專線、互聯網專線、MPLS專線、云專線以及SD-WAN在內的多種產品，可為您提供專業、靈活、多樣性的專線及SD-WAN組網解決方案。