走进 AWS 神秘网络实验室：从 3.2T 到 102.4T 的自研交换机与 20 微秒授时网
日前 ServeTheHome 受邀参观了 AWS 位于一栋无标识建筑里的网络实验室，这里研发的是 AWS 自研的交换机、授时设备、光模块和光纤连接器（原作者注明本次为 AWS 资助行程，部分展品只允许用授权画面）。一条参观动线走完，等于看了一遍超大规模数据中心的硬件演进史：3.2Tbps 到 102.4Tbps 的四代交换机、线速硬件加密、精确到 20 微秒的私有授时网、单光纤 64 波长的 DWDM，以及延迟改善约 33% 的空芯光纤。
四代交换机，四种颜色
实验室的交换机用机箱颜色区分世代。蓝色是 3.2Tbps 老款，32 口 QSFP28（100GbE）；绿色的 12.8Tbps 是当前主力量产款，端口全面转向 400G QSFP-DD，信号从 NRZ 转向 PAM4，ASIC 和 cages 都配了更大的散热片，内部有 Annapurna Labs 管理处理器和一颗日志 SSD。官方”蜜桃色”的 51.2Tbps 是拍摄时的重点部署世代，OSFP 口跑 PAM4-112 SerDes，每口 800GbE。最远处的 102.4Tbps 尚未量产，每口用 PAM4-224 SerDes 跑到裸速 1.6Tbps——是蓝色那台单口带宽的 16 倍，光模块自带散热，量产机壳预计白色。
每口都加密的交换机与”小板书”
展台最后一台 12.8T 交换机负责另一个问题：AWS 认为离开数据中心流量的默认答案就该是加密，这台机器每个端口都做线速加密，由 16 颗 FPGA 完成，这也是机箱做到 2RU 的原因；同时它的端口兼容高功率 400ZR 相干模块，同一台设备可以直接当作城域长途设备用。
另一块其貌不扬的小板被 AWS 点名为”重大创新”：它通过 I2C 轮询每一个可插拔光模块采集遥测数据，让运维在坏模块波及邻居之前把它挑出来。
连管理面都要自研
AWS 自建了 1GbE 管理交换机——规格不稀奇，稀奇的是在 AWS 的规模下，管理面才是让大网可运营的关键，其内部架构与高速机箱同构（PHY、变压器、交换芯片、管理处理器加日志 SSD）。
旁边还有一台同样自研的串口 console server：网络怎么进化，带外管理依然是上世纪 70 年代的串口技术，AWS 也懒得用第三方的。
一张独立于数据网的授时网
这台设备给数十万台服务器统一时钟：卫星提供基准，AWS 通过专用授时网向下分发秒脉冲，协议是自家私有方案，前面板看着像 48 口 SFP 交换机但跑的并不是以太网。4 个口朝上游、其余朝下游，把授时网建成一棵树，还要记录每条链路的线缆长度和速率来逐设备校准。标准 NTP 精度约 500 微秒，AWS 授时基建的担保值是 20 微秒——而且被告知这是保守数字。分布式数据库写序、日志分析的可信度，全押在这条时间线上。
小夏点评
- 参观动线其实划出了超大数据中心的自建边界：交换机、加密、授时、光模块、连接器全部下场自研，规模就是垂直整合的入场券。
- “每台设备默认加密 + 16 颗 FPGA 线速开销密”值得细品——当加密成本在芯片里被摊平，架构设计就不再需要为加密单独留预算。
- 对国内云厂商和自建机房，这套参观动线里的每一环都有对应命题：空芯光纤和单纤多波长对应 AI 集群的光学扩容，独立授时网对应对时延精度敏感的金融与数据库场景。当 400G/800G 走向 1.6T，管理面、授时、遥测这些”配角”工程会越来越多的变成必须自己啃的硬骨头。
来源
- https://www.servethehome.com/inside-the-secretive-aws-networking-lab/
