Broadcom BCM57508 NetXtreme

Jan 30, 2024

A veces solo quieres ir rápido. El Broadcom BCM57508 NetXtreme-E es un adaptador OCP NIC 3.0 de 200 GbE. Nos dijeron que se trataba de un adaptador de 100 GbE, pero luego descubrimos que en realidad era una versión de 200 GbE, por lo que pensamos que valdría la pena mostrárselo a nuestros lectores.

Aquí está la NIC Broadcom BCM57508 NetXtreme-E. Una de las mayores tendencias en servidores es el uso del factor de forma OCP NIC 3.0 en servidores. Hace años, teníamos un factor de forma mezzanine diferente para casi todos los proveedores de servidores. Ahora, tenemos el factor de forma OCP NIC 3.0 que utilizan no solo los hiperescaladores, sino también los proveedores de servidores tradicionales.

En la parte trasera de la tarjeta tenemos dos puertos QSFP56. Estos permiten una comunicación de mayor velocidad que los puertos QSFP28 de 100 GbE que hemos visto.

La Broadcom BCM57508 es una de las tarjetas PCIe Gen4 x16 de la compañía. Para conexiones duales de 200 GbE, se necesitaría PCIe Gen5 x16 para tener el ancho de banda del host para controlar dos puertos de 200 Gbps.

Aquí hay un vistazo rápido al disipador de calor. Estas tarjetas y las versiones PCIe ven un consumo de energía típico de menos de 20 W. Uno de los mayores desafíos para las DPU en estos factores de forma es el consumo de energía y la refrigeración de las tarjetas OCP NIC 3.0 que tienen un TDP más alto.

Esta es una vista lateral de la tarjeta.

Aquí está el otro lado.

Con eso, echemos un vistazo a cómo se ve la NIC instalada.

Aunque cuando hicimos la revisión de Supermicro SYS-221H-TNR nos dijeron que se trataba de un adaptador de 100 GbE, esto es lo que vimos cuando se instaló en Ubuntu:

Al revisar ethtool, vimos 200000baseCR4/Full o 200Gbps full duplex.

Tenemos un adaptador con capacidad de 200 GbE que pudimos probar.

Uno de los desafíos es que, si bien tenemos una tonelada de equipos de 100 GbE y tendremos muchos equipos de 400 GbE, en el lado de 200 GbE tenemos menos infraestructura. Teníamos el conmutador QSFP28-DD en Dell EMC S5248F-ON, pero no era QSFP56.

Terminamos obteniendo ópticas en cada extremo y finalmente pudimos vincular el conmutador a la NIC, pero tuvimos que usar varios nodos de prueba de 100 GbE para las sesiones de iperf3. Con la cobertura de 400 GbE durante las próximas semanas, tendremos más información sobre la complejidad de algunos de los cables y conectores. Gastamos algo así como $ 1000 en encontrar DAC "económicos" para conectar cuatro nodos a un conmutador con ese proyecto

Aún así, esto es lo que vimos tratando de hacer un enlace 1x 200GbE:

Ciertamente superamos con creces las velocidades de 100 GbE, pero también nos quedamos notablemente fuera de los 200 Gbps. A estas velocidades, necesitamos hacer muchos más ajustes de NIC para obtener ese nivel de rendimiento. Para nuestros resultados de 400 GbE pronto, tuvimos que hacer mucho más de lo que estamos haciendo aquí, así que lea esto ya que verificamos que está vinculado y transfiriendo velocidades superiores a 100 GbE, pero no está optimizado.

Esto es lo que obtuvimos al probar dos clientes de 100 GbE a través del cambio a la NIC.

Eso es probablemente más cercano a lo que hubiéramos esperado.

Una nota rápida aquí es que necesitamos ejecutar algo como DPDK o similar que no se configuró. La utilización de la CPU a velocidades de 200 Gbps es un desafío.

En cuanto a la alimentación, esperaríamos que una versión PCIe de esta tarjeta tenga una potencia nominal de 16-20 W típica con DAC, y más con la óptica.

Tendemos a usar principalmente tarjetas NVIDIA (Mellanox) ConnectX-5/ConnectX-6 (y DPU BlueField-2) en el laboratorio, y también la serie Intel E800. Aún así, Broadcom tiene una sólida participación en el mercado de NIC, por lo que deberíamos cubrirlos más de lo que lo hacemos.

Se trata de un adaptador dual de 100 GbE o de un solo adaptador de 200 GbE. El PCIe Gen4 x16 nos limita a no obtener velocidades duales de 200 GbE en un host a través de la NIC.

Estos adaptadores son compatibles con RDMA y otras funciones, pero dado que hay tantas funciones que buscan nuestros lectores, vamos a sugerir que las personas las busquen si están interesadas en las tarjetas.

Con suerte, la gente disfruta viendo este tipo de tarjetas a medida que las encontramos.