Cavium QL41112HLRJ-CK User manual

AH0054601-00 B
User’s Guide
Converged Network Adapters and
Intelligent Ethernet Adapters
FastLinQ 41000 Series

ii AH0054601-00 B
User’s Guide—Converged NetworkAdapters and Intelligent Ethernet Adapters
FastLinQ 41000 Series
Document Revision History
Revision 01, February 7, 2017
Revision A, June 26, 2017
Revision B, November 21, 2017
Changes Sections Affected
Updated EMI/EMC requirements:
CE Mark EMC Directive Compliance
Replaced EN55022 with EN55032.
VCCI
AS/NZS
Added CNS 13438:2006 Class A
“EMI and EMC Requirements” on page xxii
Updated product safety compliance:
Updated UL and UL CSA compliance for 2014
Deleted the 2006/95/EC low voltage directive
Updated TUV EN60950-1 and TUV IEC
60950-1
“Product Safety Compliance” on page xxiv
Updated Table 3-6 to include a column for ESXi
driver versions. “VMware Drivers and Driver Packages” on page 25
Updated Table 6-1 for clarification. “Supported Operating Systems and OFED” on
page 57
Updated Step 2 to add the Dynamic option. “Preparing the Adapter” on page 59
Updated Table 6-2 to add the Quality of Service
property “Configuring RoCE on theAdapter for Windows Server” on page 64
Added Configuring RoCE on the Adapter for ESX
to chapter 6. “Configuring RoCE on the Adapter for ESX” on page 80
Updated the procedure introduction to read: To
configure iWARP through HII in Default mode.
Updated Step 4b, to remove the IWARP+RoCE
option.
Updated Step 8, to correct DCB to iWARP.
“Preparing theAdapter for iWARP” on page 86
Deleted former Step 2: Unzip rdma-core-mas-
ter.zip, and then issue following commands . . . “iWARP RDMA-Core Support on SLES 12 SP3, RHEL 7.4, and OFED 4.8x” on page 95
Moved the former Chapter 11, iSER Configuration
to following Chapter 7, iWARP Configuration.Chapter 8 iSER Configuration
Added Chapter 12, NVMe-oF Configuration with
RDMA.Chapter 12 NVMe-oF Configuration with RDMA

iii AH0054601-00 B
Table of Contents
Preface
Supported Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv
Intended Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv
What Is in This Guide. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv
Related Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
Documentation Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
License Agreements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xix
Technical Support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xx
Downloading Updates . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xx
Training . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xx
Contact Information. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxi
Knowledge Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxi
Legal Notices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxi
Warranty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxi
Laser Safety—FDA Notice. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii
Agency Certification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii
EMI and EMC Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii
KCC: Class A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii
Product Safety Compliance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiv
1 Product Overview
Functional Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Features. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Adapter Management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
QLogic Control Suite CLI. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
QLogic QConvergeConsole GUI. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
QLogic QConvergeConsole vCenter Plug-in. . . . . . . . . . . . . . . . . . . . 4
QConvergeConsole PowerKit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
FastLinQ ESXCLI VMware Plug-in . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Adapter Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Physical Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Standards Specifications. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6

User’s Guide—Converged NetworkAdapters and Intelligent Ethernet Adapters
FastLinQ 41000 Series
iv AH0054601-00 B
2 Hardware Installation
System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Safety Precautions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Preinstallation Checklist. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Installing the Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
3 Driver Installation
Installing Linux Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Installing the Linux Drivers Without RDMA . . . . . . . . . . . . . . . . . . . . . 13
Removing the Linux Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
Installing Linux Drivers Using the src RPM Package . . . . . . . . . 15
Installing Linux Drivers Using the kmp/kmod RPM Package . . . 16
Installing Ubuntu Linux Drivers. . . . . . . . . . . . . . . . . . . . . . . . . . 16
Installing Linux Drivers Using the TAR File. . . . . . . . . . . . . . . . . 16
Installing the Linux Drivers with RDMA . . . . . . . . . . . . . . . . . . . . . . . . 17
Linux Driver Optional Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Linux Driver Operation Defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
Linux Driver Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Installing Windows Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
Installing the Windows Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Removing the Windows Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Managing Adapter Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Setting Power Management Options. . . . . . . . . . . . . . . . . . . . . . . . . . 22
Installing Drivers for Windows Nano Server . . . . . . . . . . . . . . . . . . . . 22
Creating a Nano ISO Image, Injecting Drivers, and Updating the
Multiboot/Flash Image on a Nano Server . . . . . . . . . . . . . . . . . . . . . 23
Installing VMware Driver Software. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
VMware Drivers and Driver Packages. . . . . . . . . . . . . . . . . . . . . . . . . 25
Installing VMware Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
VMware Driver Optional Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . 28
VMware Driver Parameter Defaults. . . . . . . . . . . . . . . . . . . . . . . . . . . 29
Removing the VMware Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
FCoE Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
iSCSI Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
4 Firmware Upgrade Utility
Image Verification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Upgrading Adapter Firmware on Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Upgrading Adapter Firmware on Windows. . . . . . . . . . . . . . . . . . . . . . . . . . 33

User’s Guide—Converged NetworkAdapters and Intelligent Ethernet Adapters
FastLinQ 41000 Series
v AH0054601-00 B
Upgrading Adapter Firmware on Windows Nano. . . . . . . . . . . . . . . . . . . . . 34
5 Adapter Preboot Configuration
Getting Started. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Displaying Firmware Image Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
Configuring Device-level Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Configuring Port-level Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Configuring FCoE Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Configuring iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Configuring Partitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
6 RoCE Configuration
Supported Operating Systems and OFED. . . . . . . . . . . . . . . . . . . . . . . . . . 57
Planning for RoCE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
Preparing the Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Preparing the Ethernet Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Configuring the Cisco Nexus 6000 Ethernet Switch . . . . . . . . . . . . . . 59
Configuring the Dell Z9100 Ethernet Switch . . . . . . . . . . . . . . . . . . . . 61
Configuring the Arista 7060X Ethernet Switch. . . . . . . . . . . . . . . . . . . 63
Configuring RoCE on the Adapter for Windows Server . . . . . . . . . . . . . . . . 64
Configuring RoCE on the Adapter for Linux. . . . . . . . . . . . . . . . . . . . . . . . . 68
RoCE Configuration for RHEL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
RoCE Configuration for SLES. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
RoCE Configuration for Ubuntu. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
Verifying the RoCE Configuration on Linux. . . . . . . . . . . . . . . . . . . . . 72
VLAN Interfaces and GID Index Values . . . . . . . . . . . . . . . . . . . . . . . 74
RoCE v2 Configuration for Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
Identifying RoCE v2 GID Index orAddress . . . . . . . . . . . . . . . . 75
Verifying RoCE v1 or RoCE v2 GID Index and Address from
sys and class Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
Verifying RoCE v1 or RoCE v2 Functionality Through perftest
Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
Configuring RoCE on the Adapter for ESX. . . . . . . . . . . . . . . . . . . . . . . . . . 80
Configuring RDMA Interfaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
Configuring MTU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
RoCE Mode and Statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
Configuring a Paravirtual RDMADevice (PVRDMA). . . . . . . . . . . . . . 83
7 iWARP Configuration
Preparing the Adapter for iWARP. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Configuring iWARP on the Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87

User’s Guide—Converged NetworkAdapters and Intelligent Ethernet Adapters
FastLinQ 41000 Series
vi AH0054601-00 B
Configuring iWARP on Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Installing the Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Configuring iWARP and RoCE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Detecting the Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Supported iWARPApplications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Running Perftest for iWARP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Configuring NFS-RDMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
iWARP RDMA-Core Support on SLES 12 SP3, RHEL 7.4, and
OFED 4.8x . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
8 iSER Configuration
Before You Begin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
Configuring iSER for RHEL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
Configuring iSER for SLES 12 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
Using iSER with iWARP on RHEL and SLES. . . . . . . . . . . . . . . . . . . . . . . . 103
Configuring iSER for Ubuntu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Configuring LIO as Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Configuring the Initiator . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Optimizing Linux Performance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
Configuring CPUs to Maximum Performance Mode . . . . . . . . . . . . . . 111
Configuring Kernel sysctl Settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Configuring IRQ Affinity Settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Configuring Block Device Staging. . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
9 iSCSI Configuration
iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
iSCSI Boot Setup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
Selecting the Preferred iSCSI Boot Mode . . . . . . . . . . . . . . . . . 114
Configuring the iSCSI Target . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
Configuring iSCSI Boot Parameters. . . . . . . . . . . . . . . . . . . . . . 115
Adapter UEFI Boot Mode Configuration . . . . . . . . . . . . . . . . . . . . . . . 117
Configuring iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
Static iSCSI Boot Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
Dynamic iSCSI Boot Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
Enabling CHAPAuthentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Configuring the DHCP Server to Support iSCSI Boot . . . . . . . . . . . . . . . . . 129
DHCP iSCSI Boot Configurations for IPv4 . . . . . . . . . . . . . . . . . . . . . 129
DHCP Option 17, Root Path. . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
DHCP Option 43, Vendor-specific Information . . . . . . . . . . . . . . 130
Configuring the DHCP Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

User’s Guide—Converged NetworkAdapters and Intelligent Ethernet Adapters
FastLinQ 41000 Series
vii AH0054601-00 B
Configuring DHCP iSCSI Boot for IPv6. . . . . . . . . . . . . . . . . . . . . . . . 131
DHCPv6 Option 16, Vendor Class Option . . . . . . . . . . . . . . . . . 131
DHCPv6 Option 17, Vendor-Specific Information. . . . . . . . . . . . 131
Configuring VLANs for iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
Configuring iSCSI Boot from SAN for SLES 12 . . . . . . . . . . . . . . . . . . . . . . 133
Configuring iSCSI Boot from SAN for RHEL 7.4 . . . . . . . . . . . . . . . . . . . . . 136
iSCSI Offload in Windows Server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
Installing QLogic Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
Installing the Microsoft iSCSI Initiator . . . . . . . . . . . . . . . . . . . . . . . . . 139
Configuring Microsoft Initiator to Use QLogic’s iSCSI Offload. . . . . . . 140
iSCSI Offload FAQs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
Windows Server 2012 R2 and 2016 iSCSI Boot Installation. . . . . . . . 147
iSCSI Crash Dump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
iSCSI Offload in Linux Environments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Differences from bnx2i . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 148
Configuring qedi.ko . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
Verifying iSCSI Interfaces in Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
Open-iSCSI and Boot from SAN Considerations. . . . . . . . . . . . . . . . . . . . . 152
10 FCoE Configuration
FCoE Boot from SAN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
Preparing System BIOS for FCoE Build and Boot. . . . . . . . . . . . . . . . 158
Specifying the BIOS Boot Protocol. . . . . . . . . . . . . . . . . . . . . . . 158
Configuring Adapter UEFI Boot Mode . . . . . . . . . . . . . . . . . . . . 158
Windows FCoE Boot from SAN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
Windows Server 2012 R2 and 2016 FCoE Boot Installation . . . 163
Configuring FCoE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
FCoE Crash Dump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Injecting (Slipstreaming) Adapter Drivers into Windows Image Files. . . . . . 165
Configuring Linux FCoE Offload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
Differences Between qedf and bnx2fc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
Configuring qedf.ko . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
Verifying FCoE Devices in Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
Boot from SAN Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
11 SR-IOV Configuration
Configuring SR-IOV on Windows. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
Configuring SR-IOV on Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
Configuring SR-IOV on VMware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182

User’s Guide—Converged NetworkAdapters and Intelligent Ethernet Adapters
FastLinQ 41000 Series
viii AH0054601-00 B
12 NVMe-oF Configuration with RDMA
Installing Device Drivers on Both Servers . . . . . . . . . . . . . . . . . . . . . . . . . . 188
Configuring the Target Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
Configuring the Initiator Server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
Preconditioning the Target Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
Testing the NVMe-oF Devices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
Optimizing Performance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
.IRQ Affinity (multi_rss-affin.sh). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
CPU Frequency (cpufreq.sh). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
13 Windows Server 2016
Configuring RoCE Interfaces with Hyper-V . . . . . . . . . . . . . . . . . . . . . . . . . 198
Creating a Hyper-V Virtual Switch with an RDMA Virtual NIC. . . . . . . 199
Adding a VLAN ID to Host Virtual NIC. . . . . . . . . . . . . . . . . . . . . . . . . 200
Verifying If RoCE is Enabled . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
Adding Host Virtual NICs (Virtual Ports) . . . . . . . . . . . . . . . . . . . . . . . 201
Mapping the SMB Drive and Running RoCE Traffic . . . . . . . . . . . . . . 202
RoCE over Switch Embedded Teaming. . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
Creating a Hyper-V Virtual Switch with SET and RDMAVirtual NICs. 204
Enabling RDMA on SET . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
Assigning a VLAN ID on SET . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
Running RDMATraffic on SET . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
Configuring QoS for RoCE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205
Configuring QoS by Disabling DCBX on theAdapter . . . . . . . . . . . . . 205
Configuring QoS by Enabling DCBX on theAdapter. . . . . . . . . . . . . . 210
Configuring VMMQ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
Enabling VMMQ on theAdapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
Setting the VMMQ Max QPs Default and Non-Default VPort . . . . . . . 214
Creating a Virtual Machine Switch with or Without SR-IOV . . . . . . . . 215
Enabling VMMQ on the Virtual Machine Switch . . . . . . . . . . . . . . . . . 217
Getting the Virtual Machine Switch Capability. . . . . . . . . . . . . . . . . . . 217
Creating a VM and Enabling VMMQ on VMNetworkadapters
in the VM. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
Default and Maximum VMMQ Virtual NIC. . . . . . . . . . . . . . . . . . . . . . 219
Enabling and Disabling VMMQ on a Management NIC . . . . . . . . . . . 219
Monitoring Traffic Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
Configuring VXLAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
Enabling VXLAN Offload on theAdapter. . . . . . . . . . . . . . . . . . . . . . . 220
Deploying a Software Defined Network. . . . . . . . . . . . . . . . . . . . . . . . 221
Configuring Storage Spaces Direct . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221

User’s Guide—Converged NetworkAdapters and Intelligent Ethernet Adapters
FastLinQ 41000 Series
ix AH0054601-00 B
Configuring the Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
Deploying a Hyper-Converged System. . . . . . . . . . . . . . . . . . . . . . . . 222
Deploying the Operating System . . . . . . . . . . . . . . . . . . . . . . . . 223
Configuring the Network. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
Configuring Storage Spaces Direct . . . . . . . . . . . . . . . . . . . . . . 226
Deploying and Managing a Nano Server . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
Roles and Features. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
Deploying a Nano Server on a Physical Server . . . . . . . . . . . . . . . . . 230
Deploying a Nano Server in a Virtual Machine . . . . . . . . . . . . . . . . . . 233
Managing a Nano Server Remotely . . . . . . . . . . . . . . . . . . . . . . . . . . 235
Managing a Nano Server with Windows PowerShell Remoting. 235
Adding the Nano Server to a List of Trusted Hosts . . . . . . . . . . 235
Starting the Remote Windows PowerShell Session. . . . . . . . . . 235
Managing QLogic Adapters on a Windows Nano Server . . . . . . . . . . 236
RoCE Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
14 Troubleshooting
Troubleshooting Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
Verifying that Current Drivers Are Loaded . . . . . . . . . . . . . . . . . . . . . . . . . . 240
Verifying Drivers in Windows. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
Verifying Drivers in Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 240
Verifying Drivers in VMware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
Testing Network Connectivity. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
Testing Network Connectivity for Windows . . . . . . . . . . . . . . . . . . . . . 241
Testing Network Connectivity for Linux . . . . . . . . . . . . . . . . . . . . . . . . 242
Microsoft Virtualization with Hyper-V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
Linux-specific Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
Miscellaneous Issues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
Troubleshooting Windows FCoE and iSCSI Boot from SAN . . . . . . . . . . . . 243
Collecting Debug Data . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
A Adapter LEDS
B Cables and Optical Modules
Supported Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
Tested Cables and Optical Modules. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
Tested Switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
C Feature Constraints
Glossary

User’s Guide—Converged NetworkAdapters and Intelligent Ethernet Adapters
FastLinQ 41000 Series
x AH0054601-00 B
Index