Cavium QL41112HFCU-DE User manual

AH0054602-00 A
Third party information brought to
you courtesy of Dell EMC.
User’s Guide
Converged Network Adapters
QLogic 41xxx Series

ii AH0054602-00 A
User’s Guide—Converged Network Adapters
QLogic 41xxx Series
Document Revision History
Revision A, April 28, 2017
Changes Sections Affected
Initial release of new guide for Dell.

iii AH0054602-00 A
Table of Contents
Preface
Supported Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
Intended Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
What Is in This Guide. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xiii
Documentation Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xv
License Agreements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
Legal Notices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
Warranty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
Laser Safety—FDA Notice . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
Agency Certification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
EMI and EMC Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . xvii
KCC: Class A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xviii
Product Safety Compliance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xix
1 Product Overview
Functional Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Adapter Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Physical Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
Standards Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
2 Hardware Installation
System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
Safety Precautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Preinstallation Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Installing the Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
3 Driver Installation
Installing Linux Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Installing the Linux Drivers Without RoCE. . . . . . . . . . . . . . . . . . . . . . 10
Removing the Linux Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Installing Linux Drivers Using the src RPM Package . . . . . . . . . 12
Installing Linux Drivers Using the kmp/kmod RPM Package . . . 13
Installing Linux Drivers Using the TAR File. . . . . . . . . . . . . . . . . 14

User’s Guide—Converged Network Adapters
QLogic 41xxx Series
iv AH0054602-00 A
Installing the Linux Drivers with RoCE . . . . . . . . . . . . . . . . . . . . . . . . 14
Linux Driver Optional Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Linux Driver Parameter Defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Linux Driver Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
Installing Windows Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Installing the Windows Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Running the DUP in the GUI . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
DUP Installation Options. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
DUP Installation Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Removing the Windows Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Managing Adapter Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Setting Power Management Options. . . . . . . . . . . . . . . . . . . . . . . . . . 26
Installing VMware Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
VMware Drivers and Driver Packages. . . . . . . . . . . . . . . . . . . . . . . . . 27
Installing the VMware Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
VMware Driver Optional Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . 29
VMware Driver Parameter Defaults. . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Removing the VMware Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
FCoE Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
iSCSI Support . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
4 Upgrading the Firmware
Running the DUP by Double-Clicking . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Running the DUP from a Command Line. . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Running the DUP Using the .bin File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5 Adapter Preboot Configuration
Getting Started . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
Displaying Firmware Image Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
Configuring Device-level Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
Configuring Port-level Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
Configuring FCoE Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
Configuring iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
Configuring Partitions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
6 RoCE Configuration
Supported Operating Systems and OFED . . . . . . . . . . . . . . . . . . . . . . . . . . 54
Planning for FCoE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
Preparing the Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

User’s Guide—Converged Network Adapters
QLogic 41xxx Series
v AH0054602-00 A
Preparing the Ethernet Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
Configuring the Cisco Nexus 6000 Ethernet Switch . . . . . . . . . . . . . . 56
Configuring the Dell Z9100 Ethernet Switch . . . . . . . . . . . . . . . . . . . . 58
Configuring RoCE on the Adapter for Windows Server . . . . . . . . . . . . . . . . 58
Configuring RoCE on the Adapter for Linux. . . . . . . . . . . . . . . . . . . . . . . . . 60
RoCE v2 Configuring for Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
Identifying RoCE v2 GID Index or Address . . . . . . . . . . . . . . . . 61
Verifying RoCE v1 or v2 GID Index and Address from
sys and class Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
Verifying RoCE v1 or v2 Functionality Through perftest
Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
RoCE Configuration for RHEL. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
RoCE Configuration for SLES . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Verifying the RoCE Configuration on Linux . . . . . . . . . . . . . . . . . . . . . 67
VLAN Interfaces and GID Index Values . . . . . . . . . . . . . . . . . . . . . . . 69
7 iSCSI Configuration
iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
iSCSI Boot Setup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
Selecting the Preferred iSCSI Boot Mode . . . . . . . . . . . . . . . . . 72
Configuring the iSCSI Target . . . . . . . . . . . . . . . . . . . . . . . . . . . 73
Configuring iSCSI Boot Parameters . . . . . . . . . . . . . . . . . . . . . . 73
Adapter UEFI Boot Mode Configuration . . . . . . . . . . . . . . . . . . . . . . . 75
Configuring iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78
Static iSCSI Boot Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
Dynamic iSCSI Boot Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Enabling CHAP Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
Configuring the DHCP Server to Support iSCSI Boot . . . . . . . . . . . . . . . . . 89
DHCP iSCSI Boot Configurations for IPv4 . . . . . . . . . . . . . . . . . . . . . 89
DHCP Option 17, Root Path. . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
DHCP Option 43, Vendor-specific Information . . . . . . . . . . . . . . 90
Configuring the DHCP Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91
Configuring DHCP iSCSI Boot for IPv6. . . . . . . . . . . . . . . . . . . . . . . . 91
DHCPv6 Option 16, Vendor Class Option . . . . . . . . . . . . . . . . . 91
DHCPv6 Option 17, Vendor-Specific Information . . . . . . . . . . . . 91
Configuring VLANs for iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . 92
iSCSI Offload in Windows Server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
Installing QLogic Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
Installing the Microsoft iSCSI Initiator . . . . . . . . . . . . . . . . . . . . . . . . . 94
Configuring Microsoft Initiator to Use QLogic’s iSCSI Offload. . . . . . . 94

User’s Guide—Converged Network Adapters
QLogic 41xxx Series
vi AH0054602-00 A
iSCSI Offload in Windows Server (continued)
iSCSI Offload FAQs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
Windows Server 2012, 2012 R2, and 2016 iSCSI Boot Installation . . 102
iSCSI Crash Dump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Software Components . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Differences from bnx2i . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
Configuring qedi.ko . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Verifying iSCSI Devices in Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104
Open-iSCSI and Boot from SAN Considerations . . . . . . . . . . . . . . . . . . . . . 106
8 FCoE Configuration
FCoE Boot from SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
Preparing System BIOS for FCoE Build and Boot. . . . . . . . . . . . . . . . 111
Specifying the BIOS Boot Protocol . . . . . . . . . . . . . . . . . . . . . . . 111
Configuring Adapter UEFI Boot Mode . . . . . . . . . . . . . . . . . . . . 111
Windows FCoE Boot from SAN. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
Windows Server 2012, 2012 R2, and 2016 FCoE Boot
Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
Configuring FCoE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
FCoE Crash Dump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
Injecting (Slipstreaming) Adapter Drivers into Windows Image Files. . . . . . 118
Configuring Linux FCoE Offload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
Differences Between qedf and bnx2fc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
Configuring qedf.ko . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
Verifying FCoE Devices in Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
Boot from SAN Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
9 iWARP Configuration
Configuring iWARP on Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123
Configuring iWARP on Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
Installing the Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Detecting the Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Supported iWARP Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
Running Perftest for iWARP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
Using iSER with iWARP . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
Configuring NFS-RDMA . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
10 SR-IOV Configuration
Configuring SR-IOV on Windows. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
Configuring SR-IOV on Linux. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
Configuring SR-IOV on VMware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146

User’s Guide—Converged Network Adapters
QLogic 41xxx Series
vii AH0054602-00 A
11 iSCSI Extensions for RDMA
Before You Begin . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
Configuring iSER for RHEL . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150
Configuring iSER for SLES 12 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
Optimizing Linux Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
Configuring CPUs to Maximum Performance Mode . . . . . . . . . . . . . . 155
Configuring Kernel sysctl Settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
Configuring IRQ Affinity Settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
Configuring Block Device Staging . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
12 Windows Server 2016
Configuring RoCE Interfaces with Hyper-V (NDKPI Mode-2) . . . . . . . . . . . 157
Creating a Hyper-V Virtual Switch with an RDMA Virtual NIC. . . . . . . 158
Adding a VLAN ID to Host Virtual NIC. . . . . . . . . . . . . . . . . . . . . . . . . 159
Verifying If RoCE is Enabled . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
Adding Host Virtual NICs (Virtual Ports) . . . . . . . . . . . . . . . . . . . . . . . 160
Mapping the SMB Drive and Running RoCE Traffic . . . . . . . . . . . . . . 161
RoCE over Switch Embedded Teaming . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
Creating a Hyper-V Virtual Switch with SET and RDMA Virtual NICs . 163
Enabling RDMA on SET . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
Assigning a VLAN ID on SET . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163
Running RDMA Traffic on SET . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Configuring QoS for RoCE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 164
Configuring QoS by Disabling DCBX on the Adapter . . . . . . . . . . . . . 164
Configuring QoS by Enabling DCBX on the Adapter. . . . . . . . . . . . . . 169
Configuring VMMQ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
Enabling VMMQ on the Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
Setting the VMMQ Max QPs Default and Non-Default VPort . . . . . . . 173
Creating a Virtual Machine Switch with or Without SRIOV . . . . . . . . . 174
Enabling VMMQ on the Virtual Machine Switch . . . . . . . . . . . . . . . . . 175
Getting the Virtual Machine Switch Capability. . . . . . . . . . . . . . . . . . . 176
Creating a Virtual Machine and Enabling VMMQ on
VMNetworkadapters in the Virtual Machine . . . . . . . . . . . . . . . . . . . 176
Default and Maximum VMMQ Virtual NIC . . . . . . . . . . . . . . . . . . . . . . 178
Enabling and Disabling VMMQ on a Management NIC . . . . . . . . . . . 178
Monitoring Traffic Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
Configuring VXLAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
Enabling VXLAN Offload on the Adapter. . . . . . . . . . . . . . . . . . . . . . . 179
Deploying a Software Defined Network. . . . . . . . . . . . . . . . . . . . . . . . 179

User’s Guide—Converged Network Adapters
QLogic 41xxx Series
viii AH0054602-00 A
Configuring Storage Spaces Direct . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
Configuring the Hardware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
Deploying a Hyper-Converged System . . . . . . . . . . . . . . . . . . . . . . . . 181
Deploying the Operating System . . . . . . . . . . . . . . . . . . . . . . . . 181
Configuring the Network . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
Configuring Storage Spaces Direct. . . . . . . . . . . . . . . . . . . . . . . 183
Deploying and Managing a Nano Server . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
Roles and Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
Deploying a Nano Server on a Physical Server . . . . . . . . . . . . . . . . . 188
Deploying a Nano Server in a Virtual Machine . . . . . . . . . . . . . . . . . . 190
Managing a Nano Server Remotely . . . . . . . . . . . . . . . . . . . . . . . . . . 192
Managing a Nano Server with Windows PowerShell Remoting . 192
Adding the Nano Server to a List of Trusted Hosts . . . . . . . . . . 192
Starting the Remote Windows PowerShell Session . . . . . . . . . . 193
Managing QLogic Adapters on a Windows Nano Server . . . . . . . . . . 193
RoCE Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
13 Troubleshooting
Troubleshooting Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
Verifying that Current Drivers Are Loaded . . . . . . . . . . . . . . . . . . . . . . . . . . 198
Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 198
VMware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
Testing Network Connectivity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
Testing Network Connectivity for Windows . . . . . . . . . . . . . . . . . . . . . 199
Testing Network Connectivity for Linux . . . . . . . . . . . . . . . . . . . . . . . . 200
Microsoft Virtualization with Hyper-V . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
Linux-specific Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
Miscellaneous Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
A Adapter LEDS
B Cables and Optical Modules
Supported Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 203
Tested Cables and Optical Modules. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
C Dell Z9100 Switch Configuration
D Feature Constraints
Glossary

User’s Guide—Converged Network Adapters
QLogic 41xxx Series
ix AH0054602-00 A
List of Figures
Figure Page
3-1 Dell Update Package Window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3-2 QLogic InstallShield Wizard: Welcome Window . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
3-3 QLogic InstallShield Wizard: License Agreement Window . . . . . . . . . . . . . . . . . . . 19
3-4 InstallShield Wizard: Setup Type Window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
3-5 InstallShield Wizard: Custom Setup Window. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
3-6 InstallShield Wizard: Ready to Install the Program Window . . . . . . . . . . . . . . . . . . 21
3-7 InstallShield Wizard: Completed Window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3-8 Dell Update Package Window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
3-9 Setting Advanced Adapter Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
3-10 Power Management Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
4-1 Dell Update Package: Splash Screen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4-2 Dell Update Package: Loading New Firmware . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4-3 Dell Update Package: Installation Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
4-4 Dell Update Package: Finish Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4-5 DUP Command Line Options. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
5-1 System Setup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5-2 Dell System Setup: Device Settings. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
5-3 Dell System Setup: Main Configuration Page, Default Mode. . . . . . . . . . . . . . . . . . 40
5-4 Dell System Setup: Main Configuration Page, NPAR Mode . . . . . . . . . . . . . . . . . . 40
5-5 Firmware Information Window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
5-6 Dell System Setup: NIC Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
5-7 Dell System Setup: NIC Configuration, Boot Mode . . . . . . . . . . . . . . . . . . . . . . . . . 45
5-8 Dell System Setup: FCoE General Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5-9 Dell System Setup: FCoE Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
5-10 Dell System Setup: iSCSI General Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
5-11 Dell System Setup: iSCSI Initiator Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
5-12 Dell System Setup: iSCSI First Target Parameters . . . . . . . . . . . . . . . . . . . . . . . . . 49
5-13 Dell System Setup: iSCSI Second Target Parameters. . . . . . . . . . . . . . . . . . . . . . . 50
5-14 Partitions Configuration Page . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
5-15 Global Bandwidth Allocation Page. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
5-16 Partition 1 Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
6-1 Configuring RoCE Properties. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
6-2 Switch Settings, Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
6-3 Switch Settings, Client . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
6-4 Configuring RDMA_CM Applications: Server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
6-5 Configuring RDMA_CM Applications: Client . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
7-1 Dell System Setup: NIC Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
7-2 Dell System Setup: Boot Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
7-3 Dell System Setup: Device Settings Configuration Utility . . . . . . . . . . . . . . . . . . . . 76
7-4 Selecting NIC Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
7-5 Dell System Setup: NIC Configuration, Boot Mode . . . . . . . . . . . . . . . . . . . . . . . . . 78
7-6 Dell System Setup: iSCSI Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
7-7 Dell System Setup: Selecting General Parameters . . . . . . . . . . . . . . . . . . . . . . . . . 80

User’s Guide—Converged Network Adapters
QLogic 41xxx Series
x AH0054602-00 A
7-8 Dell System Setup: iSCSI General Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7-9 Dell System Setup: iSCSI Initiator Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
7-10 Dell System Setup: iSCSI Initiator Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
7-11 Dell System Setup: Selecting iSCSI First Target Parameters . . . . . . . . . . . . . . . . . 84
7-12 Dell System Setup: iSCSI First Target Parameters . . . . . . . . . . . . . . . . . . . . . . . . . 85
7-13 Dell System Setup: iSCSI Second Target Parameters. . . . . . . . . . . . . . . . . . . . . . . 85
7-14 Dell System Setup: Saving iSCSI Changes. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
7-15 Dell System Setup: iSCSI General Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
7-16 Dell System Setup: iSCSI General Parameters, VLAN ID. . . . . . . . . . . . . . . . . . . . 93
7-17 iSCSI Initiator Properties, Configuration Page. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
7-18 iSCSI Initiator Node Name Change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
7-19 iSCSI Initiator—Discover Target Portal . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 97
7-20 Target Portal IP Address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98
7-21 Selecting the Initiator IP Address. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
7-22 Connecting to the iSCSI Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
7-23 Connect To Target Dialog Box . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
8-1 Dell System Setup: Selecting Device Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111
8-2 Dell System Setup: Device Settings, Port Selection . . . . . . . . . . . . . . . . . . . . . . . . 112
8-3 Dell System Setup: NIC Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
8-4 Dell System Setup: FCoE Mode Enabled . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
8-5 Dell System Setup: FCoE General Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
8-6 Dell System Setup: FCoE General Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
9-1 Dell System Setup for iWARP: NIC Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . 124
9-2 PowerShell Command: Get-NetAdapterRdma. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
9-3 PowerShell Command: Get-NetOffloadGlobalSetting . . . . . . . . . . . . . . . . . . . . . . . 125
9-4 Perfmon: Add Counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
9-5 Perfmon: Verifying iWARP Traffic . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
9-6 LIO Target Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
10-1 Dell System Setup for SR-IOV: Integrated Devices . . . . . . . . . . . . . . . . . . . . . . . . . 135
10-2 Dell System Setup for SR-IOV: Device Level Configuration . . . . . . . . . . . . . . . . . . 135
10-3 Adapter Properties, Advanced: Enabling SR-IOV . . . . . . . . . . . . . . . . . . . . . . . . . . 136
10-4 Virtual Switch Manager: Enabling SR-IOV. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
10-5 Settings for VM: Enabling SR-IOV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
10-6 Device Manager: VM with QLogic Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
10-7 PowerShell Command: Get-NetadapterSriovVf . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
10-8 Dell System Setup: Processor Settings for SR-IOV. . . . . . . . . . . . . . . . . . . . . . . . . 141
10-9 Dell System Setup for SR-IOV: Integrated Devices . . . . . . . . . . . . . . . . . . . . . . . . . 142
10-10 Editing the grub.conf File for SR-IOV. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
10-11 Command Output for sriov_numvfs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
10-12 Command Output for ip link show Command . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
10-13 RHEL68 Virtual Machine . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
10-14 Add New Virtual Hardware. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
10-15 VMware Host Edit Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
11-1 RDMA Ping Successful . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
11-2 iSER Portal Instances . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152