Cavium FastLinQ 3400 Series User manual

83840-546-00 N
User’s Guide
Converged Network Adapters and
Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series

ii 83840-546-00 N
User’s Guide–Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
Document Revision History
Revision A, October 20, 2014
Revision B, November 14, 2014
Revision C, April 3, 2015
Revision D, September 16, 2015
Revision E, May 10, 2016
Revision F, July 11, 2016
Revision G, August 30, 2016
Revision H, September 30, 2016
Revision J, March 6, 2017
Revision K, June 27, 2017
Revision L, August 15, 2017
Revision M, June 22, 2018
Revision N, January 18, 2019
Changes Sections Affected
Changed all www.cavium.com and
www.qlogic.com Web site references to www.mar-
vell.com.
All
In the NOTE, added instructions for uninstalling
QSC GUI in Linux systems.
“Preface” on page xxi
Updated the instructions for submitting a case with
technical support.
“Technical Support” on page xxvi
Updated the instructions for downloading updates
and documentation.
“Downloading Updates and Documentation” on
page xxvi
Updated the instructions for accessing the knowl-
edgebase.
“Knowledge Database” on page xxvii
Updated the instructions for obtaining warranty
information.
“Warranty” on page xxvii
In the NOTE, corrected the web site and instruc-
tions for finding the product brief.
“Functional Description” on page 1
In the Manageability section, added a bullet for
VMware support.
“Features” on page 2
Removed the NOTE about running QCS CLI in a
Windows Nano Server shell.
“QLogic Control Suite CLI” on page 6

iii 83840-546-00 N
User’s Guide–Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
Removed Windows Nano.
In the NOTE, added instructions for uninstalling
QSC GUI in Linux systems.
“Windows Driver Software” on page 19
In the NOTE, corrected the second bullet to “If you
select Only allow a magic packet to wake
the computer, …”
“Setting Power Management Options” on page 25
Added Windows 2019.
Removed Windows Nano.
“Windows Server 2016 and 2019” on page 26
Updated descriptions of the disable_tpa, int_mode,
dropless_fc, pri_map driver parameters.
Added the multi_rx_filters parameter.
“bnx2x Driver Parameters” on page 36
Updated the description of the error_mask1 and
error_mask2 driver parameters.
“bnx2i Driver Parameters” on page 42
Added cnic driver parameters. “cnic Driver Parameters” on page 45
Updated Figure 7-2.“Download, Install, and Update Drivers” on
page 49
Added VMware driver parameters for cnic, qfle3,
qfle3i, qfle3f.
“cnic Driver Parameters” on page 56, “qfle3 Driver
Parameters” on page 56, “qfle3i Driver Parame-
ters” on page 60, “qfle3f Driver Parameters” on
page 63
Added VMware qfle3 driver defaults. “qfle3 Driver Defaults” on page 65
Updated Step 1 with correct Web site and instruc-
tions for finding firmware.
“Upgrading Firmware for Windows” on page 71
Corrected Step 4 and Step 5 to point to the Marvell
Web site for the related packages.
“Creating an iSCSI Boot Image with the dd
Method” on page 109
In the first paragraph, clarified the first sentence to
“Cavium’s 8400 iSCSI-Offload…”
“iSCSI Offload in Windows Server” on page 112

iv 83840-546-00 N
User’s Guide–Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
In the first paragraph, removed the numbers of
VLANs that can be defined, and information about
teaming. Added that “Multiple VLANs can be
defined for each Cavium adapter on your server,
depending on the amount of memory available in
your system.”
Added a new second paragraph about configuring
a VLAN from a physical function, and configuring
teams.
In the third paragraph, changed the second sen-
tence to “Cavium adapters support a single VLAN
per function or multiple VLANs per team, allowing
very flexible network configurations.”
Updated Figure 13-1 to remove Broadcom refer-
ences.
In the NOTE, second paragraph, changed the first
sentence to “For Hyper-V, create VLANs in the
vSwitch-to-VM connection instead of in a team or
in the adapter driver, …”
“VLAN Overview” on page 187
Revised this section to include more clarification of
teaming.
“Adding VLANs to Teams” on page 190
In the third paragraph, fourth sentence, clarified
that “QLASP VLANs are supported only with
homogeneous teaming and not in a multivendor
teaming environment.”
Added a new last paragraph indicating that QLASP
is for OSs that do not support in-OS NIC teaming.
“IEEE 802.1Q VLANs” on page 226
Revised an expanded this section to further
describe VLAN filtering and QinQ. Added instruc-
tions for configuring VLAN filtering using HII.
“IEEE 802.1ad Provider Bridges (QinQ)” on
page 226
In the first paragraph, clarified the first sentence to
“The only supported QLASP team configuration
when using Microsoft Virtual Server 2005 is with a
QLASP Smart Load Balancing team-type…”
“Teaming with Microsoft Virtual Server 2005” on
page 229
In the first paragraph, clarified the first sentence to
“QLASP SLB teaming can be configured across
switches.”
“Teaming Across Switches” on page 230
In the first paragraph, clarified the first sentence to
“The diagrams in this section describe the opera-
tion of a QLASP SLB team in a switch fault tolerant
configuration. “
“Switch-Link Fault Tolerance” on page 230
Added QLASP to title and text where appropriate. “QLASP SLB Teams” on page 236

v 83840-546-00 N
User’s Guide–Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
Added QLASP to title and text where appropriate. “QLASP SLB Team Connected to a Single Hub” on
page 237
Added QLASP to title and text where appropriate. “QLASP Teaming with Microsoft NLB” on page 237
Corrected the answer to “Where can I get the lat-
est supported drivers?” to the Marvell Web page.
“Frequently Asked Questions” on page 248
Added a new problem (iSCSI offload issue with
RHEL 7.6) and corresponding solution
“Linux Issues” on page 278

vi 83840-546-00 N
Table of Contents
Preface
Supported Products . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxi
Intended Audience . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii
What Is in This Guide . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxii
Related Materials . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii
Documentation Conventions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxiii
License Agreements. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxv
Technical Support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvi
Downloading Updates and Documentation . . . . . . . . . . . . . . . . . . . . . xxvi
Knowledge Database . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvii
Legal Notices . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvii
Warranty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxvii
Laser Safety—FDA Notice. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxviii
Agency Certification. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxviii
EMI and EMC Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . xxviii
KCC: Class A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxix
VCCI: Class A. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxx
Product Safety Compliance. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . xxx
1 Product Overview
Functional Description . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
iSCSI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
FCoE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Power Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5
Adaptive Interrupt Frequency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
ASIC with Embedded RISC Processor . . . . . . . . . . . . . . . . . . . . . . . . 6
Adapter Management. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
QLogic Control Suite CLI. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
QLogic QConvergeConsole GUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
QLogic QConvergeConsole vCenter Plug-in. . . . . . . . . . . . . . . . . . . . 7
FastLinQ ESXCLI VMware Plug-in . . . . . . . . . . . . . . . . . . . . . . . . . . . 7

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
vii 83840-546-00 N
QLogic QConvergeConsole PowerKit . . . . . . . . . . . . . . . . . . . . . . . . . 7
QLogic Comprehensive Configuration Management. . . . . . . . . . . . . . 7
Supported Operating Environments. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
Physical Characteristics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
Standards Specifications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
2 Installing the Hardware
System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Operating System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
Safety Precautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Pre-installation Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
Installing the Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
Connecting Network Cables and Optical Modules. . . . . . . . . . . . . . . . . . . . 12
3 Setting Up Multi-Boot Agent Driver Software
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
Setting Up MBA in a Client Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Enabling the MBA Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Configuring the MBA Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Controlling EEE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Setting Up the BIOS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Setting Up MBA in a Server Environment . . . . . . . . . . . . . . . . . . . . . . . . . . 17
Red Hat Linux PXE Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
MS-DOS UNDI or Intel APITEST. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18
4 Windows Driver Software
Windows Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
Installing the Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
Using the Installer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
Using Silent Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
Manually Extracting the Device Drivers. . . . . . . . . . . . . . . . . . . . . . . . 23
Removing the Device Drivers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
Installing QLogic Management Applications. . . . . . . . . . . . . . . . . . . . . . . . . 24
Viewing or Changing the Adapter Properties . . . . . . . . . . . . . . . . . . . . . . . . 24
Setting Power Management Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5 Windows Server 2016 and 2019
Configuring VXLAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
Enabling VXLAN Offload on the Adapter. . . . . . . . . . . . . . . . . . . . . . . 26
Deploying a Software Defined Network. . . . . . . . . . . . . . . . . . . . . . . . 27

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
viii 83840-546-00 N
6 Linux Driver Software
Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
bnx2x Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
bnx2i Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
bnx2fc Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
Packaging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
Installing Linux Driver Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Installing the Binary RPM Package . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
Installing the KMP/KMOD Package. . . . . . . . . . . . . . . . . . . . . . . . . . . 32
Installing Drivers on Ubuntu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
Load and Run Necessary iSCSI Software Components . . . . . . . . . . . . . . . 34
Unloading or Removing the Linux Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . 34
Unloading or Removing the Driver from an RPM Installation . . . . . . . 34
Uninstalling QCC GUI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Patching PCI Files (Optional). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
Network Installations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
Setting Values for Optional Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
bnx2x Driver Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
int_mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
disable_tpa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
dropless_fc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
disable_iscsi_ooo . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
multi_mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
num_queues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
full_promiscous. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
poll . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
mrrs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
debug . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
num_vfs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
autogreen . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
native_eee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
eee . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
tx_switching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
use_random_vf_mac . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
allow_vf_mac_change_mode . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
fairness threshold . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
intr_mitigation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
pri_map. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
ix 83840-546-00 N
qs_per_cos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
cos_min_rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
bnx2i Driver Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
error_mask1 and error_mask2 . . . . . . . . . . . . . . . . . . . . . . . . . . 42
en_tcp_dack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
time_stamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
sq_size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
rq_size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
event_coal_div . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
last_active_tcp_port . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
event_coal_min . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
event_coal_div . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
tcp_buf_size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
debug_logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
bnx2i_ssan_feature . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
ooo_enable. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
bnx2fc Driver Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
bnx2fc_debug_logging . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
cnic Driver Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
cnic_debug . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
cnic_dump_kwqe_enable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Driver Defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
bnx2x Driver Defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Teaming with Channel Bonding . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
Statistics. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47
7 VMware Driver Software
VMware Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
Packaging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Download, Install, and Update Drivers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
Driver Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
bnx2x Driver Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
int_mode. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
disable_tpa . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
dropless_fc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
multi_rx_filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
num_rx_queues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
num_tx_queues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
pri_map. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54
qs_per_cos . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
x 83840-546-00 N
cos_min_rate . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
RSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
max_vfs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
enable_vxlan_offld . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
cnic Driver Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
cnic_debug . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
cnic_dump_kwqe_enable . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
qfle3 Driver Parameters. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
debug_mask . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
enable_fwdump . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
enable_lro. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
hw_vlan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
intr_mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
mtu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
offload_flags . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
multi_rx_filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
rxqueue_nr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
rxring_bd_nr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
txqueue_nr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
txring_bd_nr . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
RSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
DRSS . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
rss_engine_nr. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
enable_vxlan_filters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
dropless_fc . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
max_vfs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
qfle3i Driver Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
qfle3i_chip_cmd_max. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
qfle3i_esx_mtu_max. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
qfle3i_max_sectors. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
qfle3i_max_task_pgs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
qfle3i_nopout_when_cmds_active . . . . . . . . . . . . . . . . . . . . . . . 61
cmd_cmpl_per_work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
en_hba_poll . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
en_tcp_dack . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
error_mask1, error_mask2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61
event_coal_div . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
event_coal_min . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
ooo_enable. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
xi 83840-546-00 N
qfle3i_debug_level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
rq_size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
sq_size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
tcp_buf_size . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
time_stamps . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
qfle3f Driver Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63
qfle3f_debug_level . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
qfle3f_devloss_tmo. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
qfle3f_max_luns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
qfle3f_queue_depth . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
qfle3f_enable_r_a_tov . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
qfle3f_r_a_tov. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
qfle3f_autodiscovery. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64
qfle3f_create vmkMgmt_Entry . . . . . . . . . . . . . . . . . . . . . . . . . . 64
Driver Defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
bnx2x Driver Defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
qfle3 Driver Defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
Unloading and Removing Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Driver Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
Driver Sign On . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
NIC Detected . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66
MSI-X Enabled Successfully . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Link Up and Speed Indication. . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Link Down Indication . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Memory Limitation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
Multiqueue and NetQueue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
FCoE Support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Enabling FCoE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
Verifying Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Limitations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
Supported Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70
8 Upgrading the Firmware
Upgrading Firmware for Windows . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
Upgrading Firmware for Linux . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
9 Configuring iSCSI Protocol
iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
Supported Operating Systems for iSCSI Boot. . . . . . . . . . . . . . . . . . . 80
iSCSI Boot Setup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
xii 83840-546-00 N
Configuring the iSCSI Target . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
Configuring iSCSI Boot Parameters . . . . . . . . . . . . . . . . . . . . . . 82
Configuring iSCSI Boot Parameters on VMware . . . . . . . . . . . . 83
MBA Boot Protocol Configuration . . . . . . . . . . . . . . . . . . . . . . . . 84
iSCSI Boot Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
Enabling CHAP Authentication . . . . . . . . . . . . . . . . . . . . . . . . . . 92
Configuring the DHCP Server to Support iSCSI Boot . . . . . . . . 92
DHCP iSCSI Boot Configurations for IPv4 . . . . . . . . . . . . . . . . . 92
DHCP iSCSI Boot Configuration for IPv6 . . . . . . . . . . . . . . . . . . 94
Configuring the DHCP Server. . . . . . . . . . . . . . . . . . . . . . . . . . . 95
Preparing the iSCSI Boot Image . . . . . . . . . . . . . . . . . . . . . . . . 96
Booting . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
Configuring VLANs for iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
Other iSCSI Boot Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Changing the Speed and Duplex Settings in Windows
Environments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Virtual LANs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 109
Creating an iSCSI Boot Image with the dd Method . . . . . . . . . . 109
Troubleshooting iSCSI Boot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110
iSCSI Crash Dump. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
iSCSI Offload in Windows Server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
Installing Cavium Drivers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113
Enabling and Disabling iSCSI-Offload. . . . . . . . . . . . . . . . . . . . . . . . . 113
Installing the Microsoft iSCSI Initiator . . . . . . . . . . . . . . . . . . . . . . . . . 114
Configuring Microsoft Initiator to Use Cavium’s iSCSI Offload . . . . . . 115
iSCSI Offload FAQs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
Event Log Messages. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
iSCSI Offload in Linux Server. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
Open iSCSI User Applications. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127
User Application, qlgc_iscsiuio . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
Bind iSCSI Target to Cavium iSCSI Transport Name . . . . . . . . . . . . . 128
VLAN Configuration for iSCSI Offload (Linux). . . . . . . . . . . . . . . . . . . 129
Modifying the iSCSI iface File. . . . . . . . . . . . . . . . . . . . . . . . . . . 129
Setting the VLAN ID on the Ethernet Interface. . . . . . . . . . . . . . 129
Making Connections to iSCSI Targets . . . . . . . . . . . . . . . . . . . . . . . . . 130
Add Static Entry . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
iSCSI Target Discovery Using 'SendTargets' . . . . . . . . . . . . . . . 130
Login to Target Using 'iscsiadm' Command . . . . . . . . . . . . . . . . 130

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
xiii 83840-546-00 N
List All Sessions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
List All Drives Active in the System. . . . . . . . . . . . . . . . . . . . . . . 131
Maximum Offload iSCSI Connections . . . . . . . . . . . . . . . . . . . . . . . . . 131
Linux iSCSI Offload FAQ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
iSCSI Offload in VMware Server . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
10 Configuring Fibre Channel Over Ethernet
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134
FCoE Boot from SAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
FCoE Boot Configuration in Legacy Boot Mode . . . . . . . . . . . . . . . . . 135
Preparing System BIOS for FCoE Build and Boot . . . . . . . . . . . 135
Provisioning Storage Access in the SAN . . . . . . . . . . . . . . . . . . 136
One-time Disabled . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 137
FCoE Boot Configuration in UEFI Boot Mode . . . . . . . . . . . . . . . . . . . 138
Preparing Cavium Multi-Boot Agent for FCoE Boot . . . . . . . . . . 139
UEFI Boot LUN Scanning. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
FCoE Boot Installation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
Windows Server 2008 SP2 FCoE Boot Installation . . . . . . . . . . 144
Windows Server 2012, 2012 R2, and 2016 FCoE
Boot Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
Linux FCoE Boot Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
Adding Additional Linux Boot Paths . . . . . . . . . . . . . . . . . . . . . . 163
VMware ESXi FCoE Boot Installation. . . . . . . . . . . . . . . . . . . . . 167
Booting from SAN After Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
Driver Upgrade on Linux Boot from SAN Systems . . . . . . . . . . . . . . . 172
Errors During Windows FCoE Boot from SAN Installation . . . . . . . . . 173
Configuring FCoE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
11 Configuring NIC Partitioning and Managing Bandwidth
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176
Supported Operating Systems for NPAR . . . . . . . . . . . . . . . . . . . . . . 177
Configuring for NPAR . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
Configuration Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
Number of Partitions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
Function Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178
Network MAC Address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
iSCSI MAC Address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
Flow Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
Physical Link Speed . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
xiv 83840-546-00 N
Relative Bandwidth Weight (%). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179
Maximum Bandwidth (%). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
12 Using Microsoft Virtualization with Hyper-V
Supported Features . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 181
Configuring a Single Network Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
Windows Server 2008 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
Windows Server 2008 R2 and 2012 . . . . . . . . . . . . . . . . . . . . . . . . . . 183
Teamed Network Adapters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 183
Windows Server 2008 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
Windows Server 2008 R2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185
Configuring VMQ with SLB Teaming . . . . . . . . . . . . . . . . . . . . . . . . . . 186
Upgrading Windows Operating Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
13 Using Virtual LANs in Windows
VLAN Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187
Adding VLANs to Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
14 Enabling SR-IOV
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
Enabling SR-IOV . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 191
SR-IOV and Storage . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
SR-IOV and Jumbo Packets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 193
15 Configuring Data Center Bridging
Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
Enhanced Transmission Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . 194
Priority-based Flow Control . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
Data Center Bridging Exchange . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
Configuring DCB . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
DCB Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
DCB in Windows Server 2012 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
16 Using Cavium Teaming Services
Executive Summary . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 199
Glossary of Teaming Terms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
Teaming Concepts. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 201
Network Addressing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
Teaming and Network Addresses . . . . . . . . . . . . . . . . . . . . . . . . 203
Description of Teaming Types. . . . . . . . . . . . . . . . . . . . . . . . . . . 203
Software Components. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
xv 83840-546-00 N
Hardware Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208
Repeater Hub . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
Switching Hub. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
Router. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
Teaming Support by Processor . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209
Configuring Teaming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Supported Features by Team Type . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
Selecting a Team Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
Teaming Mechanisms. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
Outbound Traffic Flow. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 215
Inbound Traffic Flow (SLB Only). . . . . . . . . . . . . . . . . . . . . . . . . 215
Protocol Support. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216
Performance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
Types of Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
Switch-independent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
Switch-dependent—Generic Static Trunking . . . . . . . . . . . . . . . 218
Switch-dependent—Dynamic Trunking . . . . . . . . . . . . . . . . . . . 220
LiveLink . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
Attributes of the Features Associated with Each Type of Team. . . . . . 221
Speeds Supported for Each Type of Team . . . . . . . . . . . . . . . . . . . . . 223
Teaming and Other Advanced Networking Properties . . . . . . . . . . . . . . . . . 224
Checksum Offload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
IEEE 802.1p QoS Tagging. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Large Send Offload . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225
Jumbo Frames. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
IEEE 802.1Q VLANs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
IEEE 802.1ad Provider Bridges (QinQ). . . . . . . . . . . . . . . . . . . . . . . . 226
Preboot Execution Environment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
General Network Considerations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
Teaming with Microsoft Virtual Server 2005 . . . . . . . . . . . . . . . . . . . . 229
Teaming Across Switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
Switch-Link Fault Tolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . 230
Spanning Tree Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
Topology Change Notice (TCN) . . . . . . . . . . . . . . . . . . . . . . . . . 235
Port Fast or Edge Port . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
Layer 3 Routing and Switching . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
xvi 83840-546-00 N
Teaming with Hubs (for troubleshooting purposes only) . . . . . . . . . . . 236
Hub Usage in Teaming Network Configurations . . . . . . . . . . . . . 236
QLASP SLB Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 236
QLASP SLB Team Connected to a Single Hub . . . . . . . . . . . . . 237
Generic and Dynamic Trunking (FEC/GEC/IEEE 802.3ad) . . . . 237
QLASP Teaming with Microsoft NLB . . . . . . . . . . . . . . . . . . . . . . . . . . 237
Application Considerations. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
Teaming and Clustering. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
Microsoft Cluster Software . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
High-Performance Computing Cluster . . . . . . . . . . . . . . . . . . . . 240
Oracle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
Teaming and Network Backup. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
Load Balancing and Failover . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
Fault Tolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
Troubleshooting Teaming Problems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
Teaming Configuration Tips . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246
Troubleshooting Guidelines. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
Frequently Asked Questions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
Windows System Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . 251
Base Driver (Physical Adapter or Miniport) Messages . . . . . . . . . . . . 252
Intermediate Driver (Virtual Adapter or Team) Messages . . . . . . . . . . 255
Virtual Bus Driver Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
17 Configuring Teaming in Windows Server
QLASP Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
Load Balancing and Fault Tolerance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
Types of Teams . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 261
Smart Load Balancing and Failover . . . . . . . . . . . . . . . . . . . . . . . . . . 261
Link Aggregation (802.3ad) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
Generic Trunking (FEC/GEC)/802.3ad-Draft Static. . . . . . . . . . . . . . . 262
SLB (Auto-Fallback Disable) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
Limitations of Smart Load Balancing and Failover and SLB
(Auto-Fallback Disable) Types of Teams. . . . . . . . . . . . . . . . . . . . . . 263
Teaming with Large Send Offload and Checksum Offload Support . .264

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
xvii 83840-546-00 N
18 Running User Diagnostics in DOS
Introduction. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
System Requirements . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
Performing Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
Diagnostic Test Descriptions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
A Troubleshooting
Hardware Diagnostics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272
QCC GUI Diagnostic Tests Failures . . . . . . . . . . . . . . . . . . . . . . . . . . 272
QCC Network Test Failures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
Checking Port LEDs. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
Troubleshooting Checklist . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
Checking if Current Drivers are Loaded. . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
Possible Problems and Solutions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
Multi-Boot Agent Issues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
QLASP Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
Linux Issues. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278
NPAR Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
Miscellaneous Issues . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
BAdapter LEDS
Glossary
Index

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
xviii 83840-546-00 N
List of Figures
Figure Page
3-1 MBA Configuration Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
4-1 Power Management Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
5-1 Enabling VXLAN Encapsulated Task Offload. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
7-1 Selecting an Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
7-2 QLE3442 Driver Versions. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
7-3 PCI Identifiers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50
7-4 List of VMware Driver Packages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
7-5 Download the VMware Driver Package . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
9-1 QLogic 577xx/578xx Ethernet Boot Agent . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84
9-2 CCM Device List . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
9-3 Selecting MBA Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 85
9-4 Selecting the iSCSI Boot Protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 86
9-5 Selecting iSCSI Boot Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
9-6 Selecting General Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 87
9-7 Saving the iSCSI Boot Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
9-8 Comprehensive Configuration Management . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
9-9 Configuring VLANs—CCM Device List . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
9-10 Configuring VLANs—Multiboot Agent Configuration . . . . . . . . . . . . . . . . . . . . . . . . 108
9-11 Configuring iSCSI Boot VLAN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
9-12 Saving the iSCSI Boot VLAN Configuration. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
9-13 Enabling or Disabling iSCSI-Offload on Windows . . . . . . . . . . . . . . . . . . . . . . . . . . 114
9-14 iSCSI Initiator Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
9-15 iSCSI Initiator Node Name Change . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
9-16 iSCSI Initiator—Add a Target Portal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
9-17 Target Portal IP Address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
9-18 Selecting the Local Adapter . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
9-19 Selecting the Initiator IP Address . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
9-20 Adding the Target Portal. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
9-21 Logging on to the iSCSI Target . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
9-22 Log On to Target Dialog Box . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121
9-23 Assigning a VLAN Number . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
9-24 Configuring the VLAN on VMkernel . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
10-1 One-time Disabled . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
10-2 FCoE Boot—CCM Device List . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
10-3 FCoE Boot—Enable DCB/DCBX . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
10-4 FCoE Boot—Select FCoE Boot Protocol . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
10-5 FCoE Boot—Target Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
10-6 FCoE Boot—Specify Target WWPN and Boot LUN. . . . . . . . . . . . . . . . . . . . . . . . . 142
10-7 FCoE Boot—Target Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
10-8 FCoE Boot Configuration Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
10-9 Load EVBD Driver . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
10-10 Load bxfcoe Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145
10-11 Selecting the FCoE Boot LUN . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 145

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
xix 83840-546-00 N
10-12 SLES 11 and 12 Installation: Boot Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 147
10-13 SLES 11 and 12 Installation: Driver Update Medium. . . . . . . . . . . . . . . . . . . . . . . . 148
10-14 SLES 11 and 12 Installation: Configure FCoE Interfaces . . . . . . . . . . . . . . . . . . . . 148
10-15 SLES 11 Installation: Enable FCoE . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
10-16 SLES 11 and 12 Installation: Change FCoE Settings . . . . . . . . . . . . . . . . . . . . . . . 149
10-17 SLES 11 and 12 Installation: FCoE Configuration . . . . . . . . . . . . . . . . . . . . . . . . . . 150
10-18 SLES 11 and 12 Installation: Disk Activation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151
10-19 SLES 11 and 12 Installation: Installation Settings . . . . . . . . . . . . . . . . . . . . . . . . . . 151
10-20 SLES 11 and 12 Installation: Boot Loader Device Map . . . . . . . . . . . . . . . . . . . . . . 152
10-21 RHEL 6 Installation: Add dd to Boot Command . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
10-22 RHEL 6 Installation: Select Driver Disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 154
10-23 RHEL 6 Installation: Select Specialized Storage Devices . . . . . . . . . . . . . . . . . . . . 155
10-24 RHEL 6 Installation: Add Advanced Target. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
10-25 RHEL 6 Installation: Add FCoE Drive. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
10-26 RHEL 6 Installation: Configure FCoE Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . 156
10-27 RHEL 6 Installation: Confirm FCoE Disks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
10-28 Installation Summary Page . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158
10-29 Installation Destination Page . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
10-30 ESXi Installation: Boot Menu . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
10-31 ESXi Installation: Welcome Window . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 167
10-32 ESXi Installation: Select Disk. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
10-33 ESXi Installation: Select Install Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168
10-34 ESXi Installation: Select Keyboard Layout. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
10-35 ESXi Installation: Enter Password . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
10-36 ESXi Installation: Confirm Installation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 169
10-37 ESXi Installation: Installation Complete . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
10-38 Configure Management Network: Select Device . . . . . . . . . . . . . . . . . . . . . . . . . . . 170
10-39 vSphere Client: Adding Boot Device . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171
10-40 FCoE Reboot . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
10-41 Windows Setup Error Message . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 173
10-42 Enabling or Disabling FCoE-Offload on Windows . . . . . . . . . . . . . . . . . . . . . . . . . . 175
13-1 Example of Servers Supporting Multiple VLANs with Tagging. . . . . . . . . . . . . . . . . 188
16-1 Process for Selecting a Team Type . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 212
16-2 Intermediate Driver. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 214
16-3 Teaming Across Switches Without an Inter-switch Link . . . . . . . . . . . . . . . . . . . . . . 231
16-4 Teaming Across Switches with Interconnect . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 232
16-5 Failover Event . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
16-6 Team Connected to a Single Hub . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
16-7 Clustering with Teaming Across One Switch . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 239
16-8 Clustering with Teaming Across Two Switches . . . . . . . . . . . . . . . . . . . . . . . . . . . . 241
16-9 Network Backup Without Teaming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
16-10 Network Backup with SLB Teaming Across Two Switches. . . . . . . . . . . . . . . . . . . . 245

User’s Guide—Converged Network Adapters and Intelligent Ethernet Adapters
FastLinQ 3400 and 8400 Series
xx 83840-546-00 N
List of Tables
Table Page
2-1 100/1000BASE-T and 10GBASE-T Cable Specifications . . . . . . . . . . . . . . . . . . . . 12
2-2 Supported Optical Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
4-1 8400/3400 Series Windows Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
6-1 Cavium 8400/3400 Series Linux Drivers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
6-2 bnx2x Driver Defaults. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
7-1 FastLinQ 8400/3400 Series VMware Drivers. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48
7-2 bnx2x Driver Defaults. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
7-3 qfle3 Driver Defaults. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
9-1 Configuration Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
9-2 DHCP Option 17 Parameter Definition. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93
9-3 DHCP Option 43 Suboption Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94
9-4 DHCP Option 17 Suboption Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
9-5 Offload iSCSI (OIS) Driver Event Log Messages. . . . . . . . . . . . . . . . . . . . . . . . . . . 122
12-1 Configurable Network Adapter Hyper-V Features . . . . . . . . . . . . . . . . . . . . . . . . . . 181
12-2 Configurable Teamed Network Adapter Hyper-V Features . . . . . . . . . . . . . . . . . . . 183
13-1 Example VLAN Network Topology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 189
16-1 Teaming Terminology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 200
16-2 Available Teaming Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
16-3 Comparison of Team Types . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 210
16-4 Team Type Attributes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221
16-5 Link Speeds in Teaming . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 223
16-6 Advanced Adapter Properties and Teaming Support . . . . . . . . . . . . . . . . . . . . . . . . 224
16-7 Base Driver Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
16-8 Intermediate Driver Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 255
16-9 VBD Event Log Messages . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
17-1 Smart Load Balancing . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263
18-1 uediag Command Options . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
18-2 Diagnostic Tests . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 268
B-1 Network Link and Activity Indicated by the RJ45 Port LEDs . . . . . . . . . . . . . . . . . . 282
B-2 Network Link and Activity Indicated by the Port LED . . . . . . . . . . . . . . . . . . . . . . . . 282