R/evolution 2000 series User manual

2000 Series

Troubleshooting Guide

P/N 83-00004287-12

Revision A

May 2008

Hill Systems Corp. All other trademarks and registered trademarks are proprietary to their respective owners.

The material in this document is for information only and is subject to change without notice. While reasonable efforts have

been made in the preparation of this document to assure its accuracy, changes in the product design can be made without

reservation and without notification to its users.

Contents

Preface . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

1. System Architecture . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Architecture Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

Enclosure Chassis and Midplane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Midplane . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

Enclosure ID Display . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13

Drive Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Disk Drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

Controller Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Drive Expansion Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Power-and-Cooling Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Power Supply Unit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

Cooling Fans . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16

Airflow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17

2. Fault Isolation Methodology . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Gather Fault Information . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Determine Where the Fault Is Occurring . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Review the Event Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

Isolate the Fault . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

4R/Evolution 2000 Series Troubleshooting Guide • May 2008

3. Troubleshooting Using System LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

LED Names and Locations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21

Using LEDs to Check System Status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23

Using Enclosure Status LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

Using Drive Module LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24

Using Controller Module Host Port LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25

Using the Controller Module Expansion Port LED . . . . . . . . . . . . . . . . . . . . . . 30

Using Ethernet Management Port LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Using Controller Module Status LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32

Using Power-and-Cooling Module LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

Using Expansion Module LEDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33

4. Troubleshooting Using RAIDar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Problems Using RAIDar to Access a Storage System . . . . . . . . . . . . . . . . . . . . . . . 36

Determining Storage System Status and Verifying Faults . . . . . . . . . . . . . . . . . . . . 37

Stopping I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38

Clearing Metadata From Leftover Disk Drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39

Isolating Faulty Disk Drives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

Identifying a Faulty Disk Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40

Reviewing Disk Drive Error Statistics . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41

Reviewing the Event Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Reconstructing a Virtual Disk . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43

Isolating Data Path Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

Isolating Internal Data Path Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45

Isolating External Data Path Faults on an FC Storage System . . . . . . . . . . . . . 51

Isolating External Data Path Faults on an iSCSI Storage System . . . . . . . . . . . 52

Isolating External Data Path Faults on a SAS Storage System . . . . . . . . . . . . . 53

Resetting a Host Channel on an FC Storage System . . . . . . . . . . . . . . . . . . . . . 54

Changing PHY Fault Isolation Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54

Contents 5

Resetting Expander Error Counters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Disabling or Enabling a PHY . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Disabling or Enabling PHY Isolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55

Using Recovery Utilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

Removing a Virtual Disk From Quarantine . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

Trusting a Virtual Disk for Disaster Recovery . . . . . . . . . . . . . . . . . . . . . . . . . . 57

Problems Scheduling Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

Affect of Changing the Date and Time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60

Deleting Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60

Errors Associated with Scheduling Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60

Selecting Individual Events for Notification . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 61

Selecting or Clearing All Events for Notification . . . . . . . . . . . . . . . . . . . . . . . . . . .62

Correcting Enclosure IDs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 63

Problems After Power-On or Restart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .63

5. Troubleshooting Using Event Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

Event Severities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65

Viewing the Event Log in RAIDar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66

Viewing an Event Log Saved From RAIDar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68

Reviewing Event Logs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69

Saving Log Information to a File . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .70

Configuring the Debug Log . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71

6. Voltage and Temperature Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

Resolving Voltage and Temperature Warnings . . . . . . . . . . . . . . . . . . . . . . . . . . . .73

Sensor Locations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

Power Supply Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

6R/Evolution 2000 Series Troubleshooting Guide • May 2008

Cooling Fan Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74

Temperature Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75

Power-and-Cooling Module Voltage Sensors . . . . . . . . . . . . . . . . . . . . . . . . . . 77

7. Troubleshooting and Replacing FRUs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79

Static Electricity Precautions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80

Identifying Controller or Expansion Module Faults . . . . . . . . . . . . . . . . . . . . . . . . . 80

Removing and Replacing a Controller or Expansion Module . . . . . . . . . . . . . . . . . 82

Saving Configuration Settings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

Shutting Down a Controller Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 84

Removing a Controller Module or Expansion Module . . . . . . . . . . . . . . . . . . . 85

Replacing a Controller Module or Expansion Module . . . . . . . . . . . . . . . . . . . 87

Moving a Set of Expansion Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89

Updating Firmware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 90

Updating Firmware During Controller Replacement . . . . . . . . . . . . . . . . . . . . 90

Updating Firmware Using RAIDar . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 91

Identifying SFP Module Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 92

Removing and Replacing an SFP Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

Removing an SFP Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 93

Installing an SFP Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

Identifying Cable Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

Identifying Cable Faults on the Host Side . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95

Identifying Cable Faults on the Drive Enclosure Side . . . . . . . . . . . . . . . . . . . 95

Disconnecting and Reconnecting SAS Cables . . . . . . . . . . . . . . . . . . . . . . . . . 95

Identifying Drive Module Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

Understanding Disk-Related Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96

Disk Drive Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 98

Disk Channel Errors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99

Identifying Faulty Drive Modules . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100

Contents 7

Updating Disk Drive Firmware . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101

Removing and Replacing a Drive Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 104

Replacing a Drive Module When the Virtual Disk Is Rebuilding . . . . . . . . . . 104

Identifying the Location of a Faulty Drive Module . . . . . . . . . . . . . . . . . . . . . 105

Removing a Drive Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106

Installing a Drive Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107

Verify That the Correct Power-On Sequence Was Performed . . . . . . . . . . . . . 109

Installing an Air Management Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

Identifying Virtual Disk Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 110

Clearing Metadata From a Disk Drive . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

Identifying Power-and-Cooling Module Faults . . . . . . . . . . . . . . . . . . . . . . . . . . . 112

Removing and Replacing a Power-and-Cooling Module . . . . . . . . . . . . . . . . . . . . 114

Removing a Power-and-Cooling Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114

Installing a Power-and-Cooling Module . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115

Replacing an Enclosure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116

A. Troubleshooting Using the CLI . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117

Viewing Command Help . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

clear cache . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

clear expander-status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118

ping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .119

rescan . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

reset host-channel-link . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

restart . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

restore defaults . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

set debug-log-parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120

set expander-fault-isolation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

set expander-phy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

set led . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

8R/Evolution 2000 Series Troubleshooting Guide • May 2008

set protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121

show debug-log . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

show debug-log-parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

show enclosure-status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122

show events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

show expander-status . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

show frus . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

show protocols . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

show redundancy-mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

trust . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124

Problems Scheduling Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

Create the Task . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

Schedule the Task . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125

Errors Associated with Scheduling Tasks . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

Missing Parameter Data Error . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

Preface

This guide describes how to diagnose and troubleshoot a R/Evolution™ storage

system, and how to identify, remove, and replace field-replaceable units (FRUs). It

also describes critical, warning, and informational events that can occur during

system operation. This guide applies to the following enclosures:

■2730 FC Controller Enclosure

■2530 SAS Controller Enclosure

■2330 iSCSI Controller Enclosure

■SAS Expansion Enclosure

This book is written for system administrators and service personnel who are

familiar with Fibre Channel (FC), Internet SCSI (iSCSI), and Serial Attached SCSI

(SAS) configurations, network administration, and RAID technology.

Before You Read This Book

Before you begin to follow procedures in this book, you must have already installed

enclosures and learned of any late-breaking information related to system operation,

as described in the getting started guide and release notes.

10 R/Evolution 2000 Series Troubleshooting Guide • May 2008

Typographic Conventions

Popular Server manuals by other brands

HP Tc2120 - Server - 256 MB RAM installation guide

Lenovo

Lenovo ThinkServer RD230 manual

Avocent

Avocent CPS810 Installer/user guide

Dell

Dell PowerEdge R6615 Installation and service manual

FreeWave

FreeWave HT2+ installation guide

GIGA-BYTE TECHNOLOGY

GIGA-BYTE TECHNOLOGY G492-Z50 user manual

Lanner

Lanner HTCA-E400 user manual

Bull

Bull NovaScale T840 E2 user guide

Asus

Asus RS740-E70RS24-EG Configuration guide

Meinberg

Meinberg LANTIME M300/TCR manual 

HP ProLiant SL335s G7 Maintenance and service guide

ZyXEL Communications

ZyXEL Communications VANTAGE RADIUS 50 user guide

Lantronix

Lantronix xDirect-IAP quick start guide

Fujitsu

Fujitsu PRIMEQUEST 2400E3 General description

IBM

IBM 9040-MR9 manual

IBM

IBM 306m - eServer xSeries - 8849 user guide

green hippo

green hippo Hippotizer Nevis+ quick start guide

IBM

IBM 8203-E4A Brochure & specs

R/Evolution 2000 Series User manual

Popular Server manuals by other brands