Este artigo discute configurações de sistema e configurações de rede que são básicas para o correto funcionamento do MetroCluster.
O laboratório do Agility Tech Center (ATC), onde foram realizados os testes com MetroCluster, possui a seguinte configuração:
- 2 controladoras FAS 3240
- 2 shelves DS2246 com discos SAS
- Sistema Data ONTAP 8.1.2 7-MODE
- MetroCluster em modo Stretch dividido entre dois racks (A e B)
- Interconexão de HA entre controladoras do rack A (ATC-NAP-A) e do rack B (ATC-NAP-B) feita de forma direta através de fibras multimodo (sem utilização de FibreBrigde 6500N).
Para entender a discussão de configuração que esse documento aborda, é interessante demonstrar a estrutura do laboratório do Agility Tech Center (ATC).
O ATC posui dois racks com uma controladora e duas shelves SAS em cada um (distância máxima de 5 metros). Cada rack representa um Data Center distinto, conforme a figura a seguir:
A topologia física do storage do Agility Tech Center é representada pela figura abaixo:
A topologia lógica do storage do Agility Tech Center é representada pela figura abaixo:
As redes IP utilizadas no acesso ao Storage estão representadas pela tabela abaixo:
Nota: o laboratório do Agility Tech Center possui duas configurações de MetroCluster para demonstração: MetroCluster A (primário no rack A / secundário no rack B) e MetroCluster B (primário no rack B / secundário no rack A).
Configuração Básica de Stretch MetroCluster
Primeira inicialização do par de HA
Na primeira inicialização de um par de HA utilizar o programa setup para realizar as configurações básicas tais como hostname, endereços IP, máscara, default gateway, etc. O programa é interativa e autoexplicativo.
Para inicializar o programa setup digitar:
setup
As interfaces de rede podem ser configuradas manualmente após sair do programa setup, porém ao menos uma interface de rede (a interface de gerência) é requerida para finalizar o setup.
As outras interfaces podem ser configuradas manualmente através da edição do arquivo /etc/rc (ou mesmo através da interface gráfica do System Manager). Porém após a utilização de um desses métodos para a configuração das interfaces de rede o storage deve sofrer uma reinicialização para que as alterações se tornem permanentes.
As interfaces de rede devem ser configuradas de modo consistente em ambas as controladoras do par HA.
As interfaces do parceiro de HA podem ser configuradas no modos dedicated, shared ou standby, conforme a seguir:
- Shared: neste modo, ambas as interfaces do nó primário e secundário possuirão endereços IP configurados. O IP do nó primário é assumido pela controla virtual no storage secundário durante o takeover, porém ambos os IPs primário e secundário podem estar ativos para divisão de carga (arquitetura de site ativo-ativo do ponto de vista do endereçamento IP do storage) em situação normal de operação.
- Stand-by: neste modo, a interface parceira do nó secundário não possui endereço IP, somente a interface do nó primário possui endereço. O IP da controladora primária é assumido pela controladora virtual no storage secundário em caso de failover (arquitetura de site ativo-standby do ponto de vista do endereçamento IP do storage).
- Dedicated: o endereço IP configurado em uma interface dedicada não é assumido pelo storage secundário em caso de failover (portanto não faz parte do sistema de HA).
Maiores informações sobre a configuração de interfaces e interface groups no Data ONTAP utilizar o documento Data ONTAP v8.x Network Management Guide for 7-Mode.
Para a configuração das interfaces de rede dos parceiros de MetroCluster é importante coletar as seguintes informações:
- Os endereços IP do nó principal e do nó secundário
- A máscara de rede do nó principal e do nó secundário
- O tamanho da MTU das interfaces de rede do nó principal e do nó secundário (a MTU precisa estar compatível em ambos os nós para correta operação.
É recomendável que sejam utilizadas múltiplas interfaces de rede na conexão com o storage e que sejam criados interface groups para evitar pontos únicos de falha.
NOTA: Na sequência deste documento serão demonstradas as configurações presentes no laboratório do Tech Center.
Licenças
As licenças necessárias para a configuração de MetroCluster em modo Stretch são:
- cf
- syncmirror_local
- cf_remote
Para adicionar as licenças e habilitar as funcionalidades, digitar os comandos abaixo em ambas as controladoras:
licence add [código da licença da funcionalidade de cf]
licence add [código da licença da funcionalidade de syncmirror_local]
licence add [código da licença da funcionalidade de cf_remote]
reboot
Habilitar o failover em ambas as controladoras através do comando:
cf enable
Para verificar se o failover foi corretamente habilitado, utilizar o comando:
cf status
Configurações de Velocidade
A distância entre as controladoras e a configuração de velocidade do adaptador FC-VI ditam a velocidade possível entre os nós do Stretch MetroCluster. Se a distância entre os nós é maior que a permitida pela configuração padrão (ver artigo MetroCluster de A a Z (2 de 11): Requisitos para Stretch Mode), é necessário alterar a configuração de velocidade.
Para alterar a configuração de velocidade utilize os comandos a seguir no prompt da console para suspender a operação do storage:
halt
Os comandos a seguir alteram a velocidade do adaptador e são digitados no ambiente de boot (o prompt será CFE> ou LOADER>):
Para alterar a configuração para 4-GB digite:
setenv ispfcvi-force-4G-only? True
Para verificar que o sistema foi configurado para 4-GB digite:
printenv ispfcvi-force-4G-only?
Para desconfigurar a velocidade de 4-GB digite:
unsetenv ispfcvi-force-4G-only?
Para alterar a configuração para 2-GB digite:
setenv ispfcvi-force-2G-only? True
Para verificar que o sistema foi configurado para 2-GB digite:
printenv ispfcvi-force-2G-only?
Para desconfigurar a velocidade de 2-GB digite:
unsetenv ispfcvi-force-2G-only?
Parâmetros Básicos
Os parâmetros e configurações a seguir são básicos para o funcionamento do HA e, por consequência, para o MetroCluster, devendo ser mantidos em ambos os membros do par de HA de forma homogênea. As configurações demonstradas na 3ª. e 4ª. colunas abaixo são exemplos da configuração presente no laboratório do ATC. A configuração de cada uma dessas opções será discutida nos itens que se seguem.
Sincronismo de tempo do sistema
É extremamente recomendável que a configuração de tempo do sistema seja realizada utilizando o protocolo NTP (ao invés das funcionalidades de date e rdate) e também que sejam utilizados mais de um servidor NTP na configuração para efeito de redundância do serviço.
A sincronização de tempo com um servidor de NTP é realizada através do daemon timed. Essa é uma configuração básica e muito importante do sistema de storage e também é crítica para a alta disponibilidade do sistema de HA e MetroCluster.
O daemon timed opera de forma independente nos dois storages e portanto deve ser configurado em ambas as controladoras.
Para configurar o timed, é necessário editar o arquivo de configurações de opções do sistema através do comando options.
Exemplo da configuração:
options timed.enable on
options timed.proto ntp
options timed.servers 1.pool.ntp.org,2.pool.ntp.org,3.pool.ntp.org
Timezone
Para o correto funcionamento do par de MetroCluster o parâmetro de timezone deve estar configurado da mesma forma em ambas as controladoras.
Exemplo de como configurar o timezone:
timezone America/Sao_Paulo
Configuração de NDMP
O NDMP (Network Data Management Protocol) é um protocolo utilizado para controlar o backup e a recuperação de dados entre storages primário e secundários, permitindo também a integração com aplicações de terceiros.
Não é objetivo do documento discutir o protocolo NDMP, mas para o correto funcionamento do par de MetroCluster o NDMP precisa estar configurado de mesma forma em ambas as controladoras (habilitado ou desabilitado).
Para habilitar o NDMP:
ndmp on
Para desabilitar o NDMP:
ndmp off
Configuração de Modo Roteado
O modo roteado deve estar configurado da mesma forma em ambas as controladoras.
Para configurar o modo roteado é necessário editar o arquivo /etc/rc, salvá-lo e fazer o reboot da controladora para que o arquivo possa ser lido novamente.
O sistema Data ONTAP não possui um editor de texto nativo. Para editar o arquivo /etc/rc é necessário utilizar os mecanismos leitura de arquivos de configuração do Data ONTAP (comando rdfile)e gravação (wrfile). Maiores informações sobre a leitura e escrita de arquivos no sistema Data ONTAP podem ser encontradas no manual de administração do sistema (Data ONTAP System Administration Guide).
O arquivo /etc/rc tem uma ordem de comandos que deve ser seguida, conforme descrito abaixo:
hostname system_name
ifgrp commands
vlan commands
ifconfig commands
vfiler commands
route commands
routed command
[any other commands]
Para habilitar o modo roteado, a entrada do comando routed deve ser editada da seguinte forma no arquivo /etc/rc.
routed on
Após editar e salvar o arquivo /etc/rc é necessário reinicializar as controladoras (a configuração das rotas no item a seguir pode ser feita antes da reinicialização).
Configuração de Rotas
A configuração de rotas estáticas precisa estar igual em ambas as controladoras.
Para configurar rotas é necessário editar o arquivo /etc/rc, salvá-lo e fazer o reboot da controladora para que o arquivo possa ser lido novamente.
Para configurar uma rota default, por exemplo, adicionar o comando abaixo no arquivo /etc/rc (seguindo a ordem de comandos apresentada no item anterior)
route add default 10.101.3.1
O exemplo da configuração de rede presente no laboratório do ATC é demonstrado a seguir para as controladoras ATC-NAP-A (rack A / Data Center A) e ATC-NAP-B (rack B / Data Center B):
ATC-NAP-A (rack A / Data Center A):
ATC-NAP-A> rdfile /etc/rc
hostname ATC-NAP-A
ifgrp create lacp vif-lacp -b mac c0b c0a
vlan create vif-lacp 1016
vlan add vif-lacp 1026
vlan add vif-lacp 1013
ifconfig e0M `hostname`-e0M flowcontrol full netmask 255.255.0.0 partner 10.3.102.15 mtusize 1500 trusted wins up
ifconfig vif-lacp-1016 `hostname`-vif-lacp-1016 netmask 255.255.255.0 partner vif-lacp-1016 mtusize 9000 trusted wins up
ifconfig vif-lacp-1026 `hostname`-vif-lacp-1026 netmask 255.255.255.0 partner vif-lacp-1026 mtusize 9000 trusted wins up
ifconfig vif-lacp-1013 `hostname`-vif-lacp-1013 netmask 255.255.255.0 partner vif-lacp-1013 mtusize 9000 trusted wins up
route add default 10.101.3.1 1
routed on
options dns.enable on
options nis.enable off
savecore
ATC-NAP-B (rack B / Data Center B):
ATC-NAP-B> rdfile /etc/rc
hostname ATC-NAP-B
ifgrp create lacp vif-lacp -b mac c0b c0a
vlan create vif-lacp 1016
vlan add vif-lacp 1026
vlan add vif-lacp 1013
ifconfig e0M `hostname`-e0M flowcontrol full netmask 255.255.0.0 partner 10.3.101.15 mtusize 1500 trusted wins up
ifconfig vif-lacp-1016 `hostname`-vif-lacp-1016 netmask 255.255.255.0 partner vif-lacp-1016 mtusize 9000 trusted wins up
ifconfig vif-lacp-1026 `hostname`-vif-lacp-1026 netmask 255.255.255.0 partner vif-lacp-1026 mtusize 9000 trusted wins up
ifconfig vif-lacp-1013 `hostname`-vif-lacp-1013 netmask 255.255.255.0 partner vif-lacp-1013 mtusize 9000 trusted wins up
route add default 10.101.3.2 1
routed on
options dns.enable on
options nis.enable off
savecore
Próximo artigo da série: MetroCluster de A a Z (5 de 12): MetroCluster – Parametrização de Failover e Giveback
Referências
Esta série de artigos utiliza como referências testes realizados no laboratório do Agility Tech Center e os seguintes documentos da Netapp:
- System Administration Guide for 7-Mode (versão 8.2 do Data ONTAP)
- High Availability and MetroCluster Configuration Guide for 7-Mode (versão 8.2 do Data ONTAP)
- Network Management Guide For 7-Mode (versão 8.2 do Data ONTAP)
- Best Practices for MetroCluster Design and Implementation (TR-3548)