クラスタリング

VeritasClusterSystem(VCS)やMSCS,LifeKeeperなどの冗長化クラスタリングソフトウェア関連

2009年9月 1日 (火)

Linux/SolarisベースのNASソフトウェア

Linux,BSD,SolarisベースのNASソフトウェアの紹介。

・Openfiler
以前はCentOS4ベースだったんだが、いつの間にか組込み系ディストリビューションのrPath Linuxへ切り替わっていた。
GUIはそこそこ整っているようだが、最大の問題点はドキュメント。
有償提供しかない模様。
Linux LVMベースなので、Snapshot取得時パフォーマンス劣化するんじゃないかなー？
CIFS/NFS/AFPのNAS以外にも、iSCSI,FCストレージにもなれる？

・FreeNAS
FreeBSDベースのNAS。
フリーの中では実績たくさんだと思われる。
CIFS/NFS/AFPのNAS以外にも、iSCSIストレージになれる。

・NexentaStor
OpenSolarisベースというか、OpenSolarisのカーネルにDebianの環境をのっけたNexenta OSをベースとしたNAS。
基本商用。
ZFSを使っているので、スナップショット取得時のパフォーマンス劣化も少ないんじゃないかと思われ。
CIFS/NFS/AFPのNAS以外にも、iSCSI,FCストレージにもなれる？

・Embedded Operating system/Networking (EON)
OpenSolarisベースのNAS。
個人が開発している。現状、GUI無し。
100MB程度のシステムサイズ。
CIFS/NFS/AFPのNAS。
CIFSについては、sambaによるものと、OpenSolarisのCIFS機能を使うもの、の２種類がある。

番外編
・NetAppの「ONTAP Simulator for LinuxOntap」
NetApp Now Service and Supportで入手できます。
RedHat Enterpise Linux 4,5上で動かす仮想NetApp。
本来は検証目的用だが、案外使える。

2009年9月 1日 (火) Linux, Solaris, クラスタリング, ファイルサーバ/NAS | | コメント (0) | トラックバック (0)

2009年8月26日 (水)

Hyper-V関連

Hyper-V上でiSCSIターゲット＋フェイルオーバークラスタを作る方法に付いて
・Ryuki's Blog: Step-By-Step Hyper-V 上の仮想マシンでフェールオーバー クラスタリングを検証する Part 1,Part 2,Part 3,Part 4,Part 5, Part 6, Part 7, Part 8,

ちなみに、日本ウィンドウズ開発統括部サーバーブログ: Hyper-V Live Migration にて、他のiSCSI targetについても言及されている。


2009年8月26日 (水) Windows, クラスタリング, 仮想化 | | コメント (0) | トラックバック (0)

2008年11月20日 (木)

GFS+drbd

メールサーバ冗長化を行うのに、共有ストレージをdrbdでごまかせないか？と考えて調査中。

・DRBD User's Guide
　とりあえずオフィシャル文書
・Miko's Cafeterace: DRBD - ネットワークでミラーリング
・Miko's Cafeterace:DRBD+GFS2 - ネットワークでミラーリング + 共有ディスク

ただ、GFS2はkernelバージョンアップ時に弱い、という話があるのが気がかり・・・

2008年11月20日 (木) Linux, クラスタリング, サーバ, ファイルサーバ/NAS | | コメント (0) | トラックバック (0)

2008年11月 5日 (水)

MSCS関連

MSCSで使っているRAIDが容量足らなくなったので入れ替えを検討中
その参考資料

・Microsoft 最新 データベース選びのポイント 第二回 : 止まらないデータベース選び
　MSCSを使ったSQLサーバの構築について
・Dell™ PowerEdge™ Cluster FE555W システム インストール＆トラブルシューティング クラスタのメンテナンス
　クラスタの管理について、いくつか簡単にまとまっている
　というか、「破損したクォーラムディスクの回復」と「クラスタディスクの再フォーマット」をやるようなイメージ？
・E-Post Mail Server MSCS 方式クラスタリング メールサーバ構築ガイド
　MSCSを使ったメールサーバの構築手順書
・KYO'S ROOM : MS Cluster Service
　共有ディスクに署名（シグネチャ)
・おじゃあお木:クラスタリソースの復活　[Cluster]


以下MicrosoftのKBより
・クラスタサービスのスタートアップ
　クラスタサービスの起動についての説明
・クォーラムディスクの指定を変更する方法
　MSCSで使用するクォーラムディスクを変更する手順
・クラスタ情報を正常に復元する方法
・サーバー クラスタ : Windows Server 2003 のバックアップと回復の推奨事例
　KBではなくtechnetの方だけど
・エラー メッセージ : ローカル コンピュータでクラスタ サービスを開始できませんでした
　MSCSでサービスを開始できない場合の対処方法
・サーバー クラスタをバックアップおよび復元する
　これもtechnetから。
　復元手順一般で、そこからピックアップ
　「破損したクォーラム ログまたはクォーラム ディスクを回復する」
・クラスタ ノードで使用する共有 SCSI バスに、ホット スワップをサポートしていない SCSI ハード ディスクを追加する方法
　かなり詳細なクラスタディスクの追加手順
・Windows 2000 または Windows Server 2003 サーバー クラスタでディスクを交換する方法
　クォーラムディスクの置き換えについての手順
・サーバー クラスタでイベント ID 1034 から回復する

　上記のディスク置き換えに関連して、ディスク署名の書き換え手順


2008年11月 5日 (水) Windows, クラスタリング, ストレージ | | コメント (0) | トラックバック (0)

2008年2月 4日 (月)

haguiで使うユーザ

# hauser -add root
VCS WARNING V-16-1-11309 Configuration must be ReadWrite
# haconf -makerw
# hauser -add root
Enter New Password:
Enter Again:
# hauser -list
root
# hauser -display root
root : ClusterGuest
# hauser -addpriv root Administrator
# hauser -list
root
# hauser -display root
root : ClusterAdministrator
#




2008年2月 4日 (月) Linux, クラスタリング, サーバ | | コメント (0) | トラックバック (0)

2008年1月25日 (金)

VxFSの操作

vxfsの基本操作方法

・Testing VxVM under Vmware

2008年1月25日 (金) Linux, クラスタリング, サーバ, ファイルサーバ/NAS | | コメント (0) | トラックバック (0)

2008年1月24日 (木)

VeritasVolumeManagerでのresync その２

結局、スクリプトはこんな感じに仕上がった

#!/bin/bash


MAXWORKER=2



FLAG2=0

TASKLIST=""

while [ $FLAG2 -eq 0 ]

do

        WORKER=`vxtask list 2>/dev/null|grep RESYNC|grep "/R" |wc -l`

        if [ $WORKER -ge $MAXWORKER ];

        then

                for taskid in `vxtask list 2>/dev/null|grep RESYNC|grep "/R"|awk '{ print $1 }'`

                do

                        FOUND=0

                        for tasklistid in $TASKLIST

                        do

                                if [ "$taskid" == "$tasklistid" ];

                                then

                                        FOUND=1

                                fi

                        done



                        if [ $FOUND -eq 0 ];

                        then

                                echo "Task $taskid is working...."

                                vxtask list $taskid |grep RESYNC|awk '{ print "This task resync /" $8 "/" $7 }'

                                TASKLIST="$TASKLIST $taskid"

                        fi

                done



                sleep 10



        else

                echo "search new taskid"

                MINTASK=0

                MINSIZE=9999999999

                for taskid in `vxtask list 2>/dev/null | grep RESYNC | grep "/P" | awk '{ print $1 }'`

                do

                        NEWSIZE=`vxtask -l list $taskid | grep Progress | awk '{ print $5 }'`

                        if [ $NEWSIZE -lt $MINSIZE ];

                        then

                                MINSIZE=$NEWSIZE

                                MINTASK=$taskid

                        fi

                done

                echo "Task $MINTASK start to resync"

                vxtask resume $MINTASK

        fi



        # remove finished taskid

        NEWTASKLIST=""

        for tasklistid in $TASKLIST

        do

                TEST=`vxtask list $tasklistid 2>/dev/null`

                if [ $? -ne 0 ];

                then

                        echo "Task $tasklistid finished"

                else

                        TEST2=`echo $TEST|grep "/R"`

                        if [ "$TEST2" == "" ];

                        then

                                echo "Task $tasklistid is paused"

                                NEWTASKLIST="$NEWTASKLIST"

                        else

                                NEWTASKLIST="$NEWTASKLIST $tasklistid"

                        fi

                fi

        done



        TASKLIST="$NEWTASKLIST"

done

2008年1月24日 (木) Linux, クラスタリング, サーバ | | コメント (0) | トラックバック (0)

VeritasVolumeManagerでのresync

VeritasVolumeManagerでMirrorボリュームを作った。
で、いろいろやっていたら、ディスクのアクセスランプが止まらない。

syncでもかかったかな？と調べるコマンドを探す。

vxtaskっぽい


# vxtask list

TASKID  PTID TYPE/STATE    PCT   PROGRESS

VxVM vxtask WARNING V-5-1-2497 Unable to get disk group record: Record not in disk group

2097381           PARENT/R  0.00% 1/0(1) VXRECOVER 0.0 0.0

2097382 2097382   RDWRBACK/R 00.82% 0/419430400/3440384 RESYNC 0.1062 1024.62

＜以下略＞

#

ふむ、resync進行中か・・・82%ってことは、あとすこｓ・・・・・・
ん？00.82%！？

# vxtask list 2097382
TASKID  PTID TYPE/STATE    PCT   PROGRESS
2097382 2097382   RDWRBACK/R 01.01% 0/419430400/4230912 RESYNC disk002 vol03
#

・・・はい、まだまだぜんぜん先確定です。

なんとかする手を捜す。

# vxtask -H

VxVM vxtask INFO V-5-1-9632

vxtask - find and list information about running tasks





    Usage: vxtask options keyword arg ...

Recognized keywords:

    [-g dgname] [[-G dgname] -v volname] [-apr] [-i taskid] [-lh] list [taskid taskid ...]

    pause taskid

    resume taskid

    abort taskid

    [ -i taskid ] set name=val [taskid]

    [-w wait] [-c count] [-t time] [-l] monitor taskid [taskid ...]

#

resyncタスクが多すぎるから、１つづつやろう
pauseでとめるか！

# for task in `vxtask list |grep RESYNC|awk '{ print $1 }'`
> do
> vxtask pause $task
> done
VxVM vxtask WARNING V-5-1-2497 Unable to get disk group record: Record not in disk group
#

とまった。

# vxtask list
TASKID  PTID TYPE/STATE    PCT   PROGRESS
VxVM vxtask WARNING V-5-1-2497 Unable to get disk group record: Record not in disk group
2097381           PARENT/R  0.00% 1/0(1) VXRECOVER 0.0 0.0
2097382 2097382   RDWRBACK/P 01.15% 0/419430400/4841728 RESYNC 0.1062 1024.62
～

で、１つだけ再開

# vxtask resume 2097382

# vxtask list 2097382

TASKID  PTID TYPE/STATE    PCT   PROGRESS

2097382 2097382   RDWRBACK/R 01.27% 0/419430400/5322240 RESYNC disk002 vol03

#

さて、これでどうなるかなっと

2008年1月24日 (木) Linux, クラスタリング, サーバ | | コメント (0) | トラックバック (0)

2008年1月23日 (水)

Unable to offline

DiskGroupが「DiskGroup: ～: clean: Could not deport the disk group ～.」というメッセージで、「Unable to offline」のままに。

いろいろ検索してみる。

http://news.support.veritas.com/dnewsweb.exe?utag=&group=veritas.cluster_server.english&xrelated=1338&cmd_related=Related+Items

これが近そう。

http://news.support.veritas.com/dnewsweb.exe?cmd=article&group=veritas.cluster_server.english&item=420&utag=

eman wrote:
>
> hares -state nisres -sys system_name
>
> ONLINE|UNABLE TO OFFLINE
>
> The monitor script returns exit code of 100
>
> Is that ok ?
>
> "Darren Smith" wrote:
> >
> >Does your monitor script return that your agent is offline after
> >running your offline script?
> >
> >-Darren
> >
> >"eman" wrote:
> >>
> >>I get the message Agent unable to offline the resource.
> >>I know it executed my offline script sucessfully.
> >>
> >>(this is a custom agent)
> >>
> >>How can I figure out why it tells me that it can not offline it.
> >>
> >>Thanks,
> >


The exit code of 100 means the resorce is offline. If there are
problems with the offline script or if the resource remains online after
offline script has run, VCS will run the "clean" script. It's the job
of the clean script to make 100% that the resource is not on that
system. Your issue here seams odd that the monitor would tell VCS the
resource is offline, but VCS beleives it's not able to. Did the offline
or monitor script timeout?

というわけで実行してみる。

# hares -state dg-vol03 -sys host1
ONLINE|UNABLE TO OFFLINE
# hares -state dg-vol03 -sys host2
OFFLINE
#

monitorスクリプトを実行してみる

# cd /opt/VRTSvcs/bin/DiskGroup

# ./monitor DiskGroup名

# echo $?

100

# ssh host2

# cd /opt/VRTSvcs/bin/DiskGroup

# ./monitor DiskGroup名

# echo $?

100

#

そんなわけで、offlineは確定の模様。

timeoutを待て、とのことだけど、どれくらいかかるんだろうな？

2008年1月23日 (水) Linux, クラスタリング, サーバ | | コメント (0) | トラックバック (0)

/etc/llttab関連

VCSクラスタのハートビート用ネットワークを専用で２つ確保していたものを、１つをほかのIPネットワークと共有させるために/etc/llttabの設定を変更することとなったので、調査。

・http://olearycomputers.com/ll/vcs/vcs_comms.html
・Life with IT

2008年1月23日 (水) クラスタリング | | コメント (0) | トラックバック (0)

2008年1月22日 (火)

NFS切り替え時に"Stale NFS file handle"

下記のような書き込みテストスクリプトを作ってNFSの切り替えテストを行うと

切り替えコマンド実行直後「Stale NFS file handle」が発生する。

#!/bin/bash

I=0

mkdir 1

chmod 777 1

while [ $I -lt 10000 ]

do

  echo $I `date`

  echo $I `date` > 1/$I.txt

  sleep 1

  I=`expr $I + 1`

done

exit

理由がわからなかったが、なんとなく、サブディレクトリを指定してるからかも？と直感。

以下のように変更した。

#!/bin/bash

I=0

mkdir 1

chmod 777 1

cd 1

while [ $I -lt 10000 ]

do

  echo $I `date`

  echo $I `date` > $I.txt

  sleep 1

  I=`expr $I + 1`

done

exit

・・・変化なし。

これはどうしようもないんだろうか？

2008年1月22日 (火) Linux, クラスタリング, サーバ | | コメント (0) | トラックバック (0)

2008年1月21日 (月)

VCSでNFSクラスタ

参考になりそうなページ集

・http://users.linpro.no/janl/veritas/

・http://www.sunmanagers.org/archives/2000/1872.html

2008年1月21日 (月) Linux, クラスタリング, サーバ | | コメント (0) | トラックバック (0)

2008年1月16日 (水)

Linux上のVCSでNFSのexportfs設定

Linux＋VCSでNFSサーバを構築するとき、共有設定を簡単にやるためのスクリプト例。

diskgroup=ディスクグループ

volume=ボリューム

host=対象ホスト

option=そのホストに対してのexportfsオプション

hares -add share-$diskgroup-$volume-$host Share NFS
hares -modify share-$diskgroup-$volume-$host Enabled 1
hares -modify share-$diskgroup-$volume-$host PathName /$diskgroup/$volume
hares -modify share-$diskgroup-$volume-$host Options "$option"
hares -modify share-$diskgroup-$volume-$host Client "$host"

hares -link share-$diskgroup-$volume-$host mount-$diskgroup-$volume
hares -link share-$diskgroup-$volume-$host vNFS_NFS

#activehost=`hares -display mount-$diskgroup-$volume -attribute State |grep ONLINE|awk '{ print $3 }'`
activehost=`hares -state mount-$diskgroup-$volume|grep ONLINE|awk '{ print $3 }'`
hares -probe share-$diskgroup-$volume-$host -sys $activehost
sleep 1
hares -probe share-$diskgroup-$volume-$host -sys $activehost
hares -online share-$diskgroup-$volume-$host -sys $activehost

削除時のスクリプト

diskgroup=ディスクグループ

volume=ボリューム

host=対象ホスト

hares -unlink share-$diskgroup-$volume-$host mount-$diskgroup-$volume
hares -unlink share-$diskgroup-$volume-$host vNFS_NFS

#activehost=`hares  -display share-$diskgroup-$volume-$host -attribute State|grep ONLINE|awk '{ print $3 }'`
activehost=`hares -state share-$diskgroup-$volume-$host|grep ONLINE|awk '{ print $3 }'`

hares -offline share-$diskgroup-$volume-$host -sys $activehost
hares -delete share-$diskgroup-$volume-$host

2008年1月16日 (水) Linux, クラスタリング, サーバ | | コメント (0) | トラックバック (0)

2008年1月15日 (火)

haresコマンドについてのメモ

Veritas Cluster Server(VCS)の設定をコマンドで行う場合のharesコマンドなどについて、参照情報

・VCS HOWTO

　http://pzi.net/VCS-HOWTO

・Veritas_cluster SETUP example

　http://www.pogostick.net/~esm/documents/VeritasCluster/

　ここの特に、Script-setup NFS (http://pogostick.net/~esm/documents/VeritasCluster/nfs_setup)

もし消えたときように下記に転載。

----------------------------------------------------------

#!/bin/sh
#

Maskin1="vxcluster1"
Maskin2="vxcluster2"
cluster="vxcluster"
cluster_IP="10.102.64.155"
cluster_NM="255.255.248.0"
Volume="nfsvol01"
Device="hme0"
DG="nfsDG" 
Mountpoint="/nfs01"
hagrp="hanfs"

make_it () {
 haconf -makerw 
 hagrp -add hanfs 
 hagrp -modify hanfs SystemList $Maskin1 1 $Maskin2 2 
 hagrp -autoenable hanfs -sys $Maskin1 

### hares -add   nfsNIC NIC $hagrp 
### hares -modify nfsNIC Enabled 1 
### hares -modify nfsNIC Device hme0 
#----------------------------------------------------------- 
### hares -add nfsIP IP $hagrp 
### hares -modify nfsIP Enabled 1 
### hares -modify nfsIP Device $Device 
### hares -modify nfsIP Address $cluster_IP"   
### hares -modify nfsIP NetMask $cluster_NM"   
### hares -modify nfsIP IfconfigTwice 1 
#--------------------------------------------------------- 
hares -add nfsIPMultiNIC IPMultiNIC $hagrp
hares -modify nfsIPMultiNIC Enabled 1
hares -modify nfsIPMultiNIC Address $cluster_IP
hares -modify nfsIPMultiNIC NetMask $cluster_NM
hares -modify nfsIPMultiNIC IfconfigTwice 1
hares -modify nfsIPMultiNIC MultiNICResName nfsMultiNICA
#--------------------------------------------------------- 
hares -add nfsMultiNICA MultiNICA $hagrp
hares -local nfsMultiNICA Device
hares -modify nfsMultiNICA NetMask $cluster_NM
hares -modify nfsMultiNICA ArpDelay 5
hares -modify nfsMultiNICA IfconfigTwice 1
hares -modify nfsMultiNICA Device hme0 10.102.64.151 qfe3 10.102.64.151 -sys vxcluster1
hares -modify nfsMultiNICA Device hme0 10.102.64.152 qfe3 10.102.64.152 -sys vxcluster2
hares -modify nfsMultiNICA Enabled 1

#--------------------------------------------------------- 
 hares -add nfsDG DiskGroup $hagrp 
 hares -modify nfsDG Enabled 1 
 hares -modify nfsDG DiskGroup $DG
 hares -modify nfsDG StartVolumes 0 
#--------------------------------------------------------- 
 hares -add nfsVOL Volume $hagrp 
 hares -modify nfsVOL Enabled 1 
 hares -modify nfsVOL Volume $Volume 
 hares -modify nfsVOL DiskGroup $DG 
#--------------------------------------------------------- 
 hares -add nfsMOUNT Mount $hagrp 
 hares -modify nfsMOUNT Enabled 1 
 hares -modify nfsMOUNT MountPoint $Mountpoint 
 hares -modify nfsMOUNT BlockDevice /dev/vx/dsk/$DG/$Volume 
 hares -modify nfsMOUNT Type vxfs 
#--------------------------------------------------------- 
 hares -add nfsNFS NFS $hagrp 
 hares -modify nfsNFS Enabled 1 
 hares -modify nfsNFS Nservers 24 
#---------------------------------------------------------- 
 hares -add nfsSHARE Share $hagrp 
 hares -modify nfsSHARE Enabled 1 
 hares -modify nfsSHARE PathName $Mountpoint 
 hares -modify nfsSHARE OnlineNFSRestart 1 
 hares -modify nfsSHARE Options " -o rw,root=lillesand" 
#---------------------------------------------------------- 
#
#Through with config, making links and mountpoints
 mkdir $Mountpoint 
 rsh $Maskin2 mkdir $Mountpoint 
# single interface  :   hares -link nfsIP nfsNIC 
# single interface  :   hares -link nfsSHARE nfsIP 
# Multiple Inerface:
hares -link nfsIPMultiNIC nfsMultiNICA
hares -link nfsSHARE nfsIPMultiNIC
 hares -link nfsVOL nfsDG 
 hares -link nfsMOUNT nfsVOL 
 hares -link nfsSHARE nfsMOUNT 
 hares -link nfsSHARE nfsNFS 

 haconf -dump -makero 
 }

#Now, lets do the job...
make_it
#done !

#----------------------------------------------------------
#
# Making "root" as a user in hagui 
vxcluster1# haconf -makerw     
vxcluster1# hauser -add root
Enter Password:
Enter Again:
vxcluster1# haconf -dump -makero

2008年1月15日 (火) Linux, クラスタリング, サーバ | | コメント (0) | トラックバック (0)

その他のカテゴリー

HPC | Linux | Solaris | Web/メールサーバ | Windows | WindowsMobile | Zaurus/Android | クラスタリング | サーバ | ストレージ | セキュリティ | ハードウェア | バックアップ | ファイルサーバ/NAS | プログラム | 仮想化 | 携帯端末 | 旅行・地域 | 日記・コラム・つぶやき