inc​/linux​/net111024

自作ＰＣ・家庭内ネットワーク update 2011/10/24

• (2011/10/24) サーバーのVMWare ESXi を 4.1 --> 5.0 にアップし、ストレージをLOCALのＳＳＤと、FreeNASな別サーバーのiSCSIターゲットに更新。

過去ログ

　ネットワーク環境（旧５：2011/02）
　ネットワーク環境（旧４：2009/01）
　ネットワーク環境（旧３：2006/12）
　ネットワーク環境（旧２：2004/01）
　ネットワーク環境（旧１：2000/12）

１．概要

1-1 VMware-ESXi5.0採用の経緯

　2010年3月以降、ESXi4で比較的安定運用をしてきたのだけれど、

1. サーバー容量に余裕がなくなってきたこと
2. 内部用SAMBAファイルサーバーまでESXiな仮想マシンで動かすことの気持ち悪さなどを解消したいためと
3. ESXi5.0が公開されて
   • SSDが使えるようになったこと
   • REALTEKチップ搭載のNIC用ドライバ（RTL8168,8169）が同梱され、オンボードNICが使える
4. 以前からマシンの引っ越しなどメンテナンス上のメリットがあるiSCSIターゲットで使ってみかたったが、
   • FreeNASでZFSが使えるようになり、そろそろ枯れてきたかなとの想像

ということなど、諸々の気分で　今回の更新に至りました。
本当は、省エネも達成したかったのですが、（参考に載せた当サイトブログにあるとおり）色々テストした結果、思うような構成が取れなかったため断念しています。

1. ハードウエア
   　いつものように、できるだけ既存の資産を活用したい。　CPUとマザーボード、電源、ケースはそのままで。
2. FreeNAS-0.7.2
   　Openfiler とか、Scientific Linux6.1でiSCSIターゲットを試してみた結果、
   • Scientific LinuxではiSCSIの速度も一番良かったけれど、2.5TBのディスクの最初の領域のソフトウエアRAID-1が再起動の度に壊れる不可解なトラブルを解消できず、断念。
   • Openfilerでは、大きな問題は無かったものの、USBメモリへのインストールは可能とはいえすぐに書き込み回数上限に達してしまいそうだったのと、　メモリ消費量が半端なく多くスワップしだしてしまう。
   • FreeNASはFreeBSDベースで、Solarisで培われた高機能ファイルシステム「ZFS」が使えることが最大のメリット。　ファイルシステムそのものでRAID機能を内蔵しており、最初の同期時間がほとんどかからないことや、構築の容易性など魅力が一杯。
     　本当は３台のHDDでRAID-Zにしようかとも思ったが、　ここは安定性重視とした。
     　なお、うわさ通りであって使ってみてもわかったけれども、ZFSは結構CPUに負荷がかかる。あまり非力なCPUだと、ESXi用VMFSドライブファイルなどの巨大ファイル転送時などで　CPUパワーがボトルネックになり得ると思う。
   • GUIの出来がよく纏まっており、マニュアル無しでも操作にそれほど支障がない。

ということで、FreeNASを採用しました。

1-2 RAIDカードの放棄

　約２年間使用した、（ADAPTEC) ASR-2405 Raidカード。　安定性も抜群で速度も良く出ましたが、発熱もすごかったことと、動作状況のモニタをESXiからできなくて、予備品の関係もあり今回一旦放棄しようと思います。

　なお、予備品として中古でASA-2410を購入してありましたが、1TB以上のDISKを使えないようなので、予備品としては失格でした

　今回、INTELのSSD、510 Series SSDSC2MH120A2K5を使用します。　ESXi上のゲストOSでCrystalDiskMarkを実行したところ、SATA2環境としては納得できる数値がでました。

　一方で、FreeNASのiSCSIですが、DISKがWDのGREENシリーズの割には、まあまあだと思います。　ZFSでメモリキャッシュがかなり有効に働いている気がします。（ADAPTEC-RAIDの時には読み書き要求の度にアクセスランプが点灯していたが、今度は時々まとめて読み書きしている感じ）

1-3 メインのホストＯＳ：　Cent-OS 5.7 → Scientific Linux 6.1

　公開サーバー用の仮想ゲストOSは、従来通りCent-OSを継続。　但し、近々、Scientific Linux 6.1　載せ換えるように今後準備していきます。 →　サーバートラブルでクラッシュしたため、早々に乗り換えました。 2011-11-21

1-4 消費電力とＣＰＵ負荷

　UPSの出力モニタで確認ところ、実運用で２００Ｗ／２台合計＋ルーターなど補機込み　程度です。　１ヶ月の電気代でいえば、２８００～３２００円程度でしょうか。　前回の構成で150W程度でしたから、50Wほど上昇してしまいました。

1-5 当サイト内の関連記事

以下に、関連記事へのリンクを貼っておきます。

• 2011-10- 7 [仮想化] ESXi5.0への移行と省エネ化手順
• 2011-10- 1 [仮想化] サーバーDISK高速化・省エネ計画

2. 内部ネットワークと公開ネットワーク

2-1 ネットワーク構成

1. 社内ネットワークと公開サーバーを置くネットワークとの完全分離は、会社規模の関係もありできませんが、フリーの仮想ブロードバンドルーター「Vyatta」を配置することにより、同一マシン上の仮想ホスト間でセグメントを分離し、通信の遮断をしています。
2. モーションクリエイト社内ＰＣ（各社員使用）のインターネット接続に関しても、このルーターを経由し、念のため個人用回線側をゲートウエイとする構成となっています。
   これらの構成により、インターネット側から社内ファイルサーバーへのアクセスはできません。

2-2 実マシン

2-2-1写真

写真左側　FreeNASファイルサーバー	写真右側　ESXi公開サーバー

2-2-2 ハード構成

。　ESXi-5.0　メインマシン

• FreeNAS-0.7.2　データストレージ

  PARTS	型式・仕様
  CASE	(ANTEC) P-150(430W高効率電源付)
  M/B	（ASUS）M3N78-VM
  	Socket	AM2+
  	Chipset	(Nvidia)GeForce8200 (MCP78S) SerialHDDコントローラ、ギガLANデバイスとも 　FreeBSDベースのFreeNASできちんと認識。
  CPU	AMD Athron64 X2(DualCore) 4850e SocketAM2 (TDP45W)
  Memory	（CFD-Elixir）DDR2 (PC2-6400) 計8GB （2GB x2枚組 x2 =計4枚）
  HDD	(Intel) 510 Series SSDSC2MH120A2K5 (Western Digital)　WD25EZRX [2.5TB SATA600] x 2 (Western Digital)　WD10EADS (1TB SATA300 5400)　x1 REGZA用
  LAN CARD	(内部用)	(玄人志向) GbE-PCI3 x 1 (RTL8169チップ、GbLAN) 注意：このカードは速度が出ないため、iSCSI用には向きません。
  USB FLASH	適当な2GBのもの。ESXiのUSBブートに使用

2-2-3 その他

• ホーム用BBルーター：（NEC）Aterm PA-WR8700N-HP
  家族用ゼロクライアントからのアクセスを、悪質サイトフィルタリング。
• ＵＰＳ：(OMRON)BY50S
  正弦波出力なのでPC側電源との相性も安心。　USBでESXiマシンに接続し、電源管理ツール「Power Act Pro」をWindowsゲストOS上にインストールして、停電時にゲストOS達をシャットダウンさせることが可能。　但し、ESXi5用のハイパーバイザ自体にインストールするクライアントソフトは、本記事執筆時点で未公開。

2-3 公開サーバーのサービス

2-3-1 公開中のサービスとポート

公開サーバーでは、主に以下のサービスとポート開放をしています。
攻撃対象に成りやすいポート（telnetやsshなど）は閉じてあります。

• • WEBサービス　（Apache、PHP、MySQL、Perl）
  • FTPサービス（SSL暗号化）
  • SMTP、POP、IMAPメールサービス（SSL暗号化）
  • DNS

2-3-2 各サービス

1. 1. 自社運営のWEBサービスでは、必要に応じてSSL接続を行い、成りすましなどによるサイトの乗っ取りや通信傍受などに対処します。　また、掲示板等でのHTML記述を基本的に禁止し、クロスサイトスクリプティングへの予防処置とます。　各サイトにDoS攻撃などに対処するソフトを使用し、クラッキングからの防御を図ります。
   2. 　FTPサービスでは、SSL/TLS暗号化を必須としており、通信の暗号化により成りすましなどによるサイトの乗っ取りを予防します。
   3. 　メールサービスでは、POP、IMAP、SMTP各サーバー接続にSSL暗号化（任意）を選択し、通信傍受などに対して情報の漏洩を予防します。

2-3-3 移行したサーバー上での公開サイト

　今回移行した仮想サーバー上で稼動している公開サイトは、以下になります。まだ増やせそうな気がしています。　

1. なーお'nWEB　（ここですね）
2. (有)モーションクリエイト
3. Motion cafe
4. モバイルテンプハウス
5. 蘇我みくすクラブ／さんぶクラブ別館
6. みやこどりソフトテニスクラブ
7. 積層スピーカーの会
8. Lafesta cafe.
9. スマイル（住まいづくりプロデューサー）
10. d3diaryテストサイト
11. 集まれ！塩ビスピーカーの会　コミュニティ

その他に非公開いくつか・・

３．参考サイト

　構築の際に参考にさせていただいたページリンクです。

• 非HBA型ハードウェアRAID AER-1200LP
• AER-1200LP (ジャンパーズホームページ 日記)
• 第4回 vSphere APIを活用する
• Openfiler で iSCSI サーバーを作成する　/　Openfiler
• ScientificLinux6で iSCSIターゲット/イニシエータ＆マルチパスの設定のテスト
• FreeNAS 0.7 を使って iSCSI Target を構成する
• 「RAID-Z」で高速ストレージを構築しよう(2) - VMWare ESXiでFreeNAS iSCSIボリュームを利用する

• Prev
• Next
• inc​/linux