Page Top

1.概要 anchor.png

Page Top

1-1 VMware-ESXi5.0採用の経緯 anchor.png

 2010年3月以降、ESXi4で比較的安定運用をしてきたのだけれど、

  1. サーバー容量に余裕がなくなってきたこと
  2. 内部用SAMBAファイルサーバーまでESXiな仮想マシンで動かすことの気持ち悪さなどを解消したいためと
  3. ESXi5.0が公開されて
    • SSDが使えるようになったこと
    • REALTEKチップ搭載のNIC用ドライバ(RTL8168,8169)が同梱され、オンボードNICが使える
  4. 以前からマシンの引っ越しなどメンテナンス上のメリットがあるiSCSIターゲットで使ってみかたったが、
    • FreeNASでZFSが使えるようになり、そろそろ枯れてきたかなとの想像

ということなど、諸々の気分で 今回の更新に至りました。
本当は、省エネも達成したかったのですが、(参考に載せた当サイトブログにあるとおり)色々テストした結果、思うような構成が取れなかったため断念しています。

  1. ハードウエア
     いつものように、できるだけ既存の資産を活用したい。 CPUとマザーボード、電源、ケースはそのままで。
  2. FreeNAS-0.7.2
     Openfiler とか、Scientific Linux6.1でiSCSIターゲットを試してみた結果、
    • Scientific LinuxではiSCSIの速度も一番良かったけれど、2.5TBのディスクの最初の領域のソフトウエアRAID-1が再起動の度に壊れる不可解なトラブルを解消できず、断念。
    • Openfilerでは、大きな問題は無かったものの、USBメモリへのインストールは可能とはいえすぐに書き込み回数上限に達してしまいそうだったのと、 メモリ消費量が半端なく多くスワップしだしてしまう。
    • FreeNASはFreeBSDベースで、Solarisで培われた高機能ファイルシステム「ZFS」が使えることが最大のメリット。 ファイルシステムそのものでRAID機能を内蔵しており、最初の同期時間がほとんどかからないことや、構築の容易性など魅力が一杯。
       本当は3台のHDDでRAID-Zにしようかとも思ったが、 ここは安定性重視とした。
       なお、うわさ通りであって使ってみてもわかったけれども、ZFSは結構CPUに負荷がかかる。あまり非力なCPUだと、ESXi用VMFSドライブファイルなどの巨大ファイル転送時などで CPUパワーがボトルネックになり得ると思う。
    • GUIの出来がよく纏まっており、マニュアル無しでも操作にそれほど支障がない。

ということで、FreeNASを採用しました。

FreeNAS-201110.jpg
Page Top

1-2 RAIDカードの放棄 anchor.png

 約2年間使用した、(ADAPTEC) ASR-2405 Raidカード。 安定性も抜群で速度も良く出ましたが、発熱もすごかったことと、動作状況のモニタをESXiからできなくて、予備品の関係もあり今回一旦放棄しようと思います。

ASR2405_4disks.jpg

 なお、予備品として中古でASA-2410を購入してありましたが、1TB以上のDISKを使えないようなので、予備品としては失格でした

 今回、INTELのSSD、510 Series SSDSC2MH120A2K5を使用します。 ESXi上のゲストOSでCrystalDiskMarkを実行したところ、SATA2環境としては納得できる数値がでました。

Intel_SSD_DiskMark.jpg

 一方で、FreeNASのiSCSIですが、DISKがWDのGREENシリーズの割には、まあまあだと思います。 ZFSでメモリキャッシュがかなり有効に働いている気がします。(ADAPTEC-RAIDの時には読み書き要求の度にアクセスランプが点灯していたが、今度は時々まとめて読み書きしている感じ)

iFreeNAS-WD25-raid1_SATA2_M3N78_ESXi4.jpg
Page Top

1-3 メインのホストOS: Cent-OS 5.7 → Scientific Linux 6.1 anchor.png

 公開サーバー用の仮想ゲストOSは、従来通りCent-OSを継続。 但し、近々、Scientific Linux 6.1 載せ換えるように今後準備していきます。 → サーバートラブルでクラッシュしたため、早々に乗り換えました。 2011-11-21

Page Top

1-4 消費電力とCPU負荷 anchor.png

 UPSの出力モニタで確認ところ、実運用で200W/2台合計+ルーターなど補機込み 程度です。 1ヶ月の電気代でいえば、2800~3200円程度でしょうか。 前回の構成で150W程度でしたから、50Wほど上昇してしまいました。

Page Top

1-5 当サイト内の関連記事 anchor.png

以下に、関連記事へのリンクを貼っておきます。

Page Top

2. 内部ネットワークと公開ネットワーク anchor.png

Page Top

2-1 ネットワーク構成 anchor.png

Network_201110.jpg
 
  1. 社内ネットワークと公開サーバーを置くネットワークとの完全分離は、会社規模の関係もありできませんが、フリーの仮想ブロードバンドルーター「Vyatta」を配置することにより、同一マシン上の仮想ホスト間でセグメントを分離し、通信の遮断をしています。
  2. モーションクリエイト社内PC(各社員使用)のインターネット接続に関しても、このルーターを経由し、念のため個人用回線側をゲートウエイとする構成となっています。
    これらの構成により、インターネット側から社内ファイルサーバーへのアクセスはできません。
Page Top

2-2 実マシン anchor.png

Page Top
2-2-1写真 anchor.png
写真左側 FreeNASファイルサーバー写真右側 ESXi公開サーバー
server100305.jpg

 
Page Top
2-2-2 ハード構成 anchor.png

。 ESXi-5.0 メインマシン

PARTS型式・仕様
CASE(ANTEC) SOLO W/O PSU
M/B(ASROCK)880GMH/USB3 R2.0
SocketAM3
Chipset(AMD)880G+SB710
SerialHDDコントローラ認識OK。
GigaLANデバイス(RTL8111DL)も、ESXi5.0以降認識。
 (内部通信用)
CPU(AMD)Phenom2 X4 910e (TDP65W)
Memory(CFD-Elixir)W3U1333Q-4G DDR3 (DDR3 PC3-10600)x2 計16GB
(4GB x2枚組 x2 =計4枚)
SSD(INTEL) 510 Series SSDSC2MH120A2K5
LAN CARD(公開側用)
(iSCSI用)
(INTEL) PRO/1000 GT DESKTOP ADAPTOR x1
(INTEL) Gigabit CT Desktop Adapter x1
USB FLASH適当な2GBのもの。ESXiのUSBブートに使用
  • FreeNAS-0.7.2 データストレージ
    PARTS型式・仕様
    CASE(ANTEC) P-150(430W高効率電源付)
    M/B(ASUS)M3N78-VM
    SocketAM2+
    Chipset(Nvidia)GeForce8200 (MCP78S)
    SerialHDDコントローラ、ギガLANデバイスとも
     FreeBSDベースのFreeNASできちんと認識。
    CPUAMD Athron64 X2(DualCore) 4850e SocketAM2 (TDP45W)
    Memory(CFD-Elixir)DDR2 (PC2-6400) 計8GB
    (2GB x2枚組 x2 =計4枚)
    HDD(Intel) 510 Series SSDSC2MH120A2K5
    (Western Digital) WD25EZRX [2.5TB SATA600] x 2
    (Western Digital) WD10EADS (1TB SATA300 5400) x1 REGZA用
    LAN CARD(内部用)(玄人志向) GbE-PCI3 x 1 (RTL8169チップ、GbLAN)
    注意:このカードは速度が出ないため、iSCSI用には向きません。
    USB FLASH適当な2GBのもの。ESXiのUSBブートに使用
Page Top
2-2-3 その他 anchor.png
  • ホーム用BBルーター:(NEC)Aterm PA-WR8700N-HP
    家族用ゼロクライアントからのアクセスを、悪質サイトフィルタリング。
  • UPS:(OMRON)BY50S
    正弦波出力なのでPC側電源との相性も安心。 USBでESXiマシンに接続し、電源管理ツール「Power Act Pro」をWindowsゲストOS上にインストールして、停電時にゲストOS達をシャットダウンさせることが可能。 但し、ESXi5用のハイパーバイザ自体にインストールするクライアントソフトは、本記事執筆時点で未公開。
Page Top

2-3 公開サーバーのサービス anchor.png

Page Top
2-3-1 公開中のサービスとポート anchor.png

公開サーバーでは、主に以下のサービスとポート開放をしています。
攻撃対象に成りやすいポート(telnetやsshなど)は閉じてあります。

    • WEBサービス (Apache、PHP、MySQL、Perl)
    • FTPサービス(SSL暗号化)
    • SMTP、POP、IMAPメールサービス(SSL暗号化)
    • DNS
Page Top
2-3-2 各サービス anchor.png
    1. 自社運営のWEBサービスでは、必要に応じてSSL接続を行い、成りすましなどによるサイトの乗っ取りや通信傍受などに対処します。 また、掲示板等でのHTML記述を基本的に禁止し、クロスサイトスクリプティングへの予防処置とます。 各サイトにDoS攻撃などに対処するソフトを使用し、クラッキングからの防御を図ります。
    2.  FTPサービスでは、SSL/TLS暗号化を必須としており、通信の暗号化により成りすましなどによるサイトの乗っ取りを予防します。
    3.  メールサービスでは、POP、IMAP、SMTP各サーバー接続にSSL暗号化(任意)を選択し、通信傍受などに対して情報の漏洩を予防します。
Page Top
2-3-3 移行したサーバー上での公開サイト anchor.png

 今回移行した仮想サーバー上で稼動している公開サイトは、以下になります。まだ増やせそうな気がしています。  :hammer:

  1. なーお'nWEB (ここですね)
  2. (有)モーションクリエイト
  3. Motion cafe
  4. モバイルテンプハウス
  5. 蘇我みくすクラブさんぶクラブ別館
  6. みやこどりソフトテニスクラブ
  7. 積層スピーカーの会
  8. Lafesta cafe.
  9. スマイル(住まいづくりプロデューサー)
  10. d3diaryテストサイト
  11. 集まれ!塩ビスピーカーの会 コミュニティ

その他に非公開いくつか・・


トップ   凍結 差分 バックアップ 複製 名前変更 リロード印刷に適した表示   ページ新規作成 全ページ一覧 単語検索 最新ページの一覧   ヘルプ   最新ページのRSS 1.0 最新ページのRSS 2.0 最新ページのRSS Atom Powered by xpWiki
Counter: 3332, today: 3, yesterday: 0
初版日時: 2011-10-24 (月) 18:58:22
最終更新: 2011-10-24 (月) 23:07:23 (JST) (2282d) by naao