1: 2013-01-26 (土) 22:21:26 なーお |
現: 2019-08-17 (土) 07:11:56 なーお |
- | 新年[[1月7日の記事で宣言>http:///modules/dblog1/index.php?page=detail&bid=524]]した、AMDからIntelへのサーバー移行計画、物理的には8割方完了しています。 :-) | + | ** 目的 [#v02a827e] |
- | | + | |
- | ここらで一旦、内容を記録しておきます。 そうしないと忘れてしまって後で記事にできなくなりそう。。 | + | |
- | | + | |
- | ということで以下、まとまってないけど詳細。紆余曲折を経ているので少し長くなります。 [[以前の構成は、こちら:http:///modules/plactice/index.php/home/hobby/linux/pc6.htm]]。[pagebreak] | + | |
- | | + | |
- | ** 目的 [#purpose] | + | |
| | | |
| + AMDから最新の22nmのIntel Ivy Bridgeに移行して省エネを加速しつつ適度なCPUパワーを得たい。 目標は、現状125W --> 目標85W (目標は 40W削減 だけど結果は未達成) | | + AMDから最新の22nmのIntel Ivy Bridgeに移行して省エネを加速しつつ適度なCPUパワーを得たい。 目標は、現状125W --> 目標85W (目標は 40W削減 だけど結果は未達成) |
| ++ フロントパネル。マシン単体ではワットチェッカーの読みで85W程度。 | | ++ フロントパネル。マシン単体ではワットチェッカーの読みで85W程度。 |
- | |[siteurl=modules/dblog1/upimg/052d47ad43cf3d2734dc4ad97ed3978e09.jpg] | + | |[[&ref(site://modules/dblog1/upimg/t_052d47ad43cf3d2734dc4ad97ed3978e09.jpg,"t:",mw:,mw:);:site://modules/dblog1/upimg/052d47ad43cf3d2734dc4ad97ed3978e09.jpg]]| |
- | &ref(site://modules/dblog1/upimg/t_052d47ad43cf3d2734dc4ad97ed3978e09.jpg,"t:",mw:,mw:);[/siteurl]| | + | |
| ++ アイドル時(公開サーバー稼働中)、マシン本体+光モデムルーター+Gbハブなど補機入れてUPSの出力で95W。(移行前から30W削減) | | ++ アイドル時(公開サーバー稼働中)、マシン本体+光モデムルーター+Gbハブなど補機入れてUPSの出力で95W。(移行前から30W削減) |
| |[[&ref(site://modules/dblog1/upimg/t_061095247f6cb9d797ab5d3eb361c00a90.jpg,"t:",mw:,mw:);:site://modules/dblog1/upimg/061095247f6cb9d797ab5d3eb361c00a90.jpg]]| | | |[[&ref(site://modules/dblog1/upimg/t_061095247f6cb9d797ab5d3eb361c00a90.jpg,"t:",mw:,mw:);:site://modules/dblog1/upimg/061095247f6cb9d797ab5d3eb361c00a90.jpg]]| |
| + PCIパススルーを活用したい。 | | + PCIパススルーを活用したい。 |
| + | 注意:ESXi5.1では、USBコントローラのパススルーが設定できない不具合があります。 USBコントローラをPICパススルーする場合は、ESXi5.0に最新パッチを当てて使用します。 |
| ++ Windowsクライアントを安定稼働させたい。 | | ++ Windowsクライアントを安定稼働させたい。 |
| --- Musicサーバーのプチプチ途切れ音、ブルースクリーンを減らしたい。 | | --- Musicサーバーのプチプチ途切れ音、ブルースクリーンを減らしたい。 |
| --- 家族用ゼロクライアントマシンが時々ブルースクリーンになるのを無くしたい。 | | --- 家族用ゼロクライアントマシンが時々ブルースクリーンになるのを無くしたい。 |
| ++ NAS用ディスクを、PCIパススルーしたSATAコントローラ配下でマウントして使うことで、RAWディスクとして使用可能としたい。 | | ++ NAS用ディスクを、PCIパススルーしたSATAコントローラ配下でマウントして使うことで、RAWディスクとして使用可能としたい。 |
- | 今までのようにESXi管理下のVMFSフォーマットでは、いざというときの使い回しやバックアップ復旧などで制約が増えるので使い辛かった。 | + | --- 今までのようにESXi管理下のVMFSフォーマットでは、いざというときの使い回しやバックアップ復旧などで制約が増えるので使い辛かった。 |
| RAWマウントによりディスク状態もマウントするOSから直接モニタできるので管理が圧倒的に楽になる。 | | RAWマウントによりディスク状態もマウントするOSから直接モニタできるので管理が圧倒的に楽になる。 |
| + | --- ESXi管理下のVMFSフォーマットでは、ディスクが解列すると即停止か再起動時に設定変更が必要なので、Linux RAIDは現実的ではなく、純ハードウエアRAIDか前回構成のようにeSATA外付けRAIDケースなどを使用するしかなかったが、RAWディスクになることで問題なくLinux RAIDが使える。 |
| ++ PCIパススルーの設定現状 | | ++ PCIパススルーの設定現状 |
| 3スロットあるPCIバスは、パススルーの設定は一括となり、1枚ごとの設定は出来ない。 PCIeバスは個別に設定可能。 | | 3スロットあるPCIバスは、パススルーの設定は一括となり、1枚ごとの設定は出来ない。 PCIeバスは個別に設定可能。 |
| | | |
| CENTER:各スロットの構成。パススルーゲスト列が空欄のものはPASSスルーしないの意味。 | | CENTER:各スロットの構成。パススルーゲスト列が空欄のものはPASSスルーしないの意味。 |
- | |スロット|>|種別|パススルーゲスト|h | + | |スロット|>|デバイス名|パススルーゲスト|h |
| |00:02:0|オンボード|VGA|| | | |00:02:0|オンボード|VGA|| |
| |00:1a:0|オンボード|USB-1|| | | |00:1a:0|オンボード|USB-1|| |
| |00:1f:2|オンボード&br;(Intel)Panther Point AHCI|SATA|CentOS 6.3| | | |00:1f:2|オンボード&br;(Intel)Panther Point AHCI|SATA|CentOS 6.3| |
| |00:1c:0&br;02:00:0|PCIe X2&br;(MARVEL)88SE9230|SATA|| | | |00:1c:0&br;02:00:0|PCIe X2&br;(MARVEL)88SE9230|SATA|| |
- | |00:1c:4&br;03:00:0|オンボード&br;(Realtek)R8168|GbE|| | + | |00:1c:4&br;03:00:0|オンボード&br;(Realtek)R8168|GbLAN|| |
| |00:1c:5&br;05:00:0~2|PCI&br;(NEC)USB/USB2.0&br;(玄人志向)USB2.0N6P-PCI|USB2|WindowsXP| | | |00:1c:5&br;05:00:0~2|PCI&br;(NEC)USB/USB2.0&br;(玄人志向)USB2.0N6P-PCI|USB2|WindowsXP| |
- | |00:1c:5&br;05:01:0|PCI&br;(Intel)82541PI|GbE|WindowsXP| | + | |00:1c:5&br;05:01:0|PCI&br;(Intel)82541PI|GbLAN|WindowsXP| |
| |00:1c:6&br;06:00:0|PCIe X1&br;(玄人志向)USB3.0RD-PCIe|USB3|| | | |00:1c:6&br;06:00:0|PCIe X1&br;(玄人志向)USB3.0RD-PCIe|USB3|| |
- | |00:1c:7&br;07:00:0|PCIe X2&br;(Intel)82574L|GbE|| | + | |00:1c:7&br;07:00:0|PCIe X2&br;(Intel)82574L|GbLAN|| |
| | | |
- | ** テスト用マザーボードとCPU [#pa1bf35d] | + | ** 仮想マシン構成 [#s55d76ba] |
| + | 以下の6つのゲストマシンを常時稼働中。 |
| + | - NAS/iSCSIターゲット/REGZA録画用: CentOS6.3 (2vCPU) |
| + | -- ブート直後、ESXiがこのゲストのiSCSIをマウントできないため、[[以前のページで書いた対応:http://www.naaon.com/modules/xpwiki/264.html#e75e65a6]]が別途必要です。 |
| + | - 公開WEBサーバー: Scientific Linux 6.3 (1vCPU) |
| + | -- 従来は2vCPU割り当てていたけれども、今回は1vCPUで試してみたら全く不足なし。 |
| + | - メールサーバー、DNS: CentOS5.8 (2vCPU) |
| + | -- これも2vCPU割り当てていたけれども、1vCPUで全く不足なし。 |
| + | - ソフトルーター: vyatta (1vCPU) |
| + | - Musicサーバー: WindowsXP (2vCPU) |
| + | - 家族用ゼロクライアント: WindowsXP (2vCPU) |
| + | |&ref(system.jpg,mw:320,mh:320);| |
| + | |
| + | ** テスト用マザーボードとCPU [#y1e8df5e] |
| | | |
| ESXiなどの仮想化マシンでPCIパススルーを行うには、M/BとCPUの両方が IOMMU(VT-d/AMD-Vi) に対応している必要がある。 | | ESXiなどの仮想化マシンでPCIパススルーを行うには、M/BとCPUの両方が IOMMU(VT-d/AMD-Vi) に対応している必要がある。 |
| --> 結果的には、4ポートのうち2ポートしか認識しない。BIOS上では認識しているのだが、ESXiの認識が2ポート限定。パススルーしても同様。 | | --> 結果的には、4ポートのうち2ポートしか認識しない。BIOS上では認識しているのだが、ESXiの認識が2ポート限定。パススルーしても同様。 |
| | | |
- | ** 本稼働用マザーボードとハードディスク [#r14822f0] | + | ** 本稼働用マザーボードとハードディスク [#xf0a55c0] |
| | | |
- | + マザーボード:(ASUS)H77V-LE | + | + マザーボード:[[(ASUS)H77V-LE:http://www.asus.co.jp/Motherboards/Intel_Socket_1155/P8H77V_LE/]] |
- | -- PCIe x4レーンが1本ある。 | + | -- PCIe X4スロットが1本ある。 |
| --> Rocket 640L もフルで4ポート使える? | | --> Rocket 640L もフルで4ポート使える? |
| --> 結果、このM/Bでも2ポートしか認識しない。H77チップセットとESXiの相性かなあ。。 :roll: | | --> 結果、このM/Bでも2ポートしか認識しない。H77チップセットとESXiの相性かなあ。。 :roll: |
| + | -- PCIe X1スロットが2本ある。 |
| -- 内蔵NICはAsRockのM/Bと同様に(Realtec)8111なのでESXi5がデフォで認識する。 | | -- 内蔵NICはAsRockのM/Bと同様に(Realtec)8111なのでESXi5がデフォで認識する。 |
| + HDD:(Western Digital)NAS用REDシリーズ [[WD30EFRX:http://kakaku.com/item/K0000401036/]] x2台 | | + HDD:(Western Digital)NAS用REDシリーズ [[WD30EFRX:http://kakaku.com/item/K0000401036/]] x2台 |
| -- RAW DISKのパーティション・ボリウム構成は以下のようにして、スペアディスクを確保しつつREGZA録画用ボリウムもRAID-1(スペア無し)にまとめた。 | | -- RAW DISKのパーティション・ボリウム構成は以下のようにして、スペアディスクを確保しつつREGZA録画用ボリウムもRAID-1(スペア無し)にまとめた。 |
| |領域|ボリウム|sda|sdb|sdc|sdd|h | | |領域|ボリウム|sda|sdb|sdc|sdd|h |
- | |1|vm0-lv0&br;iSCSI&br;target用|md0|md0|md0(s)|md3(s)| | + | |1|vg0-lv0&br;iSCSI&br;target用|md0|md0|md0(s)|md3(s)| |
- | |2|vm1-lv1&br;&br;DATA用|md1|md1|md1(s)|md2(s)| | + | |2|vg1-lv1&br;&br;DATA用|md1|md1|md1(s)|md2(s)| |
| |3|~|md2|md2|md5|md5| | | |3|~|md2|md2|md5|md5| |
| |4|~|md3|md3|md6|md6| | | |4|~|md3|md3|md6|md6| |
- | |5|~|md4|md4|md4(s)| | | + | |5|~|md4|md4|-|-| |
| CENTER:(s)はRaid-1スペアディスク | | CENTER:(s)はRaid-1スペアディスク |
| - mdadmでRAIDを構成する際の注意点 | | - mdadmでRAIDを構成する際の注意点 |
| ARRAY /dev/md5 metadata=1.2 name=localhost.localdomain:5 UUID=8d9165db:af7999a6:dd3634dc:fed73f96 | | ARRAY /dev/md5 metadata=1.2 name=localhost.localdomain:5 UUID=8d9165db:af7999a6:dd3634dc:fed73f96 |
| ARRAY /dev/md6 metadata=1.2 name=localhost.localdomain:6 UUID=e29c0f5b:52d09630:2f2edae8:d30a18f3 | | ARRAY /dev/md6 metadata=1.2 name=localhost.localdomain:6 UUID=e29c0f5b:52d09630:2f2edae8:d30a18f3 |
- | | |
| }} | | }} |
- | | + | -- mdadm(Linux RAID) ではなくて、Fake RAIDと呼ばれるオンボードのRAIDを使って、Linux上でdmraidドライバを使うことで、多少軽量にRAID-1を構築できるし実験済みだけど、スペアディスク構成などのフレキシビリティや、障害発生時の対処方法の分かり易さなどを総合的に判断して、オーソドックスに Linux RAIDに戻ってきた。 |
- | -- mdadm(Linux RAID) ではなくて、Fake RAIDと呼ばれるオンボードのRAIDを使って、Linux上でdmraidドライバを使うことで、多少軽量にRAID-1を構築できるし実験済みだけど、スオエアディスク構成などのフレキシビリティや、障害発生時の対処方法の分かり易さなどを総合的に判断して、オーソドックスに Linux RAIDに戻ってきた。 | + | |
| 一度解列されると再構築に時間がかかるのだが、そのぶん普段は意外にCPU負荷が少ない。 この辺はZFSファイルシステムとは正反対とも言えそう。 | | 一度解列されると再構築に時間がかかるのだが、そのぶん普段は意外にCPU負荷が少ない。 この辺はZFSファイルシステムとは正反対とも言えそう。 |
| -- メインのゲストマシンにFreeNAS/NAS4FreeでZFSファイルシステムを使うのも有だが、後でボリウムを拡張/縮小/物理ディスク移動など色々なフレキシビリティの良さを考えると、LVMと組み合わせて使えるLinuxがやはり良い。 | | -- メインのゲストマシンにFreeNAS/NAS4FreeでZFSファイルシステムを使うのも有だが、後でボリウムを拡張/縮小/物理ディスク移動など色々なフレキシビリティの良さを考えると、LVMと組み合わせて使えるLinuxがやはり良い。 |
| | | |
| + | - Crystal Disc Mark のベンチ |
| + | キャッシュが十分に効いている状況でのテストです。 これだけ速いと、メインゲストのCentOSのCPU負荷もかなり上がり、ESXiマシン全体でCPU使用率60%を超えます。 |
| + | |&ref(DiskMark.jpg,mw:240,mh:240);| |
| | | |
| ** USB3.0コントローラーのパススルーテスト [#c73c6349] | | ** USB3.0コントローラーのパススルーテスト [#c73c6349] |
| |CPU|>|(Intel)[[Core i5 3470S BOX>http://ark.intel.com/ja/products/68315/Intel-Core-i5-3470S-Processor-6M-Cache-up-to-3_60-GHz]] (TDP65W)| | | |CPU|>|(Intel)[[Core i5 3470S BOX>http://ark.intel.com/ja/products/68315/Intel-Core-i5-3470S-Processor-6M-Cache-up-to-3_60-GHz]] (TDP65W)| |
| |Memory|>|(Team) [[TED316G1600C11DC>http://kakaku.com/item/K0000404213/]] [DDR3 PC3-12800 8GB 2枚組]| | | |Memory|>|(Team) [[TED316G1600C11DC>http://kakaku.com/item/K0000404213/]] [DDR3 PC3-12800 8GB 2枚組]| |
- | |HDD|>|(Intel) [[510 Series SSDSC2MH120A2K5>http://review.kakaku.com/review/K0000232069/]]&br;(Western Digital) [[WD30EFRX [3TB SATA600]>http://kakaku.com/item/K0000401036/]] x1 REGZA用&br;(Western Digital) [[WD25EZRX [2.5TB SATA600] >http://kakaku.com/item/K0000276191/]] x 2 REGZA用・NASディスクのRAID-1スペア用| | + | |HDD|>|(Intel) [[510 Series SSDSC2MH120A2K5>http://review.kakaku.com/review/K0000232069/]]&br;(Western Digital) [[WD30EFRX [3TB SATA600]>http://kakaku.com/item/K0000401036/]] x2 NAS/DATA用&br;(Western Digital) [[WD25EZRX [2.5TB SATA600] >http://kakaku.com/item/K0000276191/]] x 2 REGZA用・NASディスクのRAID-1スペア用| |
| |LAN CARD|(公開側用)&br;(iSCSI用)|(INTEL) [[PRO/1000 GT DESKTOP ADAPTOR>http://www.intel.com/products/desktop/adapters/pro1000gt/pro1000gt-overview.htm]] x1&br;(INTEL) [[Gigabit CT Desktop Adapter>http://www.intel.com/products/desktop/adapters/gigabit-ct/gigabit-ct-overview.htm]] x1| | | |LAN CARD|(公開側用)&br;(iSCSI用)|(INTEL) [[PRO/1000 GT DESKTOP ADAPTOR>http://www.intel.com/products/desktop/adapters/pro1000gt/pro1000gt-overview.htm]] x1&br;(INTEL) [[Gigabit CT Desktop Adapter>http://www.intel.com/products/desktop/adapters/gigabit-ct/gigabit-ct-overview.htm]] x1| |
| |USB FLASH|>|適当な2GBのもの。ESXiのUSBブートに使用| | | |USB FLASH|>|適当な2GBのもの。ESXiのUSBブートに使用| |
- | | + | |USB CARD|USB3.0|(玄人志向) [[USB3.0RD-PCIe:http://kakaku.com/item/K0000410384/]]| |
- | ** 仮想マシン構成 [#s55d76ba] | + | |~|USB2.0|(玄人志向) [[USB2.0N6P-PCI:http://kakaku.com/item/05679010369/]]| |
- | 以下の6つのゲストマシンを常時稼働中。 | + | |USB &br;SOUND DEVICE|>|(JAVS) [[X-DDC (Black):http://kakaku.com/item/K0000352116/]]| |
- | - NAS/iSCSIターゲット/REGZA録画用: CentOS6.3 (2vCPU) | + | |
- | - 公開WEBサーバー: Scientific Linux 6.3 (1vCPU) | + | |
- | -- 従来は2vCPU割り当てていたけれども、今回は1vCPUで試してみたら全く不足なし。 | + | |
- | - メールサーバー、DNS: CentOS5.8 (2vCPU) | + | |
- | -- これも1vCPUに変更しても大丈夫だけど、元々すごく負荷が低いから効果は無さそう。 | + | |
- | - ソフトルーター: vyatta (1vCPU) | + | |
- | - Musicサーバー: WindowsXP (2vCPU) | + | |
- | - 家族用ゼロクライアント: WindowsXP (2vCPU) | + | |
| | | |
| ** 中間総括 [#vf3cf2bb] | | ** 中間総括 [#vf3cf2bb] |