Re: 習作：MT形式のd3blogインポート

こんにちは。d3blogインポートありがたく、使わせていただいています。３年分のココログをd3blogへインポートしているのですが、データが重すぎてエラーがでてしまうので、月単位にファイルを分割して作業を進めています。
順調に進んでいたのですが、５ヶ月目あたりで、
Fatal error: Out of memory (allocated 29884416) (tried to allocate 311296 bytes) in /xoops_trust_path/modules/d3blog/xoops_version.php on line 27

のメッセージが出てきます。
php5、mysql4です。
サーバー側の問題でしょうか？
同じようなエラーが出た方はいらっしゃいませんか？

TMさん、こんにちは。

拙作をご試用いただき、ありがとうございます。

エラー内容の数値をみると、メモリーリミットを超えているようには見えませんね。別の要因があるのかも。。

作業に少し時間がかかってしまうと思いますが、更に分割してインポートを行ったときに、どこか特定の記事で同様のエラーになるか確認いただければ、何らかの原因に行きつくかもしれません。

また、次の月をインポートしても同様に起こるのでしたら、d3blog側に記事数の制約などがあるのかも・・？　
参考までに、その時点の記事数はいくつでしょうか。　私が試した限りでは、３５０記事程度までは問題ありませんでした。

なーお様　大変おせわになっております。

現在、１ファイルあたり100k程度に分割してインポートしております。
365件までインポートしたあたりで、先般のエラーが表示され、それ以降どのファイルもインポート出来ない状態になります。

この状態で何度も試していると、現在の日時のエントリーが１つ追加されます。しかし、このエントリーはカテゴリ以外は全て空で、データベースのテーブルにも追加されておりません。

エラーが出るたびにDBのテーブルを削除してファイルを替えてやり直していますが、やはり３００?４００の間ぐらいで同じ症状がでてしまいます。

d3blog側の問題なのでしょうか？

TMさん、こんにちは。

365件ですか。　私の経験値とそれほど差がないですね。

やはり、私のインポートスクリプトの問題かもしれません。
念のため、その状態でd3blogで新規に記事を書くことが可能かどうか試してみてください。

（追記）
改めて見直すと、やっぱりメモリリミットかも。。　30Mbyteあたりで設定されていませんかねえ。　サーバーがメモリリミット設定の変更がきく環境でしたら、やってみてください。　または、XCLをお使いでmainfile.phpで例えば、128Mに設定するなら

    define("XCL_MEMORY_LIMIT", "128M"); // extra param

なーお様
ご回答ありがとうございます。

.phpでメモリーを128MBにしていたのですが、ホスティング会社の仕様をよくよく調べてみたら、最大30?40MBと書かれていました。

恥を忍んで、お聞きしますが。
このメモリーリミットの問題は、d3blogの記事が増えれば増えるほど必要ということなのでしょうか。
だとすると、約１年分のブログで今回のようなエラーが出たところをみると、実際にこのサーバでd3blogを使うことは無理ということなんでしょうか。

スイマセン、なんか質問ばかりで。

TMさん、こんにちは。

d3blogは元々重い印象を持ってはいるのですが、私もあまり詳しくありませんのでメモリ消費との直接の関係はわかりません。

今回のがメモリリミットが要因だとしても、それはインポートの際に既存記事を全て抽出する処理があるためだと思います。　たとえば以下のような手順で試してみてはいかがでしょう。

• 一時的に、メモリ確保量を増やしてインポートを完了させてから元に戻してみる。
  • その後、逆に一時的にメモリ確保量を小さくしてみて、あとどれくらいの余裕があるか確かめる。
• d3blog以外のモジュールを非アクティブにして、サイト全体のメモリ消費を抑えた状態でインポートを完了させてから、元に戻してみる。
  • その後、逆に一時的にメモリ確保量を小さくしてみて、あとどれくらいの余裕があるか確かめる。

なーお様
朝早くから申し訳ありません。
早速試してみます。

他のモジュールを外して、やってみましたがだめでした。
残念です。

TMさん

そうですか。。

あとは、メモリを沢山確保できる別のサイトでインポートするかですね。

もし時間をいただけるのでしたら、最後の手段として、私のテスト環境で無理やりインポートしてみて、SQLでお渡しして、Mysqladminでインポート、という手もありますが。。

1. MySQLの言語は、当方はUJISですが、TMさんの環境はどうなってますか？
2. コメントテーブルを予め当方テスト環境にインポートしたうえで実行し、これの結果もSQLでお返しする、ということになりますね。

もしやってみたいということでしたら、当サイトに登録いただくか、別途「お問合せ」からメールアドレスを連絡いただきますようお願いします。

TMさん

どうやら、私のスクリプト内の変数ハンドリングの問題がありそうですので見直してみます。　少々時間をいただけますでしょうか。

なーお様

昨日、せっかくご回答いただいていたのに、終日PCの見られない状況でお返事がおくれ失礼いたしました。

変数のハンドリングの件、解決できることを願っております。
もし、そのあたりに問題がないようでしたら、申し訳ないのですが、DBへのインポートにお力を貸してください。

ちなみに当方の文字コードはEUCです。

今後ともよろしくお願い致します。

TMさん

とりあえず、このスクリプト
import-mt.txt
に差し替えて（以前と同様に拡張子は.phpに変更して）お試しください。

ただ、以前のスクリプトで、自分のテストサイトで何度か試してみたのですが、
メモリ確保量８Ｍだと真っ白になる環境で、確保量１６Ｍに設定し、３５０件一度にインポートしてみて問題なく、　また、インポートテキストの日付を全て変更して更に３５０件インポートしてみましたが、これも問題ありませんでした。

上記の変更版スクリプトでもだめな場合は、念のためphp、mysql以外の環境(OS、WEBサーバーのバージョン、コアバージョン、d3blogバージョン)もお知らせいただいたうえで、お問い合わせにて、メアドをお知らせください。

なーお様

お世話になります。しばらく別件に手を取られ、レスがおくれましたことをお詫びします。

さて、いろいろ試して見た結果、できました！

phpMyAdminをサーバにインストールして、エラーが出る前に(約３ヶ月単位）エクスポートをかけました。
その後で、エントリーのテーブルを全て空にして、次の月からまた３ヶ月分d3blogインポートを使います。
この作業を繰り返して、最後にエクスポートしたデータを順番にインポートしなおしたら３年分全て取り込むことができました。

ご指導いただきありがとうございました。

TMさん

なかなか手の込んだ作業でしたね。
その方法で、xoopsコメントテーブルのほうも、うまくインポートしたのでしょうか。

結果的に私のほうでは大した進展がありませんでしたが、スクリプト自体はお役には立てたようで、うれしいです。