    001/*
    002 * Copyright (c) 2009 The openGion Project.
    003 *
    004 * Licensed under the Apache License, Version 2.0 (the "License");
    005 * you may not use this file except in compliance with the License.
    006 * You may obtain a copy of the License at
    007 *
    008 *     http://www.apache.org/licenses/LICENSE-2.0
    009 *
    010 * Unless required by applicable law or agreed to in writing, software
    011 * distributed under the License is distributed on an "AS IS" BASIS,
    012 * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND,
    013 * either express or implied. See the License for the specific language
    014 * governing permissions and limitations under the License.
    015 */
    016package org.opengion.fukurou.process;
    017
    018import org.opengion.fukurou.system.OgRuntimeException ;         // 6.4.2.0 (2016/01/29)
    019import org.opengion.fukurou.util.Argument;
    020import org.opengion.fukurou.util.FileUtil;
    021import org.opengion.fukurou.system.Closer ;
    022import org.opengion.fukurou.system.LogWriter;
    023import org.opengion.fukurou.util.CommentLineParser;
    024import org.opengion.fukurou.util.FileInfo;                                                      // 6.4.0.2 (2015/12/11)
    025
    026import java.util.Map ;
    027import java.util.LinkedHashMap ;
    028
    029import java.io.File;
    030import java.io.PrintWriter;
    031import java.io.BufferedReader;
    032import java.io.IOException;
    033import java.nio.charset.CharacterCodingException;                                       // 6.3.1.0 (2015/06/28)
    034
    035/**
    036 * Process_FileCopy は、上流から受け取った FileLineModel を処理する、
    037 * ChainProcess インターフェースの実装クラスです。
    038 *
    039 * 上流から受け取った FileLineModel の ファイルから、inPath の共通パス
    040 * 以下のファイルを、outPath の共通パス以下にコピーします。
    041 * コピーの種類は、バイナリか、テキストで、テキストの場合は、エンコード
    042 * 変換も行うことが可能です。
    043 * inPath と outPath が同じ、または、outPath が未設定の場合は、入力と出力が
    044 * 同じですので、自分自身のエンコード変換処理を行うことになります。
    045 *
    046 * コピーされるファイルのファイル名は、入力ファイル名と同一です。保存される
    047 * フォルダが異なります。(同一にすることも可能です。)
    048 *
    049 * useOmitCmnt=true に設定すると、ファイル中のコメントを除外してコピーします。
    050 * ただし、使用できるのは、アスキーファイル(binary=false)の時だけです。
    051 *
    052 * 上流プロセスでは、Name 属性として、『File』を持ち、値は、Fileオブジェクト
    053 * である、Process_FileSearch を使用するのが、便利です。それ以外のクラスを
    054 * 使用する場合でも、Name属性と、File オブジェクトを持つ LineModel を受け渡し
    055 * できれば、使用可能です。
    056 *
    057 * 引数文字列中に空白を含む場合は、ダブルコーテーション("") で括って下さい。
    058 * 引数文字列の 『=』の前後には、空白は挟めません。必ず、-key=value の様に
    059 * 繋げてください。
    060 *
    061 * @og.formSample
    062 *  Process_FileCopy -inPath=入力共通パス -inEncode=Windows-31J -outPath=出力共通パス -outEncode=UTF-8
    063 *
    064 *     -inPath=入力共通パス         ：上流で検索されたファイルパスの共通部分
    065 *   [ -inEncode=入力エンコード   ] ：入力ファイルのエンコードタイプ
    066 *   [ -outPath=出力共通パス      ] ：出力するファイルパスの共通部分
    067 *   [ -outEncode=出力エンコード  ] ：出力ファイルのエンコードタイプ
    068 *   [ -binary=[false/true]       ] ：trueは、バイナリファイルのコピー(初期値:false)
    069 *   [ -changeCrLf=[false/true]   ] ：trueは、バイナリファイルのコピー時にCR+LFに変換します(初期値:false)
    070 *   [ -keepTimeStamp=[false/true]] ：trueは、コピー元のファイルのタイムスタンプで作成します(初期値:false)
    071 *   [ -useOmitCmnt=[false/true]  ] ：ファイル中のコメントを除外してコピーを行うかどうかを指定(初期値:false)
    072 *   [ -display=[false/true]      ] ：trueは、コピー状況を表示します(初期値:false)
    073 *   [ -debug=[false/true]        ] ：デバッグ情報を標準出力に表示する(true)かしない(false)か(初期値:false[表示しない])
    074 *
    075 * @version  4.0
    076 * @author   Kazuhiko Hasegawa
    077 * @since    JDK5.0,
    078 */
    079public class Process_FileCopy extends AbstractProcess implements ChainProcess {
    080        private File    tempFile                ;
    081
    082        private String  inPath                  ;
    083        private String  inEncode                ;
    084        private String  outPath                 ;
    085        private String  outEncode               ;
    086        private boolean binary                  ;
    087        private boolean changeCrLf              ;                       // 4.2.2.0 (2008/05/10)
    088        private boolean keepTimeStamp   ;                       // 5.1.5.0 (2010/04/01)
    089        private boolean useOmitCmnt             ;                       // 5.7.4.0 (2014/03/07)
    090        private boolean display                 ;
    091        private boolean debug                   ;                       // 5.7.3.0 (2014/02/07) デバッグ情報
    092
    093        private int             inPathLen       ;
    094        private boolean isEquals        ;
    095        private int             inCount         ;
    096
    097        /** staticイニシャライザ後、読み取り専用にするので、ConcurrentHashMap を使用しません。 */
    098        private static final Map<String,String> MUST_PROPARTY   ;               // ［プロパティ］必須チェック用 Map
    099        /** staticイニシャライザ後、読み取り専用にするので、ConcurrentHashMap を使用しません。 */
    100        private static final Map<String,String> USABLE_PROPARTY ;               // ［プロパティ］整合性チェック Map
    101
    102        static {
    103                MUST_PROPARTY = new LinkedHashMap<>();
    104                MUST_PROPARTY.put( "inPath",    "コピー元のファイル基準パス" );
    105
    106                USABLE_PROPARTY = new LinkedHashMap<>();
    107                USABLE_PROPARTY.put( "inEncode",                "コピー元のファイルのエンコードタイプ" );
    108                USABLE_PROPARTY.put( "outPath",         "コピー先のファイル基準パス" );
    109                USABLE_PROPARTY.put( "outEncode",       "コピー先のファイルのエンコードタイプ" );
    110                USABLE_PROPARTY.put( "binary",          "trueは、バイナリファイルをコピーします(初期値:false)" );
    111                USABLE_PROPARTY.put( "changeCrLf",      "trueは、バイナリファイルのコピー時にCR+LFに変換します(初期値:false)" );         // 4.2.2.0 (2008/05/10)
    112                USABLE_PROPARTY.put( "keepTimeStamp","trueは、コピー元のファイルのタイムスタンプで作成します(初期値:false)" );      // 5.1.5.0 (2010/04/01)
    113                USABLE_PROPARTY.put( "useOmitCmnt"      ,"ファイル中のコメントを除外してコピーを行うかどうかを指定(初期値:false)" );           // 5.7.4.0 (2014/03/07)
    114                USABLE_PROPARTY.put( "display",         "trueは、コピー状況を表示します(初期値:false)" );
    115                USABLE_PROPARTY.put( "debug",           "デバッグ情報を標準出力に表示する(true)かしない(false)か" +
    116                                                                                                CR + "(初期値:false:表示しない)" );             // 5.7.3.0 (2014/02/07) デバッグ情報
    117        }
    118
    119        /**
    120         * デフォルトコンストラクター。
    121         * このクラスは、動的作成されます。デフォルトコンストラクターで、
    122         * super クラスに対して、必要な初期化を行っておきます。
    123         *
    124         */
    125        public Process_FileCopy() {
    126                super( "org.opengion.fukurou.process.Process_FileCopy",MUST_PROPARTY,USABLE_PROPARTY );
    127        }
    128
    129        /**
    130         * プロセスの初期化を行います。初めに一度だけ、呼び出されます。
    131         * 初期処理(ファイルオープン、ＤＢオープン等)に使用します。
    132         *
    133         * @og.rev 4.2.2.0 (2008/05/10) changeCrLf 属性対応
    134         * @og.rev 5.1.5.0 (2010/04/01) keepTimeStamp 属性の追加
    135         *
    136         * @param   paramProcess データベースの接続先情報などを持っているオブジェクト
    137         */
    138        public void init( final ParamProcess paramProcess ) {
    139                final Argument arg = getArgument();
    140
    141                inPath                  = arg.getProparty( "inPath"                     );
    142                outPath                 = arg.getProparty( "outPath"            );
    143                inEncode                = arg.getProparty( "inEncode"           ,System.getProperty("file.encoding") );
    144                outEncode               = arg.getProparty( "outEncode"          ,System.getProperty("file.encoding") );
    145                binary                  = arg.getProparty( "binary"                     ,binary );
    146                changeCrLf              = arg.getProparty( "changeCrLf"         ,changeCrLf );          // 4.2.2.0 (2008/05/10)
    147                keepTimeStamp   = arg.getProparty( "keepTimeStamp"      ,keepTimeStamp );       // 5.1.5.0 (2010/04/01)
    148                useOmitCmnt             = arg.getProparty( "useOmitCmnt"        ,useOmitCmnt );         // 5.7.4.0 (2014/03/07)
    149                display                 = arg.getProparty( "display"            ,display );
    150                debug                   = arg.getProparty( "debug"                      ,debug );                       // 5.7.3.0 (2014/02/07) デバッグ情報
    151
    152                // 入力と出力が同じか？
    153                isEquals  = outPath == null || inPath.equalsIgnoreCase( outPath );
    154                inPathLen = inPath.length();
    155
    156                if( binary ) {
    157                        // 4.2.2.0 (2008/05/10) 判定ミスの修正
    158                        if( ! inEncode.equalsIgnoreCase( outEncode ) ) {
    159                                final String errMsg = "バイナリコピー時には、入出力のエンコードは同じ必要があります。" + CR
    160                                                        + " inEncode=[" + inEncode + "] , outEncode=[" + outEncode + "]" ;
    161                                throw new OgRuntimeException( errMsg );
    162                        }
    163                        if( isEquals ) {
    164                                final String errMsg = "入出力が同じファイルのバイナリコピーはできません。" + CR
    165                                                        + " inPath=[" + inPath + "] , outPath=[" + outPath + "]" ;
    166                                throw new OgRuntimeException( errMsg );
    167                        }
    168                        // 5.7.4.0 (2014/03/07) コメント部分を削除する機能は、binary では使えません。
    169                        if( useOmitCmnt ) {
    170                                final String errMsg = "コメント部分を削除する機能(useOmitCmnt=true)は、バイナリコピーでは使えません。" + CR
    171                                                        + " inPath=[" + inPath + "] , outPath=[" + outPath + "]" ;
    172                                throw new OgRuntimeException( errMsg );
    173                        }
    174                }
    175
    176                // 入力と出力が同じ場合は、中間ファイルを作成します。
    177                if( isEquals ) {
    178                        try {
    179                                tempFile = File.createTempFile( "X", ".tmp", new File( outPath ) );
    180                                tempFile.deleteOnExit();
    181                        }
    182                        catch( final IOException ex ) {
    183                                final String errMsg = "中間ファイル作成でエラーが発生しました。" + CR
    184                                                        + " outPath=[" + outPath + "]" ;
    185                                throw new OgRuntimeException( errMsg,ex );
    186                        }
    187                }
    188        }
    189
    190        /**
    191         * プロセスの終了を行います。最後に一度だけ、呼び出されます。
    192         * 終了処理(ファイルクローズ、ＤＢクローズ等)に使用します。
    193         *
    194         * @param   isOK トータルで、OKだったかどうか[true:成功/false:失敗]
    195         */
    196        public void end( final boolean isOK ) {
    197                tempFile  = null;
    198        }
    199
    200        /**
    201         * 引数の LineModel を処理するメソッドです。
    202         * 変換処理後の LineModel を返します。
    203         * 後続処理を行わない場合(データのフィルタリングを行う場合)は、
    204         * null データを返します。つまり、null データは、後続処理を行わない
    205         * フラグの代わりにも使用しています。
    206         * なお、変換処理後の LineModel と、オリジナルの LineModel が、
    207         * 同一か、コピー(クローン)かは、各処理メソッド内で決めています。
    208         * ドキュメントに明記されていない場合は、副作用が問題になる場合は、
    209         * 各処理ごとに自分でコピー(クローン)して下さい。
    210         *
    211         * @og.rev 4.0.0.0 (2007/11/28) メソッドの戻り値をチェックします。
    212         * @og.rev 4.2.2.0 (2008/05/10) changeCrLf 属性対応
    213         * @og.rev 4.2.3.0 (2008/05/26) LineModel が FileLineModel でない場合の処理
    214         * @og.rev 5.1.5.0 (2010/04/01) keepTimeStamp 属性の追加
    215         * @og.rev 5.1.6.0 (2010/05/01) changeCrLf 属性が、.FileUtil#changeCrLfcopy メソッドへの移動に伴う対応
    216         * @og.rev 5.7.2.2 (2014/01/24) エラー時にデータも出力します。
    217         * @og.rev 6.3.1.0 (2015/06/28) nioを使用すると UTF-8とShuft-JISで、エラーになる。
    218         * @og.rev 6.4.0.2 (2015/12/11) CommentLineParser 改造。
    219         * @og.rev 6.4.7.1 (2016/06/17) エンコードエラーの緩和。
    220         *
    221         * @param       data    オリジナルのLineModel
    222         *
    223         * @return      処理変換後のLineModel
    224         */
    225        @Override       // ChainProcess
    226        public LineModel action( final LineModel data ) {
    227                inCount++ ;
    228                final FileLineModel fileData ;
    229                if( data instanceof FileLineModel ) {
    230                        fileData = (FileLineModel)data ;
    231                }
    232                else {
    233                        // LineModel が FileLineModel でない場合、オブジェクトを作成します。
    234                        fileData = new FileLineModel( data );
    235                }
    236
    237                if( debug ) { println( "Before:" + data.dataLine() ); }         // 5.1.2.0 (2010/01/01) display の条件変更
    238
    239                final File inFile = fileData.getFile() ;
    240                if( ! inFile.isFile() ) {
    241                        if( display ) { println( data.dataLine() ); }           // 5.1.2.0 (2010/01/01) display の条件変更
    242                        return data;
    243                }
    244
    245                // ファイル名を作成します。
    246                // ファイル名は、引数ファイル名 から、inPath を引き、outPath を加えます。
    247                final File outFile = new File( outPath, inFile.getAbsolutePath().substring( inPathLen ) );
    248                fileData.setFile( outFile );
    249
    250                // 入出力が異なる場合
    251                if( !isEquals ) {
    252                        tempFile = outFile;
    253                        final File parent = outFile.getParentFile();
    254                        if( parent != null && ! parent.exists() && !parent.mkdirs() ) {
    255                                final String errMsg = "所定のフォルダが作成できませんでした。[" + parent + "]" + CR
    256                                                        + " inCount=[" + inCount + "]件" + CR
    257                                                        + " data=[" + data.dataLine() + "]" + CR ;              // 5.7.2.2 (2014/01/24) エラー時にデータも出力します。
    258                                throw new OgRuntimeException( errMsg );
    259                        }
    260                }
    261
    262                if( binary ) {
    263                        // 5.1.6.0 (2010/05/01) changeCrLfcopy 対応
    264                        if( changeCrLf ) { FileUtil.changeCrLfcopy( inFile,tempFile ); }
    265                        else             { FileUtil.copy( inFile,tempFile,keepTimeStamp ); }
    266                }
    267                else {
    268                        final BufferedReader reader = FileUtil.getBufferedReader( inFile ,inEncode  );
    269                        final PrintWriter    writer = FileUtil.getPrintWriter( tempFile  ,outEncode );
    270
    271                        try {
    272                                String line1;
    273                                if( useOmitCmnt ) {                     // 5.7.4.0 (2014/03/07) コメント部分を削除してコピー
    274                                        // 6.4.0.2 (2015/12/11) CommentLineParser 改造
    275                                        final CommentLineParser clp = new CommentLineParser( FileInfo.getSUFIX( inFile ) );
    276                                        while((line1 = reader.readLine()) != null) {
    277                                                line1 = clp.line( line1 );
    278                                                if( line1 != null ) {
    279                                                        writer.println( line1 );
    280                                                }
    281                                        }
    282                                }
    283                                else {
    284                                        // 従来のコピー。ループ中で、if するのが嫌だったので、分離しました。
    285                                        while((line1 = reader.readLine()) != null) {
    286                                                writer.println( line1 );
    287                                        }
    288                                }
    289                        }
    290                        // 6.3.1.0 (2015/06/28) nioを使用すると UTF-8とShuft-JISで、エラーになる。
    291                        catch( final CharacterCodingException ex ) {
    292                                final String errMsg = "文字のエンコード・エラーが発生しました。" + CR
    293                                                                        +       "  ファイルのエンコードが指定のエンコードと異なります。" + CR
    294                                                                        +       " [" + inFile.getPath() + "] , Encode=[" + inEncode + "]" + CR
    295                                                                        + ex.getMessage();
    296                                // 6.4.7.1 (2016/06/17) エンコードエラーの緩和。
    297                                // throw new OgRuntimeException( errMsg,ex );
    298                                System.err.println( errMsg );
    299                                return null;            // 後続の処理を中断する。
    300                        }
    301                        catch( final IOException ex ) {
    302                                final String errMsg = "ファイルコピー中に例外が発生しました。[" + data.getRowNo() + "]件目" + CR
    303                                                        + " inFile=[" + inFile + "] , tempFile=[" + tempFile + "]" + CR
    304                                                        + " data=[" + data.dataLine() + "]" + CR ;              // 5.7.2.2 (2014/01/24) エラー時にデータも出力します。
    305                                throw new OgRuntimeException( errMsg,ex );
    306                        }
    307                        finally {
    308                                Closer.ioClose( reader ) ;
    309                                Closer.ioClose( writer ) ;
    310                        }
    311                }
    312
    313                if( isEquals ) {
    314                        if( !outFile.delete() ) {
    315                                final String errMsg = "所定のファイルを削除できませんでした。[" + outFile + "]" + CR
    316                                                        + " inCount=[" + inCount + "]件" + CR
    317                                                        + " data=[" + data.dataLine() + "]" + CR ;              // 5.7.2.2 (2014/01/24) エラー時にデータも出力します。
    318                                throw new OgRuntimeException( errMsg );
    319                        }
    320
    321                        if( !tempFile.renameTo( outFile ) ) {
    322                                final String errMsg = "所定のファイルをリネームできませんでした。[" + tempFile + "]" + CR
    323                                                        + " inCount=[" + inCount + "]件" + CR
    324                                                        + " data=[" + data.dataLine() + "]" + CR ;              // 5.7.2.2 (2014/01/24) エラー時にデータも出力します。
    325                                throw new OgRuntimeException( errMsg );
    326                        }
    327                }
    328
    329                // 5.1.5.0 (2010/04/01) keepTimeStamp 属性の追加
    330                // 6.0.0.1 (2014/04/25) These nested if statements could be combined
    331                if( keepTimeStamp && !outFile.setLastModified( inFile.lastModified() ) ) {
    332                        final String errMsg = "lastModified 時間の設定が、できませんでした。[" + outFile + "]" + CR
    333                                                + " inCount=[" + inCount + "]件" + CR
    334                                                + " data=[" + data.dataLine() + "]" + CR ;              // 5.7.2.2 (2014/01/24) エラー時にデータも出力します。
    335                        throw new OgRuntimeException( errMsg );
    336                }
    337
    338                if( display ) { println( data.dataLine() ); }           // 5.1.2.0 (2010/01/01) display の条件変更
    339                return data ;
    340        }
    341
    342        /**
    343         * プロセスの処理結果のレポート表現を返します。
    344         * 処理プログラム名、入力件数、出力件数などの情報です。
    345         * この文字列をそのまま、標準出力に出すことで、結果レポートと出来るような
    346         * 形式で出してください。
    347         *
    348         * @return   処理結果のレポート
    349         */
    350        public String report() {
    351                // 7.2.9.5 (2020/11/28) PMD:Consider simply returning the value vs storing it in local variable 'XXXX'
    352                return "[" + getClass().getName() + "]" + CR
    353//              final String report = "[" + getClass().getName() + "]" + CR
    354                                + TAB + "Copy Count : " + inCount   + CR
    355                                + TAB + "inPath     : " + inPath    + CR
    356                                + TAB + "inEncode   : " + inEncode  + CR
    357                                + TAB + "outPath    : " + outPath   + CR
    358                                + TAB + "outEncode  : " + outEncode + CR
    359                                + TAB + "binary     : " + binary ;
    360
    361//              return report ;
    362        }
    363
    364        /**
    365         * このクラスの使用方法を返します。
    366         *
    367         * @return      このクラスの使用方法
    368         * @og.rtnNotNull
    369         */
    370        public String usage() {
    371                final StringBuilder buf = new StringBuilder( BUFFER_LARGE )
    372                        .append( "Process_FileCopy は、上流から受け取った FileLineModelを処理する、"                     ).append( CR )
    373                        .append( "ChainProcess インターフェースの実装クラスです。"                                                               ).append( CR )
    374                        .append( CR )
    375                        .append( "上流から受け取った FileLineModel の ファイルから、inPath の共通パス"                        ).append( CR )
    376                        .append( "以下のファイルを、outPath の共通パス以下にコピーします。"                                     ).append( CR )
    377                        .append( "コピーの種類は、バイナリか、テキストで、テキストの場合は、エンコード"           ).append( CR )
    378                        .append( "変換も行うことが可能です。"                                                                                                        ).append( CR )
    379                        .append( "inPath と outPath が同じ、または、outPath が未設定の場合は、入力と出力が"     ).append( CR )
    380                        .append( "同じですので、自分自身のエンコード変換処理を行うことになります。"                     ).append( CR )
    381                        .append( CR )
    382                        .append( "コピーされるファイルのファイル名は、入力ファイル名と同一です。保存される"         ).append( CR )
    383                        .append( "フォルダが異なります。(同一にすることも可能です。)"                                                   ).append( CR )
    384                        .append( CR )
    385                        .append( "上流プロセスでは、Name 属性として、『File』を持ち、値は、Fileオブジェクト"  ).append( CR )
    386                        .append( "である、Process_FileSearch を使用するのが、便利です。それ以外のクラスを"                ).append( CR )
    387                        .append( "使用する場合でも、Name属性と、File オブジェクトを持つ LineModel を受け渡し"      ).append( CR )
    388                        .append( "できれば、使用可能です。"                                                                                                         ).append( CR )
    389                        .append( CR )
    390                        .append( "引数文字列中に空白を含む場合は、ダブルコーテーション(\"\") で括って下さい。"    ).append( CR )
    391                        .append( "引数文字列の 『=』の前後には、空白は挟めません。必ず、-key=value の様に"           ).append( CR )
    392                        .append( "繋げてください。"                                                                                                                     ).append( CR )
    393                        .append( CR ).append( CR )
    394                        .append( getArgument().usage() ).append( CR );
    395
    396                return buf.toString();
    397        }
    398
    399        /**
    400         * このクラスは、main メソッドから実行できません。
    401         *
    402         * @param       args    コマンド引数配列
    403         */
    404        public static void main( final String[] args ) {
    405                LogWriter.log( new Process_FileCopy().usage() );
    406        }
    407}