{"id":3434,"date":"2023-10-26T21:11:34","date_gmt":"2023-10-26T19:11:34","guid":{"rendered":"https:\/\/fhumanes.es\/blog\/?page_id=3434"},"modified":"2023-10-26T21:11:34","modified_gmt":"2023-10-26T19:11:34","slug":"guia-73-planificador-de-tareas-batch","status":"publish","type":"page","link":"https:\/\/fhumanes.es\/blog\/guias-desarrollo\/guia-73-planificador-de-tareas-batch\/","title":{"rendered":"Gu\u00eda 73 &#8211; Planificador de Tareas Batch"},"content":{"rendered":"<p><img loading=\"lazy\" decoding=\"async\" class=\"alignleft wp-image-1284\" src=\"https:\/\/fhumanes.es\/blog\/wp-content\/uploads\/2020\/07\/guia1_008.png\" alt=\"\" width=\"150\" height=\"150\" srcset=\"https:\/\/fhumanes.es\/blog\/wp-content\/uploads\/2020\/07\/guia1_008.png 200w, https:\/\/fhumanes.es\/blog\/wp-content\/uploads\/2020\/07\/guia1_008-150x150.png 150w\" sizes=\"auto, (max-width: 150px) 100vw, 150px\" \/>En cuanto tienes una aplicaci\u00f3n con un m\u00ednimo de complejidad, enseguida identificas que necesitas ejecutar tareas en segundo plano o batch, para ejecutar procesos a determinadas horas, por ejemplo, migraci\u00f3n de informaci\u00f3n, backup de tu sistema, etc.<\/p>\n<p>Si dispones de la totalidad de acceso a tu sistema, enseguida te acuerdas de CRON o Crontab, que es el planificador de tareas del sistema operativo.<\/p>\n<p>No siempre tienes total acceso para este tipo de configuraci\u00f3n y adem\u00e1s es complejo. Adem\u00e1s, tienes el problema de que pasar tu aplicaci\u00f3n de una m\u00e1quina a otra, tienes que recordar que hay acciones fuera de tu aplicativo, por lo que es una posible fuente de problemas.<\/p>\n<p>He dise\u00f1ado un sistema que permite integrarse 100% con PHPrunner y que elimina el problema de migraci\u00f3n de configuraci\u00f3n, y facilita la definici\u00f3n y gesti\u00f3n de estas tareas Batch.<\/p>\n<h4>Objetivo<\/h4>\n<p>Disponer de un sistema, similar en funcionalidad al Crontab y totalmente integrado con PHPRunner.<\/p>\n<p>Este sistema debe permitir:<\/p>\n<ul>\n<li>Definir las tareas en formularios hechos en PHPRunner, en donde se especifique:\n<ul>\n<li>Fecha inicial de ejecuci\u00f3n de la Tarea.<\/li>\n<li>Fecha final de ejecuci\u00f3n de la Tarea.<\/li>\n<li>Intervalo de ejecuci\u00f3n, definido en meses, d\u00edas, horas y minutos.<\/li>\n<li>Comando de ejecuci\u00f3n con path variable dependiendo de la ubicaci\u00f3n del aplicativo.<\/li>\n<li>Registro por cada ejecuci\u00f3n que indique: hora de inicio, hora de final y resultado de la ejecuci\u00f3n.<\/li>\n<li>Definici\u00f3n de tiempo m\u00e1ximo de ejecuci\u00f3n y si se supera, cancelaci\u00f3n del proceso.<\/li>\n<\/ul>\n<\/li>\n<li>Ejecuci\u00f3n \u00fanica en el sistema de una tarea Batch (para no sobrecargar el sistema).<\/li>\n<li>En las tareas Batch, posibilidad de trazas, para depuraci\u00f3n y control, integrada con la aplicaci\u00f3n de PHPRunner.<\/li>\n<li>Normalizaci\u00f3n de las tareas Batch, para utilizar la conexi\u00f3n de base de datos del aplicativo de PHPRunner (facilidad en la migraci\u00f3n entre sistemas).<\/li>\n<\/ul>\n<p><strong>DEMO:<\/strong>\u00a0 <a href=\"https:\/\/fhumanes.com\/scheduler\/\" target=\"_blank\" rel=\"noopener\">https:\/\/fhumanes.com\/scheduler\/<\/a><br \/>\n(Esta versi\u00f3n est\u00e1 limitada para impedir mal uso de los ejemplos)<\/p>\n<p><a href=\"https:\/\/fhumanes.es\/blog\/wp-content\/uploads\/2023\/10\/scheduler_001.png\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter wp-image-3438\" src=\"https:\/\/fhumanes.es\/blog\/wp-content\/uploads\/2023\/10\/scheduler_001-300x183.png\" alt=\"\" width=\"800\" height=\"489\" srcset=\"https:\/\/fhumanes.es\/blog\/wp-content\/uploads\/2023\/10\/scheduler_001-300x183.png 300w, https:\/\/fhumanes.es\/blog\/wp-content\/uploads\/2023\/10\/scheduler_001-1024x626.png 1024w, https:\/\/fhumanes.es\/blog\/wp-content\/uploads\/2023\/10\/scheduler_001-768x470.png 768w, https:\/\/fhumanes.es\/blog\/wp-content\/uploads\/2023\/10\/scheduler_001.png 1181w\" sizes=\"auto, (max-width: 800px) 100vw, 800px\" \/><\/a>Informaci\u00f3n que tratamos para cada tarea. No se ejecuta cuando est\u00e1 marcada el campo de \u00abStatus finished\u00bb o le campo \u00abDate Next Execution\u00bb es inferior a la fecha actual.<\/p>\n<p>Tambi\u00e9n, en la definici\u00f3n del comando a ejecutar hay estas sustituciones:<\/p>\n<p><strong>{DIR}<\/strong> .- Se sustituye por el path donde se este ejecutando el aplicativo<br \/>\n<strong>{ID_TASK}<\/strong> .- Se sustituye por el ID del registro de log de ejecuci\u00f3n.<\/p>\n<h4>Soluci\u00f3n t\u00e9cnica<\/h4>\n<p>En el ejemplo se han utilizado funcionalidades descritas en los art\u00edculos:<\/p>\n<p>1\/ \u00a0<a href=\"https:\/\/fhumanes.es\/blog\/guias-desarrollo\/guia-34-metodo-basico-para-depuracion-codigo\/\" target=\"_blank\" rel=\"noopener\">M\u00e9todo sencillo para depurar programas<\/a>.<br \/>\n2\/\u00a0 <a href=\"https:\/\/fhumanes.es\/blog\/guias-desarrollo\/guia-47-control-de-un-unico-proceso-en-ejecucion\/\" target=\"_blank\" rel=\"noopener\">M\u00e9todo de ejecuci\u00f3n \u00fanica de c\u00f3digo<\/a>.<\/p>\n<p>En el caso de 1\/ es para poder producir trazas tanto en nuestro aplicativo como en los procesos Batch que se ejecuten. En el caso 2\/ es para que s\u00f3lo se ejecute un Batch en un momento. Esto es para no recargar al servidor y asegurarnos que en el momento de an\u00e1lisis y tratamiento de los procesos Batch no haya concurrencia de acceso a esa informaci\u00f3n.<\/p>\n<p>El sistema es muy simple, hay una tabla donde se registra todas las tareas Batch y sus datos de fechas y frecuencia y una tabla dependiente de esta que informa de las veces que se ha ejecutado y el resultado de la ejecuci\u00f3n.<\/p>\n<p>En el ejemplo, se ha incluido el control de los procesos batch en el evento \u00abAfter application initialized\u00bb<\/p>\n<pre class=\"EnlighterJSRAW\" data-enlighter-language=\"generic\">\/\/ To debug PHP code on the server\r\nfunction custom_error($number,$text){ \/\/ Function to produce the error file\r\nglobal $debugCode;\r\nif ($debugCode == true ) {\r\n    $ddf = fopen(__DIR__ .'\/..\/error.log','a');\r\n    fwrite($ddf,\"[\".date(\"r\").\"] Error $number: $text\\r\\n\");\r\n    fclose($ddf);\r\n  }\r\n}\r\n$debugCode = true;  \/\/ Change to \"false\" to eliminate traces\r\n\/\/ custom_error(1,\"URL ejecutada: \".$_SERVER[\"REQUEST_URI\"]); \/\/ To debug\r\n\r\nrequire_once(__DIR__.\"\/..\/scheduler_job_batch.php\"); \/\/ Scheduler Jobs Task Batch<\/pre>\n<p>Un m\u00e9todo alternativo y mejor es ejecutar este fichero \u00abscheduler_job_batch.php\u00bb, desde el CRONTAB cada 1 minuto. En el caso de que esto no sea posible, tal y como est\u00e1 en el ejemplo funciona, porque siempre que haya una petici\u00f3n va a verificar si existe un Job Batch pendiente de ejecutar.<\/p>\n<p>El fichero \u00abscheduler_job_batch.php\u00bb, tiene este c\u00f3digo:<\/p>\n<pre class=\"EnlighterJSRAW\" data-enlighter-language=\"generic\">&lt;?php\r\n@ini_set(\"display_errors\",\"1\");\r\n@ini_set(\"display_startup_errors\",\"1\");\r\nrequire_once(\"include\/dbcommon.php\");\r\n\r\n\/\/ To ensure that only one process is validating if you have to run a batch\r\nfunction single_execution( $semaphore, $process ) {\r\n    $dir_path_base = __DIR__; \r\n    $path_semaphore = __DIR__.\"\/semaphores\/\".$semaphore.\".lock\";\r\n    $fp = fopen($path_semaphore, \"r+\");\r\n    if ($fp == false ) { \/\/ file not found\r\n        return array(false ,\"The semaphore file does not exist!\");\r\n    }    \r\n    if (!flock($fp, LOCK_EX|LOCK_NB, $blocked)) {\r\n        if ($blocked) {    \r\n            \/\/ another process holds the lock\r\n            return array(false, \"Couldn't get the lock! Other script in run!\");     \r\n        }\r\n        else {\r\n            \/\/ couldn't lock for another reason, e.g. no such file\r\n            return array(false , \"Error! Nothing done.\");\r\n        }\r\n    }\r\n    else {\r\n        \/\/ lock obtained\r\n        ftruncate($fp, 0);  \/\/ truncate file        \r\n        \/\/ execute Process\r\n        include ($process);    \r\n        fflush($fp);            \/\/ flush output before releasing the lock\r\n        flock($fp, LOCK_UN);    \/\/ release the lock        \r\n        return array(true, \"Process executed correctly\");    \r\n    }\r\n}\r\n\r\n$status_arr = single_execution( 'scheduler', 'My_Code\/scheduler_process.php'); \/\/ Execute Process Scheduler single\r\n\r\ncustom_error(20,\"Control Scheduler: \".$status_arr[1]); \/\/ To debug<\/pre>\n<p>En este c\u00f3digo se utiliza la funci\u00f3n de ejecuci\u00f3n \u00fanica (s\u00f3lo un proceso Batch en funcionamiento). Mientras ocurre esto, las peticiones no esperan, seguir\u00e1n funcionando sin problema.<\/p>\n<p>El proceso de control de las Tareas Batch se hace en este fichero \u00abMyCode\/scheduler_process.php\u00bb:<\/p>\n<pre class=\"EnlighterJSRAW\" data-enlighter-language=\"generic\">&lt;?php\r\n\/*execute program and write all output to $out\r\nterminate program if it runs more than XXX seconds *\/\r\nfunction execute($cmd, $stdin=null, &amp;$stdout, &amp;$stderr, $timeout=false)\r\n{\r\n    $pipes = array();\r\n    $process = proc_open(\r\n        $cmd,\r\n        array(array('pipe','r'),array('pipe','w'),array('pipe','w')),\r\n        $pipes\r\n    );\r\n    $start = time();\r\n    $stdout = '';\r\n    $stderr = '';\r\n\r\n    if(is_resource($process))\r\n    {\r\n        stream_set_blocking($pipes[0], 0);\r\n        stream_set_blocking($pipes[1], 0);\r\n        stream_set_blocking($pipes[2], 0);\r\n        fwrite($pipes[0], $stdin);\r\n        fclose($pipes[0]);\r\n    }\r\n\r\n    while(is_resource($process))\r\n    {\r\n        \/\/echo \".\";\r\n        $stdout .= stream_get_contents($pipes[1]);\r\n        $stderr .= stream_get_contents($pipes[2]);\r\n\r\n        if($timeout !== false &amp;&amp; time() - $start &gt; $timeout)\r\n        {\r\n            proc_terminate($process, 9);\r\n            return 1;\r\n        }\r\n\r\n        $status = proc_get_status($process);\r\n        if(!$status['running'])\r\n        {\r\n            fclose($pipes[1]);\r\n            fclose($pipes[2]);\r\n            proc_close($process);\r\n            return $status['exitcode'];\r\n        }\r\n\r\n        usleep(1000000);\r\n    }\r\n\r\n    return 1;\r\n}\r\n\/\/ Main code\r\n$rs = DB::Query(\r\n\"SELECT id_task, title, date_init, date_next, date_end, status, \r\nincrement_minutes, increment_hours, increment_days, increment_months, \r\ncommand, max_time_minutes\r\nFROM scheduler_task where status = 0 and date_next &lt;= now()\"\r\n);\r\nwhile( $data = $rs-&gt;fetchAssoc() )\r\n{\r\ncustom_error(10,\"Id Task scheduler: \".$data['id_task']); \/\/ To debug\r\n\r\n\/\/ Insert record of Execution\r\n$data2 = array();\r\n$data2[\"date_init\"] = now();\r\n$data2[\"scheduler_task_id\"] = $data['id_task'];\r\nDB::Insert(\"scheduler_task_execution\", $data2 );\r\n\/\/ get the ID of the inserted record \r\n$scheduler_task_execution = DB::LastId();\r\n\r\n\/\/ Plan next execution\r\n$data3 = array();\r\n$keyvalues3 = array();\r\n\r\n\/\/ $time = new DateTime($data['date_next']);\r\n$time = new DateTime();\r\n\/\/ $interval = new DateInterval('P2Y4DT6H8M');\r\n$time-&gt;add(new DateInterval('P'.\r\n        $data['increment_months'].'M'.\r\n        $data['increment_days'].'D'.\r\n        'T'.\r\n        $data['increment_hours'].'H'.\r\n        $data['increment_minutes'].'M'));\r\n$stamp = $time-&gt;format('Y-m-d H:i');\r\n\r\n$data3['date_next'] = $stamp;\r\nif ( $data['date_end'] &lt; $stamp ) { \/\/ Ha traspasado fecha de fin\r\n  $data3['status'] = 1;\r\n}\r\n$keyvalues3['id_task'] = $data['id_task'];\r\nDB::Update(\"scheduler_task\", $data3, $keyvalues3 );\r\n\r\n\r\n\/\/ Launch independent process\r\n\/\/  $dir_path_base = __DIR__;  \/\/ In process father\r\n$command = str_replace(\"{DIR}\", $dir_path_base, $data['command']);\r\n$command = str_replace(\"{ID_TASK}\", $scheduler_task_execution, $command);\r\n\r\ncustom_error(11,\"Execute Command: \".$command ); \/\/ To debug\r\n\r\n$max_time = $data['max_time_minutes']*60;\r\nexecute($command, null, $out, $err, $max_time);\r\n\r\n\/\/ $result = shell_exec($command);\r\n\/\/ $result = exec($command);\r\n\r\ncustom_error(12,\"Execute Command -Result: \".$out ); \/\/ To debug\r\ncustom_error(13,\"Execute Command -Error: \".$err ); \/\/ To debug\r\n\r\n\/*\r\n\/\/ Update \"Execution\"\r\n$data2 = array();\r\n$keyvalues2 = array();\r\n$data2[\"date_end\"] = now();\r\n$data2[\"result\"]  = $result;\r\n$keyvalues2[\"id_task_execution\"] = $scheduler_task_execution;\r\nDB::Update(\"scheduler_task_execution\", $data2, $keyvalues2 );\r\n*\/\r\n}<\/pre>\n<p>Tiene una funci\u00f3n especial para la ejecuci\u00f3n de los procesos Batch \u00abexecute\u00bb, que adem\u00e1s controla las salidas \u00abstroutput\u00bb y \u00abstrerror\u00bb, adem\u00e1s de controlar el tiempo m\u00e1ximo de ejecuci\u00f3n que hayamos especificado a la tarea Batch.<\/p>\n<p>El ejemplo de la tarea Batch es simple, pero muestra las caracter\u00edsticas de este tipo de c\u00f3digo:<\/p>\n<pre class=\"EnlighterJSRAW\" data-enlighter-language=\"generic\">&lt;?php\r\n@ini_set(\"display_errors\",\"1\");\r\n@ini_set(\"display_startup_errors\",\"1\");\r\nrequire_once(__DIR__.\"\/..\/..\/include\/dbcommon.php\");\r\ncustom_error(50,\"Job Bacht Test1 in execution\"); \/\/ To debug\r\n\r\n\/\/ GET Parameter line Command\r\n$param = getopt(null, [\"id_task:\"]);\r\ncustom_error(52,\"Job Bacht Param: \".$param['id_task']); \/\/ To debug\r\n\r\n\/\/ time initial\r\n$time_initial = date('h:i:s');\r\n\/\/ sleep 5 segundos\r\nsleep(5);\r\n\/\/ Time final\r\n$time_final = date('h:i:s');\r\n\r\ncustom_error(51,\"Time Initial: \".$time_initial.\" Time End :\".$time_final); \/\/ To debug\r\n\r\necho \"ok\";\r\n\r\n\r\n\/\/ Update \"Execution\"\r\n$data2 = array();\r\n$keyvalues2 = array();\r\n$data2[\"date_end\"] = now();\r\n$data2[\"result\"]  = 'ok';\r\n$keyvalues2[\"id_task_execution\"] = $param['id_task'];\r\nDB::Update(\"scheduler_task_execution\", $data2, $keyvalues2 );\r\n\r\ncustom_error(60,\"End Job test1.php\"); \/\/ To debug\r\n<\/pre>\n<p>Siempre se le pasa el par\u00e1metro \u00abid_task\u00bb, que es el ID del registro de LOG de ejecuci\u00f3n, para que cierre\/informe del resultado del proceso.<\/p>\n<p>Podemos ver que recoge el entorno de ejecuci\u00f3n PHPRunner, conexi\u00f3n y sintaxis de acceso a la base de datos y tambi\u00e9n se puede ejecutar el sistema de trazas definido y activado o no, en el evento \u00abAfter application initialized\u00bb.<\/p>\n<p>Yo he disfrutado mucho haciendo este c\u00f3digo y prob\u00e1ndolo. Espero que a vosotros tambi\u00e9n os guste.<\/p>\n<p>Para cualquier duda o lo que necesit\u00e9is, contactar conmigo a trav\u00e9s de mi email <a href=\"mailto:fernandohumanes@gmail.com\">fernandohumanes@gmail.com<\/a><\/p>\n<p>Os facilito los fuentes para que lo pod\u00e1is instalar en vuestros PC&#8217;s, y pod\u00e1is hacer los ajustes que necesit\u00e9is.<\/p>\n<p>&nbsp;<\/p>\n<p>&nbsp;<\/p>\n","protected":false},"excerpt":{"rendered":"<p>En cuanto tienes una aplicaci\u00f3n con un m\u00ednimo de complejidad, enseguida identificas que necesitas ejecutar tareas en segundo plano o batch, para ejecutar procesos a determinadas horas, por ejemplo, migraci\u00f3n de informaci\u00f3n, backup de tu sistema, etc. Si dispones de la totalidad de acceso a tu sistema, enseguida te acuerdas de CRON o Crontab, que &hellip; <a href=\"https:\/\/fhumanes.es\/blog\/guias-desarrollo\/guia-73-planificador-de-tareas-batch\/\" class=\"more-link\">Seguir leyendo <span class=\"screen-reader-text\">Gu\u00eda 73 &#8211; Planificador de Tareas Batch<\/span> <span class=\"meta-nav\">&rarr;<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":0,"parent":1254,"menu_order":150,"comment_status":"closed","ping_status":"closed","template":"","meta":{"footnotes":""},"class_list":["post-3434","page","type-page","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/fhumanes.es\/blog\/wp-json\/wp\/v2\/pages\/3434","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/fhumanes.es\/blog\/wp-json\/wp\/v2\/pages"}],"about":[{"href":"https:\/\/fhumanes.es\/blog\/wp-json\/wp\/v2\/types\/page"}],"author":[{"embeddable":true,"href":"https:\/\/fhumanes.es\/blog\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/fhumanes.es\/blog\/wp-json\/wp\/v2\/comments?post=3434"}],"version-history":[{"count":5,"href":"https:\/\/fhumanes.es\/blog\/wp-json\/wp\/v2\/pages\/3434\/revisions"}],"predecessor-version":[{"id":3442,"href":"https:\/\/fhumanes.es\/blog\/wp-json\/wp\/v2\/pages\/3434\/revisions\/3442"}],"up":[{"embeddable":true,"href":"https:\/\/fhumanes.es\/blog\/wp-json\/wp\/v2\/pages\/1254"}],"wp:attachment":[{"href":"https:\/\/fhumanes.es\/blog\/wp-json\/wp\/v2\/media?parent=3434"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}