miércoles, 29 de agosto de 2012

Mi primer certificación LPIC

Hace unos días, la llegada de un paquete a mi casa me puso en gran medida emocionado, no me había buscado el espacio para compartirlo con el mundo, sin embargo, ahora les comento que me llego la certificación LPIC-1.

Después de aprobar los exámenes 101 y 102, espere un poco mas de seis semanas para recibir mi documento. Ustedes pueden leer mis comentarios preliminares para el proceso que seguí [ aquí ]. Los exámenes no son para nada fáciles, hay que estudiar mucho, son precisos (parámetros exactos, rutas absolutas, archivos de configuración, comandos, etc). Pero..., ¿Que fue lo que me llego?:


  • Certificación.
  • Tarjeta de Certificación (algo así como una cédula profesional en México).
  • Una revista Linux Magazine.
  • Certificacion adicional: Novell Certified Linux Administrator, la cual requiere un registro y esperar un tiempo adicional.

jueves, 19 de julio de 2012

Otrs stat from last week, last month, last everyday


Hace unos días había tenido la necesidad de automatizar el envió de reportes en OTRS (3.1.2), lo que buscábamos era enviar el reporte de las actividades realizadas en los últimos N días, por ejemplo enviar automáticamente cada domingo por la noche un reporte semanal de los tickets creados en la semana actual.

El problema: Las estadísticas con objetos dinámicos no permiten especificar un parámetro como "LastWeek", solo permite dos opciones
  • Definir un rango de fechas estéticamente.
  • Dejar a elección del usuario escoger la fecha en la interface web.

¿Que pasa con el script de generación de estadísticas?
El script otrs.GenerateStats.pl recibe algunos parámetros como el ID de la estadística, el directorio destino donde colocara el archivo, el formato en que entregara la estadística (csv, pdf). Incluso una opción "-p" que recibe valores para Format, GraphSize, StatID  y ExchangeAxis. Debo mencionar que esta parte tiene una documentación muy pobre.

Como la idea es automatizar el proceso, tenemos que pensar en cron job, pero cron implica otrs.GenerateStats.pl, y este ultimo no tiene el soporte que ocupamos, esperando que esta descripción sea clara ¿quien podrá ayudarnos?

La solución:  Construcción de un script traductor.

En la base de datos de OTRS, las estadísticas se almacenan en "xml_storage", cada generación de estadísticas consultara las fechas primeramente en un cache y luego en la tabla

select * from xml_storage where xml_key=29



xml_typexml_keyxml_content_keyxml_content_value
Stats29[0]{'otrs_stats'}[1]{'UseAsRestriction'}[1]{'TimeStop'} 2012-07-18 23:59:59
Stats29[0]{'otrs_stats'}[1]{'UseAsRestriction'}[1]{'TimeStart'} 2012-07-11 00:00:00


Es recomendable crear un usuario en mysql con acceso de select/update a nuestra tabla y nada mas, este para ser usado en nuestro script. Con esta información preliminar les presento el script resultante:
#!/bin/bash

################################################
# Martin Edmundo, [ Julio 2012 ]
# @martinedmundo
# www.elrincondemartin.org
# Funcion: Script de generacion de estadisticas
#          basado en los ultimos dias.
# Release: OTRS 3.1.2
################################################

#Definicion de variables usadas
OTRS_DIR=/opt/otrs
OTRS_BIN=$OTRS_DIR/bin
BODYMAIL=/usr/local/sbin/bodymail.txt

DBUSER='otrsstat'
DBPASSWD='xxxxxx'
DBNAME='otrs'
DBTABLE='xml_storage'

STATNUM='';
TARGETDIR=$HOME;
DAYSNUM='7';
FILENAME='';

FILENAMESTAT='';
PREFIXFILENAMESTAT='Estad';
datestart=''
datestop=''

function phelp {
        echo -e "Usage: $0 -n  -o  -d  | -h"
        echo -e "  -n Numero de estadistica."
        echo -e "  -o Directorio destino de la estadistica. [ Predeterminado: $HOME ]"
        echo -e "  -d Rango de fechas de los utimos dias hasta hoy. [ Predeterminado: 7 ]"
        echo -e "  -h Ayuda, este mensaje.\n"
}

function chdb {
        #Se define el rango de fechas para los ultimos DAYSNUM dias
        datestart=`date --date="-$DAYSNUM day" +"%F "`00:00:00;
        datestop=`date +"%F %H:%M:%S"`;

        #Limpiamos cache de estadisticas
        rm $OTRS_DIR/var/tmp/CacheFileStorable/XML/* 2> /dev/null

        #Actualizamos fechas de estadisticas
        mysql -u $DBUSER -p$DBPASSWD --database=$DBNAME --execute="UPDATE $DBTABLE SET xml_content_value='$datestart' WHERE xml_key=$STATNUM and xml_content_key LIKE '%TimeStart%'"
        mysql -u $DBUSER -p$DBPASSWD --database=$DBNAME --execute="UPDATE $DBTABLE SET xml_content_value='$datestop' WHERE xml_key=$STATNUM and xml_content_key LIKE '%TimeStop%'"
}

function sendmail_ {
        #Nos vamos al diretorio de los reportes
        cd $TARGETDIR

        #Se revisa los destinatarios de correo
        for mail in `cat $FILENAME`; do
                isComment=`echo "$mail" | cut -d "#" -f1`

                #Si no es un comentario, analizamos
                if [ -n "$isComment" ]; then
                        #Se requiere mejorar la expresion regular para correo
                        isMail=`echo "$mail" | grep ".*@.*"`

                        #Enviamos correo electronico
                        if [ "$?" = "0" ]; then
                                ( echo -e "Reporte de actividades correspondientes al siguiente periodo: \n
[ $datestart a $datestop ]"; uuencode $FILENAMESTAT Reporte_$STATNUM.pdf  ) | mail -s "Servicios update" $mail
                        else
                                echo "Formato de correo desconocido: $mail"
                        fi
                fi
        done
}

while getopts n:o:d:f:h OPT
do
        case $OPT in
                n) STATNUM="$OPTARG" ;;
                o) TARGETDIR="$OPTARG" ;;
                d) DAYSNUM="$OPTARG" ;;
                f) FILENAME="$OPTARG" ;;
                h)
                        phelp
                        exit 0
                ;;
                ?)
                        phelp
                        exit 1
                ;;
                esac
done

if [ -z "$STATNUM" ]; then
        echo "*** Ocurrio un error o hace falta el parametro -n"
        phelp
        exit 1;
fi

#Se actualiza la base de datos
chdb

#Se genera el reporte
rm $TARGETDIR/*.pdf 2> /dev/null
FILENAMESTAT=`$OTRS_BIN/otrs.GenerateStats.pl -n $STATNUM -o $TARGETDIR -f Print 2> /dev/null | grep -o "$PREFIXFILENAMESTAT.*pdf"`

#¿Quiere que se envie por correo?
if [ -n "$FILENAME" ]; then
        if [ -f $FILENAME ]; then
                sendmail_
        else
                echo "No existe el archivo $FILENAME"
                exit 1;
        fi
fi

exit 0;

Como lo usamos:
martinbarriga@monitoreo:/usr/local/sbin$ ./otrs.GenerateStats.sh -h
Usage: ./otrs.GenerateStats.sh -n  -o  -d  | -h
 -n Numero de estadística.
 -o Directorio destino de la estadistica. [ Predeterminado: /home/user ]
 -d Rango de fechas de los utimos dias hasta hoy. [ Predeterminado: 7 ]
 -h Ayuda, este mensaje.

lunes, 2 de julio de 2012

Resultados Elecciones 2012

Como parte de mi compromiso social con mi patria el pasado 1 de Julio fui a votar y el día 2 de Julio a verificar los resultados con los registrados por el PREP. Esto ultimo por que encontré algunas imágenes compartidas en las redes sociales donde se pone en evidencias supuestas anomalías en el proceso de contabilización.

Basado en esta información me decidí a tomar una muy pequeña muestra de mis distritos vecinos para validar la veracidad de los números mostrados en el PREP. No encontré ningún error, en mi pequeña muestra, les paso las imágenes para que uds. mismos las verifiquen en [ aqui ] y corresponden al estado de Michoacan:

Sección: 1148, Casilla contigua


Sección: 1150, Casilla básica



Sección: 1151, Casilla básica y contigua



Sección: 1152, Casilla básica y contigua



Sección: 1153, Casilla básica y contigua



Sección: 1154, Casilla básica


También revise la sección 1149 pero ya se habían robado los resultados, incluso de la 1148 tampoco estaba los resultados de la casilla básica, mi revisión la realice en la mañana.  Debo agregar que me interese por hacer esta tarea debido a las fotos que circulan en las redes sociales y las cuales no coinciden con los datos del PREP donde en el mejor de los casos se trata de errores de captura (para no pensar que existe malas intenciones en afectar un resultado en favor de algún candidato):

DISTRITO FEDERAL
Distrito 25 - IZTAPALAPA
Sección 2937


DISTRITO FEDERAL
Distrito 04 - IZTAPALAPA
Sección 2641
Nota: compartida por @joseluigarcia


NUEVO LEÓN
Distrito 07 - MONTERREY
Sección 1076


OAXACA
Distrito 11 - SANTIAGO PINOTEPA NACIONAL
Sección 2062
NOTA: Esta ya se ha corregido en PREP.


SAN LUIS POTOSÍ
Distrito 02 - SOLEDAD DE GRACIANO SANCHEZ
Sección 1257

TABASCO
Distrito 06 - CENTRO
Sección 0389
Nota: Se corrige el valor anterior de 11, pero ahora actualizan con 112

Si alguien tiene información de errores en la captura del PREP, por favor compartan.



sábado, 30 de junio de 2012

RRDTool Primeros pasos - Parte 1


Este sera la primera de dos entradas en mi blog donde hablare un poco RRDtool, una herramienta que apenas estoy conociendo, pero que me resulta mucho muy divertida. Hoy en día varios proyectos de software lo usan como centreon, mrtg, ipcop, cacti, etc.

En lo poco que he explorado a RRDtool puedo comentarles que me ha ayudado a graficar valores en 2D sobre una linea de tiempo, haciendo uso de archivos con una estructura muy parecida a una base de datos donde almacena muchos parámetros y valores.

Graficando.

Nuestro objetivo en esta entrada va a ser graficar los tiempos de respuesta ICMP hacia un servidor en Internet. Para comenzar a graficar se requiere el conjunto de RRDtool, esto lo hacemos en Debian instalando el siguiente paquete:
sudo apt-get install rrdtool

La información de las graficas se almacenan en archivos con el postfijo "rrd", el primer paso es definir y crear estos archivos. Lo que hace divertido graficar es que nuestras graficas únicamente estan limitadas por nuestra imaginación y dominio de gnu shell. Vamos entonces a definir nuestro archivo rrd para la latencia hacia un servidor de google:
user@localhost:~/rrd$ rrdtool create latency.rrd --step 60 DS:latency:GAUGE:300:0:100000000 RRA:AVERAGE:0.5:1:259200 RRA:AVERAGE:0.5:12:100946

El parámetro step, nos indica que tendremos representaciones lineales individuales cada 60 segundos, el DS:latency indica que nuestro DasaSource se llama "latency", el GAUGE indica que usaremos este Datasource para medir los valores que le pasaremos en el futuro. Después de esta definición, se crea el archivo "latency.rrd" y podemos ver la información de sus parámetros con:
user@localhost:~/rrd$ rrdtool info latency.rrd
filename = "latency.rrd"
rrd_version = "0003"
step = 60
last_update = 1341035342
header_size = 740
ds[latency].index = 0
ds[latency].type = "GAUGE"
ds[latency].minimal_heartbeat = 300
ds[latency].min = 0.0000000000e+00
ds[latency].max = 1.0000000000e+08
ds[latency].last_ds = "143"
ds[latency].value = 2.9254425200e+02
ds[latency].unknown_sec = 0
rra[0].cf = "AVERAGE"
rra[0].rows = 259200
rra[0].cur_row = 103763
rra[0].pdp_per_row = 1
rra[0].xff = 5.0000000000e-01
rra[0].cdp_prep[0].value = NaN
rra[0].cdp_prep[0].unknown_datapoints = 0
rra[1].cf = "AVERAGE"
rra[1].rows = 100946
rra[1].cur_row = 74902
rra[1].pdp_per_row = 12
rra[1].xff = 5.0000000000e-01
rra[1].cdp_prep[0].value = 1.4305392777e+02
rra[1].cdp_prep[0].unknown_datapoints = 0

Una vez que tenemos nuestra base de datos RRD, nos queda estar actualizandolo para estar alimentandolo de información. En la secuencia siguiente primeramente vemos como conseguir el tiempo de respuesta usando la salida del comando ping, después indicamos como se alimenta el archivo con un valor contante y finalmente indicamos como lo actualizamos con el tiempo de respuesta, el cual tiene que estar cambiando en canda instante del tiempo.
user@localhost:~/rrd$ ping -c 1 8.8.8.8 | grep -o time=[0-9]* | cut -d "=" -f2
145
user@localhost:~/rrd$ rrdtool update ~/rrd/latency.rrd N:100
user@localhost:~/rrd$ rrdtool update ~/rrd/latency.rrd N:`ping -c 1 8.8.8.8 | grep -o time=[0-9]* | cut -d "=" -f2`

Siendo mas prácticos podemos colocar esta ultima linea en nuestro cron par que se actualice cada minuto.
*/1 * * * * /usr/bin/rrdtool update ~/rrd/latency.rrd N:`ping -c 1 8.8.8.8 | egrep -o time=[0-9]* | cut -d "=" -f2`

Hasta aquí vamos a estar actualizando el archivo cada minuto. Lo ultimo que nos queda es conseguir graficas de estos datos que estamos pasando. Las graficas las podemos hacer basandonos en un periodo de tiempo, por ejemplo si quisieramos las ultimas 3 horas y colocarlo en el archivo latency.png:
user@localhost:~/rrd$ rrdtool graph latency.png --title="Latencia" --vertical-label "Time (ms)" --end now --start end-10800s DEF:time=latency.rrd:latency:AVERAGE  LINE1:time#ff0000:Tiempo
497x173
user@localhost:~/rrd$



Puede ser que solo queremos ver la ultima hora, podemos graficarlo así:
user@localhost:~/rrd$ rrdtool graph latency.png --title="Latencia" --vertical-label "Time (ms)" --end now --start end-3600s DEF:time=latency.rrd:latency:AVERAGE  LINE1:time#ff0000:Tiempo
497x173
user@localhost:~/rrd$



Finalmente podemos ver que es posible graficar muchas cosas con la ayuda de varios comandos. En la próxima entrada les mostrare como estoy graficando algunos de los recursos de mi notebook y graficas con un poco de mejor diseño.