Procesamiento de Datos
Procesamiento de datos realizado en tecnologías open source, para el caso de uso de procesar la data existente originalmente en un Excel exportado a un archivo csv, se generan dos imágenes Docker dispuestas en DockerHub que contiene encapsulada, la lógica en Python, para procesar la información y para transformar esa data procesada y leída, en querys insert into para persistir la información en una base de datos dockerizada en PostgreSQL, el cliente tiene, producto de esta implementación, la facilidad de usar Filezilla u otro software para conectarse por SSH a un espacio o servidor seguro, en el cual depositar el archivo especificado para tal proceso. Todo el flujo de datos es gestionado con Argo Workflows en un yaml que paso a paso, realiza el proceso completo.
SOBRE LAS TECNOLOGÍAS USADAS EN Procesamiento de datos
docker
Lorem Ip
DOCKER ES UN PROYECTO DE CÓDIGO ABIERTO QUE AUTOMATIZA EL DESPLIEGUE DE APLICACIONES DENTRO DE CONTENEDORES DE SOFTWARE, PROPORCIONANDO UNA CAPA ADICIONAL DE ABSTRACCIÓN Y AUTOMATIZACIÓN DE VIRTUALIZACIÓN DE APLICACIONES EN MÚLTIPLES SISTEMAS OPERATIVOS.1DOCKER UTILIZA CARACTERÍSTICAS DE AISLAMIENTO DE RECURSOS DEL KERNEL LINUX, TALES COMO CGROUPS Y ESPACIOS DE NOMBRES (NAMESPACES) PARA PERMITIR QUE «CONTENEDORES» INDEPENDIENTES SE EJECUTEN DENTRO DE UNA SOLA INSTANCIA DE LINUX, EVITANDO LA SOBRECARGA DE INICIAR Y MANTENER MÁQUINAS VIRTUALES.
minikube
Minikube es una herramienta opensource que mediante la creación de una máquina virtual (en sistemas Linux puede funcionar sin crear esta virtualización) permite disponer de un entorno sencillo de Kubernetes con la mayor parte de sus funcionalidades. Minikube es una distribución reducida de Kubernetes que permite alcanzar el máximo rendimiento funcional de esta herramienta con el mínimo esfuerzo. Esto no solo es interesante para quienes se están iniciando en el uso de contenedores, sino también, y sobre todo, en el mundo del edge computing y el del Internet de las cosas.
kubernetes
Kubernetes (en inglés llamado habitualmente «K8s») es una plataforma de sistema distribuido de código libre para la automatización del despliegue, ajuste de escala y manejo de aplicaciones en contenedores1 que fue originalmente diseñado por Google y donado a la Cloud Native Computing Foundation (parte de la Linux Foundation). Soporta diferentes entornos para la ejecución de contenedores, incluido Docker. Kubernetes define un conjunto de bloques de construcción (primitivas) que conjuntamente proveen los mecanismos para el despliegue, mantenimiento y escalado de aplicaciones. Los componentes que forman Kubernetes están diseñados para estar débilmente acoplados pero a la vez ser extensibles para que puedan soportar una gran variedad de flujos de trabajo.
argo workflows
Argo Workflows es un motor de flujo de trabajo nativo de contenedor de código abierto para orquestar trabajos paralelos en Kubernetes. Argo Workflows se implementa como un CRD de Kubernetes. Permite definir flujos de trabajo donde cada paso del flujo de trabajo sea un contenedor. Modelar flujos de trabajo de varios pasos como una secuencia de tareas o capture las dependencias entre tareas mediante un gráfico (DAG). Y ejecutar fácilmente trabajos de computación intensiva para aprendizaje automático o procesamiento de datos en una fracción del tiempo utilizando Argo Workflows en Kubernetes. Además de ejecutar canalizaciones de CI/CD de forma nativa en Kubernetes sin configurar productos de desarrollo de software complejos.
python
Lorem IpsPython es un lenguaje de alto nivel de programación interpretado cuya filosofía hace hincapié en la legibilidad de su código, se utiliza para desarrollar aplicaciones de todo tipo, por ejemplo: Instagram, Netflix, Spotify, Panda3D, entre otros. Se trata de un lenguaje de programación multiparadigma, ya que soporta parcialmente la orientación a objetos, programación imperativa y, en menor medida, programación funcional. Es un lenguaje interpretado, dinámico y multiplataforma.um
postgresql
Lorem Ipsum
POSTGRESQL, COMÚNMENTE PRONUNCIADO «POST-GRES», ES UNA BASE DE DATOS DE CÓDIGO ABIERTO QUE TIENE UNA SÓLIDA REPUTACIÓN POR SU FIABILIDAD, FLEXIBILIDAD Y SOPORTE DE ESTÁNDARES TÉCNICOS ABIERTOS. A DIFERENCIA DE OTROS RDMBS (SISTEMAS DE GESTIÓN DE BASES DE DATOS RELACIONALES), POSTGRESQL SOPORTA TIPOS DE DATOS RELACIONALES Y NO RELACIONALES. ESTO LA CONVIERTE EN UNA DE LAS BASES DE DATOS RELACIONALES MÁS COMPATIBLES, ESTABLES Y MADURAS DISPONIBLES ACTUALMENTE.
VER OTROS PROYECTOS EN CURSO/FINALIZADOS O CONSULTORÍAS REALIZADAS/EN PROCESO
Web tipo red social
APP TRATAMIENTO DE IMÁGENES
MASCOTAMANIACS, UN E-COMMERCE PARA MASCOTAS
MI DIARIO MURAL