Etl unix trabalhos
Busco un arquitecto de datos en aws para realizar procesos ETL con conocimiento en soluciones en la nube (preferente AWS) y con bases de datos relacionales y nosql. Un plus si cuenta con conocimientos de minería de datos y técnicas de analytics.
Estou criando alguns projetos de Power BI, porem, com o aumento da demanda e clientes me vejo obrigado a criar um DW para hospedar os dados de todos os clientes, vistos que são muitas fontes de dados e diversas delas não consigo realizar atualização incremental diretamente. Busco talvez um Pentaho com algum banco de dados em Cloud, ou até mesmo um banco local, mas precisaria estudar a viabilidade. A pessoa para este serviço não precisa entender de Power BI necessariamente, mas saber bem o que fazer para puxar esses dados de forma automática e trata-los da maneira adequada. Tenho diversos relatórios que precisam ser atualizados e consumidos diversas vezes ao dia..
Olá procuro profissional para desenvolver ferramenta que: 1- consulte CNPJs em massa no site: <>; 2- extraia todos os dados disponíveis 3- exporte os dados em alguma linguagem que seja legível pelo power bi, como sql, csv, txt, etc, exceto PDF. 4- quando consultar mesmo cnpj, o software deve ser capaz de atualizar apenas os campos modificados ou novos, avisando o usuário das novidades e reduzindo o tempo de pesquisa.
Somos um startup em estágio inicial de formação, com atuação no desenho e criação de plataformas multiusuário. Atualmente, estamos no estágio do desenvolvimento da nossa primeira versão de MVP, o qual contará com uma interface App (em estágio final de desenvolvimento) e uma interface web/Cloud (o qual já tem o UX praticamente todo definido). Assim, procuramos um Desenvolvedor F...com experiência em: a) Desenvolvimento de sistemas WEB e Mobile b) Sólido conhecimentos de Backend (desejável Node, Java Python. Obrigatório Ruby on Rails) c) Noções de banco (Desejável MySQL ou Postegres) d) Sólido conhecimento de tecnologias de frontend mais mo...
O driver em anexo foi desenvolvido para ser executado em ambiente windows (XP). Gostaria de recriar o driver com exatamente as mesmas funcionalidades afim de ser executado em ambiente Unix (kubuntu, debian, mint, etc.) claro se isto for possível. The attached driver is designed to run in windows (XP) environment. I would like to recreate the driver with exactly the same functionality in order to run in Unix environment (kubuntu, debian, mint, etc.) of course if this is possible.
Empresa de Desenvolvimento de Software de Gestão Temos como principal objectivo o desen...AWT, JProfiler, Linux, SSH. Competências acrescidas: Domínio das seguintes Linguagens de Programação, e respectivas técnicas de Desenvolvimento, nomeadamente (Java, C/C++,C#). Criação de Bases de Dados Relacionais. (MySql / Sqlserver). Programação Web (jsp, servlets, php, asp, asp.net) e intregração com HTML, Flash (Actionscript) Domínio de Sistemas Operativos Windows e Unix. Noções de OpenGL e computação gráfica e multimédia. Metodologias UML e Engenharia de Software Oferece-se remuneração compatível co...
Preciso da realização de um processo de ETL utilizando a ferramenta da oracle ODI 12c (qualquer release). O objetivo é utilizar o produto ODI para movimentar e transformar uma base de dados origem para um destino à escolha. O importante será explorar os recursos do ODI para refinar o processo de ETL. O trabalho deverá ser realizado de acordo com as etapas abaixo: 1. Escolher uma ou mais origens de dados no portal de Dados Abertos do Governo Federal () ou outra origem qualquer; 2. Mapear estas origens no ODI; 3. Criar um modelo físico para receber estes dados. Deve ser relacional, qualquer SGBD; 4. Realizar um processo de carga, que contenha ao menos 3 transformações construídas no ODI DESIGNER. 5. Va...
Descrição: Programa semelhante ao WORKANA TIME REPORT que dá a você maior visibilidade e controle sobre o trabalho realizado pelo freelancer em seus projetos por hora. O freelancer instala a ferramenta Solicite que o freelancer instale o aplicativo em seu computador. Depois de instalado o Time Report, ele deverá iniciar a sessão com usuário e senha da Workana. O Time Repo...Aplicativos desktop Qual é o alcance do projeto?: Criar um novo aplicativo Isso é um projeto ou uma posição de trabalho?: Um projeto Tenho, atualmente: Eu tenho especificações Experiência nesse tipo de projeto: Não (Eu nunca gerenciei esse tipo de projeto) Disponibilidade requerida: Conforme necess&aac...
...em R) Esses scripts processam outros scripts e arquivos binários escritos em C de uma plataforma de neuroprocessamento feita pela universidade de Oxford. Essa plataforma é um conjunto de scripts e binários utilizados para aplicações científicas de processamento de neuroimagem. Essa plataforma foi desenvolvida em ambiente Linux. Eu estou usando essa plataforma em Mac porque, afinal, o OSX é um unix e os scripts e programas acabam rodando. Tudo certo. O problema é que o meu sistema está evoluindo... e eu estou encontrando entraves em permanecer no ambiente OSX. Cheguei a conclusão que tenho que migrar pro linux por diversos motivos: 1.) existe mais documentação dessa plataforma de neurociencia ...
...em R) Esses scripts processam outros scripts e arquivos binários escritos em C de uma plataforma de neuroprocessamento feita pela universidade de Oxford. Essa plataforma é um conjunto de scripts e binários utilizados para aplicações científicas de processamento de neuroimagem. Essa plataforma foi desenvolvida em ambiente Linux. Eu estou usando essa plataforma em Mac porque, afinal, o OSX é um unix e os scripts e programas acabam rodando. Tudo certo. O problema é que o meu sistema está evoluindo... e eu estou encontrando entraves em permanecer no ambiente OSX. Cheguei a conclusão que tenho que migrar pro linux por diversos motivos: 1.) existe mais documentação dessa plataforma de neurociencia ...
...em R) Esses scripts processam outros scripts e arquivos binários escritos em C de uma plataforma de neuroprocessamento feita pela universidade de Oxford. Essa plataforma é um conjunto de scripts e binários utilizados para aplicações científicas de processamento de neuroimagem. Essa plataforma foi desenvolvida em ambiente Linux. Eu estou usando essa plataforma em Mac porque, afinal, o OSX é um unix e os scripts e programas acabam rodando. Tudo certo. O problema é que o meu sistema está evoluindo... e eu estou encontrando entraves em permanecer no ambiente OSX. Cheguei a conclusão que tenho que migrar pro linux por diversos motivos: 1.) existe mais documentação dessa plataforma de neurociencia ...
...em R) Esses scripts processam outros scripts e arquivos binários escritos em C de uma plataforma de neuroprocessamento feita pela universidade de Oxford. Essa plataforma é um conjunto de scripts e binários utilizados para aplicações científicas de processamento de neuroimagem. Essa plataforma foi desenvolvida em ambiente Linux. Eu estou usando essa plataforma em Mac porque, afinal, o OSX é um unix e os scripts e programas acabam rodando. Tudo certo. O problema é que o meu sistema está evoluindo... e eu estou encontrando entraves em permanecer no ambiente OSX. Cheguei a conclusão que tenho que migrar pro linux por diversos motivos: 1.) existe mais documentação dessa plataforma de neurociencia ...
...em R) Esses scripts processam outros scripts e arquivos binários escritos em C de uma plataforma de neuroprocessamento feita pela universidade de Oxford. Essa plataforma é um conjunto de scripts e binários utilizados para aplicações científicas de processamento de neuroimagem. Essa plataforma foi desenvolvida em ambiente Linux. Eu estou usando essa plataforma em Mac porque, afinal, o OSX é um unix e os scripts e programas acabam rodando. Tudo certo. O problema é que o meu sistema está evoluindo... e eu estou encontrando entraves em permanecer no ambiente OSX. Cheguei a conclusão que tenho que migrar pro linux por diversos motivos: 1.) existe mais documentação dessa plataforma de neurociencia ...
...em R) Esses scripts processam outros scripts e arquivos binários escritos em C de uma plataforma de neuroprocessamento feita pela universidade de Oxford. Essa plataforma é um conjunto de scripts e binários utilizados para aplicações científicas de processamento de neuroimagem. Essa plataforma foi desenvolvida em ambiente Linux. Eu estou usando essa plataforma em Mac porque, afinal, o OSX é um unix e os scripts e programas acabam rodando. Tudo certo. O problema é que o meu sistema está evoluindo... e eu estou encontrando entraves em permanecer no ambiente OSX. Cheguei a conclusão que tenho que migrar pro linux por diversos motivos: 1.) existe mais documentação dessa plataforma de neurociencia ...
...em R) Esses scripts processam outros scripts e arquivos binários escritos em C de uma plataforma de neuroprocessamento feita pela universidade de Oxford. Essa plataforma é um conjunto de scripts e binários utilizados para aplicações científicas de processamento de neuroimagem. Essa plataforma foi desenvolvida em ambiente Linux. Eu estou usando essa plataforma em Mac porque, afinal, o OSX é um unix e os scripts e programas acabam rodando. Tudo certo. O problema é que o meu sistema está evoluindo... e eu estou encontrando entraves em permanecer no ambiente OSX. Cheguei a conclusão que tenho que migrar pro linux por diversos motivos: 1.) existe mais documentação dessa plataforma de neurociencia ...
...em R) Esses scripts processam outros scripts e arquivos binários escritos em C de uma plataforma de neuroprocessamento feita pela universidade de Oxford. Essa plataforma é um conjunto de scripts e binários utilizados para aplicações científicas de processamento de neuroimagem. Essa plataforma foi desenvolvida em ambiente Linux. Eu estou usando essa plataforma em Mac porque, afinal, o OSX é um unix e os scripts e programas acabam rodando. Tudo certo. O problema é que o meu sistema está evoluindo... e eu estou encontrando entraves em permanecer no ambiente OSX. Cheguei a conclusão que tenho que migrar pro linux por diversos motivos: 1.) existe mais documentação dessa plataforma de neurociencia ...
...em R) Esses scripts processam outros scripts e arquivos binários escritos em C de uma plataforma de neuroprocessamento feita pela universidade de Oxford. Essa plataforma é um conjunto de scripts e binários utilizados para aplicações científicas de processamento de neuroimagem. Essa plataforma foi desenvolvida em ambiente Linux. Eu estou usando essa plataforma em Mac porque, afinal, o OSX é um unix e os scripts e programas acabam rodando. Tudo certo. O problema é que o meu sistema está evoluindo... e eu estou encontrando entraves em permanecer no ambiente OSX. Cheguei a conclusão que tenho que migrar pro linux por diversos motivos: 1.) existe mais documentação dessa plataforma de neurociencia ...
...em R) Esses scripts processam outros scripts e arquivos binários escritos em C de uma plataforma de neuroprocessamento feita pela universidade de Oxford. Essa plataforma é um conjunto de scripts e binários utilizados para aplicações científicas de processamento de neuroimagem. Essa plataforma foi desenvolvida em ambiente Linux. Eu estou usando essa plataforma em Mac porque, afinal, o OSX é um unix e os scripts e programas acabam rodando. Tudo certo. O problema é que o meu sistema está evoluindo... e eu estou encontrando entraves em permanecer no ambiente OSX. Cheguei a conclusão que tenho que migrar pro linux por diversos motivos: 1.) existe mais documentação dessa plataforma de neurociencia ...
Prezados boa tarde, <br /><br />Trabalho em uma empresa em que possuímos na linha de portfólio, vários programas e projetos de software de alta tecnologia, nos quais são de longa duração.<br /><br />Para que possamos compor um equi...desenvolvidos em C/C++<br />O candidato aprovado será entrevistado em Florianópolis<br />Qualquer dúvida entre em contato<br /><br />Rodrigo Oliveira – @<br /><br /><strong>Duração do projeto</strong>: Longa duração<br /><strong>Funções que o freelancer deve desempenhar</strong>: Desenvolvedor, Analista Funcional<br /><strong>Compatibilidade...
O que é:<br />- Site de classificados - "padrão rede social".<br />O projeto está praticamente concluído e estruturado, feito na linguagem PHP(fw CodeIgniter / MySQL / Bootstrap);<br /><br />Precisamos de alguém pro ativo e ágil que domine:<br />- Linguagem PHP;<br />- Bootstrap; <br />- Framework CodeIgniter;<br />- BD MySQL;<br />- Server setup (Linux/unix);<br />- Back & Front End (JQuery);<br />- Aplicabilidade 100% responsiva;<br /><br />O trabalho envolve:<br />- Autenticação CPF;<br />- Correção de alguns bugs de back e front end;<br />- API de upload de imagem (100% responsivo);<br />- A...
...Internet.<br /><br />Se Deberá Contar Con Conocimientos De Programación Orientada a Objetos (excluyente) y Poseer Experiencia En Los Siguientes Lenguajes De Programación<br /><br />EXPERTO PHP4o PHP5 (excluyente)<br />EXPERTO JAVASCRIPT (excluyente)<br />AJAX (excluyente)<br />XSL (excluyente)<br />XML (excluyente)<br />Web Service – SOAP (excluyente)<br />DHTML (deseable)<br />Perl (deseable)<br />Unix Shell Scripting (deseable)<br />.NET (deseable)<br />MCML (deseable)<br />C, C++ (deseable)<br />Manejo de herramientas de diseño y modelado (excluyente)<br />Conocimientos de los SDK de Windows Media (player, DRM, Windows media server, etc) (dese...
Descripción de empleo<br />Listing Info<br /><br />Epidata se encuentra en la búsqueda de un A.../>Descuentos en gym<br />Plan de carrera<br /><br />Aguardamos tu postulacion!<br /><br />Area De Trabajo<br /><br />Informática<br /><br />Jornada<br /><br />Jornada Completa<br /><br />Tipo De Contrato<br /><br />Efectivo<br /><br />Ubicación En El Extranjero<br /><br />Requisitos<br /><br />Requisitos Mínimos<br /><br />Java Script,<br />SqlServer (stored procedures, modelos de datos, procesos batch vía ETL / dts, etc).<br />NET<br />HTML<br />Desarrollo y dominio...
...búsqueda se orienta a graduados o estudiantes avanzados de Sistemas informáticos o afines, con al menos 3 años de experiencia en posiciones similares.<br /><br />Area De Trabajo<br /><br />Informática<br /><br />Jornada<br /><br />Jornada Completa<br /><br />Tipo De Contrato<br /><br />Efectivo<br /><br />Ubicación En El Extranjero<br /><br />Requisitos<br /><br />Requisitos Excluyentes<br /><br />ETL, Oracle warehouse builder,<br />Experiencia en cubos, datawarehouse y datamining<br />JAVA<br /><br />Estudios Mínimos<br /><br />Universitario<br /><br />Situación Aca...
.../><br />Listing Info<br /><br />Buscamos un Administrador de Application Server (Middleware) para sumarse a un cliente de la compañía.<br /><br />Son Requisitoss<br /><br />Oracle Weblogic , Tomcat, Apache, Aplicaciones Web Java (excluyente)<br />RedHat JBoss<br />OS Linux/Unix<br /><br />Deseable: IBM WebSphear (deseable)<br /><br />Experiencia en administración, deploys, mantenimiento, instalaciones, migraciones, tuning JVM (Garbage Collector), Troubleshooting. Clustering (Alta disponibilidad), Sistemas Operativos Linux/Unix/Windows.<br /><br />Te interesaría trabajar con nosotros si…<br />Te apasiona programar<br />Quieres interactu...
Preciso de aulas para aprender a mover uma instalação do Ruby On Rains que está na Linode para outro Servidor que tem KVM. Desejo aprender a instalar o Ruby on Rails no servidor novo e transferir o aplicativo que esta operando normalmente na LINODE. PS: Tenho 53 anos e tenho muita experiência a mais de 30 anos em Linux e Unix, PHP e Mysql, não tenho nenhuma em Ruby On Rails. Não me interessa aprender como programar em Ruby, mas tenho interesse em conhecer como instalar em um servidor novo e transferir o Ruby on Rails e deixar em pleno funcionamento.<br />Poderiam me enviar uma proposta de trabalho com o custo por hora ou por empreitada....
...usará uma solução de Business Intelligence, implementada pelo grupo em questão, o qual terá de identificar quais são os indicadores (Key Performance Indicators – KPI) da rede e após esse processo deverá seguir os passos abaixo para desenvolver a solução:<br /><br />a. Criar modelo de dados multidimensional aderente a solução.<br /><br />b. Implementar todo o processo de “Extract Transformation Load (ETL)” – Extração Transformação e Carga dos dados apurados para o modelo multidimensional.<br /><br />c. Criar cubos com agregações necessárias para obter um ótimo tempo de resposta nas de...
Requiere<br />• Administración de BBDD Oracle 10, 11G, 12c sobre S.O Unix AIX, HpUx, Linux y Windows.<br />• Tuning del motor y sentencias SQL.<br />• Realización de Respaldos y Restore con RMAN.<br />• Conocimientos de PL/SQL y Shell Scripting <br />• Procesos de parcheo de las diferentes BBDD y aplicaciones de Oracle.<br />• Apertura de casos en oracle (MOS).<br />• Manejo de la herramienta OEM 12c.<br />• Inglés Básico.<br /><br /><br /><br />Deseable:<br />• Instalac...
Se requiere una persona que sepa Informatica power center 9.x, ecperiencia implementando ETL con dicha Herramienta.<br /><br />Sueldo acorde aptitudes.<br /><br />Contrato unicamente por proyecto.<br /><br />Duracion 20 días habiles.<br /><br />Lugar de Trabajo: Mexico DF
Criar software multiplataforma para gerenciamento de hospedagem web, criptografado!
A LinkBR oferece serviços de webhost, vps, vds, mail server, banco de dados, cloud services, firewall baseado em appliance ou nativo com iptables / ipfw, suporte e consultoria em tecnologia da informação(hardware e software.) trazendo maior segurança para o seu negócio. Utilizamos o que há de mais novo em tecnologia, os nossos servidores estão hospedados fora do país com grande disponibilidade para que o seu serviço não seja afetado. Venha saber mais sobre os serviços que temos à sua disposição no nosso website. Caso pretenda mais informações, por favor contacte-nos. Estamos ao seu dispor para responder às suas necessidades.
Experiência com análise e desenvolvimento utilizando Cognos,transformer, Framework e Report Studio,desenvolvimento de relatórios,cubos e framework. Analista funcional atuando na análise de processos, propondo soluções e elaborando especificações ETL/OLAP.
...- Competency in working with various types of data sources including databases, APIs, and files - Proficiency in data transformation, aggregation, and cleaning -Bachelor's degree in Computer Science, Engineering, or related field. -2+ years of experience as a Data Engineer or similar role. -Hands-on experience with PySpark, Scala, and Azure Databricks is required. -Experience with data modeling, ETL development, and data warehousing concepts. -Strong SQL skills and proficiency in data manipulation and analysis. -Experience with cloud platforms (Azure preferred) and big data technologies. -Optionally, experience with SSIS and SSAS is a plus. -Proven experience with POWER BI, Tableau, HADOOP, MongoDB etc. -Excellent problem-solving and communication skills Be ready to underst...
...selling either : 1. Cyber security services, including Vulnerability Assessment & Penetration Testing, Network Security Testing, Cloud Security Audits, Security Compliance Assurance among others. 2. Managed Cyber Security services for SMB's like Real time monitoring of their assets for security loopholes etc. 2. Big Data Testing Services, including Data Migration Testing, Data Warehouse Testing, ETL Testing and Validation, Business Intelligence Reports Testing among others. We are searching for a partner who can be responsible for our business development of our cyber security and big data testing services and solutions to potential clients in the UK and EU regions. Additionally, the partner should be capable of selling our services across an Europe-wide region. If y...
...variety of cyber security services, including Network Security, Cloud Security, Vulnerability Assessment & Penetration Testing, Managed Security Services Provider (MSSP), Real-time Security Monitoring, Phishing Awareness Training & Assessment, Application Security Testing, Network / Infrastructure Security Testing, and Mobile Application Security Testing ----- A variety of Big Data services like ETL Testing, Big Data Migration Testing, Big Data Validation, BI Reports testing etc. - A strategic thinker with a keen eye for inbound and outbound marketing opportunities - Target a wide range of industries such as Healthcare, Finance, Retail, Technology, Start-up, Early Stage Start-up, Insurance, Mortgage, FinTech, Education, EdTech. - Excellent communication skills and the...
...variety of cyber security services, including Network Security, Cloud Security, Vulnerability Assessment & Penetration Testing, Managed Security Services Provider (MSSP), Real-time Security Monitoring, Phishing Awareness Training & Assessment, Application Security Testing, Network / Infrastructure Security Testing, and Mobile Application Security Testing ----- A variety of Big Data services like ETL Testing, Big Data Migration Testing, Big Data Validation, BI Reports testing etc. - Target a wide range of industries such as Healthcare, Finance, Retail, Technology, Start-up, Early Stage Start-up, Insurance, Mortgage, FinTech, Education, EdTech. - A strategic thinker with a keen eye for inbound and outbound marketing opportunities - Excellent communication skills and the ...
...selling either : 1. Cyber security services, including Vulnerability Assessment & Penetration Testing, Network Security Testing, Cloud Security Audits, Security Compliance Assurance among others. 2. Managed Cyber Security services for SMB's like Real time monitoring of their assets for security loopholes etc. 2. Big Data Testing Services, including Data Migration Testing, Data Warehouse Testing, ETL Testing and Validation, Business Intelligence Reports Testing among others. We are searching for a partner who can be responsible for our business development of our cyber security and big data testing services and solutions to potential clients in the UK and EU regions. Additionally, the partner should be capable of selling our services across an Europe-wide region. If y...
...Computer Science or related fields (2021 & 2022 passout only)? Are you passionate about programming languages and eager to make your mark in the IT industry? Look no further! We’re hiring talented individuals to join our dynamic team. Position: Software Engineer Domain: Finacle (Banking) Location: Major cities in India and international locations Why Choose Us? Comprehensive end-to-end training in Unix/Linux, JSP, HTML, Core Java, Node JS, Node red, Oracle SQL, and PLSQL. Exciting projects in the banking domain Opportunities for growth and career advancement Terms and Conditions: Commitment: Minimum 3 years with us Training: First month (free accommodation), followed by competitive salary Performance-based increments from the second year onward Global travel opport...
Tasked with migrating our existing PHP/Apache project files and DB database from our live server to a new vendor server. This positions requires: - Working hands-on with Unix servers - Strong understanding of PHP 7.0, the version currently utilized on our live server - Familiarity with Apache 2.4, the version currently running on our live server - Capable of accurately inputting database credentials - Ensuring the project is fully functional on both web and mobile platforms Ideal candidate will exhibit expertise in server administration, specifically Unix. Familiarity with PHP 7.0 and Apache 2.4 is required. Knowledge of databases, particularly inputting credentials, is appreciated. Experience in ensuring cross-platform functionality on web and mobile applications is a huge...
I need a savvy individual versed in Unix systems, Magento installations, and, more importantly, in setting up and securing cron jobs using SSH. The tasks involved include: - Configuring cron job settings in line with the requirements of my Magento installation. - Creating scripts for four specific cron jobs. - Skilled in securing cron jobs, ideally with proven experience in SSH, but I will need guidance in identifying the best methods for this task. Please note that it's crucial for the already established access and security of the server to be maintained through this project. The anticipated time for this task is under one hour. Your experience in these particular areas will be greatly appreciated.
...Engineer to step in and effectively collaborate with my remote team. Given the lack of a specific task or main goal, your expertise, adaptiveness, and versatility will come in handy. Key responsibilities may likely include: - • Ideal candidates should have strong experience with Azure Databricks and Data factory. • Conducting data analysis - Data integration - Data processing - Possibly executing ETL processes - Maybe venturing into data modelling, optimization, and pipeline development. • Efficient communication and collaboration capabilities are needed for this remote role. • I look forward to working with an adaptable professional who can confidently handle diverse tasks in Azure data engineering. • Design, develop, and maintain data pipelines ...
I am looking for a skilled freelancer, adept in ETL (Extract, Transform, Load) operations. In this project, your task will be to extract CSV files from an SFTP server and load them onto a SharePoint Document Library. Key responsibilities: - Source the data from the SFTP server. - Ensure accurate and smooth extraction of CSV files. - Successful Load of the data to SharePoint Document Library. Ideal candidate skills and experience: - Solid background in ETL operations. - Prior experience with SFTP servers. - Proficiency with working CSV files. - Familiarity with SharePoint Document Library.
...algorithms Proficiency in data integration and ETL processes Familiarity with MongoDB and data storage + M365 Integration Strong analytical and problem-solving skills Excellent communication and documentation skills Task Breakdown: Develop a fuzzy matching module to compare data across 15-20 points of data Implement additional matching algorithms (e.g., exact matching, regex pattern matching) to handle various data formats Develop 15*3 ETL processes to handle different data formats and request codes Integrate the developed modules with our Azure/M365 environment Configure data storage, authentication, and authorization Perform thorough testing and debugging of the developed modules and ETL processes Deliverab...
I need a Python developer who can handle automation tasks related to ETL pipeline, data extraction from Snowflake, and a dbt environment. Key Requirements: - You should be proficient in Python programming. - Be familiar with the Window Task Scheduler. - Have experience with ETL pipeline development. - Know how to extract data from Snowflake and a dbt environment. The Purpose: - The ETL pipeline is crucial for handling data analysis, reporting, and data integration tasks. - The data size to be processed in the ETL pipeline is medium, up to 10 GB. Ideal Candidate: - You should have prior experience in handling similar tasks. - A strong understanding of data handling and automation through Python and ETL tools. - Proven expertise in data extraction from...
This is a task. Analytical details will be given in docx in chat. We need a freelancer with proven experience and good expertise in systems programming using C or C++, proficiency in UNIX/Linux system APIs for process and IPC management, and experience in concurrency control and robust testing. Familiarity with shell scripting and version control using Git is also essential. 1. Implement jobCommander and jobExecutorServer for user command interface and job management. 2. Allow dynamic setting of concurrency levels for job execution. 3. Use named pipes for communication between jobCommander and jobExecutorServer. 4. Manage jobs with commands like issueJob, setConcurrency, stop, poll, exit, including unique job IDs. 5. Handle job completion signals with `SIGCHLD`. 6. Provide a READM...
...ensuring accuracy and consistency. - Data Modeling: The ideal candidate should have a deep understanding of how to organize data in a way that supports business needs and decision-making. - ETL Processes: The selected freelancer will be responsible for the extraction, transformation, and loading of data into our warehouse. We are working with a medium-sized dataset (1-10 terabytes), so we need someone who is not only experienced in data warehousing but also with datasets of this size. Ideal Skills and Experience: - Proven track record in data warehousing, with a focus on data integration, data modeling, and ETL processes - Experience working with medium-sized datasets (1-10 terabytes) - Excellent analytical and problem-solving skills - Strong communication skills to eff...
I'm in need of a data processing expert who can assist me in developing an architecture to analyze knowledge graphs using ETL and machine learning. Key Tasks: - Leveraging Data Processing Expertise: I need someone with a strong background in data processing, particularly in relation to graph technologies. Your role will be to harness this knowledge to create an efficient and effective architecture for analyzing knowledge graphs. Ideal Skills and Experience: - Strong Data Processing Background: A deep understanding of data processing is crucial for this project, particularly in the context of graph technologies. Experience in working with large datasets and complex data structures is highly desirable. - Familiarity with Graph Technologies: Knowledge of graph databases and asso...
I'm in need of a data processing expert who can assist me in developing an architecture to analyze knowledge graphs using ETL and machine learning. Key Tasks: - Leveraging Data Processing Expertise: I need someone with a strong background in data processing, particularly in relation to graph technologies. Your role will be to harness this knowledge to create an efficient and effective architecture for analyzing knowledge graphs. Ideal Skills and Experience: - Strong Data Processing Background: A deep understanding of data processing is crucial for this project, particularly in the context of graph technologies. Experience in working with large datasets and complex data structures is highly desirable. - Familiarity with Graph Technologies: Knowledge of graph databases and asso...
...to develop a multithreaded program capable of sorting a list of numbers using different sorting algorithms. The program will be implemented in Java and will leverage the multithreading capabilities of the Java programming language. The project will specifically target a Linux environment, providing students with practical experience in developing and running multithreaded Java applications in a Unix-like operating system. Implementation Develop the project using Java programming language. Utilize Java's built-in threading support (e.g., Thread class, Runnable interface) for multithreading. Implement the chosen sorting algorithms as separate classes or methods that can be executed concurrently by multiple threads. Use Java's threading constructs (e.g., Thread, Runnabl...
I'm looking for a skilled data engineer to help me with the OMOP ETL process. Your main responsibilities will be: - Extracting and transforming data: You'll be working with me to extract data from a data warehouse and transform it into the OMOP CDM. - Loading data into a database: After transforming the data, it will need to be loaded into a PostgreSQL database. Experience with ETL processes and PostgreSQL is critical. You should also be familiar with data validation checks, as we need basic data type and range checks applied during this project. You must have experience loading data into the OMOP CDM.
