Blog da ESR

Fazer a captura de dados públicos abertos em um país como o Brasil pode ser desafiador. Isso porque os formatos e padrões costumam variar entre as diferentes instituições de cada esfera governamental, o que acaba por gerar uma quantidade de dados muito grande e despadronizada. No País, muitas iniciativas buscam analisar esses dados abertos e disponibilizá-los para o grande público em um formato mais acessível e de fácil leitura. E isso passa pela utilização do Python e do SQL. Neste post, veja cases que mostram como a combinação entre essas linguagens torna-se a melhor ferramenta para obter, limpar, analisar e apresentar os dados públicos abertos para a população. Acompanhe! Acesso a dados no Brasil: um desafio Na internet, a quantidade de dados disponível é imensa. São informações distribuídas de diferentes maneiras e nos mais diversos formatos. Esse cenário a princípio caótico gera a necessidade da criação de novos softwares especializados na captura, conversão e limpeza desses dados para que eles possam ser inseridos em uma base de dados relacional. A Lei de Acesso à Informação e outras iniciativas que visam a transparência inauguraram a era dos dados públicos e da inovação cívica, em que a população pode – ou ao menos deveria – ter acesso a informações de interesse público. Porém, a realidade é um pouco diferente, e o acesso a esses dados pode se tornar um verdadeiro desafio. Nesse sentido, o Brasil tem uma série de projetos que visam criar scripts para estruturar bases de dados de interesse público para facilitar o controle social da gestão governamental. A seguir, vamos rever o que são dados abertos e conhecer cases da sua utilização como forma de controle da sociedade civil. Por fim, veremos o papel do Python e do SQL nessa nova realidade. O que são dados abertos? Dados abertos são aqueles que podem ser utilizados e redistribuídos livremente por qualquer pessoa. Quando há algum tipo de exigência, essa se refere à atribuição da fonte e ao compartilhamento dos dados. Como são utilizados? Uma das principais finalidades dos dados abertos é para o controle social, ou seja, para contar com a participação da sociedade civil para o controle e monitoramento da gestão pública, acompanhamento a implementação das políticas e dos programas públicos. Por meio desses dados, torna-se mais fácil encontrar irregularidades. Por conta disso, essa é uma alternativa válida para aumentar o engajamento da população em relação às ações governamentais, e também por parte da imprensa, na tarefa de fiscalizar o poder público. Um exemplo é a Operação Serenata de Amor, feita pela Open Knowledge Foundation. O projeto iniciou com uma investigação dos gastos da cota parlamentar dos deputados federais, na Câmara dos Deputados, em Brasília. A partir dessas informações, que estão publicamente disponíveis, foram criados algoritmos e utilizadas soluções de inteligência artificial para analisar os dados em busca de irregularidades. Dessa iniciativa nasceu a robô Rosie, que foi atrelada a uma conta no Twitter para divulgar as irregularidades à medida que as encontrava. Outro exemplo se deu no Jornalismo. Nessa iniciativa, o jornal Correio 24 horas, um dos maiores da Bahia, fez uma investigação acerca da balneabilidade das praias do estado. Para isso, foram analisados mais de 1500 arquivos do poder público com os boletins de avaliação da qualidade das águas de cada praia baiana. Com base nessas informações, o jornal entrevistou banhistas e informou o público sobre a realidade no litoral do estado. Ainda há outro caso importante de fiscalização do poder público, que foi realizado pela publicação digital Gênero e Número, que cruzou dados do Tribunal Superior Eleitoral (TSE) para desvendar um esquema de candidaturas laranjas para o cumprimento da cota eleitoral. Discussão atual Uma das discussões que começam a surgir do Brasil, sobretudo devido à entrada em vigor da Lei Geral de Proteção de Dados (LGPD), diz respeito à transparência dos algoritmos. Isso porque os algoritmos, cujo papel é analisar dados e fornecer informações, também possuem um viés, uma vez que essa análise vai depender da forma como foram programados. Um exemplo bastante relevante se deu em uma matéria jornalística realizada pela Pública, uma agência de Jornalismo investigativo, que, com base na Lei de Acesso à Informação, buscou investigar como são realizados os sorteios dos processos entre os ministros no Supremo Tribunal Federal (STF). Após a negativa do STF em fornecer essas informações, a agência realizou um cruzamento de todos os dados dos processos e por quem foram julgados. A partir de uma engenharia reversa dessas informações, jornalistas e programadores buscaram entender a lógica por trás do algoritmo. Análise de dados abertos Quando trabalhamos com dados, geralmente segue-se a seguinte metodologia: Pergunte; Encontre; Obtenha; Verifique; Limpe; Analise; Apresente. Dentro dessa metodologia, a análise de dados abertos concentra-se, sobretudo, nas etapas de obtenção, verificação e limpeza, que são as que mais demandam tempo do projeto de dados. Para se ter uma ideia, muitas estimativas apontam que cerca de 80% do tempo do projeto é dedicado a essas três etapas. Isso acontece, dentre outros fatores, devido à qualidade dos dados disponíveis, uma vez que muitos deles são disponibilizados em documentos pouco estruturados, como PDF, ou em formatos proprietários, como XLS. Problemas de usabilidade de dados abertos e suas soluções Existem quatro problemas principais que podem atrapalhar na análise de dados: Dispersão: dados não centralizados; Domínio da área: metodologia utilizada; Formato: qualidade técnica do dado; Quantidade: excesso de informações. Em relação às soluções, existem algumas saídas para mitigar os problemas que citamos. São elas: Educação tecnológica: ensinar pessoas de outras áreas como utilizar a tecnologia; Libertação de dados: disponibilização de dados centralizados e em formato aberto; Melhoria de ferramentas: softwares livres e acessíveis; Pressão por dados melhores: identificar problemas e usar a Lei de Acesso à Informação para forçar ações de melhoria do poder público. E como Python e SQL se relacionam com os dados abertos? Todas as iniciativas de análise de dados abertos governamentais que citamos ao longo do texto só foram possíveis devido à utilização de Python e SQL para fazer a leitura, organização e simplificação das informações. Assim, por meio de scripts e programas específicos, foi possível criar formas para tornar os dados mais acessíveis para o grande público, eliminando boa parte dos problemas de usabilidade elencados há pouco. Um exemplo é a plataforma Brasil.IO, um projeto colaborativo que disponibiliza dados públicos em formatos acessíveis. Para isso, são criados scripts, totalmente em softwares abertos, que os consolidam na plataforma, facilitando inclusive o cruzamento dos dados de diferentes datasets. No caso específico da Brasil.IO, o Python foi utilizado nas etapas de captura, normalização e limpeza dos dados, e em backend. Já a SQL se faz presente através do bancos de dados PostgreSQL, igualmente utilizado na parte de backend para transformar e armazenar os dados do projeto. Vale lembrar que, por ser simples, acessível e amplamente utilizado, o Python atraiu um novo perfil de usuários para a análise de dados, uma vez que não é necessário um grande background na área para utilizar a linguagem sem problemas. – Ficou interessado pelo assunto? Então conheça o nossos cursos de Python e Banco de Dados. Confira!

Dentro do universo de Tecnologia da Informação (TI), a área de administração banco de dados é um campo que interessa muitos profissionais, que buscam entender mais sobre esse conceito para seguirem na carreira de administradores de bancos de dados. Se levarmos em consideração o volume de dados que são gerados o tempo todo e que circulam pela rede, perceberemos que essa função está crescendo em importância – e com razão. E é claro que, para cumprir essa função, atualmente é praticamente impossível não contar com a ajuda de computadores e softwares para o processamento dos dados. Ainda assim, quem vai lidar com a administração de base de dados não pode depender somente do trabalho que realizam máquinas e programas: é preciso compreender as responsabilidades de quem tem que lidar com tanta informação, sempre de modo eficiente e seguro. Por isso, neste material elencamos alguns conceitos que precisam ficar claros para quem quer fazer uma boa administração de base de dados – do entendimento da função até alguns conceitos básicos que precisam ser entendidos pelo profissional, o chamado Database Administrator, ou engenheiro de dados. Então, acompanhe nosso artigo e boa leitura! Antes de mais nada, o que é um administrador de banco de dados? Como o nome sugere, o administrador de banco de dados é quem faz a administração do banco de dados. Em outras palavras, esse profissional é quem se responsabiliza por gerenciar um sistema de base de dados, acompanhando os processos de atualização, confiabilidade, consistência, instalação, integridade, otimização e segurança. Esses processos exigem a tomada de decisões certas e rápidas. É essencial que a pessoa que deseja ser administrador de base de dados esteja ciente que seu perfil precisa estar alinhado às necessidades dessa função. Assim, quem não consegue trabalhar com concentração e foco ou quem não gosta de investir muito tempo em estudos dificilmente conseguirá se adaptar a esse trabalho. Fazer uma boa administração de banco de dados exige bastantes conhecimentos técnicos e estudos, em especial para que a pessoa saiba o que fazer em momentos de pressão e que peçam por uma solução ágil para recuperar informações. Também é necessário ter paciência para lidar com tecnologias ultrapassadas, trabalhar com um time e ter disposição para procurar e estudar novas técnicas e tecnologias. Como é a formação de quem quer administrar uma base de dados? É normal que quem quer trabalhar com administração de banco de dados faça uma graduação em Engenharia da Computação, Processamentos de Dados e Sistemas de Informação. Entretanto, não é obrigatório concluir essas graduações para se tornar um administrador de base de dados, pois muita coisa pode ser aprendida na prática e com o apoio de cursos específicos. De qualquer jeito, é desejável que a pessoa tenha algumas características, como ser curiosa, entender de tecnologia e dominar o Sistema de Gerenciamento de Banco de Dados (SGBD) com que for lidar. Em resumo, não há apenas uma trajetória a trilhar para ser um administrador de banco de dados e, quanto mais diverso for o caminho, melhor. Além dos cursos citados acima, é interessante enriquecer a formação com outras experiências, como estudar modelagem de dados e SGBDs, buscar blogs, fóruns e sites sobre o assunto, ler livros sobre o tema, criar uma bom networking etc. O que é fazer uma boa administração de bases de dados? Basicamente, uma boa administração de base de dados é composta na configuração, instalação, monitoramento e solução de problemas de um SGBD. Se formos falar mais detalhadamente, o administrador de banco de dados deve realizar as seguintes atividades: Ajustar apropriadamente requisitos quando houver mudanças; Contatar usuários para averiguar disponibilidade de dados requisitados e auxiliar a definir e resolver problemas; Decidir como os dados serão representados na base de dados armazenada; Determinar a checagem de segurança e integridade; Determinar os procedimentos de recuperação de dados; Monitorar a performance da base de dados. 10 dicas para realizar uma boa administração de base de dados Anteriormente, citamos algumas das principais formas como um administrador de banco de dados pode realizar seu trabalho de maneira eficiente. Entretanto, para que esse trabalho seja feito com excelência, é preciso investir em alguns conhecimentos relacionados direta e indiretamente com os SGBDs propriamente ditos. São eles: 1. Atualizar-se constantemente para dar apoio à tomada de decisões relativa a base de dados Engenheiros de dados que vão gerenciar grandes bases de dados precisam passar por reciclagem técnica para que tenham conhecimento das técnicas e soluções disponíveis atualmente para essa nova classe de aplicação. 2. Aprender sobre arquitetura de computadores Para administrar base de dados, o profissional responsável provavelmente precisará de conhecimentos a respeito da estrutura física de servidores e como fazer a sincronização de hardware e software para ter uma performance melhor e mais segurança. 3. Aprender sobre arquiteturas de SGBDs Sabendo os princípios elementares que norteiam a implantação dos SGBDs, o profissional que fará a administração de banco de dados terá mais facilidade para compreender e questionar a arquitetura usada pelo SGBD. Esse ponto é essencial porque muitos dos princípios que são ensinados em manuais e treinamentos não são compreendidos em sua totalidade por faltar conhecimento teórico de como operam as SGBDs. 4. Saber fazer a automação de bases A automação de bases de dados é uma maneira de torná-las mais eficientes, e auxilia os times de TI a gerarem mais resultados em um tempo mais curto, gerindo melhor o armazenamento e o processamento de dados. Os programas criados para isso usam metadados e metodologias de detecção de padrões para definir designs que otimizam o desempenho dos base de dados. Com isso, atividades repetitivas, que exigiriam programação intensa, podem ser realizadas por sistemas, e os colaboradores do time podem focar em questões estratégicas do gerenciamento dos bancos de dados. 5. Fazer análise da estrutura para saber qual é a mais indicada para cada situação Até pouco tempo atrás, as empresas só podiam contar com bancos de dados on premise, o que mudou com a cloud computing. A cloud computing fornece um custo-benefício que é mais competitivo, o acesso aos dados pode ser feito remotamente e, além disso, a transmissão deles é mais veloz. Contudo, ainda assim há empresas que continuam preferindo realizar o armazenamento de algumas informações de modo local. Assim, é importante que quem vai gerir uma base de dados possa avaliar qual é a melhor estrutura para cada situação. Por exemplo, o modelo híbrido inclui alguns bancos de dados on premise e outros na nuvem. 6. Manter os dados organizados Quando falamos de banco de dados, estamos nos referindo à forma como é realizada a organização dos dados em si e qual o modelo de dados que é utilizado. Nesse sentido, há diversos modelos de base de dados que podem ser utilizados em uma empresa, tais como: relacional, objeto-relacional, hierárquico, plano, entre outros. Desses, o modelo mais usado costuma ser o relacional, uma vez que se mostra mais prático e versátil. Isso dito, compreender a estrutura do banco de dados é fundamental para que se possa determinar qual é a linguagem que mais se adequa ao perfil da empresa em questão. Para isso, existem quatro modelos de SGBD que merecem destaque. São eles: Oracle Database: pago e com custo mais alto que outras alternativas, oferece bons níveis de segurança e boa capacidade de armazenamento de informações. SQL: um dos mais utilizados no mercado, é um sistema de alta confiabilidade e com custos mais acessíveis. MySQL: software de licença aberta, especialmente empregado em empresas com forte atuação online. PostgreSQL: gerenciador gratuito, que também pode ser utilizado para o desenvolvimento de aplicações na web em linguagem PHP. 7. Estudar modelagem de dados Um administrador, engenheiro de dados ou qualquer outro profissional da área precisa saber bastante sobre modelagem de dados. É preciso compreender e ser capaz de interpretar os modelos de dados que serão criados e armazenados na base, e saber as implicações que esses modelos causam na performance de um SGBD. De fato, esse é um dos primeiros e mais importantes temas que deve ser estudado. É imprescindível conseguir desenvolver tabelas e relacioná-las entre si, uma vez que esse é a primeira etapa para evitar problemas que possam surgir futuramente, como espaço no servidor e desempenho. 8. Monitorar o funcionamento da base de maneira constante Para compreender como o gerenciamento do banco de dados está funcionando e quais benefícios ele está trazendo para a empresa, é necessário manter um acompanhamento. Assim, monitorar o uso dos recursos, como da utilização da CPU, a qualidade das conexões e o volume armazenado em cache oferecerá aos profissionais uma noção mais específica do que precisa ser aprimorado no fluxo de trabalho. A administração de base de dados precisa ser constante. Assim, é obrigatório monitorar métricas e assegurar-se de que elas estão alinhadas com as demandas do empreendimento, corrigindo e realizando manutenções proativas que certifiquem que o funcionamento está ocorrendo como planejamento. Fazer esse acompanhamento constante acarreta em muitas vantagens. Por exemplo, será possível integrar melhor as fontes de dados existentes, facilitando a compreensão das informações armazenadas nos bancos e permitindo a geração de insights com resultados aplicáveis dentro do negócio. 9. Conhecer as redes Além do conhecimento básico, é preciso compreender bem as camadas de rede e sua aplicação. Entender a estrutura da rede nesse nível é primordial para monitorar a performance das base de dados. 10. Compreender os sistemas operacionais É preciso saber bem como funciona o sistema operacional usado pelo SGBD e também aspectos relacionados aos processos, gerência de memória e sistema de arquivos, que são fundamentais para resolver problemas e determinar os melhores procedimentos de recuperação. – Esperamos que com essas dicas você tenha compreendido melhor como fazer uma boa administração de base de dados. E se você quiser aprender ainda mais sobre o assunto, conheça o curso de Administração de Banco de Dados da ESR!