Blog da ESR

Modelagem de banco de dados é o processo de levantamento, análise, categorização e exploração de todos os dados e tipos de informações que irão sustentar uma aplicação. Esta é uma etapa primordial no trabalho do desenvolvimento de sistemas, porque todo software é criado com determinados objetivos, para atender às necessidades dos usuários dentro deste cenário. Assim, se um sistema for desenvolvido sem que haja uma modelagem de banco de dados bem executada no início do projeto, as chances de ele apresentar falhas ou até mesmo de não suprir os objetivos para os quais foi criado são grandes. Por isso, atenção a esta etapa e conte sempre com um profissional DBA, cientista ou engenheiro de dados dentro do seu negócio antes de começar a desenvolver qualquer software. Confira neste artigo um pouco mais sobre o que é a modelagem de banco de dados e quais são os principais conceitos envolvidos nesta metodologia. Modelagem de banco de dados vs modelagem de classes Modelar dados é um processo bastante semelhante ao da modelagem de classes, explorado no desenvolvimento de softwares com técnicas de Orientação a Objetos (OO). Pode-se dizer que este conceito permeia toda a estruturação da modelagem de banco de dados, trazendo algumas pequenas diferenças. Classes são grupos de objetos que serão distribuídos no código do software, e a sua modelagem está relacionada à identificação de cada um destes objetos e sua subsequente organização por características semelhantes, dentro de suas classes. Segundo a Unified Modeling Language (UML), as classes são representadas por retângulos divididos em três seções, onde são indicados: o nome da classe, seus atributos e seus métodos. Vamos falar um pouco melhor sobre o que é cada um desses itens. Nome da classe O nome da classe será representado pela característica em comum entre os objetos que a compõem. Para identificar objetos, deve-se fazer a associação ao termo “objetos” mesmo no mundo real ou virtual, pensando em que elementos do cenário do cliente podem ser visualizados de forma concreta. Ao detectar objetos com características semelhantes, agrupa-se eles em uma classe e atribui-se um nome de identificação. Atributos Os atributos dentro de uma classe são as principais características dos objetos dentro dela identificados. Esses atributos são inerentes ou facilmente conectáveis aos seus objetos por correlação e lógica, como um CPF pode ser identificado como atributo de uma pessoa, ou uma informação de horário ou data pode ser um atributo de uma solicitação feita por essa pessoa. Lembrando que sempre é possível, durante a modelagem, identificar novas classes a partir de atributos encontrados. Métodos São classificados como ações ou comportamentos esperados para os objetos dentro de suas classes, considerando também suas principais características. Desta forma é possível que uma solicitação enviada a um sistema pode ser atendida, perdida ou rejeitada, por exemplo, o que se configuram como possíveis comportamentos. Ao final desta identificação deve-se desenhar o diagrama quase que como um fluxo automatizado de chamadas telefônicas em uma central, por exemplo, estabelecendo relações de causalidade e cardinalidade entre as classes.  Se bem executada e com eventuais duplicidades entre classes eliminadas ao longo da modelagem, esse diagrama poderá ser aplicado para diferentes finalidad es de acordo com as características identificadas no cenário do cliente. Conceitos da modelagem de banco de dados Ao criar as ligações entre as classes, são atribuídos códigos que posteriormente serão utilizados na modelagem do banco de dados com aquelas informações. Trazendo o debate para a criação de modelos de dados, temos o seguinte: O grande objetivo de aplicar a modelagem de banco de dados na constituição dos sistemas de software é obter uma demonstração de como serão estruturados os dados dentro daquela plataforma para que o negócio fique em operação da forma necessária. Em função disso, é fundamental que sejam desenhados projetos de banco de dados, seguindo etapas definidas para que haja o mínimo possível de falhas no produto final.  Previamente à estruturação e desenvolvimento de modelos de dados é preciso realizar uma análise de requisitos, ou seja, em conversa com o cliente entender qual a sua necessidade com aquele software que será desenvolvido, quais as regras de negócio que serão aplicadas e como a modelagem de banco de dados poderá ajudar as equipes de TI a estruturarem-no da forma mais fiel possível às expectativas traçadas. Na sequência, existem três tipos principais de modelos de dados que poderão ser desenvolvidos e aplicados seguindo uma sequência lógica, são eles: Modelo conceitual Também chamados em algumas ocasiões de “modelos de domínios”, os modelos conceituais se utilizam de altos níveis de abstração — foco nos aspectos essenciais ao cenário investigado — para determinar e discriminar dentro do projeto de banco de dados quais informações podem estar presentes naquele determinado banco, de acordo com o tipo de entidade.  Se os dados armazenados são sobre pessoas, é possível elencar data de nascimento, CPF, RG, CNH, nome completo, nome dos pais, número de telefone etc. E isso fica previsto dentro do modelo conceitual de banco de dados. Normalmente esse tipo de modelo é utilizado e aplicado nas etapas mais iniciais de todos os projetos por ser de fácil compreensão. Modelo lógico O Modelo Lógico de Dados (MLDs) consiste em uma evolução a partir dos primeiros modelos construídos, normalmente os conceituais, onde são agregadas informações complementares como detalhes de implementação e as principais regra a serem aplicadas no software. Por meio deste modelo é possível já gerar atributos que serão fundamentais para colocar o sistema em operação e identificá-los. Aqui são tipificados de forma objetiva os tipos de entidades, seus principais atributos e os relacionamentos entre elas. Modelo físico Por último, mas não menos importante, o modelo físico de banco de dados transporta a operação para o mundo real, demonstrando fisicamente os dados e o comportamento daquele projeto. O modelo é rigoroso, seguindo normas e determinações técnicas que possibilitam que aquele projeto seja colocado em prática, e dali em diante ele costuma ser transposto para o banco de dados final do projeto. Normalmente utilizados para desenhar com precisão o esquema interno de funcionamento do banco em questão, no modelo físico são desenvolvidas e agregadas ao projeto tabelas de dados e são criadas restrições de integridade para os relacionamentos que exigirem tal procedimento. Dentro deles devem ser definidas ainda a sintaxe dos scripts, ou seja, qual será o sistema operacional principal e em que outros o produto final também poderá rodar; e as regras de segurança, quando se define quem terá acesso a cada informação e dado gerado dentro daquele banco, além de entrar aqui também a definição de rotinas de segurança com relação aos dados armazenados. A modelagem de banco de dados é um tema comum para quem vive o universo da tecnologia da informação, porém não tanto para as empresas e instituições que não contam com profissionais dessa área. É sempre fundamental contar com profissionais especializados na implementação de projetos de banco de dados dentro do seu negócio, ou então capacitar o seu time para que possam se tornar esses especialistas.  Veja nosso calendário de cursos e inscreva-se agora mesmo para se tornar um expert em modelagem de banco de dados

Fazer a captura de dados públicos abertos em um país como o Brasil pode ser desafiador. Isso porque os formatos e padrões costumam variar entre as diferentes instituições de cada esfera governamental, o que acaba por gerar uma quantidade de dados muito grande e despadronizada. No País, muitas iniciativas buscam analisar esses dados abertos e disponibilizá-los para o grande público em um formato mais acessível e de fácil leitura. E isso passa pela utilização do Python e do SQL. Neste post, veja cases que mostram como a combinação entre essas linguagens torna-se a melhor ferramenta para obter, limpar, analisar e apresentar os dados públicos abertos para a população. Acompanhe! Acesso a dados no Brasil: um desafio Na internet, a quantidade de dados disponível é imensa. São informações distribuídas de diferentes maneiras e nos mais diversos formatos. Esse cenário a princípio caótico gera a necessidade da criação de novos softwares especializados na captura, conversão e limpeza desses dados para que eles possam ser inseridos em uma base de dados relacional. A Lei de Acesso à Informação e outras iniciativas que visam a transparência inauguraram a era dos dados públicos e da inovação cívica, em que a população pode – ou ao menos deveria – ter acesso a informações de interesse público. Porém, a realidade é um pouco diferente, e o acesso a esses dados pode se tornar um verdadeiro desafio. Nesse sentido, o Brasil tem uma série de projetos que visam criar scripts para estruturar bases de dados de interesse público para facilitar o controle social da gestão governamental. A seguir, vamos rever o que são dados abertos e conhecer cases da sua utilização como forma de controle da sociedade civil. Por fim, veremos o papel do Python e do SQL nessa nova realidade. O que são dados abertos? Dados abertos são aqueles que podem ser utilizados e redistribuídos livremente por qualquer pessoa. Quando há algum tipo de exigência, essa se refere à atribuição da fonte e ao compartilhamento dos dados. Como são utilizados? Uma das principais finalidades dos dados abertos é para o controle social, ou seja, para contar com a participação da sociedade civil para o controle e monitoramento da gestão pública, acompanhamento a implementação das políticas e dos programas públicos. Por meio desses dados, torna-se mais fácil encontrar irregularidades. Por conta disso, essa é uma alternativa válida para aumentar o engajamento da população em relação às ações governamentais, e também por parte da imprensa, na tarefa de fiscalizar o poder público. Um exemplo é a Operação Serenata de Amor, feita pela Open Knowledge Foundation. O projeto iniciou com uma investigação dos gastos da cota parlamentar dos deputados federais, na Câmara dos Deputados, em Brasília. A partir dessas informações, que estão publicamente disponíveis, foram criados algoritmos e utilizadas soluções de inteligência artificial para analisar os dados em busca de irregularidades. Dessa iniciativa nasceu a robô Rosie, que foi atrelada a uma conta no Twitter para divulgar as irregularidades à medida que as encontrava. Outro exemplo se deu no Jornalismo. Nessa iniciativa, o jornal Correio 24 horas, um dos maiores da Bahia, fez uma investigação acerca da balneabilidade das praias do estado. Para isso, foram analisados mais de 1500 arquivos do poder público com os boletins de avaliação da qualidade das águas de cada praia baiana. Com base nessas informações, o jornal entrevistou banhistas e informou o público sobre a realidade no litoral do estado. Ainda há outro caso importante de fiscalização do poder público, que foi realizado pela publicação digital Gênero e Número, que cruzou dados do Tribunal Superior Eleitoral (TSE) para desvendar um esquema de candidaturas laranjas para o cumprimento da cota eleitoral. Discussão atual Uma das discussões que começam a surgir do Brasil, sobretudo devido à entrada em vigor da Lei Geral de Proteção de Dados (LGPD), diz respeito à transparência dos algoritmos. Isso porque os algoritmos, cujo papel é analisar dados e fornecer informações, também possuem um viés, uma vez que essa análise vai depender da forma como foram programados. Um exemplo bastante relevante se deu em uma matéria jornalística realizada pela Pública, uma agência de Jornalismo investigativo, que, com base na Lei de Acesso à Informação, buscou investigar como são realizados os sorteios dos processos entre os ministros no Supremo Tribunal Federal (STF). Após a negativa do STF em fornecer essas informações, a agência realizou um cruzamento de todos os dados dos processos e por quem foram julgados. A partir de uma engenharia reversa dessas informações, jornalistas e programadores buscaram entender a lógica por trás do algoritmo. Análise de dados abertos Quando trabalhamos com dados, geralmente segue-se a seguinte metodologia: Pergunte; Encontre; Obtenha; Verifique; Limpe; Analise; Apresente. Dentro dessa metodologia, a análise de dados abertos concentra-se, sobretudo, nas etapas de obtenção, verificação e limpeza, que são as que mais demandam tempo do projeto de dados. Para se ter uma ideia, muitas estimativas apontam que cerca de 80% do tempo do projeto é dedicado a essas três etapas. Isso acontece, dentre outros fatores, devido à qualidade dos dados disponíveis, uma vez que muitos deles são disponibilizados em documentos pouco estruturados, como PDF, ou em formatos proprietários, como XLS. Problemas de usabilidade de dados abertos e suas soluções Existem quatro problemas principais que podem atrapalhar na análise de dados: Dispersão: dados não centralizados; Domínio da área: metodologia utilizada; Formato: qualidade técnica do dado; Quantidade: excesso de informações. Em relação às soluções, existem algumas saídas para mitigar os problemas que citamos. São elas: Educação tecnológica: ensinar pessoas de outras áreas como utilizar a tecnologia; Libertação de dados: disponibilização de dados centralizados e em formato aberto; Melhoria de ferramentas: softwares livres e acessíveis; Pressão por dados melhores: identificar problemas e usar a Lei de Acesso à Informação para forçar ações de melhoria do poder público. E como Python e SQL se relacionam com os dados abertos? Todas as iniciativas de análise de dados abertos governamentais que citamos ao longo do texto só foram possíveis devido à utilização de Python e SQL para fazer a leitura, organização e simplificação das informações. Assim, por meio de scripts e programas específicos, foi possível criar formas para tornar os dados mais acessíveis para o grande público, eliminando boa parte dos problemas de usabilidade elencados há pouco. Um exemplo é a plataforma Brasil.IO, um projeto colaborativo que disponibiliza dados públicos em formatos acessíveis. Para isso, são criados scripts, totalmente em softwares abertos, que os consolidam na plataforma, facilitando inclusive o cruzamento dos dados de diferentes datasets. No caso específico da Brasil.IO, o Python foi utilizado nas etapas de captura, normalização e limpeza dos dados, e em backend. Já a SQL se faz presente através do bancos de dados PostgreSQL, igualmente utilizado na parte de backend para transformar e armazenar os dados do projeto. Vale lembrar que, por ser simples, acessível e amplamente utilizado, o Python atraiu um novo perfil de usuários para a análise de dados, uma vez que não é necessário um grande background na área para utilizar a linguagem sem problemas. – Ficou interessado pelo assunto? Então conheça o nossos cursos de Python e Banco de Dados. Confira!

Dentro do universo de Tecnologia da Informação (TI), a área de administração banco de dados é um campo que interessa muitos profissionais, que buscam entender mais sobre esse conceito para seguirem na carreira de administradores de bancos de dados. Se levarmos em consideração o volume de dados que são gerados o tempo todo e que circulam pela rede, perceberemos que essa função está crescendo em importância – e com razão. E é claro que, para cumprir essa função, atualmente é praticamente impossível não contar com a ajuda de computadores e softwares para o processamento dos dados. Ainda assim, quem vai lidar com a administração de base de dados não pode depender somente do trabalho que realizam máquinas e programas: é preciso compreender as responsabilidades de quem tem que lidar com tanta informação, sempre de modo eficiente e seguro. Por isso, neste material elencamos alguns conceitos que precisam ficar claros para quem quer fazer uma boa administração de base de dados – do entendimento da função até alguns conceitos básicos que precisam ser entendidos pelo profissional, o chamado Database Administrator, ou engenheiro de dados. Então, acompanhe nosso artigo e boa leitura! Antes de mais nada, o que é um administrador de banco de dados? Como o nome sugere, o administrador de banco de dados é quem faz a administração do banco de dados. Em outras palavras, esse profissional é quem se responsabiliza por gerenciar um sistema de base de dados, acompanhando os processos de atualização, confiabilidade, consistência, instalação, integridade, otimização e segurança. Esses processos exigem a tomada de decisões certas e rápidas. É essencial que a pessoa que deseja ser administrador de base de dados esteja ciente que seu perfil precisa estar alinhado às necessidades dessa função. Assim, quem não consegue trabalhar com concentração e foco ou quem não gosta de investir muito tempo em estudos dificilmente conseguirá se adaptar a esse trabalho. Fazer uma boa administração de banco de dados exige bastantes conhecimentos técnicos e estudos, em especial para que a pessoa saiba o que fazer em momentos de pressão e que peçam por uma solução ágil para recuperar informações. Também é necessário ter paciência para lidar com tecnologias ultrapassadas, trabalhar com um time e ter disposição para procurar e estudar novas técnicas e tecnologias. Como é a formação de quem quer administrar uma base de dados? É normal que quem quer trabalhar com administração de banco de dados faça uma graduação em Engenharia da Computação, Processamentos de Dados e Sistemas de Informação. Entretanto, não é obrigatório concluir essas graduações para se tornar um administrador de base de dados, pois muita coisa pode ser aprendida na prática e com o apoio de cursos específicos. De qualquer jeito, é desejável que a pessoa tenha algumas características, como ser curiosa, entender de tecnologia e dominar o Sistema de Gerenciamento de Banco de Dados (SGBD) com que for lidar. Em resumo, não há apenas uma trajetória a trilhar para ser um administrador de banco de dados e, quanto mais diverso for o caminho, melhor. Além dos cursos citados acima, é interessante enriquecer a formação com outras experiências, como estudar modelagem de dados e SGBDs, buscar blogs, fóruns e sites sobre o assunto, ler livros sobre o tema, criar uma bom networking etc. O que é fazer uma boa administração de bases de dados? Basicamente, uma boa administração de base de dados é composta na configuração, instalação, monitoramento e solução de problemas de um SGBD. Se formos falar mais detalhadamente, o administrador de banco de dados deve realizar as seguintes atividades: Ajustar apropriadamente requisitos quando houver mudanças; Contatar usuários para averiguar disponibilidade de dados requisitados e auxiliar a definir e resolver problemas; Decidir como os dados serão representados na base de dados armazenada; Determinar a checagem de segurança e integridade; Determinar os procedimentos de recuperação de dados; Monitorar a performance da base de dados. 10 dicas para realizar uma boa administração de base de dados Anteriormente, citamos algumas das principais formas como um administrador de banco de dados pode realizar seu trabalho de maneira eficiente. Entretanto, para que esse trabalho seja feito com excelência, é preciso investir em alguns conhecimentos relacionados direta e indiretamente com os SGBDs propriamente ditos. São eles: 1. Atualizar-se constantemente para dar apoio à tomada de decisões relativa a base de dados Engenheiros de dados que vão gerenciar grandes bases de dados precisam passar por reciclagem técnica para que tenham conhecimento das técnicas e soluções disponíveis atualmente para essa nova classe de aplicação. 2. Aprender sobre arquitetura de computadores Para administrar base de dados, o profissional responsável provavelmente precisará de conhecimentos a respeito da estrutura física de servidores e como fazer a sincronização de hardware e software para ter uma performance melhor e mais segurança. 3. Aprender sobre arquiteturas de SGBDs Sabendo os princípios elementares que norteiam a implantação dos SGBDs, o profissional que fará a administração de banco de dados terá mais facilidade para compreender e questionar a arquitetura usada pelo SGBD. Esse ponto é essencial porque muitos dos princípios que são ensinados em manuais e treinamentos não são compreendidos em sua totalidade por faltar conhecimento teórico de como operam as SGBDs. 4. Saber fazer a automação de bases A automação de bases de dados é uma maneira de torná-las mais eficientes, e auxilia os times de TI a gerarem mais resultados em um tempo mais curto, gerindo melhor o armazenamento e o processamento de dados. Os programas criados para isso usam metadados e metodologias de detecção de padrões para definir designs que otimizam o desempenho dos base de dados. Com isso, atividades repetitivas, que exigiriam programação intensa, podem ser realizadas por sistemas, e os colaboradores do time podem focar em questões estratégicas do gerenciamento dos bancos de dados. 5. Fazer análise da estrutura para saber qual é a mais indicada para cada situação Até pouco tempo atrás, as empresas só podiam contar com bancos de dados on premise, o que mudou com a cloud computing. A cloud computing fornece um custo-benefício que é mais competitivo, o acesso aos dados pode ser feito remotamente e, além disso, a transmissão deles é mais veloz. Contudo, ainda assim há empresas que continuam preferindo realizar o armazenamento de algumas informações de modo local. Assim, é importante que quem vai gerir uma base de dados possa avaliar qual é a melhor estrutura para cada situação. Por exemplo, o modelo híbrido inclui alguns bancos de dados on premise e outros na nuvem. 6. Manter os dados organizados Quando falamos de banco de dados, estamos nos referindo à forma como é realizada a organização dos dados em si e qual o modelo de dados que é utilizado. Nesse sentido, há diversos modelos de base de dados que podem ser utilizados em uma empresa, tais como: relacional, objeto-relacional, hierárquico, plano, entre outros. Desses, o modelo mais usado costuma ser o relacional, uma vez que se mostra mais prático e versátil. Isso dito, compreender a estrutura do banco de dados é fundamental para que se possa determinar qual é a linguagem que mais se adequa ao perfil da empresa em questão. Para isso, existem quatro modelos de SGBD que merecem destaque. São eles: Oracle Database: pago e com custo mais alto que outras alternativas, oferece bons níveis de segurança e boa capacidade de armazenamento de informações. SQL: um dos mais utilizados no mercado, é um sistema de alta confiabilidade e com custos mais acessíveis. MySQL: software de licença aberta, especialmente empregado em empresas com forte atuação online. PostgreSQL: gerenciador gratuito, que também pode ser utilizado para o desenvolvimento de aplicações na web em linguagem PHP. 7. Estudar modelagem de dados Um administrador, engenheiro de dados ou qualquer outro profissional da área precisa saber bastante sobre modelagem de dados. É preciso compreender e ser capaz de interpretar os modelos de dados que serão criados e armazenados na base, e saber as implicações que esses modelos causam na performance de um SGBD. De fato, esse é um dos primeiros e mais importantes temas que deve ser estudado. É imprescindível conseguir desenvolver tabelas e relacioná-las entre si, uma vez que esse é a primeira etapa para evitar problemas que possam surgir futuramente, como espaço no servidor e desempenho. 8. Monitorar o funcionamento da base de maneira constante Para compreender como o gerenciamento do banco de dados está funcionando e quais benefícios ele está trazendo para a empresa, é necessário manter um acompanhamento. Assim, monitorar o uso dos recursos, como da utilização da CPU, a qualidade das conexões e o volume armazenado em cache oferecerá aos profissionais uma noção mais específica do que precisa ser aprimorado no fluxo de trabalho. A administração de base de dados precisa ser constante. Assim, é obrigatório monitorar métricas e assegurar-se de que elas estão alinhadas com as demandas do empreendimento, corrigindo e realizando manutenções proativas que certifiquem que o funcionamento está ocorrendo como planejamento. Fazer esse acompanhamento constante acarreta em muitas vantagens. Por exemplo, será possível integrar melhor as fontes de dados existentes, facilitando a compreensão das informações armazenadas nos bancos e permitindo a geração de insights com resultados aplicáveis dentro do negócio. 9. Conhecer as redes Além do conhecimento básico, é preciso compreender bem as camadas de rede e sua aplicação. Entender a estrutura da rede nesse nível é primordial para monitorar a performance das base de dados. 10. Compreender os sistemas operacionais É preciso saber bem como funciona o sistema operacional usado pelo SGBD e também aspectos relacionados aos processos, gerência de memória e sistema de arquivos, que são fundamentais para resolver problemas e determinar os melhores procedimentos de recuperação. – Esperamos que com essas dicas você tenha compreendido melhor como fazer uma boa administração de base de dados. E se você quiser aprender ainda mais sobre o assunto, conheça o curso de Administração de Banco de Dados da ESR!