Resumo - Redes de Computadores - Modelo OSI

ETL – Extração, Transformação e Carga de Dados

Envolve a movimentação dos dados de origem nos sistemas transacionais e/ou sistemas legados, obedecendo as regras de negócio. A mesma se dá basicamente em três passos, extração (E), transformação (T)  e carga (L – Loader) dos dados, esses são os mais trabalhosos, complexos e também muito detalhados, embora tenhamos várias ferramentas (falaremos mais abaixo) que nos auxiliam na execução desse trabalho.

1º passo: Definir as fontes de dados e fazer a extração deles. 
As origens deles podem ser várias e também em diferentes formatos, onde poderemos encontrar desde os sistemas transacionais das empresas até planilhas, flat files (arquivos textos), dados do Mainframe, etc.

2º passo: Transformar e limpar esses dados. 
É muito comum, na obtenção dos dados que, no mais das vezes, são antigos e desconhecidos, encontrarmos muito ‘lixo’ e inconsistências. Por exemplo. Quando um vendedor de linhas telefônicas for executar uma venda, ou inscrição, ele está preocupado em vender, e não na qualidade dos dados que está inserindo na base, então se por acaso o cliente não tiver o número do CPF a mão, ele cadastra um número qualquer, desde que o sistema aceite, um dos mais utilizados é o 999999999-99. Agora imagine um diretor de uma companhia telefônica consultar o seu Data Warehouse (DW) para ver quais são os seus maiores clientes, e aparecer em primeiro lugar o cliente que tem o CPF 999999999-99 ? Seria no mínimo estranho. Por isso, nessa fase do DW, fazemos a limpeza desses dados, para haver compatibilidade entre eles.
Além da limpeza, temos de fazer na maioria das vezes uma transformação, pois os dados provêm de vários sistemas, e por isso, geralmente uma mesma informação tem diferentes formatos, por exemplo: Em alguns sistemas a informação sobre o sexo do cliente pode estar armazenada no seguinte formato : “M” para Masculino e “F” para Feminino, porém em algum outro sistema está guardado como “H” para Masculino e “M” para Feminino, em outro ainda, podemos encontrar “1” para Masculino e “2” para Feminino,  e assim sucessivamente. Quando levamos esses dados para o DW, deve-se ter uma padronização deles, ou seja, quando o usuário for consultar o DW, ele não pode ver informações iguais em formatos diferentes. Assim sendo, quando fazemos o processo de ETL, transformamos esses dados e deixamos num formato uniforme sugerido pelo próprio usuário, como por exemplo “M” para Masculino e “F” para Feminino. No DW, teremos somente M e F, fato esse que facilitará a análise dos dados que serão recuperados pela ferramenta OLAP.





Staging Area é  parte do Data Warehouse responsável por receber a extração, transformação e carga (ETL) das informações dos sistemas transacionais legados, para posterior geração dos Data Marts de destino, com as características:

• Área fora do acesso dos usuários.
• Não deve suportar queries dos Usuários.
• Pode ser composta por flat files (arquivos textos) ou tabelas de banco de dados na terceira forma normal (normalizadas).

fonte: http://litolima.com/2010/01/13/etl-extracao-transformacao-e-carga-de-dados/

Data Warehouse: definições importantes

OLAP (Online analisys process) – Programa que permite transformar os dados relacionais (OLTP) em dadosconsolidados utilizando cross-join e gerando os cubos com os cruzamentos. A arquitetura OLAP é otimizada paraconsolidação e leitura, não permitindo gravação ou alterações;

OLTP (Online transaction process) – São os servidores de banco de dados utilizados comercialmente desdeMicrosoft SQL Server, Oracle ou mesmo Access e Excel, já que todos estes tem os dados otimizados para operações de leitura e gravação constante. Sua desvantagem é a dificuldade em gerar dados consolidados em tempo hábil;

Data Warehouse – Repositório de cubos gerados para análise; coleção de dados orientada por temas, integrada, variante no tempo e não volátil, que tem por objetivo dar suporte aos processos de tomada de decisão;

Pivot Table – Programa visualizador dos cubos, permitindo montar visões e tabelas dinamicamente arrastandoos dados em colunas e linhas. Um bom programa para esta tarefa é o Excel;

Cross-Join – Processo onde se faz a junção dos dados e transforma-se as colunas em linhas e as linhas emcolunas gerando dados cruzados;

Cubo – Dados resultantes do processo de OLTP com o cross-join que são manipulados pelo pivot table.

Data mart (repositório de dados)  – sub-conjunto de dados de um Data warehouse (armazém de dados). Geralmente são dados referentes a um assunto em especial (ex: Vendas, Estoque, Controladoria) ou diferentes níveis de sumarização (ex: Vendas Anual, Vendas Mensal, Vendas 5 anos), que focalizam uma ou mais áreas específicas.

Operações em um OLAP

Drill Down: é a possibilidade de poder obter dados mais detalhados a partir de dados de mais alto nível, através de diferentes dimensões. Em outras palavras, drill down nada mais é do que aumentar o nível de detalhes de uma consulta ou relatório, adicionando-lhes novas linhas de cabeçalho provenientes de tabelas dimensão. Por exemplo, uma tela de um computador pode mostrar um mapa com figuras de Estados. Clicando com o mouse sobre um determinado Estado, poderia ser apresentado às vendas em cada região e clicando-se sobre uma determinada região seria possível verificar o desempenho dos vendedores.

Drill up ou roll up: é o inverso de drill down, ou seja, é apresentar os dados em um nível mais elevado a partir de um nível mais detalhado

Slice: compreende a extração de informações sumarizadas de um cubo de dados, a partir do valor de uma dimensão.

Dice: é a extração de um "subcubo" ou a interseção de vários slices.

Pivot: é o ângulo pelo qual os dados são vistos ou trocados. Na prática corresponde a modificação da posição das dimensões em um gráfico ou troca de linhas por colunas em uma tabela.

Mais informações.

Temperatura ambiente adequada ao estudo

A primeira qualidade de uma calefação ou de uma climatização é promover uma temperatura artificial dentro de um lugar fechado. 
Se trata de canalizar e distribuir os efeitos da maneira mais conveniente de uma fonte de energia, quente ou fria.

Como o clima em muitos lugares requer refrigeração no verão e aquecimento no inverno, o ideal é utilizar os modelos com ciclo reverso, ou seja, que podem também ser utilizados para aquecer o ambiente.
Sua utilização garante a temperatura ambiente ideal, gerando conforto, produtividade, saúde e bem-estar.

A temperatura mínima ideal para o corpo humano é da ordem de 18 graus C. Abaixo desta temperatura, o corpo deve defender-se contra uma perda exagerada de seu próprio calor, que se traduz em uma sensação de frio, tanto maior quanto a temperatura do ambiente vai baixando.
O frio excessivo resulta em um mal estar, incomodo e falta de conforto.

No ambiente de trabalho: Há uma correlação entre a produtividade duma pessoa activa e a temperatura do ambiente que a rodeia. Um ambiente demasiado quente, demasiado frio ou demasiado húmido não contribui de forma alguma para uma maior eficiência no trabalho.

Grafico

O gráfico ilustra esta correlação. A produtividade começa a baixar perto dos 22°C enquanto que, acima dos 26°C, decresce drasticamente. Por isso é que é tão importante controlar a temperatura.

É importante não esquecer que ao falar de "temperatura produtiva" também levamos em conta os níveis de humidade. De fato, a sensação de bem estar requererá distinta ambientação climática em uma sala de estar, em um dormitório ou em um banheiro.
fonte: daikin

Temperaturas mínimas aconselháveis

Salas de banho: 22 graus Celsius

Sala de estar: 20 graus Celsius

Dormitórios: 18 graus Celsius

Fonte: Chauffage

 

Riscos dos projetos de sistema

Em busca de produtividade e redução de custos, a automação de processos por meio de sistemas computacionais apresenta-se como um caminho preferencial às empresas e ao Governo.

No entanto, o processo de desenvolvimento de software, chamada Engenharia de Software, demonstra baixo índice de previsibilidade e sucesso, de acordo com Standish Group, no estudo ChaosReport de 1995. Esse relatório apurou que, somente nos Estados Unidos da América (EUA), foram investidos 250 bilhões de dólares em 175.000 projetos. Desses, 31,1% foram cancelados antes de serem concluídos, desperdiçando 81 bilhões de dólares; 52,7% dos projetos custaram 189% do custo original; apenas 16,2% dos projetos tiveram sucesso.

O Chaos Report de 2010 demonstrou melhora nos índices: 37% dos projetos tiveram sucesso; 42% foram contestados e 21% fracassaram. Ainda assim, ao se comparar com projeto de engenharia civil e outras áreas, a índice de sucesso é muito baixo, exigindo a busca de alternativas para a melhoria dos processos de desenvolvimento de sucesso.

Em 2000, Kent Beck, Mike Beedle e outros 15 experientes e consagrados desenvolvedores escrevem o Manifesto Ágil, composto de 4 valores (indivíduos e suas interações, funcionamento do software, colaboração dos clientes, capacidade de resposta às mudanças) e 12 princípios que visam acelerar o processo de desenvolvimento e a melhoria da qualidade do software. O Standish Group divulgou que em 2010 o uso dos processos ágeis cresceu 22% e é usado em 9% de todos os projetos de software. Nos projetos de novos softwares a adoção é expressiva, chegando a 29% dos projetos.

O Instituto de Engenharia de Software da Carnegie Mellon divulgou em 2006 um relatório com as melhorias obtidas pela adoção ao CMMI-DEV – modelo de referência que contém práticas necessárias à maturidade dos processos de desenvolvimento de software: redução média de 34% nos custos e de 50% nos prazos; aumento de 61% na produtividade e 48% na qualidade do software. Esse reconhecimento modelo de qualidade é adotado pelas melhores e maiores empresas de software de todo o mundo já que é o padrão adotado pelo Governo Americano para avaliação da qualidade de software.

Ainda que existam relevantes riscos no processo de desenvolvimento de software, existem também métodos e ferramentas para mitigá-los. Resta aos clientes e usuários a maior exigência na qualidade dos softwares, levando assim a massificação do uso das melhores práticas e métodos de engenharia de software.

Motivação para Concurso Público

Uma causa, uma necessidade, uma grande oportunidade, um forte motivo: Assim, o adulto consegue mudar seus hábitos, postura e atitudes de como a conseguir passar num concorrido processo seletivo para um cargo público.

Com o aumento da concorrência, os candidatos a cargos públicos precisam estar dispostos a muito sacrifício na busca do conhecimento, do domínio dos conteúdos do edital. De acordo com os princípios da Andragogia, definidos por Malcolm Knowles, o adulto só aprende algo novo se perceber que precisa desse conhecimento. O candidato precisa decidir se realmente quer a aprovação e se realmente está disposto a percorrer o duro caminho da preparação.

Para evitar a decisão emocional, momentânea e passageira, Dale Carnegie, autor do Best-seller Como fazer amigos e influenciar pessoas, sugere o candidato cheque sua atitude por meio de quatro perguntas: Preciso desse cargo? Quero realmente assumir essa posição? Entendo que tenho plenas condições de assumir o cargo e concorrer a essa vaga? Vou até fim dessa caminhada em busca da aprovação, custe o que custar? Qualquer resposta negativa ou com alguma pitada de indecisão é indicativo de desistência na caminhada.

Como em qualquer desafio, a estratégia adotada pelo candidato poderá fazer toda a diferença. De acordo com o livro A Arte da Estratégia de Carlos Alberto Júlio, estratégia nada mais é do que o caminho a ser percorrido entre a situação atual e o objetivo a ser alcançado. A estratégia é a definição das ações necessárias para o atingimento da meta. Já o Plano de Ação, detalha como as ações serão feitas, quando, por quem, onde, quanto custarão e porque devem ser feitas.

Assim, o concurseiro aumenta suas chances de sucesso ao fortalecer sua motivação, checar sua atitude, definir com cuidado seu planejamento e executar com diligência seu plano de ação rumo à aprovação.

A relação entre o Estado e o indivíduo na era digital

O crescente uso dos dispositivos eletrônicos facilita a comunicação entre as pessoas, instituições e o Governo. Thomas Friedman, em seu best-seller O mundo é plano, demonstra que a disponibilidade dos meios de comunicação, a Internet, dentre outros, encurtaram as distâncias geográficas; achataram o mundo.

De acordo com a Anatel são mais de 230 milhões de celulares ativos. Todos os municípios, menos um, possuem cobertura celular. A Internet já é utilizada por cerca de 80 milhões de brasileiros, de acordo com o IBOPE. A FEBRABAN divulgou que, em 2010, uma em cada quatro transações bancárias foram realizadas pela Internet. Essa nova realidade muda a forma com que as pessoas e empresas se relacionam e exige também mudanças na relação entre o Estado e o indivíduo.

Em 2000 foi criado o Governo Eletrônico. Inicialmente, um composto de diretrizes para a universalização dos serviços públicos. Hoje, desde a União, Estados e Municípios possuem portais na Internet com diversos serviços, como 2ª via dos tributos, consulta a dados cadastrais etc. A Receita Federal, por exemplo, disponibiliza todos os serviços possíveis em agências físicas também pela Internet, 24h, a partir de qualquer lugar.

A desmaterialização dos processos públicos facilitou a criação dos centros de atendimento integrado ao cidadão, em Goiás, chamados Vapt-Vupt; acelerou o tempo de atendimento, uma vez que grande parte das demandas é atendida por sistemas informatizados em tempo real; desburocratizou processos; aumentou a eficiência da máquina estatal.

Em São Paulo, até mesmo as mídias sociais são usadas no relacionamento entre o cidadão e o Estado. O Governo do Estado mantém 37 perfis no twitter (um para cada órgão), 6 blogs, 8 canais no Youtube dentre outras ferramentas.

Os investimentos para o crescimento do governo eletrônico devem continuar de forma prioritária nos três poderes, abrangendo o máximo de órgãos, repartições e autarquias. Esse caminho acelera o cumprimento dos objetivos fundamentais da República descritos no Artigo 4º da nossa Constituição Federal.