Memnemonics fike’s

   Estou publicando um pequeno estudo comparativo feito para um cliente, este estudo era para definir qual a melhor solução para usar conexões remotas e o PostgreSQL. O alvo no caso era acessar outro(s) servidores PostgreSQL, esse estudo é pequeno e não aborda todas as funções do SQL/MED 2003 e tão pouco seguiu critérios muito rigorosos mas é um início para que outros possam evoluir  a comparação e trazer os dados mais consistentes.

   Este estudo comparou o Pg::Snapshot, DBlink e DBI-Link. Gostaria de ter tido um pouco mais de tempo para usar melhor o Pg::Snapshot, por isso é possível que tenha uma distorção no testes mas ficarei feliz se alguém melhorar.

   Está primeira versão está em PDF, conforme eu tiver tempo, vou portar para Latex ou num Wiki. 

   Críticas, análises e comentários serão muito bem-vindos.

  Ah… Para você ler, está aqui.

Reprodução do email do Euler enviado para lista pgbr-geral.

============================================================================================

    Olá pessoal,

    Este é um assunto muito debatido dentro da comunidade brasileira. Há alguns meses alguns entusiastas do projeto PostgreSQL iniciaram um esforço para produzir uma certificação pela comunidade e para comunidade. Esta certificação está sendo desenvolvida nos moldes da certificação BSD  e estamos no momento de coleta de dados para traçar o perfil dos profissionais que usam PostgreSQL. Abaixo eu traduzo de maneira livre o texto do anúncio. Por favor, tirem um tempo para preencher o JTA.

____________________________________________________________________________________________

    A Comunidade PostgreSQL está trabalhando para criar uma comunidade para dirigir e endossar a certificação PostgreSQL. Este esforço está sendo lançado pelo Projeto de Certificação PostgreSQL . O principal foco deste projeto é o desenvolvimento e suporte de uma série de certificações que fornecem um método padronizado de identificação do conhecimento e habilidades deprofissionais de banco de dados que trabalham com PostgreSQL.

    Por agora, o Projeto de Certificação do PostgreSQL tem o prazer de anunciar a disponibilidade de uma pesquisa para análise das tarefas de emprego que irá ajudar a formatar o conteúdo e forma que as certificações iniciais irão tomar. Esta pesquisa está disponível publicamente e todos estão convidados a participar.

    Para preencher a pesquisa, por favor registre-se em:
http://www.postgresqlcertification.org/jta

    O processo de registro leva apenas alguns minutos. Uma vez que o registro esteja concluído e você tenha entrado no sistema, clique em JTA no menu seguido por “participate in the survey”. A pesquisa leva aproximadamente uns 30 minutos para ser preenchida.

    Nós pedimos a todos que tire um tempo para preencher a pesquisa e que diga a um empregado, gerente, colega ou qualquer um que possa trabalhar com o banco de dados PostgreSQL que o faça também. Com a ajuda da
comunidade nós seremos capazes de alcançar boa parte do público alvo.

    Se você está interessado em se juntar ao Projeto de Certificação PostgreSQL, por favor visite e se inscreva na lista de discussão após preencher a pesquisa.

   Sempre que existe uma continuidade de evento, geralmente o último realizado é considerado o melhor de todos. Felizmente a PGCon-BR 2008 também podemos dizer isso.

   Desde a última vez que estive envolvido na organização de um evento de Software Livre  (PSL-ABCD) eu não tenho muita vontade de estar ajudando na organização.  Coisas bem pontuais quando pedem…

   Esse ano na PGCon-BR 2008 eu ajudei simbolicamente resolvendo um problema para imprimir parte dos materiais do evento, horas relembrando meus tempos de consertar impressoas jato de tinta. argh!!!

   Creio que a escolha do local foi bem apropriada, realizado na Unicamp com um bom espaço, bom auditório. Espero que os próximos sejam neste mesmo local.

   O público foi maior do que em 2007 e também mais qualificado. As palestras tiveram um bom nível técnico com o público interagindo bem com os palestrantes com boas perguntas. Destaco três palestras que superaram minha expectativa que foram do Leandro Dutra (O elefante aparelhado), Luis Fernando Bueno do SIPAM (Banco de Dados Espaciais com PostgreSQL) e David Fetter (Implementation of Common Table Expressions). 

  Um dos pontos altos do evento foram as palestras leves (Lightning  talks) foi muito bacana. 3 minutos para que as pessoas darem seu recado. Já no fim do evento a Isis teve a idéia de formar o pgwomen, assim como tem o Debian (Debian-Women) .

  O telles também fez seus comentários sobre o evento, faça o seu também.

   Ultimamente tenho trabalhado mais com Oracle RAC do que PostgreSQL. Para quem não conhece, Oracle RAC é uma solução de cluster para banco de dados Oracle

   Nessas minhas últimas semanas de manutenção, minhas impressões iniciais são:
 

 1 - É uma caixa mágica que ninguém sabe como funciona por dentro.

2 - Os idiotas que desenvolveram não entendem porra nenhuma de System V.

3 - Heartbeat é para checar o estados dos nós de um cluster ou serviços, não para replicar dados dentro dele.

4 - Modificar o coreutils e incrementar biblioteca quer permite acesso como O_DIRECT é quase o mesmo que mandar o Sistema Operacional para o limbo, prá que um SO mesmo?

5 - OCFS (não o OCFS2) é uma bomba-relógio, se tem Oracle nele, tenha plano de saúde.

6 - Não adianta te enganarem, RAC não foi feito para trabalhar em rede WAN.

7 - Não se preocupe, alguns erro ORA-XXXX são considerados normais. (hã?) -

8 - Se sua rede não é confiável, esquece de usar RAC, ele irá cair e você demorará para entender onde está o problema. Na verdade, com um hardware intermediário ele já tem surtos psicóticos.

9 - Tenha uma bendita conta no Metalink, senão viverá menos dias diante ao caos.

10 - Se você não tem suporte nem da Oracle, nem Red Hat (Debian é mais rápido, quer apostar?), pode instalar em qualquer Linux decente que funciona igual ou mais rápido.

11 - Ainda bem que o PostgreSQL não é Oracle e não existe nenhum projeto estável que se inspire no RAC.

Obs: Convença-me que estou errado, ficarei feliz com opiniões divergentes.

    Sempre me perguntando quando estou apresentando palestra se tem emprego em Software Livre/Código Aberto. Sempre respondo que sim mas que ainda o mercado está amadurecendo, a mentalidade são ainda de venda de caixinhas como solução para todos os problemas mas felizmente isso tem mudado bastante vide algumas vagas que aparecem no BR-Linux e algumas como está que está abaixo. Sempre perguntam se é possível trabalhar somente com Debian ou PostgreSQL, sempre respondo que sim, tem bons lugares para trabalhar com eles e muitos que somente usam eles por conveniência de um edital público ou por puro oportunismo barato.

     Segundo o que dizem, é um local excelente para trabalhar, um dia trabalho num lugar desses e espero que vocês leitores também.

* Formação superior na área de Computação
* Perfil desenvolvedor - Design e implementação em linguagens como
C/C++, Python ou Perl
* Ser capaz de desenvolver no modelo Open-Source: uso de
mailing-lists e patches, GNU Toolchain (gcc, gdb), GNU Auto-tools e
esquemas de empacotamento como o RPM ou Debian
* Fortes conhecimentos de uso e administração em Linux - shell
scripts, administração de pacotes, uso do Linux como Desktop no
dia-a-dia
* Conhecimento do funcionamento interno do Linux
* Fluencia em Inglês

* Arquitetura e programação da plataforma Linux on XXXXX
* Design de ferramentas de toolchain (compiladores, debuggers)
* Desenvolvimento de device-drivers para o Linux Kernel, programação em baixo-nível
* Conhecimentos em criptografia, Trusted Computing ou padrões de
segurança internacionais
* Technologias de virtualização e meta-virtualização. Soluções XXX
ou Open-Source

    Frenquentemente pergutam se é possível alterar o tamanho de bloco das  tabelas PostgreSQL, até a versão 8.3 (atualmente estável) isso é possível mas é necessário alterar o código-fonte para isso. A próxima versão (8.4) que será lançada, provavelmente em Março de 2009, será mais fazer essa alteração de tamanho de bloco. Ainda é na etapa de compilação do PostgreSQL mas agora é parâmetro do ./configure. Além de alterar o tamanho de bloco das tabelas, será possível alterar o tamanho dos arquivos do WAL, do tamanho total de cada tabela gerenciada pelo TOAST(depois eu escrevo uma nota sobre o TOAST), etc.

    Apesar de ainda de estas opções ainda estarem no estágio de compilação/instalação, essas novas funcionalidades permitem melhor ajuste do PostgreSQL para ambientes OLTP, Web ou Datawarehouse (vulgo BI).

   No 8.4 você poderá alterar:
 

- Tamanho de bloco das tabelas: –with-blocksize -> Valores possíveis (1, 2, 4, 8, 16, 32, 64)

- Tamanho máximo das tabelas gerenciadas pelo TOAST: –with-segsize -> Valores em GigaByte (Até o limite do Sistema Operacional/Sistema de Arquivo)

- Tamanho dos blocos do WAL: –with-wal-blocksize -> Valores possíveis ( 1, 2, 4, 8, 16, 32, 64)

- Tamanho dos arquivos do WAL:  –with-wal-segsize-> Valores possíveis (1, 2, 4, 8, 16, 32, 64)
 

   Esses novos parâmetros ajudam a melhorar a perforamance do PostgreSQL ajustando so blocos conforme o tipo de uso do banco de dados, seja OLTP, BI ou WEB. De modo geral só mexe-se nesses parâmetros se tem bom conhecimento de banco de dados e Sistema Operacionais, mudar usando receitas de bolos pode ter alguns resultados desastrosos e culparem o banco de dados.

  Observação importante é que se precisar alterar os tamanhos dos blocos do WAL ou dos arquivos do WAL não precisará criar novamente um cluster, somente recompilar e instalar novamente.

   Estive no Consegi 2008. Foi um evento interessante para o Governo nas três esferas (Federal, Municipal e Estadual) sobre troca de conhecimento, uso de padrões abertos e Software Livre. Uma das surpresas do evento para mim foi ter de apresentar uma segunda palestra pois o Fábio Telles não pode comparecer. A palestra de boas práticas em PostgreSQL do telles tem um nome bem sugestivo: "Como fazer um elefante passar debaixo da porta." .  Uma pena que o autor não tenha apresentado no Consegi, espero que substituto meia-boca(eu) tenha consegido passar as idéias de melhores práticas para o PostgreSQL.

   O evento teve integração com outros países indo da Argentina, passando por ïndia e com participação de Cabo Verde. Foi um evento importante para aglutinar ações do Governo Federal Brasileiro e suas diversas instituições com boas oficinas com destaque para oficinas do Ginga.

   A minha palestra também foi de PostgreSQL mas com o foco em tuning (O elefante mais rápido que um leopardo) mas essa é a primeira que uso o Latex Beamer para montar a apresentação e gostei dele. Esse evento foi bem mais desgastante para mim que os outros, hora de recarregar as energias e tocar as coisas.

Esses últimos dias passei bricando com duas coisas que estavam na minha lista de tarefas há muito tempo: latex e python. A necessidade de usar Latex para escrever documentação e palestras, não sou muito fã de usar ferramentas como BrOffice.org Impress e seus similares pois minha habilidade artística/visual é praticamente nula.

O Beamer é um classe para Latex voltada para apresentações, nas documentações em português eu encontrei a tradução de slide como lâmina. Inicialmente achei estranho a tradução mas até que estou gostando de usar o termo lâmina.

LateX (pronúcia é Latec) é um conjunto de macros para processador de texto TEX. Latex é muito usado no meio acadêmico e no universo do Software Livre/Código Aberto para documenção, artigos, etc. Usar Latex para produção de texto permite ao autor concentrar-se no conteúdo, afastando o máximo possível da parte visual. Os recursos de Latex permitem gerar documentos com excelente tipografia. Para o telles que irá escrever o mais completo livro de PostgreSQL no mundo, praticamente será entregar para editora já pronto para impressão.

Para apresentações, o Beamer é realmente fantástico, passei horas brincando com ele sem perceber o tempo passar…

Ainda não terminei a palestra, apenas migrei o conteúdo que estava no BrOffice.org Impress, faltando criar um tema mais personalizado mas o resultado já pode ver aqui.

Se quiser aprender usar Latex e não é um geek pode usar o BrOffice.org Writer, ele tem uma extensão que permite exportar seus textos para Latex  ou editar usando o LyX.

O Zabbix é um software de monitoramento que pode trabalhar com vários banco de dados para armazenar suas informações. Até a última versão de desenvolvimento que teste (1.5.3) tinha um função que acionava o Vacuum do PostgreSQL manualmente.

O pequeno problema de colocar no código do Zabbix era de que se o banco de dados está com um volume razoável de informações do Zabbix e executa o Vacuum quando a aplicação está em execução irá acarretar numa demora para terminar de executar o Vacuum.  No meu caso, existia dois processos do Vacuum na mesma tabela do Zabbix (housekeeper) que deixava o servidor muito sobrecarregado e lento. O jeito foi remover o Vacuum do código já que o PostgreSQL 8.3 tem o autovacuum e o uso do Vacuum deve ser feito pelo DBA ou responsável do servidor e nunca pela aplicação.

Registrei no sistema de controle de bugs (ZBX-413) do Zabbix, o patch patch e aparentemente foi aceito. Mas só pode ver quem tiver registro mas o patch remove basicamente  o vacuum do código.

Também um problema mais complicado é que no PostgreSQL 8.3 e superior, não tem mais conversão implícita de tipo de dados e o Zabbix usa muito, fiz um outro patch e enviei com o bug ZBX-416 alguns conversões implicitas. Muito provavelmente tem mais trabalho pela frente…

Estive na semana passada no Seminário de Geoprocessamento em Porto Velho - Rondônia organizado pela ULBRA. A cidade é muito quente, banho tomei sem precisar a energia elétrica do chuveiro. Não consegui ver o sol pois o tempo estava nublado e tinha a queima de pasto também deixou o horizonte bem cinza.

O Seminário foi muito bom, com um público interessado e o evento bem organizado. Minha palestra sobre o PostgreSQL: O melhor banco de dados do Universo era um pequeno aperitivo para as pessoas olharem o PostgreSQL como uma alternativa aos banco de dados comerciais/proprietários.