Nesse ano submeti duas propostas de palestra para o Fórum Internacional do Software Livre (fisl)… Nunca gostei desse lance de comunidade brasileira, pois sempre a considerei meio estranha, mas achei que seria uma boa para ganhar status e visitantes para o blog ;) e por que possuía dois projetos legais que eu achava que deveriam se citados. Nos próximos parágrafos tentarei mostrar a “estranheza” do fisl e seus avaliadores duvidosos…

Então fiz meu cadastro no canto do palestrante do fisl e loguei no sistema. Não encontrei nenhuma tela de ajuda muito elaborada para minhas informações pessoais e preenchi os campos obrigatórios e alguns que supus serem importantes. Meu primeiro erro foi não escrever muito no campo do mini currículo (mini mesmo, pois só podia entrar com 50 palavras).

Depois da confusão dos dados pessoais, fui cadastrar minhas propostas. Foram duas:

  • Software Livre, Desenvolvimento de Jogos 3D e Python
  • dropline GNOME: Estrutura e comunidade de um ambiente desktop fácil de usar

Ali chegando encontrei um texto de ajuda mínimo que me ajudou bem (assim pensei) a definir em qual trilha as palestras se encaixariam e qual meu nível de envolvimento com os projetos. Tive algumas dúvidas, enviei emails para a coordenação e muito tempo depois recebi resposta (muito tempo = aproximadamente 1 semana)… Depois de um tempo tentando escrever um projeto decente, percebi que eu deveria usar o absurdo de no máximo 250 palavras para descrever todo o conteúdo das palestras (e mais 50 para um resumo delas, que não ajuda muito, já que não posso complementar coisas no assunto - para quem está acostumado com outro tipo de evento isso é quase ultrajante, além do mais quando se é um prolixo de coração como eu), mas ok, eu deveria ter lido a página toda antes. Pois bem, preenchi as descrições da maneira que achei interessante e esperei o resultado…

… Então o resultado saiu! Só fui receber o email avisando isso uns 5 dias DEPOIS do resultado liberado, mas ao menos fui avisado (eu já havia conferido, anyway). Nenhuma das minhas palestras foi aprovada. Tudo bem, minha sede de fama pode esperar mais um pouco, eis a legenda do resultado e mais abaixo o resultado e minha análise:

Legenda

Confiança: Auto-avaliação do avaliador com relação ao tema da proposta.

G não conheço bem o assunto, sou generalista.
C não sou expert, mas sinto-me confortável com o assunto
E sou expert, conheço bastante o assunto.
Relevância: Relevância da proposta para o evento, a partir do resumo fornecido pelo autor.
1 Nenhuma.
2 Pouca.
3 Alguma.
4 Muita.
5 Extrema.
Qualidade técnica: Qualidade técnica da proposta, a partir do resumo fornecido pelo autor.
1 Nenhuma.
2 Pouca.
3 Alguma.
4 Muita.
5 Extrema.
Experiência: Experiência do autor no tema da proposta, a partir do mini-currículum fornecido pelo autor e outros meios (buscas na web, outros eventos, atuação da comunidade etc).
1 Nenhuma.
2 Pouca.
3 Alguma.
4 Muita.
5 Extrema.
Recomendação: Sugestão do avaliador com relação à proposta.
R Rejeição forte - Tenho argumentos fortes para rejeitar o trabalho.
r Rejeição fraca - Não tenho argumentos fortes para rejeitar o trabalho; tenho mais argumentos para rejeitar o trabalho do que para aceitar.
a Aceitação fraca - Não tenho argumentos fortes para aceitar o trabalho; tenho mais argumentos para aceitar o trabalho do que para rejeitar.
A Aceitação forte - Tenho argumentos fortes para aceitar o trabalho

Software Livre, Desenvolvimento de Jogos 3D e Python

Coloquei essa palestra na trilha “Jogos e Multimídia” por motivos óbvios.

Pontuação: 445.44

Pontuação mínima para entrar: 576.37

Avaliações

Avaliador Confiança Relevância Qualidade técnica Experiência Recomendação
Avaliador #1 G 4 3 2 a
Avaliador #2 C 2 3 2 r
Avaliador #3 G 4 4 4 a
Avaliador #4 G 1 1 1 r
Avaliador #5 C 3 2 3 r
Avaliador #6 C 4 4 3 A
Avaliador #7 C 4 4 3 r

Algumas estatísticas: 42.85% de meus avaliadores são generalistas (logo eu assumo que eles sabem menos que eu). Desses, 33% porcento rejeitam minha proposta. Note, querido leitor, que apesar de não saber nada de nada (ele é um generalista), ele me deu a pontuação mínima em TODOS OS QUESITOS. (!) Eu gostaria de saber o que se passa na mente de tal ser… :)

É interessante dizer que eu não tenho nada contra receber a pontuação mínima em todos os quesitos desde que seja explicitada a razão para isso. Não foi esse o caso, então eu assumo que o cara não estava afim de ler, ou não gosta de python e resolver chutar o balde.

Note que o generalista avaliador #3, apesar de não saber de nada, já supõe que eu tenho “muito de tudo” (a julgar pelo obscuro fator “Extrema” - seja lá o que isso for - acho que estou muito bem). Observe que o camarada de número 6, que sabe de alguma coisa (e, portanto, membro dos outros 57.15% que sabem alguma coisa), recomenda fortemente minha palestra. Quando pensei em escrever esse post, algumas outras idéias passaram pela minha cabeça, mas não me lembro agora. Mas note que basta observar um pouco para ver que as notas de meus avaliadores foram geradas de maneira meio aleatória. (Coisa interessante é que boa pontuação está dissociada de boa recomendação e vice-versa)

Agora a estranheza-mor: São sete avaliadores, correto? Errado! Na verdade são oito. Olhando mais embaixo no resultado, encontro os comentários dos avaliadores e vejo que tenho oito comentários, ao invés de sete.(!) Eu suponho que o oitavo avaliador tenha escolhido não avaliar a proposta, mas nesse caso o sistema não deveria dizer isso em algum lugar?

Comentários ao autor

  • Avaliador #1: Faltou informação sobre a palestra no resumo e sobre a sua experiência na área no seu minicurrículo
  • Avaliador #2: nenhum
  • Avaliador #3: nenhum
  • Avaliador #4: nenhum
  • Avaliador #5: Seria interessante citar quais ferramentas irão ser apresentadas na palestra.
  • Avaliador #6: nenhum
  • Avaliador #7: Acho a proposta interessante, o desenvolvimento em Python é crescente e é importante no campo dos games o conhecimento de que frameworks podem atender melhor as aplicações.
  • Avaliador #8: Senti falta de mais informações em seu curriculo, falando mais de sua experiência com python.

Cara, que loucura… Eu vou assumir que o avaliador número oito não viu meu currículo (campo esse facilmente forjável) e resolveu não me classificar (não sei o motivo, mas parece uma justificativa boa o suficiente para não usar o papers - Software usado pelo fisl para submissão de propostas) nem sequer pensar que para fazer um jogo é necessário conhecer alguma coisa da linguagem de programação usada… Mesma coisa para o avaliador de número um: Caro camarada, eu tinha 250 palavras para falar sobre a palestra como um todo, como você esperava que eu fosse completo? Sabia que aquelas estatísticas deram um trabalho danado para achar? Elas SÃO importantes e deviam entrar no resumo. Ao avaliador de número 5, eu até poderia fazer isso, mas não teria espaço, são apenas 250 palavras e eu “perderia” no mínimo 10 só dizendo o nome das BIBLIOTECAS que usei (que são diferentes de ferramentas). Quanto ao avaliador de número sete, eu sei, cara, eu sei. :) Mas quanto a isso eu não posso fazer nada. Vocês vão perder a apresentação (é um projeto novo e eu o citaria e mostraria alguma coisa - ou seja, apresentaria) do python-ogre e o excelente trabalho de seus desenvolvedores. É material de primeira qualidade. Quem quiser conferir: http://python-ogre.python-hosting.com.

Tudo bem, eu aceito que essa palestra esteja fora, concordo que o material não era dos melhores, mas não concordo com a pontuação caótica.

Vamos agora à outra palestra…

dropline GNOME: Estrutura e comunidade de um ambiente desktop fácil de usar

Tive dúvidas na hora de escolher a trilha para essa palestra, acabei por escolher “Comunidade e Filosofia” por estar falando também sobre a comunidade e a filosofia do projeto, englobando também o desktop (note o título).

Pontuação: 439.44

Pontuação mínima para entrar: 557.91

Avaliações

Avaliador Confiança Relevância Qualidade técnica Experiência Recomendação
Avaliador #1 C 5 4 3 A
Avaliador #2 C 3 3 4 r
Avaliador #3 C 3 3 3 a
Avaliador #4 C 3 4 4 a
Avaliador #5 C 3 3 3 R
Avaliador #6 G 1 3 3 A
Avaliador #7 G 1 1 1 R
Avaliador #8 C 4 4 4 a
Essa é até mais divertida:
  • 25% dos avaliadores não fazem a menor idéia de meus motivos para falar sobre o dropline GNOME (já vou falar sobre isso)
  • 12.5% dos avaliadores até aceitariam meu trabalho se não existissem muitos outros melhores…
  • 37.5% dos avaliadores até aceitariam o trabalho
  • Outros 25% acham que o fisl é o lugar para falar sobre o dropline GNOME
Novamente é possível perceber a divisão entre os avaliadores, uns acham que não tem nada a ver, do outro lado há aqueles que acham que tem tudo a ver, e eu que achava que a SBC é que era problemática…

Agora, eu gostaria que você, caro leitor imaginário, desse uma olhada na página do programa do fisl e observasse alguns títulos super explicativos das palestras selecionadas, como por exemplo “Sapos Piramidais - Episódio XI: Novells fora, …” - acho que perdi pontos por falta de surrealismo (afinal, o que é um sapo piramidal?) - vou deixar a continuação dessa discussão para algumas linhas abaixo, quando chegar no comentário dos avaliadores.

Outra classe de estatísticas:

  • 25% dos avaliadores são generalistas (eufemismo para amigo do organizador, IMHO)
  • 75% dos avaliadores conhecem alguma coisa sobre o assunto
  • 0% dos avaliadores tanto nessa palestra quanto na outra são especialistas no assunto. Eu me pergunto se existe algum avaliador dominando algum dos assuntos…
Quem notou que agora eu até ganhei um nível 5? Detonei, né?

Bom, quem achou um padrão aqui? Temos grandes chances de ter o avaliador número sete dessa palestra como o avaliador número quatro da anterior. Motivo? Não sabe nada e tem a ousadia de não recomendar. Sinceramente ele deveria se abster de seu voto… Quanto ao número cinco, ele é a prova de recomendação não tem a ver com qualidade…

Outra coisa interessante é que nofisl 6.0 houve várias palestras sobre distribuições Linux desconhecidas (o que é muito legal pois as torna conhecidas - e também as seus propósitos), no entanto, dois anos depois esse tipo de palestra já é reprovado. Ou então esse tipo de palestra atualmente só é aceita se comprovar o hype em cima de distribuições “usáveis” como *Ubuntu e afins (essa opção recebe meu voto).

Comentários ao autor

  • Avaliador #1: nenhum
  • Avaliador #2: nenhum
  • Avaliador #3: nenhum
  • Avaliador #4: Foi descrito o mini currículo de um proponente e do Igor Feghali Barcelos não tem nada.
  • Avaliador #5: nenhum
  • Avaliador #6: nenhum
  • Avaliador #7: nenhum
  • Avaliador #8: nenhum
  • Avaliador #9: Você submeteu seu trabalho em trilha inadequada. Isto impede que os avaliadores façam uma análise comparativa e possam selecioná-lo entre os demais de um mesmo grupo!
Para o avaliador número quatro: O cara submeteu uma palestra falando sobre php que foi aceita. Se você não consegue achar o currículo dele, então o problema é seu, não meu (ou melhor, o problema é do sistema papers, pois segundo a página de ajuda, bastava eu digitar o email dele que o sistema se encarregaria do resto - o que não ocorreu). Na verdade é meu por que a palestra foi negada, mas isso quer dizer que os avaliadores usam métricas completamente diferentes para avaliar as propostas.

E a você, fantasma número nove, eu gostaria de saber o que te leva a acreditar que um trabalho que cita a comunidade em seu título não pode ser incluído na trilha de “Comunidade e Filosofia”. Já que a comunidade é inclusive citada no título da palestra. Alguns amigos já haviam me alertado sobre a desorganização do fisl, pude comprová-la nas experiências vividas nesse último. Ainda estarei lá como participante, estou certo que será divertido, mas que fiquei espantado com os disparates dos avaliadores, isso eu fiquei. Outros já haviam blogado sobre a infeliz decisão de mudança de local do evento. Sinceramente eu não sei, já que não fui ao evento no ano passado. Espero aparecer por lá nesse ano e comprovar tais declarações (como comprovei a desorganização dos avaliadores).

Antes que me chamem de revoltado por não ter minhas propostas aceitas, eu gostaria de dizer que um amigo meu, que teve sua proposta aceita, compartilha algumas das reclamações comigo.

Infelizmente eu não conheço o critério usado para geração de pontuação, senão colocaria alguns números para dizer o que precisaria mudar nas avaliações para obter pontuação para entrar. Essa fica para a próxima.