Beruflich Dokumente
Kultur Dokumente
Minuta
01/09/2011
Sumrio
Introduo.............................................................................................................................................3
1. Objetivos......................................................................................................................................3
2. Pblico Alvo................................................................................................................................3
3. Como usar o documento..............................................................................................................3
4. Processo de construo do documento........................................................................................3
5. Governo Aberto Dados como Infraestrutura.............................................................................4
5.1. Conceitos Bsicos................................................................................................................4
5.2. Melhores Prticas.................................................................................................................5
Guia de Abertura de Dados...................................................................................................................7
1. Alinhamento com a EGTI 2011........................................................................................................7
2. Aspectos Gerenciais..........................................................................................................................7
1. Alinhamento estratgico para viabilizar o processo de abertura..................................................7
2. Definir os atores da iniciativa e seus papis................................................................................7
3. Levantar os grupos de dados para a abertura...............................................................................8
4. Plano de Divulgao e Participao.............................................................................................9
5. Plano de continuidade e manuteno.........................................................................................10
3. Aspectos Tcnicos...........................................................................................................................11
6. Modelar os dados antes da abertura...........................................................................................11
7. Determinar as interfaces e formatos dos pacotes de dados........................................................12
Introduo
1. Objetivos
O documento tambm fornece vrias orientaes tcnicas, auxilia na formao de uma equipe
com habilidades essenciais para Dados Abertos, e na sua gesto para atingir os objetivos de
publicao de dados. Para uma orientao tecnolgica mais aprofundada na construo da
soluo de dados abertos, a SLTI disponibiliza tambm um documento relatando a experincia
de abertura dos dados do Sistema de Cadastramento Unificado de Fornecedores - SICAF. Este
documento est em anexo, e segue todos os padres propostos e deve ser enxergado como
arquitetura modelo de referncia para solues de dados abertos.
2. Pblico Alvo
Apesar da mudana de cultura iniciar no alto escalo das organizaes, fundamental que os
responsveis diretos pela manuteno dos sistemas de informao estejam envolvidos no
planejamento e desenvolvimento das aes de abertura de dados. Grande parte dos sistemas de
informao dos rgos pblicos, assim como seus respectivos bancos de dados, tm sua
manuteno terceirizada. Nessas condies fundamental o entendimento desses atores quanto
aos objetivos pretendidos no processo de abertura de dados.
A estratgia de abertura de dados aqui apresentada defende que, uma vez que a sociedade o
maior beneficirio desses dados, deve considerar a participao social processo fundamental na
construo dos canais ideais de disseminao desses dados.
Este documento deve ser usado como um modelo e/ou roteiro dos procedimentos
organizacionais necessrios para publicao de dados abertos governamentais. Pode e deve ser
usado em conjunto com o Manual de Dados Abertos
(http://www.w3c.br/pub/Materiais/PublicacoesW3C/Manual_Dados_Abertos_WEB.pdf),
traduzido e adaptado a partir do Open Data Manual (http://opendatamanual.org) da Open
Knowledge Foundation.
3
Esta minuta uma proposta elaborada pelo Time de Dados Abertos da Secretaria de Logstica e
Tecnologia da Informao SLTI e pelo grupo de trabalho da Infraestrutura Nacional de Dados
Abertos INDA.
De maneira geral a sociedade (grupos organizados, iniciativa privada, grupos acadmicos, etc.)
tm a capacidade de cruzar informaes de diversas fontes e desenvolver aplicaes e servios
que resolvam demandas de grupos especficos da sociedade. Essa estratgia beneficia no s a
sociedade mas tambm o governo uma vez que transfere para a sociedade o provimento de
servios que muitas vezes no esto dentre suas prioridades. muito importante perceber a
gama de aplicaes que a sociedade capaz de desenvolver.
Por outro lado, na medida em que mais dados governamentais estejam disponveis de forma
aberta, espera-se que o prprio governo passe a gradualmente utilizar esses dados abertos como
plataforma de gil de integrao entre sistemas de informao, assim promovendo a
interoperabilidade dentro da esfera pblica. Alm disso, essas integraes so benficas, ainda,
no sentido de tornar as iniciativas de dados abertos algo permanente e sustentvel, na medida
em que o prprio governo passe a depender delas. Portanto, faz sentido como estratgia de
Abertura de Dados estimular o consumo pelo governo de dados abertos governamentais.
4
1. Se o dado no pode ser encontrado e indexado na web, ele no existe.
2. Se no estiver aberto e em formato compreensvel por mquina, ele no pode ser
reaproveitado.
3. Se algum dispositivo legal no permitir sua reaplicao, ele no til.
1. Completos: Todos os dados pblicos esto disponveis. Dado pblico o dado que no est
sujeito a limitaes vlidas de privacidade, segurana ou controle de acesso.
2. Primrios: Os dados so apresentados tais como os coletados na fonte, com o maior nvel de
granularidade e sem agregao ou modificao.
3. Atuais: Os dados so disponibilizados to rapidamente quanto necessrio preservao do
seu valor.
4. Acessveis: Os dados so disponibilizados para o maior alcance possvel de usurios e para o
maior conjunto possvel de finalidades.
5. Compreensveis por mquinas: Os dados so razoavelmente estruturados de modo a
possibilidar processamento automatizado.
6. No discriminatrios: Os dados so disponveis para todos, sem exigncia de requerimento
ou cadastro.
7. No proprietrios: Os dados so disponveis em formato sobre o qual nenhuma entidade
detenha controle exclusivo.
8. Livres de licenas: Os dados no esto sujeitos a nenhuma restrio de direito autoral,
patente, propriedade intelectual ou segredo industrial. Restries sensatas relacionadas
privacidade, segurana e privilgios de acesso devem ser permitidas.
Abaixo, uma seleo de boas prticas na publicao de dados abertos, levantada em uma anlise
nos portais de disseminao de dados, em conformidade com as orientaes do W3C:
1. Identificador Persistente
2. Metadados
Segundo o W3C, Sem documentao, os dados no so muito teis. Quando possvel, deve-se
usar padres da indstria, tais como aqueles baseados em XML/RDF, que normalmente so auto
Documentveis. . A atribuio de Metadados facilita o processamento por mquinas e o
correlacionamento de dados pelas pessoas.
Para que o acesso a esses dados ocorra de maneira isonmica, necessrio que eles possam ser
5
interpretados por ferramentas gratuitas e possuam formatos abertos.
Levando em considerao que os dados esto sendo divulgados publicamente, necessrio que
sejam explicitados os direitos de uso dessas informaes, e que seja analisado quais so
possveis de se utilizar abertamente.
Com o atual volume de dados existente nas bases do governo, nada mais adequado que sua
correta organizao e indexao, o aspecto mais importante manter esses dados ordenados de
uma forma que o leigo possa encontrar o que quer.
To importante quanto a organizao dos dados o provimento de uma ferramenta que facilite
seu encontro, uma ferramenta de busca bem estruturada ajuda o interessado a encontrar seus
dados de forma mais rpida e garante seu retorno quando precisar de novas informaes.
6. Ambiente de feedback
Ao passo que existe sua importncia, evidente que existe um grande custo envolvido em ouvir
as sugestes e ter o comprometimento de implementar a melhoria.
Esse ambiente, caso seja de fato administrado e utilizado, um marco para a maturidade de um
portal ou sistema de disseminao.
6
Guia de Abertura de Dados
Na ltima edio deste documento, a EGTI 2011 ainda estava em fase de desenvolvimento.
Entretanto, como ferramenta de planejamento e alinhamento do SISP, prover algumas
diretrizes que geraro a necessidade de publicar dados pblicos em padres abertos. Dentre elas,
a principal a da transparncia governamental.
Essa necessidade resultou na elaborao deste documento, que pretende atingir parte desse
objetivo e ir alm das expectativas, trazendo no s os previsveis benefcios das combinaes
dos dados governamentais, mas criando uma plataforma de colaborao, firmando um marco na
participao do cidado nas prticas do Estado.
2 Aspectos Gerenciais
Este documento prope uma atividade transversal e longitudinal s diversas reas e hierarquias
da organizao, portanto sentiu-se a necessidade de divid-lo em duas linhas de viso, gerencial
e tcnica, os tpicos a seguir orientam a primeira delas.
Entende-se que esse momento de articulaes muito especfico para cada instituio, aqui
que o coordenador da iniciativa garante, atravs do patrocinador, o apoio das reas envolvidas
para prosseguir com o trabalho.
Para a obteno desse alinhamento, devem ser apresentados os objetivos da publicao de dados
abertos e seus benefcios, a viso de que os dados abertos so um recurso estratgico substitui a
antiga idia de que dado um subproduto da atividade do governo.
7
representantes das reas envolvidas, a seguir a representao dos que so considerados os
principais responsveis no processo de abertura:
2.2. Patrocinador
Responsvel pela Iniciativa, principal interessado na abertura dos dados, Executivo de
nvel superior do rgo.
2.3. Coordenador/Articulador
Responde pela execuo do processo de abertura, articula entre os responsveis tcnicos e
gestores de negcio.
Em teoria o movimento de abertura de dados prega a publicao total dos dados o mais rpido
possvel. Porm, os recursos disponibilizados aos rgos possuidores dos dados no prevem
aes de publicao dos dados nos moldes atualmente discutidos. As aes sugeridas a seguir
consideram a colaborao como pea importante na priorizao dos dados a serem publicados,
otimizando a utilizao dos recursos e reduzindo as incertezas quanto ao impacto das
publicaes.
8
3.2. Obter autorizao para publicao dos grupos de dados do rgo:
Para que um grupo de dados seja disponibilizado publicamente imprescindvel um
levantamento jurdico e permisso formal da instncia responsvel, isso porque podem
existir instrumentos jurdicos, portarias, instrues normativas ou afins que probam a
publicao de certas informaes. Deve-se tomar como premissa que todos os dados podem
ser liberados, e remover aqueles que possuem alguma restrio. importante enfatizar que
mesmo parcialmente publicado, um grupo de dados agrega algum valor. aceitvel que
motivos relacionados a segurana nacional e estratgia de governo restrinjam os dados, mas
justificativas fortalecem a atuao transparente do rgo.
Participantes: Coordenador e Gestor Negocial.
O consumidor uma pea essencial no uso dos dados abertos, portanto o plano deve conter
aes para seu envolvimento ainda no momento de definio dos pacotes de dados a serem
9
publicados. Essa colaborao aumenta a transparncia da ao e reduz as incertezas quanto
aos resultados da abertura dos dados.
O plano de divulgao pode ser especializado para cada tipo de usurio dos dados. A
definio de papis prope o melhor aproveitamento dos colaboradores de acordo com o
propsito de uso dos dados.
4.3. Acadmicos
As universidades e centros de pesquisa constituem grupos com capacidade tcnica e viso
de tendncia.
O incentivo mais percebido para utilizao dos dados, diferente dos meios usuais, a
motivao do desenvolvimento de aplicaes atravs de torneios de programao. O
governo, provedor dos dados, promove torneios premiando quelas aplicaes inovadoras
socialmente reconhecidas. Alguns exemplos:
Apps for climate action(A4CA)
Apps for californians
Open.Up
Apps for democracy
10
5.1. Manuteno do processo de abertura
O modelo de processo sugerido neste documento prev a priorizao dos pacotes de dados a
serem abertos tendo em vista a disponibilidade de os poucos recursos. Porm, a abertura de
dados precisa ser encarada como assunto estratgico e incorporado aos processos de criao
de dados do rgo. O plano de continuidade deve prever aes para melhoria do processo de
abertura atravs do feedback do usurio e troca de experincias com outros rgos.
3 Aspectos Tcnicos
6.1. Definir quais so os detalhes fundamentais a serem abertos, gerando um modelo inicial.
Dos grupos selecionados e autorizados, importante determinar quais so os dados centrais,
o eixo inicial que traz sentido na abertura daquele conjunto. Tomemos como exemplo o
grupo de dados de pagamento de benefcios da Previdncia Social: o maior interesse nesse
grupo em cima do benefcio em si, seu valor e qual a agncia pagadora, no entanto esse
dado tem seu valor anulado sem a data do pagamento do benefcio, e reduzido sem a
localizao da agncia.
Em torno dos dados fundamentais ser discutido o acrscimo dos demais para agregao de
valor, essa discusso ser muito mais proveitosa se contar com a participao dos usurios
que ajudaram na definio dos grupos de dados mais importantes.
Participantes: Coordenador, Gestor Negocial, Gestor Tcnico e Usurio.
Segurana nacional;
Segredos estratgicos de governo;
Direito de privacidade do cidado;
ou Legislao
11
identificam prontamente o objeto (normalmente pessoa), o processo usa como subsdio
anlises das formas de se desanonimizar os dados atravs de cruzamentos com outros
conjuntos de dados. Outra ressalva que quanto mais annimo o dado, menor sua utilidade,
portanto deve-se ser cauteloso ao retringir partes importantes dos dados.
Participantes: Coordenador, Gestor Negocial, Gestor Tcnico e Especialista em
anonimizao.
6.3. Definir conjunto de metadados a ser demonstrado para cada pacote de dados, um
informativo que descreve o que ser apresentado.
importante informar do que se trata um grupo de dados, isso pode ser feito com uma
interface prvia de apresentao dos dados. No estamos falando de web-semntica, esse
ainda um passo adiante, aqui os metadados so contextualizadores: faixa de tempo dos
dados, data de publicao, direitos de uso, etc.
Participantes: Coordenador, Gestor Negocial e Gestor Tcnico.
Alguns grupos de dados podem ser pouco volumosos, o que justifica o uso de tecnologias
mais modernas e completas, no entanto, deve-se avaliar a taxa de atualizao desses dados e
seu consequente crescimento natural antes de adotar qualquer mtodo de publicao.
7.2. Formatos.
A escolha do formato errado, dependendo do volume de dados possudos, pode gerar um
arquivo de tamanho muito grande. A manuteno e o elevado nmero de downloads
simultneos desse tipo de arquivo podem causar sobrecarga nos servidores. Um exemplo
comum a utilizao de um arquivo XML ou RDF no lugar de um CSV: essa escolha vai,
na melhor das hipteses, dobrar o tamanho do arquivo. Por outro lado, o valor agregado
resultante da riqueza de metadados introduzidos por esses formatos extremamente
vantajoso para o processamento automtico.
Exemplos de arquivos:
XML;
CSV;
12
RDF;
HTML.
Exemplos de protocolos:
HTTP;
FTP;
Endpoint SPARQL;
Bit Torrent.
Temporal
Semanal
Mensal
Trimestral
Anual
importante enfatizar que cada rgo deve fazer uma anlise individualizada e encontrar
outras dimenses relacionadas natureza do dado gerado ou manipulado.
13