Grupo de trabalho “Qualis livro”
Conheça melhor como se fundamenta a avaliação dos livros atualmente.
A difusão de conhecimento científico por meio de livros é uma forma importante de construção de teorias e de divulgação de resultados de pesquisa em um conjunto expressivo de Áreas do Conhecimento. Um percentual expressivo da produção bibliográfica em muitas áreas é difundido por livros de autoria única ou coletâneas envolvendo diversos Programas, docentes e discentes. O volume e o significado de tal produção, por si sós, justificam os esforços existentes desde início dos anos 2000 para qualificar essa parcela importante da produção bibliográfica dos Programas de Pós-Graduação. Neste sentido, vale destacar que experiências singulares em algumas áreas ensejaram várias iniciativas para aproximar os processos de avaliação e que culminaram com várias decisões do Conselho Técnico Científico normatizando a avaliação de livros e criando regras mais claras de como avaliar e de como pontuar tais produtos. Da mesma forma como acontece com os periódicos, sempre houve a tentativa de se respeitar especificidades das áreas, aceitando-se variações na avaliação e na pontuação atribuída aos livros.
É importante destacar que a avaliação de livros não se justifica apenas em função de sua especificidade no tocante à difusão do conhecimento gerado. De forma mais geral, há uma expressiva produção de obras didáticas, voltadas para qualificar a formação, tanto em nível de graduação como de pós-graduação. Tais obras “didáticas”, embora sejam uma produção bibliográfica, são vistos por muitas áreas, como um produto técnico e não bibliográfico, o que diminui a sua relevância no processo de avaliação. Essa produção, todavia, não pode ser considerada secundária ou menos importante se retomarmos a missão histórica da Capes, como agência voltada para formação de docentes que qualifiquem o ensino superior no país. Quando surgem de docentes/pesquisadores dos Programas de Pós-Graduação, tais livros constituem indicadores importantes do impacto sobre o sistema educacional. Conforme ocorreu na avaliação quadrienal 2017, o conjunto de indicadores utilizados na classificação de livros foi extraído das informações constantes na Plataforma Sucupira, após a auditoria com base no exemplar da obra. Até então, tal exemplar era encaminhado para uma biblioteca de referência de cada área, implicando em uma logística complexa e fonte de muitas perdas de informações. Na proposta apresentada adiante, o grupo de trabalho propõe alterar essa sistemática, de maneira mais eficiente, com recursos da informática, porém mantendo-se a auditagem das obras, bem como a avaliação qualitativa que se faz de cada uma delas.
Processo de avaliação
Na avaliação de livros, cada obra é singular e deve ser avaliada per si. Neste sentido, os livros (ou seus capítulos) se apresentam como itens similares àqueles que são avaliados pelo Qualis Produtos Técnicos e pelo Qualis Produtos Artísticos. Essa lógica difere da avaliação dos artigos em periódicos, a qual não é avaliada examinando-se cada artigo, posto que é o periódico que é avaliado (com indicadores diversos, predominando indicadores de impacto e indexações) e o seu conceito é atribuído a todos os artigos nele publicado. No entanto, vale destacar que a avaliação de livros sempre toma a obra como unidade de avaliação e não seus capítulos específicos, como é o caso de coletâneas e dicionários. Nessa situação, a avaliação do livro aplica-se a todos os capítulos e/ou verbetes que o constituem, reproduzindo a mesma lógica que leva o Qualis dos periódicos para todos os artigos. Uma primeira questão que se coloca é se, diferentemente dos artigos que não são lidos e avaliados caso a caso, os livros deveriam ser lidos e avaliados no seu conteúdo. As experiências, embora diversificadas (algumas áreas confiam a consultores a leitura de livros e fazem uma avaliação dos seus aspectos substantivos) convergiram largamente para se utilizar indicadores indiretos da qualidade do livro. O acesso e exame da obra, no entanto, é uma exigência para se poder auditar as informações que são inseridas nos Sistemas da Capes. Assim, mesmo se lidando com indicadores indiretos da qualidade do livro, o exame do mesmo é fundamental para que a avaliação não se apoie apenas em informações prestadas pelos Programas. Acreditamos que essa lógica geral do processo de avaliação do livro deve ser preservada o que envolve: a) a inserção, pelos programas, de um conjunto de informações sobre a obra; b) a auditagem de tais informações pela comissão de área, a partir da obra completa ou de partes específicas disponibilizados pelos próprios programas nos Sistemas da Capes (em construção); c) a transformação do conjunto de indicadores em uma pontuação que qualifica a obra em uma escala de 0 a 100 pontos; d) a transformação do escore em um nível da escala utilizada para avaliar os livros; e) a extensão do conceito do livro para todos os capítulos e verbetes, nos casos de coletâneas e dicionários, respectivamente; e, f) a transformação da qualidade do item em uma pontuação para o Programa.
Escala de avaliação
Acompanhando o relatório do GT Livros de 2016 aprovado pelo CTC/ES 2014- 2018, a escala de avaliação dos livros deve ser comparável à de produtos técnicos e artísticos, envolvendo cinco níveis, respeitando-se a seguinte ordem:
· L1 (elevada Qualidade), L2, L3, L4 e L5 (menor qualidade).
· LNC (não classificado seria atribuído a possíveis itens incluídos pelos Programas, mas que não atendem os requisitos que definem um livro, podendo ser cartilhas, material didático etc.)
A partir da nota obtida pelo livro (na escala 0 a 100) propõe-se como pontos de corte:
L1 (acima 85 pts)
L2 (acima 71 até 84 pts.)
L3 (acima 61 até 70 pts)
L4 (acima 51 até 60 pts)
L5 (até 50 pts)
LNC
Indicadores de pontuação
Há três quesitos de avaliação, cada um deles composto por um conjunto de indicadores a se utilizar para a avaliação dos livros:
1. O primeiro quesito refere-se às características formais da obra extraídas das informações prestadas pelos Programas sobre cada obra, ou extraídos dos dados bibliográficos enviados à CAPES.
2. O segundo quesito engloba um conjunto de indicadores indiretos de qualidade decorrentes do exame da obra em si.
3. O terceiro quesito envolve indicadores de avaliação direta de qualidade para as Áreas que, preferencialmente, mantiverem a leitura completa da obra como elemento do processo de avaliação.
Compõem o Quesito I os indicadores formais da qualidade do livro:
Aderência à área de avaliação e perfil institucional estratégico do PPG (cuja resposta negativa poderá atribuir o conceito LNC)
· Idioma (nacional, estrangeiro, multilíngue)
· Tipo de Editora
· Financiamento
· Conselho Editorial
· Informações sobre os autores
· Parecer e revisão por pares
· Índice remissivo
· Vínculo com a linha de pesquisa
A esses indicadores, podem ser atribuídos pontos adicionais, na forma de bonificação acrescida ao total de pontos da obra, a:
· Premiação
· Indicação como obra de referência por Sociedades Científicas e/ou Profissionais
· Tradução da obra para outros idiomas
Compõem o Quesito II um conjunto de indicadores indiretos de qualidade do livro, que exigirá dos avaliadores o exame da obra completa ou, no mínimo, de parte fundamental dela. Neste caso, o grupo de trabalho propõe os seguintes indicadores:
· Natureza do Texto (valorização de produção científica)
· Leitor Preferencial (nível de complexidade do tratamento dos temas)
· Origem da obra (indicador da rede articulada de produção de conhecimento) É importante ressaltar que a avaliação indireta de qualidade da obra não envolve necessariamente um julgamento substantivo do seu conteúdo. Apoia-se na identificação de características objetivas da obra que se associam à qualidade esperada. Assume-se que uma avaliação do conteúdo traria potenciais problemas decorrentes de orientações teóricas e metodológicas do avaliador, difíceis de controlar e com impactos indesejáveis sobre a avaliação.
Para as Áreas que, preferencialmente, mantiverem a leitura completa da obra como elemento do processo de avaliação substantiva do conteúdo, sugere-se acrescentar os seguintes indicadores, componentes do Quesito III:
· Inovação
Classificam-se como obras inovadoras aquelas que apresentam originalidade na formulação do problema de investigação, caráter inovador do objeto, da formulação teórica e da metodologia adotada e contribuição renovadora para o campo do conhecimento, para aplicações técnicas e/ou sociais. Originalidade na formulação do problema de investigação; caráter inovador da abordagem ou dos métodos adotados; contribuição inovadora para o campo do conhecimento ou para aplicações técnicas.
· Relevância
São consideradas relevantes as obras que apresentam consistência teórica e crítica, coerência e integração dos conceitos e da terminologia utilizada. Contribuição para o desenvolvimento científico da área; contribuição para a resolução de problemas nacionais relevantes; atualidade da temática; clareza e objetividade do conteúdo no que se refere à proposição, exposição e desenvolvimento dos temas tratados; rigor científico (estrutura teórica); precisão de conceitos, terminologia e informações; senso crítico no exame do material estudado; bibliografia que denote amplo domínio de conhecimento; qualidade das ilustrações, linguagem e estilo.
· Impacto
São consideradas obras de potencial de impacto aquelas que contribuem para o desenvolvimento científico e cultural e para reflexão crítica sobre questões nacionais e internacionais. Considera-se também como potenciais indicadores de impacto: obras com circulação e distribuição prevista; língua da publicação; tradução, reimpressão ou reedição; possíveis usos no âmbito acadêmico e fora dele, resenhas, citação em editais e/ou referências de componentes curriculares, entre outros.
Até a avaliação trienal de 2013, a grande maioria das Áreas que avaliaram livros desenvolveram sistemas próprios para coleta e análise da produção de livros. Foram vários sistemas, customizados para os processos conduzidos por cada Área. A Área interdisciplinar e a Psicologia deram início a esse método, o que facilitou grandemente a avaliação, até então feita através de fichas impressas preenchidas e enviadas pelos Programas junto com um exemplar do livro. Todo o procedimento de avaliação era conduzido manualmente. Com a implantação da Plataforma Sucupira houve a decisão de que nenhuma informação seria considerada no processo de avaliação que não estivesse nela. Assim, os dados que caracterizavam os livros e capítulos passaram a ser inseridos na Plataforma. Essas informações foram definidas depois que uma comissão compilou o conjunto de informações que as Áreas utilizaram. Um primeiro problema é que a Plataforma registra os itens de produção. E tais itens podem ser livros integrais assim como podem ser capítulos de livros ou verbetes de dicionários. No entanto, os dados descritivos exigidos para o livro também são obrigatórios de serem inseridos no caso dos capítulos e verbetes, o que não se aplica. Dessa forma, ao gerar as planilhas da produção aparecem todos os itens produzidos, dificultando identificar facilmente quais são os livros que devem ser avaliados e qual a vinculação dos capítulos e verbetes aos respectivos livros. Esse problema se agravou pela falta de controle sobre a veracidade do ISBN. Muitos ISBNs incorretos, criados só para permitir inserir o item de produção geraram muitas inconsistências. Outra falha grave é que muitos programas colocavam o capítulo de uma coletânea como um livro. Ou seja, a imprecisão das informações prestadas pelos Programas, a começar pelos erros dos ISBN, a troca de nome do livro por nomes de capítulos e assim por diante, fragilizaram a avaliação.
A Plataforma Sucupira não desenvolveu ainda um sistema para avaliar os livros, algo que era feito pelos sistemas próprios de cada Área. Com isto, todo o processo de avaliação voltou a ser feito manualmente pelas próprias áreas a partir de planilhas geradas pela Capes. Isto tornou extremamente difícil a avaliação, a auditagem das informações extraídas da Plataforma Sucupira e a geração do conceito de cada obra. A esse problema se juntou a questão da logística para se receber e poder avaliar a obra impressa. Esse é o principal problema a ser superado de início. É preciso criar um módulo de avaliação que assegure a liberdade de cada área escolher os indicadores e gerar o conceito de cada livro e de cada item. Outro elemento importante é que o módulo de avaliação deve ter como unidade a lista de livros/obras e seus ISBNs únicos. Não são avaliados capítulos e verbetes individualmente. Após a avaliação da obra, a classificação a ela atribuída é levado para todos os itens a ela vinculados pelo mesmo ISBN. Ou seja, trata-se de um procedimento análogo ao da avaliação dos periódicos, no qual os periódicos são avaliados e o Qualis periódicos a eles atribuído é levado para todos os artigos ou itens vinculados ao mesmo ISSN.
Ingresso das informações
O primeiro elemento para a inserção de um livro na Plataforma Sucupira é o ISBN. É fundamental que só possam ser incluídos ISBNs existentes e que, ao fazê-lo, todos os dados descritivos da obra sejam recuperados. Ou seja, ao digitar o ISBN seria feito o preenchimento automático de informações do livro conforme banco de dados da Biblioteca Nacional. Assim seriam evitados duplicidade, entrada múltipla e digitação errada de ISBN. Após introduzir a obra, o Programa incorpora os capítulos e/ou verbetes que produziu, no caso de a obra ser uma coletânea ou um dicionário. Com isto, os dados de capítulos/verbetes estariam vinculados a um livro, com um único ISBN. Adicionado um livro por um Programa, os demais Programas que tiverem participação na obra (quer como coautoria, quer como autoria de capítulos e/ou verbetes) já encontrariam a obra no sistema e seriam direcionados para acrescentar apenas os dados do capítulo e/ou verbete sob a sua responsabilidade. As informações básicas que cada Programa deve inserir nos Sistemas da Capes (para o livro como unidade) são:
· Número de páginas (menos que 50 já seria impedido de prosseguir com a inserção dos dados, pois não atende o critério de ser um livro segundo a ABNT).
· Natureza da publicação (impressa, online). Se online, indicar o link de acesso à obra, se ela for de acesso aberto.
· Edição, reedição (ampliada, atualizada ou não), reimpressão
· Idioma (nacional, estrangeiro, multilíngue)
· Tipo de Editora (Nacional comercial, Nacional universitária, estrangeira comercial, Estrangeira Universitária, Instituição científica ou Entidade Profissional, próprio Programa)
· Financiamento (própria editora, edital de fomento, agencia de fomento nacional, agência de fomento internacional, associação científica/profissional, outra)
· Conselho Editorial (membros nacionais, membros internacionais)
· Informações sobre os autores (sim, não)
· Parecer e revisão por pares (sim, não)
· Índice remissivo (sim, não)
· Vínculo com a linha de pesquisa (sim, não)
· Premiações (sim – instituição nacional ou internacional; não)
· Obra de referência (instituição nacional, internacional)
É importante destacar que tais informações serão dadas para o livro (a unidade que tem um ISBN único). Ela não precisa ser multiplicada por ne repetida, como é feito atualmente, para cada capítulo ou verbete, quando a obra não é integral. Ou seja, após informar os dados gerais do livro, cada programa agrega o capítulo e/ou verbete apenas o título, número de páginas e dados da autoria (CPF e nomes dos autores e sua condição de vínculo ao Programa). O novo sistema de avaliação de livros deve incorporar uma nova funcionalidade: a inserção, em PDF, de partes das obras, dentro dos limites legais, para que a auditoria e exame da mesma não precise do envio da obra física para uma biblioteca de referência. Essa será uma melhora substancial no processo de avaliação, permitindo que ele seja realizado por uma comissão cujo trabalho, em parte, pode ser feito à distância. Cada programa deverá anexar arquivos contendo as informações que permitam a avaliação do livro. A não inserção de tais arquivos inviabilizará a avaliação do livro.
· Capa e contracapa
· Índice remissivo
· Prefácio / introdução
· Sumário
· Conselho editorial
· Carta se teve revisão por pares
· Apresentação / informações dos autores
· Premiações
· Ficha bibliográfica
· Financiamento, com inclusão de carta comprovando financiamento ou trecho do livro · Duas páginas iniciais de cada capítulo (no caso de coletânea) ou duas páginas do capítulo inicial e do capítulo final (no caso de obra completa).
Qualquer obra, sendo possível comprovar sua data de criação e autoria, com base na lei 9610/98 (Lei de direitos autorais) e nos Acordos Internacionais de Berna e TRIPS, já apresentam seu direito garantido, incluindo o direito moral e patrimonial, não sendo necessário um registro para tal, sendo o mesmo opcional. Com base no exposto anteriormente, não há obrigatoriedade da existência de um ISBN para caracterizar uma obra. A exigência do ISBN para registro da obra, trata-se de um critério determinado pelo processo de avaliação, embora não constitua uma determinação legal. Para a disposição da obra nos Sistemas da Capes, para divulgação, torna-se necessária a solicitação da autorização dos autores, e é essencial a autorização das editoras, pois se trata do direito patrimonial da obra.
Auditagem dos dados
Em relação aos indicadores do Quesito I, é fundamental verificar se o item atende os requisitos para a sua classificação como livro, a saber: o ISBN (ou ISSN, para obras seriadas) o Mínimo de 50 páginas (segundo definição da Associação Brasileira de Normas Técnicas, ABNT) o Publicação por editora pública ou privada, associação científica e/ou cultural, instituição de pesquisa ou órgão oficial o Ficha catalográfica ou conjunto similar de informações Essa auditoria é fundamental pois os Programas incluem muitas produções que não são livros, embora possam ter ISBN. São cartilhas, são textos para educação à distância, apostilas de cursos preparatórios para concursos, coletâneas de legislação e jurisprudência, entre outros casos, claramente classificados como produtos técnicos. Adicionalmente, é este tipo de auditagem que protegerá a avaliação das boas obras contra, especialmente, as iniciativas editoriais predatórias, que normalmente agem em lotes e sob processos de editoração precários ou inexistentes, com o intuito único de captarem recursos financeiros.
É imprescindível que o módulo de avaliação de livros tenha a funcionalidade de permitir alterações nos dados, sendo preservada a base de informações da Plataforma Sucupira. Apenas os dados auditados e modificados, quando for o caso, serão considerados para a avaliação.
Avaliação dos livros pelas Áreas
Toda a produção bibliográfica sob a forma de livros deve ser registrada nos Sistemas da Capes, com as informações básicas que as caracterizam, conforme especificado anteriormente. Assim, os livros avaliados pelas áreas e inseridos nos Sistemas da Capes devem ser classificados na escala L1 a LNC. Fica a critério de cada Área, considerando o volume total da produção de livros a ser avaliada, a utilização apenas dos indicadores do Quesito I e/ou o uso, também, dos indicadores do Quesito II e/ou do Quesito III. Por exemplo, para as Áreas em que o volume de itens a avaliar for considerado elevado, a classificação da totalidade das obras poderia ser feita com base apenas nos indicadores formais da qualidade do livro, constantes no Quesito I, que forem selecionados por cada Área. Os indicadores do Quesito II e III, de natureza mais qualitativa da obra e que requerem o exame de cada produto de per si poderiam ser utilizados apenas na avaliação das produções indicadas pelos programas como as mais relevantes do período.
Para as Áreas cujo volume de itens publicados for considerado viável de ser avaliado em sua totalidade pelo emprego dos três Quesitos, tanto os indicadores formais, como os indiretos e diretos de qualidade poderiam ser utilizados. Neste caso, o exame da produção seria objeto, inclusive, de uma avaliação mais detalhada dos critérios de relevância, inovação e impacto (que na ficha detalham a denominada avaliação substantiva da obra, indicador do Quesito III). Estes exemplos pretendem apenas ressaltar, entre várias possibilidades, que cada Área deverá escolher os Quesitos e o conjunto de indicadores que irá utilizar, considerando tanto os aspectos tidos como mais relevantes para a sua produção, quanto o volume total da produção a ser avaliada. Essa liberdade será importante de ser preservada, como também, a autonomia de destinar os pontos dos Quesitos, dos Itens e dos indicadores. Assim, os pontos de um conjunto de “Indicadores” equivalem ao total de pontos do “Item”. A soma do conjunto de “Itens” totaliza o “Quesito”. A soma dos “Quesitos” totaliza o valor de pontos de uma obra. A nota final de cada obra deve variar de 0 a 100, com os pontos de corte sugeridos anteriormente. Um outro aspecto é quanto cada item (livro completo, capítulos e verbetes) vai pesar na avaliação dos programas. Há certa variedade nos pesos atribuídos pelas Áreas. Embora não seja consensual, poderíamos propor um peso a ser seguido por todas as áreas. Embora esse consenso não exista mesmo para o Qualis periódico, será importante avançar na redução das disparidades. Vale ressaltar que esse peso não teria qualquer impacto no interior de cada Área, já que todos os programas seriam comparados a partir de uma régua comum. E isto facilitaria a comparação entre Áreas.
Utilizando-se a escala de cinco pontos, pode-se sugerir os seguintes pesos para obras integrais, capítulos de coletâneas/livros, verbetes. Prefácio de natureza teórica com produção de conhecimento significativa para a área poderão ser avaliados como capítulos. A soma da pontuação dos capítulos e dos verbetes de uma única obra não pode exceder a pontuação da obra integral em qualquer um dos estratos. Cada área poderá alterar tais valores, já que isto não afetaria a comparabilidade entre os seus programas, embora diminua a comparabilidade dos seus resultados com as demais áreas.
| Estratos | Livro integral | Capítulos | Verbetes |
| L1 | 300 | 100 | 70 |
| L2 | 240 | 80 | 50 |
| L3 | 180 | 60 | 30 |
| L4 | 120 | 40 | 10 |
| L5 | 60 | 20 | 5 |
| LNC | 0 | 0 | 0 |
Referências
file:///C:/Users/valde/Downloads/12062019_proposta-de-classificacao-de-livros_gt%20(1).pdf
