Avaliação: avaliação interna e avaliação externa

Como referido na publicação anterior, propomos começar a abordar as questões da avaliação, após as publicações iniciais sobre a qualidade (de um modo genérico).

Assim, começamos por apresentar ou relembrar algumas definições de avaliação:

"Processo através do qual se delimitam, obtêm e fornecem informações úteis que permitam julgar decisões possíveis"

(Stufflebeam, 1980)

"(...) é um processo e não um produto, no entanto, é um processo que se justifica desde que se constitua como um ponto de apoio para tomar decisões racionais. Nesse sentido, a avaliação consiste num processo de identificação, recolha e tratamento de dados que vise obter informação que justifique uma determinada decisão."

(Tomás Escudero Escorza, 1980)

Ou seja, avaliação...

No "Guia Prático Auto-avaliação de Escolas", os autores (Vítor Alaiz, Eunice Góis e Conceição Gonçalves) referem o seguinte, no que respeita a aplicação destes conceitos às Escolas:

"A avaliação consubstancia-se, assim, na recolha e tratamento de informação que, constituindo o referido, permitem a comparação com o padrão, o referente; essa comparação expressa-se no juízo de valor".

Assim, sobre a avaliação de organizações escolares, estes autores distinguem "duas grandes formas de avaliação de escolas, tendo em conta os principais agentes da mesma:

Avaliação interna: é aquela em que o processo é conduzido e realizado exclusivamente (ou quase) por membros da comunidade educativa da escola.Pode ser definida como a análise sistemática de uma escola, realizada pelos membros de uma comunidade escolar, com vista a identificar os seus pontos fortes e francos e a possibilitar a elaboração de planos de melhoria (...).

Avaliação externa: é aquela em que o processo é realizado por agentes externos à escola (pertencentes a agências de avaliação públicas ou privadas), ainda que com a colaboração indispensável de membros da escola avaliada.

(...) Estas duas formas de avaliação de escola são, por vezes, apresentadas uma contra a outra. (...) Porém, esta oposição tende a ser ultrapassada em vários sistemas educativos pelos esforços no sentido de encontrar formas que respondam adequadamente às diferentes críticas que têm sido apresentadas, nomeadamente pelo recurso a abordagens que integrem os aspetos considerados mais positivos das duas formas de avaliação."

Estes autores (na obra supra citada) referem ainda, relativamente à avaliação externa, algo que a meu ver é muito relevante: 
"Apesar de a publicação destes resultados ter suscitado reações a diferentes níveis de decisão, desconhece-se o seu impacto real na opinião pública, no sistema educativo e, particularmente, nas escolas. No entanto, a massa de informação que eles proporcionaram era suficiente para permitir intervenções, quer a nível do sistema, quer a nível das escolas. Estas devem olhar para os resultados das avaliações externas e desenvolver processos reflexivos e interrogar-se: Por que é que os nossos alunos obtiveram estes resultados? O que fizemos bem? Em que errámos? Que precisamos de mudar? Que metas devemos estabelecer? Que estratégias necessitamos de utilizar para alcançar os objetivos que nos propomos?"

A razão da minha ausência...

Quase um mês depois cá estou. Esta minha ausência esteve relacionada com um momento de avaliação na minha vida profissional. Vivo a minha vida profissional em ciclos de três anos (que podem ser renovados ou não). 

Estes ciclos obrigam a uma avaliação no final dos mesmos, o que, a meu ver, é ótimo, pois ao "fecharmos" um ciclo temos obrigatoriamente de fazer o ponto de situação, a sua avaliação. Obriga-nos a pensar, a diagnosticar,... Ou seja, um ciclo PDCA completo. Depois, caso exista a possibilidade de um novo ciclo, existe a possibilidade de pensarmos em novos desafios, estabelecermos novos objetivos, fazermos um novo planeamento para um novo ciclo de três anos. É verdade que é incerto, mas dá-nos uma oportunidade de nos desafiarmos constantemente.

Ciclo PDCA - Imagem retirada da Internet

Assim, não consigo prever, neste novo ciclo que agora começa, com que regularidade conseguirei fazer novas publicações, mas tentarei fazê-las uma vez por semana. De qualquer forma, caso exista algum assunto que gostassem de ser aqui publicado, poderão sempre contactar-me por e-mail (silviavicente.qualidade@gmail.com).

Neste momento estou a preparar uma publicação sobre avaliação, que ficará disponível ainda esta semana.

Votos de uma excelente semana.

Quando se pensa iniciar um diagnóstico...

Antes de iniciarmos um processo de diagnóstico/avaliação, existem algumas questões que devemos colocar. Que, na minha opinião, nos ajudam a organizar ideias e, principalmente, a planearmos o processo de avaliação da nossa organização.

Assim, algumas dessas questões iniciais são:

• Por que motivos pretendemos iniciar/cria um dispositivo de autoavaliação?;
• Que objetivos pretendemos atingir com esse processo de avaliação?
• O que vamos avaliar?
• De que modo vamos proceder a essa avaliação?
• Quem vamos envolver neste processo?
• Que critérios vamos definir para nos avaliarmos?
• De que maneira vamos criar esse envolvimento?
• Deveremos estabelecer ligações entre a nossa avaliação e um processo de avaliação externa?
• Como e a quem, vamos comunicar os resultados do nosso processo?

Neste contexto devemos sempre relembrar a imagem do iceberg, com tudo o que ela implica, ou seja:

• Muito do que se passa numa organização está abaixo da superfície, pertencendo assim ao domínio do irracional e é dominado pelo conflito potencial;
• É necessário ter em atenção esses aspetos que se encontram abaixo da superfície (não visíveis), para ser possível gerir e amenizar as resistências e os mecanismos de defesa, as ansiedades e os medos inerentes a qualquer conjunto de pessoas, sobretudo quando confrontadas com processos de mudança.

Imagem retirada da Internet

Tendo também presente o que foi referido na publicação anterior, não podemos esquecer, em qualquer processo de diagnóstico/avaliação, que cada pessoa tem a sua visão própria da realidade (seja ela baseada no trabalho que executa, do seu nível de satisfação, da equipa em que está inserida, resultante de uma experiência anterior, etc.).

Os 5 GAP's e o Modelo SERVQUAL

Como referido numa publicação anterior, sobre a "evolução da qualidade", a questão da qualidade do serviço tem vindo a ser abordada ao longo dos anos.

Neste sentido, existem alguns modelos que nos podem auxiliar neste tipo de análise, quando conhecer qual a satisfação dos utilizadores dos nossos serviços, relativamente à prestação dos mesmos.

Assim, apresentamos de seguida, de uma forma resumida, dois modelos que se complementam: os 5 GAP's e o SERVQUAL.

1) Os 5 GAP's da Qualidade:
Para que um serviço possa apresentar todos os elementos da qualidade e assim satisfaça o seu utilizar, deverão ser eliminados os conhecidos gaps.

Estes gaps existem devido à possível diferença existente entre o serviço esperado e o serviço percebido.

Em que:

§  O serviço esperado é aquele que é formulado pelo utilizador do serviço, com base numa experiência anterior, no “passa a palavra” (com base na experiência de alguém) e nas necessidades pessoais (são as expectativas que o utilizador desenvolve sobre o serviço que pretende);

§  O serviço percebido é aquele com que o utilizador fica depois de ter experimentado realmente o serviço, ou seja, depois de o utilizar.

Podemos ilustrar da seguinte forma:

Adaptado de pag 12, J.A. Oliveira Rocha, “Gestão da Qualidade – Aplicação aos Serviços Públicos”

Assim, quando um utilizador de um serviço o está a avaliar tem, normalmente, por base:

Adaptado de Lopes C. (2009), Avaliação da qualidade de serviço – O caso de uma instituição de ensino superior (consultado em  http://bdigital.ufp.pt/bitstream/10284/1400/1/dm_carloslopes.pdf, a 02 de Março de 2016)

Para Parasuraman, Zeitthamal e Berry, os gaps poderão verificar-se ao nível de:

Retirado de Lopes C. (2009), Avaliação da qualidade de serviço – O caso de uma instituição de ensino superior (consultado em  http://bdigital.ufp.pt/bitstream/10284/1400/1/dm_carloslopes.pdf, a 02 de Março de 2016)

2) Modelo SERVQUAL

Para autores Parasuraman, Zeithaml e Berry, que criaram o Modelo SERVQUAL, as 5 (cinco) dimensões de um serviço de qualidade são:

Adaptado do artigo de Dr. Arash Shahin SERVQUAL and Modelo of Service Quality Gaps (consultado em http://www.proserv.nu/b/Docs/Servqual.pdf, a 02 de Março de 2016) e do artigo The use of the quality model of Parasuraman, Zeithaml and Berry in health services (consultado em http://www.scielo.br/pdf/reeusp/v47n5/0080-6234-reeusp-47-05-1227.pdf , a 02 de Março de 2016)

Tendo por base estas 5 (cinco) dimensões para a análise da qualidade do serviço prestado é importante que os questionários a aplicar avaliem alguns aspetos em cada uma delas, nomeadamente:

Adaptado de Lopes C. (2009), Avaliação da qualidade de serviço – O caso de uma instituição de ensino superior (consultado em  http://bdigital.ufp.pt/bitstream/10284/1400/1/dm_carloslopes.pdf, a 02 de Março de 2016)

Aqui ficam algumas ideias que poderemos ter por base quando queremos conhecer a satisfação dos utilizadores dos serviços prestados pela nossa organização.

Algumas técnicas de apoio ao diagnóstico...

No seguimento da publicação anterior, terminamos a semana relembrando algumas técnicas que nos podem ajudar ao nível do nosso diagnóstico, complementado-o.

Diagrama de causa-efeito (também conhecido por espinha de peixe): instrumento de sistematização e apresentação de deficiências e as suas causas.

Imagem retirada da Internet

Diagrama de Pareto: evidencia relações como custo de problemas ou peso relativo das diferentes causas de um problema. Permite, assim, evidenciar questões críticas.

Imagem retirada da Internet

Fluxograma do processo: sequência de operações (atividades) especificando, por exemplo, o seu responsável e a duração.

Imagem retirada da Internet

Análise da perceção: chama a atenção para o que pensam e sentem as pessoas envolvidas. A sua importância resulta do facto do comportamento ser influenciado pelo que é sentido, independentemente da sua veracidade objetiva.

Análise SWOT: .muito utilizada pelas organizações para o diagnóstico estratégico. O termo SWOT é composto pelas iniciais das palavras Strenghts (Pontos Fortes), Weaknesses (Pontos Fracos), Opportunities (Oportunidades) e Threats (Ameaças). Ou seja, engloba as duas duas dimensões: a interna e a externa. A dimensão externa através das oportunidades, e das ameaças e a dimensão interna através dos pontos fortes e dos pontos fracos.

Imagem retirada da Internet

Pessoalmente recorro bastante à análise SWOT. Na minha opinião ajuda-nos muito a clarificar algumas ideias, principalmente num possível caminho a seguir, com base num diagnóstico.

Poderemos ainda desenvolver um pouco a análise SWOT, de modo a facilitar as nossas decisões.

Em que:
W-T: Desfesa. Evitar que os pontos fracos/fraquezas da organização a exponham demasiado às ameaças externas.
W-O: superar os pontos fracos/fraquezas, para agarrar as oportunidades.
S-T: Como aproveitar os pontos fortes da organização para a poder defender das ameaças externas.
S-O: Aproveitar as oportunidades para o desenvolvimento da organização.


Existem também os conhecidos modelos de diagnóstico, como a EFQM (European Foundation for Quality Management) e o Modelo CAF (Common Assessment Framework). Sendo que este último tem uma versão especialmente dedica à Educação, a CAF Educação. Mas, falaremos nestes modelos em publicações nos próximos dias.

Bom fim de semana!

Diagnóstico organizacional...

Sempre que nos preocupamos e desejamos continuar um percurso no sentido da melhoria contínua, o primeiro passo será fazermos os possíveis para conhecer o nosso "estado atual". Só assim, só conhecendo a nossa realidade, conseguiremos traçar um plano de ações concretas no sentido da melhoria. 

Neste sentido, o diagnóstico organizacional assume uma importância crucial em qualquer processo.

O diagnóstico organizacional traduz-se num conjunto de ações tedentes a dar a conhecer o estado atual de uma organização (escola/agrupamento de escolas) ou situação de trabalho, identificando problemas, pontos fortes e aspetos a melhorar, identificando também potencialidades de melhoria, viabilizando, assim, um plano de ação concreto.

E, mais uma vez, sempre que falamos de qualidade e de diagnóstico organizacional, pensamos num ciclo PDCA, independentemente do modelo que vier a ser utilizado.

"Uma vida não examinada não vale a pena ser vivida." (Sócrates)

Exemplo de estrutura para o Manual da Qualidade

Terminamos a semana deixando aqui dois exemplos de estruturas que poderão ser adaptadas para a criação do Manual da Qualidade.

Exemplo 1 (retirado de Abel Pinto e Iolanda Soares - Sistemas de Gestão da Qualidade Guia para a sua implementação - 2011):

Capítulo I - Gestão do manual
1. Objetivo e campo de aplicação do manual da qualidade
2. Estrutura do manual da qualidade
3. Preparação e aprovação do manual da qualidade
4. Revisão do manual da qualidade
5. Distribuição e divulgação do manual da qualidade
6. Promulgação pela administração/direção/presidência

Capítulo II - A organização
1. História e apresentação da organização
2. Principais serviços e/ou produtos
3. Visão, missão e política da qualidade
4. Localização e contactos

Capítulo III - Sistema de gestão da qualidade (SGQ)
1. Âmbito do sistema de gestão da qualidade
2. Exclusões
3. Processos do SGQ
4. Responsabilidades
    4.1. Responsabilidades pro processos
5. Documentação do SGQ
    5.1. Estrutura documental

Capítulo IV - Anexos
Anexo A - Siglas e abreviaturas
Anexo B - Organograma da organização


Exemplo 2 (adaptado do Manual da Qualidade da A3ES)
1. âmbito do Manual
2. A organização
    2.1. Enquadramento Legal
    2.2. Missão e objetivos
    2.3. Funções
    2.4. Plano Estratégico
    2.5. Estrutura Organizacional
3. Política para a Qualidade
    3.1. A política da qualidade
    3.2. Procedimentos de garantia interna da qualidade
4. Publicitação e registo histórico de versões

O Manual da Qualidade da A3ES é um exemplo de um manual que remete, através de hiperligações, para documentos que já existem na A3ES, demonstrando assim toda a articulação existente na instituição e como a qualidade pode funcionar como uma área facilitadora, no sentido de agregar toda a informação que, pro vezes se encontra dispersa pela organização (ajudando também a selecionar aquela que é realmente importante e estratégica).

Imagem retirada da Internet

Bom fim de semana!