mercoledì, 14 aprile 2021
Medinews
29 Novembre 2001

ECM – PROBLEMI ATTUALI

Dopo un anno di “lavoro” chi ha voluto accreditare un evento, non ha visto migliorare questo sito, e soprattutto non ha visto stabilire criteri adeguati per l’accreditamento dei Provider di formazione. Questo era un obiettivo principale dichiarato dalla Commissione ECM e mai raggiunto. Essa propose un anno fa un percorso sperimentale che sarebbe dovuto durare sei mesi, che invece ne durò dodici, e attualmente vedrà un nuovo spostamento.
Solo nel secondo semestre di quest’anno sono stati designati i referee delle varie specialità, come previsto (per la Medicina Generale, cinque su dieci sono della SIMG). Anche se dal loro lavoro è scaturito un documento fatto pervenire alla Segreteria ECM (vedi box1), che individua i correttivi da apportare, nulla è accaduto a tal proposito.
Il Consiglio di Presidenza ed il Segretariato scientifico della SIMG (Società Italiana di Medicina Generale) esprimono il loro apprezzamento per l’attenzione accordata alle Società scientifiche nella gestione di questa fase del progetto ECM riguardante in particolare le prime analisi degli eventi formativi sottopoti all’attenzione del Ministero nonché l’applicazione delle griglie di valutazione predisposte a suo tempo dalla Commissione nazionale.
I referee della SIMG hanno svolto con impegno il compito loro assegnato ed hanno fatto rilevare come alcuni problemi rischino di inficiare in modo rilevante l’intero progetto, voluto dal Ministero come garanzia della qualità scientifica, dell’efficacia didattica e della pertinenza professionale degli eventi formativi proposti dai Provider ai medici italiani. La SIMG ritiene pertanto doveroso comunicare quanto segue, avendo rilevato che la procedura attualmente prevista, pur essendo molto onerosa in termini di impegno richiesto nell’analisi degli eventi, si basa sull’analisi di parametri che a giudizio dei referee (tutti esperti in tema di Formazione) non garantiscono in alcun modo la rispondenza di quanto proposto ai sopra detti criteri di tutela della qualità del progetto.
La SIMG ritiene indispensabile che l’attuale sistema di valutazione dei singoli eventi venga sostituito da un rigoroso sistema di validazione preliminare e continua dei provider, con predisposizione di strumenti di valutazione adeguati a fornire le richieste garanzie di qualità.

VALIDITÀ DEL SISTEMA (garanzia di qualità ed efficacia formativa degli eventi)
Presentazione degli eventi: il sistema frammentario utilizzato che propone gli attuali parametri di valutazione e gli score assegnati non permette quasi mai di capire le modalità di svolgimento dell’evento, i suoi obiettivi reali, le metodologie didattiche impiegate (su cui esiste un preciso impegno di valutazione da parte del Referee.
Valore del punteggio automatico: è assegnato automaticamente dal sistema informatico sulla base di parametri poco significativi, ed il loro valore complessivo finisce per condizionare fortemente la valutazione finale dell’evento. Si sono verificati inoltre situazioni dove è stato richiesto l’accreditamento per eventi che riguardavano le “medicine alternative”, ovviamente non comprese nelle specialità europee e che automaticamente è giunta ai referee della medicina generale. Ciò non accadrebbe se le considerazioni fatte sul ruolo del Provider venissero attuate.
Valore del punteggio assegnato dal Referee: può essere espresso solo su una parte degli indicatori di valutazione; non è possibile modificare gli score automatici anche quando l’analisi dei documenti allegati fa emergere nette discrepanze tra le dichiarazioni del provider ed il programma allegato; il punteggio finale non si è dimostrato in grado (pur con i notevoli dubbi espressi sul valore e la significatività degli item scelti) di discriminare in modo netto gli eventi “buoni” da quelli “inaccettabili”
Garanzia che quanto dichiarato nei documenti verrà effettivamente svolto. L’attuale sistema non dà alcuna garanzia che quanto dichiarati nei programmi sarà poi svolto, né che – se svolto – si procederà con metodologie pedagogiche adeguate, né di come sarà effettivamente valutato l’apprendimento raggiunto dai discenti.
In nessuna considerazione viene tenuta la durata effettiva di svolgimento degli eventi
Scarsa considerazione per le peculiarità della formazione a distanza. I parametri proposti dalla griglia non consentono una appropriata valutazione di questo particolare (ed importante) modello di evento formativo. Per questa metodologia didattica è necessario struttura indicatori di valutazione originali e non derivati tout-court dalla formazione d’aula o residenziale.

Impegno dei referee
1. Strutturazione del lavoro (tempo dedicato e costi vivi). A parte il tempo iniziale per cercare di capire bene il mandato ed il funzionamento del sistema, occorrono mediamente svariate ore di lavoro per poter visionare e valutare con attenzione gli eventi assegnati.
2. Per poter valutare un evento è sempre necessario entrare in più menu, accedere a documenti allegati vari inerenti le caratteristiche del Provider, la sua attività svolta, i curricula degli organizzatori e dei docenti, i programmi, i sistemi di valutazione, il materiale didattico predisposto.
3. Erano inizialmente presenti notevoli anomalie di funzionamento del programma ECM on-line che portavano in alcuni casi all’uscita dal sistema (con necessità di rientrare e di rifare il lavoro svolto che NON può essere salvato in corso d’opera), in altri a “blocchi” vari (ad esempio inizialmente non era possibile rinunciare alla valutazione di eventi pertinenti ad altre aree – non di medicina generale – erroneamente inviate alla nostra valutazione; questo errore è stato poi corretto in base alle nostre segnalazioni)
4. Gli eventi da valutare erano spesso incompleti per quanto riguardava la disponibilità di curricula, strumenti di valutazione e altre parti che avrebbero dovuto essere visionate dal Referee.
5. Non è mai possibile visionare il materiale di studio preliminare da consegnare ai discenti.
6. L’assistenza on-line per i problemi tecnici o interpretativi insorti durante il lavoro non è stata in genere rapida; i contatti – dopo richiesta di aiuto o segnalazioni di anomalie – sono avvenuti per lo più a distanza di qualche giorno!
Conclusioni
– Così come è stato strutturato, il sistema di valutazione ed accreditamento degli eventi non dà alcuna garanzia sul loro valore formativo né sulla loro pertinenza né sull’efficacia didattica dei sistemi impiegati né – elemento estremamente rilevante – sul valore scientifico e pedagogico di coloro che li organizzano e li realizzano.
– Pare molto più indicato un sistema di accreditamento dei Provider che preveda un’attenta selezione preliminare ed un continuo e rigoroso controllo “random” sugli eventi organizzati.
– È indispensabile un incontro presso il Ministero con i responsabili ECM e ridiscutere nei contenuti nelle procedure il sistema di accreditamento della formazione per i M.G.
Box 1. – Documento dei Referee della SIMG

Molto sinteticamente, ancor oggi:
· non si è voluto considerare il “cuore del problema” cioè accreditare i Provider,
· non è stato definito il ruolo dei Referee,
· il sistema ECM “non è garanzia della qualità” degli eventi che si svolgono a tal punto che non sono minimamente garantite neanche le procedure di realizzazione. Non esiste un sistema di valutazione della coerenza tra quello che viene dichiarato dal Provider di formazione e l’evento avvenuto,
· non vi è certezza che, chi fa formazione sia in effetti capace di farla,
· non è ancora stato chiarito che il valore del credito corrisponda o no all’ora d’aula,
· non sono stati ancora stabiliti i criteri per i crediti dei Docenti,
· non è stata presa in considerazione la possibilità di assegnare i “crediti ponderati”, detti anche a posteriori o definitivi. Questi dovrebbero essere assegnati dopo l’evento e dopo l’analisi delle schede di valutazione dei partecipanti. Tale giudizio, insieme a quello degli osservatori (discenti + osservatori/valutatori), deve poter essere utilizzato per assegnare a tutti (discenti, docenti e provider), i crediti finali di quell’evento.
· non sono stati stabiliti criteri per ottenere il riconoscimento di crediti ottenuti all’estero e viceversa.
La proposta della SIMG è quella di dividere la formazione in due grosse categorie: la residenziale e quella a distanza. Entrambe queste categorie possono essere realizzate scegliendo un metodo didattico che può essere suddiviso in attivo e passivo. I sistemi di accreditamento devono saper distinguere queste categorie e questi metodi perché fanno la vera differenza formativa.
Nella formazione residenziale attiva (corso a piccoli gruppi, workshop, atelier, attività tutoriale, role-playing) il partecipante (discente) è il vero attore principale della sua formazione ed il docente di contenuto è il “facilitatore” della formazione, cioè colui che attraverso il confronto con l’esperienza dei discenti, analizzando le varie possibili soluzioni, offre il razionale della soluzione dei problemi.
In questo modo si possono valutare le tre sfere del sapere (sapere, saper fare, saper essere) che stanno ad indicare una vera variazione di performance. I crediti devono essere riconosciuti come massimi e cioè pari al numero di ore necessarie per raggiungere la performance desiderata. Ai docenti, se il giudizio finale (ponderato) è positivo, va riconosciuto un credito doppio.
Nella formazione residenziale passiva (sessioni cliniche di congressi, seminari, tavole rotonde il tutto integrato da questionari di valutazione) il numero di crediti è ridotto della metà in quanto si possono valutare solo conoscenze, che se pur importanti, non completano però il ciclo formativo (sapere, saper fare e saper essere) indicato prima. Ai docenti, se il giudizio finale ponderato è positivo, va riconosciuto un credito doppio.
Nella formazione a distanza attiva (e-learning) si deve prevedere un percorso di apprendimento che deve essere quantificato in ore per la risoluzione del test di valutazione finale. Un problema da non sottovalutare è quello della corretta individuazione del partecipante. Tale test deve essere restituito al provider entro una data stabilita per poter essere valutato (si può decidere che il tempo debba essere di tre mesi dalla data di invio del materiale). In questo caso il numero di crediti assegnato è uguale al numero di ore necessarie per la compilazione del test di valutazione. Al docente, che è il responsabile del questionario, dopo il giudizio ponderato positivo, verranno assegnati un numero di crediti pari ai discenti più il 50% del punteggio stesso.
Nella formazione a distanza passiva (lettura di testi, riviste) si dovrà preventivamente individuare un elenco di testi o riviste che anch’essi abbinino una valutazione finale tanto che possa essere ripercorso lo stesso procedimento sopra esposto. In questo caso potranno essere variati i tempi di riconsegna della scheda che potranno essere anche di un anno. I crediti per i partecipanti saranno pari alla metà delle ore necessarie per la compilazione del questionario e per i docenti il punteggio sarà il doppio di quello ottenuto dai discenti.

Anche dopo queste ultime considerazioni si ritorna alla questione iniziale che costituisce il “cuore del problema” e cioè l’accreditamento dei Provider di formazione che rimane il grosso ostacolo da superare. Senza aver considerato questo passo, sarà difficile costruire il resto, perché la chiarezza deriva proprio da questo. A tal proposito è giusto pretendere “trasparenza” sui termini utilizzati. Chi ha costruito il sito ECM dimostra una totale confusione nei termini. Ha inserito indicatori di “tipologia della manifestazione” e di “metodi di insegnamento” a caso, dimostrando di non conoscerne il significato pedagogico. Sono stati assegnati punteggi che non danno nessuna misura dell’efficacia formativa ma misurano soltanto il grado di “nebulosità terminologica”.

La SIMG si auspica a breve, un incontro chiarificatore sull’argomento, con la Commissione Ministeriale.
TORNA INDIETRO