Nachbereitung und Evaluation

Stand: Final.

Autoren: Frank Fiedrich, Anna Schwickerath, Matthias Heilmann (Bergische Universität Wuppertal), Carsten Laube, Doris Dobranic, Philipp Kuschewski (Deutsche Hochschule der Polizei, Fachgebiet „Polizeiliches Krisenmanagement“) und Sabine Funk (ibit GmbH).

Um Veranstaltungen erfolgreich durchzuführen, ist eine Nachbereitung unabdingbar. Dies gilt vor allem für wiederkehrende Veranstaltungen. Der Prozess sollte bereits in der Planungsphase beginnen, um mit einem für alle Akteure verständlich dokumentierten und aufbereiteten Ergebnis abgeschlossen werden zu können. Der vorliegende Text erläutert die zentralen Schritte strukturierter Nachbereitungsprozesse und gibt einen Einblick in Evaluationsmethoden. Er richtet sich ausdrücklich an alle Veranstalter, unabhängig vom Grad ihrer Professionalisierung, Angehörige von Behörden sowie weitere Dienstleister der Veranstaltungsbranche.

Grundlagen der Nachbereitung

Nachbereitungen sind unverzichtbare Bestandteile des Veranstaltungsmanagements. Sie können allen beteiligten Akteuren dabei helfen,

Rollen und Entscheidungen der jeweils beteiligten Akteure transparent und nachvollziehbar zu machen,
aus möglichen Fehlern zu lernen und diese in Zukunft zu vermeiden (Etablierung einer akteursübergreifenden Fehler- und Lernkultur),
die akteursübergreifende Zusammenarbeit zu optimieren,
"Best Practices" zu identifizieren und zu standardisieren,
Veranstaltungen insgesamt erfolgreich und sicher zu managen.

Neben den gegebenenfalls organisationsintern durchzuführenden Nachbereitungen sollte stets auch eine gemeinsame Nachbereitung unter Federführung der Genehmigungs-behörden beziehungsweise der zentralen Servicestelle (soweit örtlich vorhanden) durchgeführt werden. Alternativ bietet es sich hier an, demjenigen Akteur die Leitung des Nachbereitungsprozesses zu übertragen, der über die größten Kenntnisse und Erfahrungen sowie eine entsprechende Infrastruktur in diesem Bereich verfügt. Grundsätzlich sind kooperative Lösungen mehrerer Akteure zu befürworten. Die Notwendigkeit, Nachbereitungen durchzuführen, hängt nicht von dem Aufkommen besonderer Ereignisse ab; sie sollten einer im Vorfeld vereinbarten festen Struktur folgen und sich an klar definierten Inhalten und Zielen orientieren. Für die Nachbereitung relevante Informationen und Daten sollten bereits in der Planungsphase sowie während der Durchführung von Veranstaltungen gesammelt beziehungsweise erhoben werden.

An der Nachbereitung sind grundsätzlich die Akteure der Planungs- und Durchführungs-phase zu beteiligen; sie sollte zeitnah erfolgen, um externe Unternehmen, die beispielsweise Sicherheits- oder Verkehrskonzepte für den Veranstalter erstellen, zu integrieren; zuvor etablierte Gremienstrukturen (Sicherheitskreis, Koordinierungskreis, Krisenstab) könnten hier beibehalten werden. Der Umfang des jeweiligen Nachbereitungsbedarfs ergibt sich aus der Komplexität der jeweiligen Veranstaltung.

Aufbau

Erfahrungen der an der Planung und Durchführung beteiligten relevanten Akteure bilden die Grundlage der akteursübergreifenden Nachbereitung. Davon ausgehend sollte die Nachbereitung in zweistufiger Form erfolgen:

Zunächst sollten interne Nachbereitungen der beteiligten Akteure stattfinden; die im Zuge dieser akteursbezogenen Nachbereitungen identifizierten Probleme werden gesammelt, ausgewertet und zusammengefasst. Regelmäßig wird dabei bewertet, welche Vorkommnisse intern behandelt werden und welche in die gemeinsame Nachbereitung fließen. Lösungsvorschläge werden – sofern erkennbar – vorbereitet und bereits intern abgestimmt. Für die Planung und Durchführung interner Nachbereitungen sind die Akteure selbst verantwortlich. Ein interorganisationaler Austausch ist währenddessen nicht ausgeschlossen.
In einem zweiten Schritt sollte eine gemeinsame Nachbereitung aller relevanten Akteure (beispielsweise Veranstalter, Feuerwehr, Rettungsdienst) stattfinden, in der die im Zuge der internen Nachbereitung identifizierten (positiven wie negativen) Aspekte dargelegt und analysiert sowie gemeinsame Lösungen entwickelt werden, welche in die Planungen von Folgeveranstaltungen einfließen sollten.

Weitere Nachbereitungsgremien können mit dem Ziel der Untersuchung von Einzelfällen gebildet werden, ebenso können Sachverhalte organisationsintern behandelt werden; Ergebnisse daraus sollten im Nachgang dem gesamten Gremium zur Verfügung gestellt werden.

Zielsetzungen

Eine strukturierte und von allen relevanten Akteuren getragene Nachbereitung sollte Folgendes in die Zielsetzung aufnehmen: Positive und negative Erfahrungen hinsichtlich sicherheitsrelevanter Aspekte sollen strukturiert erfasst und analysiert werden. Anhand der daraus hervorgehenden Ergebnisse können Maßnahmen und Lösungsansätze zur Behebung identifizierter Problembereiche entwickelt werden, um diese bei zukünftigen Veranstaltungen umzusetzen.

Bestehende Konzepte (beispielsweise Sicherheitskonzepte, inter- und intraorganisationale Strukturen der Zusammenarbeit) können auf diese Weise hinsichtlich der Erreichung der vorgegebenen Ziele überprüft werden, um Schwachstellen und Optimierungsansätze zu identifizieren.

Um den genannten Zielsetzungen gerecht zu werden, sind Nachbereitungen grundsätzlich kritisch, offen, strukturiert und lösungsorientiert zu gestalten und schriftlich zu dokumentieren.

Organisation

Nachbereitungen können während der Durchführungsphase, zum Beispiel im Falle der notwendigen Überprüfung einzelner Veranstaltungsphasen, unmittelbar im Anschluss sowie zeitnah nach der Veranstaltung durchgeführt werden. Sind zum Beispiel bereits aus der Anreisephase relevante Erkenntnisse zu ziehen, die Auswirkungen auf den Verlauf der Veranstaltung oder die Abreisephase haben, kann es nötig sein, eine Nachbereitung der Phase „Anreise / Einlass“ kurzfristig umzusetzen, um die Sichtweisen der beteiligten Akteure zu bündeln, möglichst umfassende Informationen zusammenzutragen und abgestimmte Lösungen zu entwickeln. Bei mehrtätigen Veranstaltungen finden Nachbesprechungen daher regelmäßig auch am Ende eines jeden Veranstaltungstages statt.

Dabei sollten im Vorfeld folgende Fragen durch die relevanten Akteure geklärt werden:

Wer ergreift die Initiative für die Nachbereitung (beispielsweise Genehmigungsbehörde, zentrale Servicestelle)?
Wer übernimmt organisatorische Aspekte der gemeinsamen Nachbereitung?
Wo findet die Nachbereitung statt?
Wer leitet die Besprechung?
Wer ist für die Dokumentation und die Versendung des Protokolls verantwortlich?
Wie ist hinsichtlich der Umsetzung der Ergebnisse Verbindlichkeit herzustellen?

Zusammenführung von Nachbereitungsergebnissen

Um Nachbereitungen nachhaltig zu gestalten, empfiehlt sich die Zusammenführung von relevantem Material. Hierzu kann ein Abgleich von Videos, Fotos, Protokollen von Absprachen aus der Planungsphase, Dokumentationen von Auffälligkeiten, Mängeln oder Fehlern, Evaluations- und Simulationsergebnissen sowie daraus hervorgehenden Empfehlungen relevant sein.

Dokumentation

Akteursübergreifende Nachbereitungsergebnisse sollten im Sinne der Schaffung einer gemeinsamen Wissensbasis in einem zusammenfassenden Abschlussbericht dokumentiert werden. Zur Erfassung relevanter Erkenntnisse können unter anderem strukturierte Abfragemethoden (beispielsweise Problemzettel) eingesetzt werden. Diese Dokumentation sollte allen Akteuren zur Verfügung gestellt, für die Vorbereitung zukünftiger Veranstaltungen archiviert und gegebenenfalls in anonymisierter Form als Grundlage für Änderungen in Aus- und Fortbildung genutzt werden.

Aufbereitete Nachbereitungsergebnisse sollten nach der Prüfung eventueller Anfragen grundsätzlich für die Planung "fremder" Veranstaltungen zur Verfügung gestellt werden. Möglichkeiten der Weitergabe sind beispielsweise: webbasierte Plattformen, die den Austausch von Erfahrungsberichten ermöglichen, die persönliche Weitergabe relevanter Erkenntnisse sowie die Nutzung zentraler Informationssysteme (beispielsweise Extrapol für den Bereich der Polizei). Die Nutzungsrechte sind dabei akteursübergreifend verbindlich zu regeln.

Übertragung von Ergebnissen in die Praxis

Um Ergebnisse der Nachbereitung für die Modifikation von Folgeveranstaltungen oder bei mehrtägigen Veranstaltungen an weiteren Tagen zu nutzen, sollte zunächst eine Zielsetzung definiert werden. Beispiele für eine solche Zielsetzung könnten sein:

die Beschleunigung des Einlasses,
das Verhindern von Menschenansammlung durch die Anordnung von Attraktionen,
die Verringerung des Müllaufkommens sowie
die Verbesserung der Kommunikation.

Die Formulierung der Ziele sollte so konkret wie möglich erfolgen, um eine abschließende Überprüfung zu ermöglichen. Anschließend sollten erforderliche Maßnahmen formuliert und die Verantwortlichkeiten für deren Umsetzung festgelegt werden.

Im Rahmen dieses Schritts ist unter anderem die Erstellung von Checklisten zu empfehlen, anhand derer die Akteure einen Überblick über durchzuführende Maßnahmen erhalten.

Wird ein Gelände für mehrere verschiedenartige Veranstaltungen genutzt, können bestimmte Nachbereitungserkenntnisse auch für zukünftige Veranstaltungen aufbereitet werden; ähnliches gilt für übertragbare Veranstaltungsarten.

Planungsphase / Umsetzungsphase

Von Bedeutung für akteursübergreifende Nachbereitungen sind insbesondere Genehmigungsverfahren und Sicherheitskonzepte. Betrachtet man Genehmigungsverfahren im Nachhinein, so sind vor allem strukturelle Abläufe des Prozesses, die Einbindung relevanter Akteure sowie die Personalbemessung von Interesse. Wurde die Veranstaltung unter Auflagen genehmigt, sollte sich die Nachbereitung insbesondere auf mögliche Probleme hinsichtlich der Einhaltung erteilter Auflagen sowie des Informationsmanagements zwischen den zuständigen Kontrollinstanzen und Genehmigungsbehörden fokussieren. Darüber hinaus sollte das Zeitmanagement hinsichtlich möglicher Mängelbeseitigungen während der Veranstaltung einer genaueren Nachbetrachtung unterzogen werden. Wie oben bereits erwähnt ist eine detaillierte Dokumentation auch in diesem Schritt unabdingbar.

Durchführungsphase

Hinsichtlich der Durchführungsphase sind insbesondere folgende Aspekte für die Nachbereitung relevant:

besondere Ereignisse/Sachverhalte/Schäden/Gefahren,

(beispielsweise die Anzahl von Einsätzen der nichtpolizeilichen Gefahrenabwehr),

Verhältnis zwischen geplantem und tatsächlichem Ablauf der Veranstaltung,
Presse- und Öffentlichkeitsarbeit,
Wetterlage,
Personal, unter anderem die Einsatzplanung und die Erreichbarkeit von Behördenvertretern,
Schnittstellenprobleme in Bezug auf die interorganisationale Zusammenarbeit sowie Konfliktlösungsmechanismen,
- Aufbauorganisation, Kommunikations- und Informationsstrukturen, insbesondere hinsichtlich der gewählten Gremienstrukturen (Sicherheitskreis, Koordinierungskreis, Krisenstab)
- Ablauforganisation, wobei der Fokus auf dem Entscheidungs- und dem Informationsmanagement sowie zeitlichen Faktoren liegt,
Zusammenarbeit der Akteure (Veranstalter, Behörden und Organisationen mit Sicherheitsaufgaben etc.),
akteursübergreifende Besprechungen
Veranstaltungsgelände und weitere Aspekte der Infrastruktur,
Crowd Management, beispielsweise Ein- / Auslasssituationen,
Verkehrsmanagement sowie
Umsetzung behördlicher Auflagen und Anordnungen

Die Nachbereitungsergebnisse sind zu dokumentieren und dienen als Grundlage für die Durchführung zukünftiger Veranstaltungen, insbesondere für den Fall wechselnder personeller Zuständigkeiten.

Evaluation

Im Folgenden soll eine kurze Einleitung in das Themengebiet der Evaluation beziehungsweise ihre theoretischen Grundlagen gegeben werden. Evaluationen finden in diversen gesellschaftlichen Bereichen statt und können dabei helfen, Prozesse und ihre Wirkungen zu überprüfen.

Stockmann und Meyer definieren den Evaluationsbegriff wie folgt: „Evaluation [ist] ein Instrument zur empirischen Generierung von Wissen […], das mit einer Bewertung verknüpft wird, um zielgerichtete Entscheidungen zu treffen.“ Von besonderer Bedeutung ist dabei, dass der Fokus nicht ausschließlich auf der Analyse und Bewertung bestehender Prozesse liegt, diese sollen zudem in die Entwicklung neuer Strukturen integriert werden. Auf diese Weise sollen Erfahrungswerte genutzt werden, um zukünftige Strategien zu entwickeln. (Vgl. Stockmann/Meyer, 2014:72)

Die American Evaluation Association veröffentlichte 1994 die Guiding Principles for Evaluators, welche zuletzt 2004 überabeitet beziehungsweise aktualisiert wurden:

I. Systematic Inquiry (Systematische Untersuchungen)

Im Rahmen von Evaluationen ist es von großer Bedeutung, systematische und datenbasierte Untersuchungen durchzuführen. Dabei sollen neueste Methoden angewandt werden, die es den Akteuren erlauben, ihre Ergebnisse verständlich zu vermitteln.

II. Competence (Kompetenz)

Die beteiligten Personen sollten sich neben ihrer methodischen Kompetenz durch ein ausgeprägtes kulturelles Verständnis sowie Fortbildungsbereitschaft auszeichnen. Ein prozessbegleitender kollegialer Erfahrungsaustausch ist überdies wünschenswert.

III. Integrity / Honesty (Integrität / Ehrlichkeit)

Evaluatoren sollten sowohl im Hinblick auf methodische Umstände, wie beispielsweise Kosten und finanzielle Abhängigkeiten, als auch auf Grenzen sowie zu erwartende Resultate, Abweichungen von der ursprünglichen Planung, Darstellung der Ergebnisse und Gewissenskonflikte oder Bedenken ehrlich sein.

IV. Respect for People (Respekt)

Neben der Einbeziehung kontextueller Aspekte, wie dem sozialen Umfeld, ist eine professionelle Ethik im Umgang mit vertraulichen Daten, negativen Resultaten oder der Wahrnehmung von Unterschieden auf Seiten von befragten Personen unabdingbarer Bestandteil von Evaluationen.

V. Responsibilities for General and Public Welfare (Verantwortung)

Evaluatoren sollten versuchen, die Perspektive von Befragten einzunehmen und die Wirkung der Resultate beachten. Dafür ist unter anderem von Bedeutung, eine Balance zwischen den Wünschen ihrer Klienten und dem Gemeinwohl zu erreichen.

(American Evaluation Association 2004)

Die hier dargestellten Prinzipien sind idealtypisch zu verstehen, geben aber einen guten Einblick dahingehend, unter welchen Rahmenbedingungen Evaluationen bestenfalls durchgeführt werden sollten.

Generell bleibt zu bemerken, dass sie einer zuvor festgelegten Systematik folgen sollten, die in alle Phasen einer Veranstaltung entsprechend integriert werden kann.

Hier wird nach internen sowie externen Evaluationen unterschieden. Interne Verfahren werden von der Organisation durchgeführt, die evaluiert werden soll, bis hin zu Selbstevaluationen. Von Vorteil sind hier der in der Regel geringere Aufwand und die inhaltlichen Kenntnisse, nachteilig jedoch die fehlende Unabhängigkeit. Externe Evaluatoren sind nicht Teil der Organisation, daher oftmals unabhängiger, jedoch fehlen hier teils entsprechende Sachkenntnisse. Häufig ist die Entscheidung für eine der Formen von finanziellen Rahmenbedingungen abhängig.

Abbildung I zeigt die Phasen von Evaluationen anhand eines idealtypischen Verlaufs.

Abbildung I (nach Stockmann/Meyer, 2014:170)

Inwiefern im Rahmen von Evaluationen quantitative, qualitative oder Mischmethoden zum Einsatz kommen, ist abhängig von der Zielsetzung und den finanziellen sowie zeitlichen Ressourcen. Bei quantitativen Verfahren werden beispielsweise Erhebungen mittels Fragebögen durchgeführt, wohingegen im Rahmen qualitativer Untersuchungen Einzelinterviews oder Gruppendiskussionen eingesetzt werden können. Der Vorteil quantitativer Erhebungen liegt in vergleichsweise hohen Zahlen von Befragten, der qualitativer Verfahren in einer detaillierten Betrachtung von Einzelfällen. Sofern die finanziellen sowie zeitlichen Ressourcen dies zulassen, sind Mischmethoden empfehlenswert. (Vgl. Mayring, 1996:46)

Es ist also darauf zu achten, dass das Hauptaugenmerk nicht auf der Untersuchung des Status Quo liegt, die Ergebnisse dessen vielmehr als Voraussetzung für eine Anpassung der bestehenden Strukturen genutzt werden.

Im Rahmen von Veranstaltungen, deren Organisatoren über geringe finanzielle Mittel verfügen, sind die hier dargestellten Schritte teils nur schwer umzusetzen. Dennoch ist eine Implementierung von Evaluationen auch hier möglich. Die zusammenfassend dargestellten Aspekte von Evaluationen können je nach Kenntnisstand und finanziellen Ressourcen ausgestaltet werden. Von zentraler Bedeutung ist dabei, dass die zuvor festgelegte Struktur der Maßnahme eingehalten wird und die Resultate entsprechend verständlich aufbereitet sowie allen relevanten Akteuren zur Verfügung gestellt werden.

Zusammenfassung

Eine effektive, akteursübergreifende Nachbereitung von Veranstaltungen sollte die folgenden Aspekte enthalten:

Vorab-Definition von Zielvorhaben
Vorbereitung des Veranstaltungsablaufs und des Evaluationsverfahrens
Dokumentation
Identifikation und Analyse besonderer Ereignisse
Bilanzierung
Anpassung und Verbesserung von Konzepten für zukünftige Veranstaltungen

Literatur

American Evaluation Association, Guiding Principles for Evaluators, [1]
Evaluation in der EU, [2]
Mayring, Philipp, Einführung in die qualitative Sozialforschung, 3.Auflage, 1996
Stockmann, Reinhard / Meyer, Wolfgang, Evaluation. Eine Einführung, 2.Auflage, 2014
Universität des Saarlandes, Centrum für Evaluation, [www.ceval.de]
Zeitschrift für Evaluation, [3]