KI.Standards im Remote Assessment

Im KI.M schaffen wir intelligent und mit Methode Qualität.
Das ist unsere Leidenschaft!

Deshalb lassen wir uns in unserem Handeln durch aktuelle wissenschaftliche Erkenntnisse und Megatrends wie Digitalisierung, Globalisierung, Usability und Mobilität leiten und entwickeln innovative State-of-the-art-Lösungen. So bieten wir unseren Kunden seit über zehn Jahren digitale Lösungen wie Online-Tests, Tablet und Remote Assessments an.
Im Kontext der Corona-Krise mit Social Distancing und eingeschränkter Reisefreiheit gewinnt insbesondere das Remote Assessment an Aktualität und Aufmerksamkeit. In den vergangenen Wochen haben wir unsere Kunden in der Digitalisierung Ihrer Assessments unterstützt und uns natürlich auch mit der Frage der Qualität der Eignungsdiagnostik im Online-Assessment auseinandergesetzt.

Was ist ein Remote Assessment?

Wie kann ich remote die Qualität sicherstellen?

Kann ein Remote Assessment eine gleichwertig hohe Qualität ermöglichen wie ein Präsenzverfahren? Wir nehmen eine Einschätzung der Herausforderungen anhand unserer KI.Standards zur Assessment Center-Konzeption und -Moderation vor und zeigen mögliche Lösungen und gar Vorteile auf:

1. Auftragsklärung. Wir stärken die Akzeptanz durch den Einbezug relevanter Stakeholder und integrieren das Assessment Center (AC) in bestehende HR-Prozesse.

• Aufgrund der Umsetzung im virtuellen Setting werden schon bei der Auftragsklärung für das Remote Assessment weitere Stakeholder mit einbezogen (z.B. IT und Datenschutz).
• Bereits zu Projektbeginn besprechen wir die Hard- und Softwarevoraussetzungen, Datenschutzrichtlinien und Speicherformate (z.B. Schnittstelle zu SAP) mit Verantwortlichen des Kunden (IT und Datenschutz) und führen einen Technikcheck durch (z.B. Videokonferenz-System).
• Durch virtuelle Stakeholder-Workshops via Videokonferenz kann sogar eine höhere Beteiligung erreicht werden, da Reiseaufwände entfallen und Stakeholder an weit entfernten Standorten einbezogen werden können.

2. Anforderungsanalyse. Wir definieren ein Anforderungsprofil mit erfolgskritischen Aspekten der Zielfunktion für eine valide Eignungsbeurteilung im Assessment Center.

• Anforderungsprofile und deren Operationalisierung sowie erfolgskritische Situationen können sich in der Präsenz- und virtuellen Arbeitswelt unterscheiden (z.B. Präsentationsfähigkeiten und nonverbale Kommunikation im Präsenz- vs. virtuellen Setting).
• Wir empfehlen, in der Anforderungsanalyse die erfolgskritischen Situationen zu erheben, die auch im Arbeitsalltag realistischerweise virtuell stattfinden können. Zudem sollte bei der Operationalisierung darauf geachtet werden, dass die Verhaltensanker im virtuellen Setting beobachtbar sind.
• Auch Stakeholder an weit entfernten Standorten und aus dem Homeoffice können in virtuelle Workshops eingebunden werden – dies erhöht die Beteiligung. Durch die Nutzung der KI.PaiRs App, Whiteboard- und Umfragefunktion können Informationen sehr effizient eingeholt und dokumentiert werden.

3. Konzeption. Wir konzipieren das Assessment Center auf Basis der Anforderungsanalyse und empirischer Evidenz realitätsnah, systematisch und valide.

• Das Teilen und die Bearbeitung der Übungsunterlagen erfolgen virtuell. Zum einen kann dadurch die Bearbeitbarkeit am Bildschirm im Vergleich zur Papierunterlage eingeschränkt sein. Zum anderen kann durch das privatere Setting (z.B. im Homeoffice) die Hemmschwelle,Unterlagen zu verbreiten, gesenkt sein.
• Wir gestalten die Übungsunterlagen für Teilnehmer weniger komplex, achten auf eine übersichtliche Darstellung und transportieren vermehrt Informationen durch Rollenspieler. Auch kann es sinnvoll sein, mit Parallelversionen zu arbeiten und auf einen regelmäßigen Austausch der Szenarien zu achten.
• Statt komplexe Fallstudien einzusetzen, können insbesondere analytische und planerische Fähigkeiten noch effizienter, ressourcenschonender und objektiver durch automatisiert ausgewertete Online-Leistungstests erfasst werden (z.B. KI.JobIQ und AFB mit automatisiertem Report).

4. Vorprozess. Wir legen den Grundstein für die Akzeptanz und Güte des Assessment Centers durch eine systematische Vorauswahl, transparente Kommunikation und ein fundiertes Training.

• Sowohl bei Teilnehmern als auch bei Beobachtern kann die Erfahrung im Umgang mit Videokonferenz- und Assessment-Systemen unterschiedlich stark ausgeprägt sein und damit einen Einfluss auf die Leistung bzw. Bewertung haben.
• Wir führen Webtrainings zum technischen Umgang mit dem Videokonferenz-System für Teilnehmer und Verfahrensbeteiligte (für Beobachter zusätzlich zur Assessment-Software) durch. Auch sollten Übungen virtuell erprobt und die technische Affinität bei der Zusammensetzung der Beobachtergruppen berücksichtigt werden.
• Durch die virtuelle Umsetzung von Teilnehmereinführung und Beobachterschulung via Webtraining entfallen Reiseaufwände, Beobachter üben die Beobachtung und Beurteilung im virtuellen Setting und die technische Kompetenz kann gar über die Anwendung im Assessment Center hinaus gestärkt werden.

5. Moderation. Wir stellen die diagnostische Qualität, eine wertschätzende Atmosphäre und einen effizienten Ablauf sicher.

• Die Beobachtung per Videokonferenz ist kognitiv anstrengender, der Beziehungs- und Vertrauensaufbau weniger intuitiv und das remote Setting anfälliger für Störungen von außen (z.B. Nutzung der Internetleitung oder Störung durch Familienangehörige, Stromausfall).
• Wir reduzieren die Beobachtungszeit pro Tag und versenden bereits mit der Einladung den Ablaufplan sowie Hinweise zur Einrichtung des remote Settings (z.B. Umgebung, Hintergrund, Arbeitsplatzausstattung). Im Assessment Center stellen sich alle Verfahrensbeteiligten persönlich und per Video vor und unsere KI.M Assistenz bietet technischen Support bei Störungen.
• Die Teilnehmer sind in ihrer gewohnten Umgebung, was Nervosität nehmen kann und eine individuelle Pausengestaltung ohne Verfahrensbeteiligte ermöglicht. Zudem können sich weitere Akteure zeitweise dazu schalten (z.B. Kennenlernen des Teams, Fachbeobachter).

6. Entscheidung. Wir treffen belastbare Aussagen durch eine anforderungsbezogene und regelgeleitete Beobachtungs-, Bewertungs- und Entscheidungssystematik.

• Die Wahrnehmung der physischen Präsenz sowie der emotionalen Resonanz ist eingeschränkt und die persönliche Distanz erhöht, was wissenschaftlichen Erkenntnissen zufolge zu strengeren Bewertungen führen kann (Sears et al., 2013). Die Beobachtungen und Bewertungen müssen virtuell konsolidiert werden.
• Wir sensibilisieren Beobachter für diese wissenschaftlichen Erkenntnisse und empfehlen spezifische Einstellungen zur optimalen Wahrnehmung der Teilnehmer. Durch die Nutzung der Assessment-Software KI.PAT werden die Beobachtungen und Bewertungen sicher verschlüsselt übermittelt und automatisiert aggregiert.
• Die Objektivität der Beobachtungs-, Bewertungs- und Entscheidungssystematik wird erhöht, da durch die Software ein direktes Beobachterfeedback möglich ist und keine Übertragungsfehler durch händische Bewertungseingaben erfolgen können. Durch KI.PAT reduziert sich zudem der Aufwand für Dokumentation und Dateneingabe.

7. Folgeprozess. Wir fördern Akzeptanz und Mitarbeiterentwicklung durch wertschätzendes Feedback und adressatengerechte Berichte.

• Ein persönliches Feedback erfordert einen geschützten und vertrauensvollen Rahmen. Der Transfer des Feedbacks kann aufgrund des Medienbruchs erschwert sein (z.B. Präsentationsfähigkeiten und nonverbale Kommunikation im Präsenz- vs. virtuellen Setting).
• Auch beim Feedback empfehlen wir die Nutzung eines Konferenzsystems mit Videofunktion. Zudem fördern wir den Transfer auf die unterschiedlichen Anforderungen der virtuellen und analogen Arbeitswelt durch differenzierte Darstellungen und Empfehlungen in Feedbackgespräch und Bericht.
• Durch die virtuelle Umsetzung kann das Feedbackgespräch einfacher zeitlich entkoppelt werden (z.B. am Folgetag) und weitere Beteiligte des Personalentwicklungsprozesses (z.B. Führungskraft, Coach) direkt eingebunden werden. Auch virtuelle Dienstleistungen unseres KI.M Center Training & Entwicklung können den vertiefenden Transfer unterstützen (z.B. durch Remote Coachings, Webtrainings und virtuelle Fallberatungen).

8. Nachhaltigkeit. Wir sichern die nachhaltige Qualität des Assessment Centers durch regelmäßige empirische Evaluationen und Review-Termine.

• Ob es einen Einfluss auf die Akzeptanz (z.B. ist das Remote Assessment noch wenig bekannt), die Fairness (z.B. technische Kompetenz für spezifische Gruppen) und die Schwierigkeit (z.B. Hinweise auf strengere Bewertung) gibt, ist noch nicht abschließend geklärt.
• Derzeit führen wir eine empirische Studie zur Akzeptanz von Präsenz- und Remote Assessments durch. Erste Ergebnisse weisen auf eine hohe Akzeptanz für unsere Remote Assessments hin. Fairness und interne Struktur überprüfen wir kundenspezifisch in regelmäßigen Reviews.
• Durch die Assessment Software KI.PAT kann den Beobachtenden ein individuelles Feedback zu ihrem Bewertungsverhalten gegeben werden (Beurteilerübereinstimmung). Auch werden Evaluationen automatisch erstellt und Daten können für weitere Analysen exportiert werden.

Insgesamt ziehen wir somit ein positives Resümee hinsichtlich der Umsetzung unserer KI.Standards im remote Setting und können sagen: Ja, ein Remote Assessment kann eine gleichwertig hohe Qualität wie ein Präsenzverfahren ermöglichen und sogar Vorteile bieten!

Die KI.STANDARDS zum Download!