Methode FFT Experten-Validität

Unfaire Kreditberatungen erkennen

Herausforderung Entscheiden unter Unsicherheit

Mangelt es an belastbaren Daten zum Eintreffen spezifischer Ereignisse oder an Wissen über Entscheidungskonsequenzen, liegt ein Problem der Unsicherheit vor. Bessere Entscheidungen können dabei kaum durch den geübten Umgang mit Statistiken oder ihre transparente Kommunikation erreicht werden. Stattdessen ist die zentrale Fragestellung, wie der einzelne Verbraucher die Unsicherheit in seiner Entscheidungssituation reduzieren kann. Hierbei sind zwei Szenarien zentral:

Wie kann Unsicherheit für Problemstellungen alltagstauglich (schnell, praktisch) reduziert werden, bei denen der Verbraucher auf sich allein gestellt ist?

Wie kann Unsicherheit für Problemstellungen alltagstauglich (schnell, praktisch) reduziert werden, bei denen ein Experte dem Verbraucher Rat gibt?

 

Warum ist es schwierig, Entscheidungsunterstützung bei Problemen der Unsicherheit zu geben?

Entscheidungsprobleme der Unsicherheit zeichnen sich durch einen Mangel an belastbaren Daten aus. Dadurch ist eine direkte Auswahl der besten Entscheidungsoption im Grunde ausgeschlossen. Die Unterstützung besteht darin, entscheidende Strategien zu kennen, um Unsicherheit zu reduzieren. Was muss ich fragen, um die Auswahl möglicher Informationen bzw. Optionen zu reduzieren? Wonach muss ich suchen? Was muss ich prüfen, um unpassende Optionen auszusortieren, welche die Mindestanforderungen nicht erfüllen?

Welcher wissenschaftliche Lösungsansatz bietet sich an?

Im Gegensatz zu Verbrauchern sind Experten in einem bestimmten Fachgebiet in der Lage, anhand weniger heuristischer Merkmale objektive Standardunterschreitungen bei einem Entscheidungsproblem zu identifizieren. Mithilfe einer Analyse von konkreten Entscheidungssituationen von Verbrauchern werden mögliche Expertenheuristiken in Entscheidungsbäume destilliert. Diese fassen das auf Erfahrung basierte Bauchgefühl der Experten zusammen und leihen dem Verbraucher eine robuste Expertise, mit der er, dem Experten ähnlich, die Spreu vom Weizen zu trennen vermag. 

Dies ist nicht nur für Fragestellungen bedeutsam, bei denen Verbraucher auf sich allein gestellt sind. Auch für Beratungssituationen lassen sich mögliche Entscheidungsheuristiken in Entscheidungsbäumen kombinieren: Hier geht es darum, dem Berater die wichtigsten Fragen zu stellen, um diese Situation robust einschätzen zu können. 

Geeignete Entscheidungsbäume, die transparent, für Verbraucher nachvollziehbar und zugleich von hoher Güte sein können, sind die Fast-and-Frugal Trees (FFTs). Diese FFTs stellen eine Abfolge von zu prüfenden Merkmalen dar (Martignon et al., 2008). Es gibt immer nur eine Abzweigung (Stopp) oder man kommt zum nächsten Prüfmerkmal, aber es gibt keine weiteren Verzweigungen (s.u. das Themenbeispiel). Dies unterscheidet die FFTs von üblichen Entscheidungsbäumen. Erst beim letzten Merkmal in der Kette gibt es zwei Abzweigungen. 

Es wurde gezeigt, dass FFTs in verschiedensten Entscheidungssituationen unter Unsicherheit schnelle und zuverlässige Entscheidungen ermöglichen, u.a. in der Psychiatrie, in der Anästhesiologie, aber auch in der Finanzwelt (Aikman et al., 2014; Green & Mehr, 1997; Jenny et al., 2013). FFTs lassen sich in Form einer grafisch aufgearbeiteten, einfachen Baumstruktur sowohl digital (z.B. App, Internetseite) als auch analog zu den Verbrauchern bringen (z.B. auf Postern oder in Broschüren). Somit sind sie ein evidenzbasiertes Instrument zur Entscheidungsunterstützung, das einfach zu implementieren ist. Im RisikoAtlas-Projekt wurde es erstmals für die alltägliche Verbraucherpraxis entwickelt und umgesetzt. Der Einsatz der FFTs ist zudem lebensdienlich, da ihre Benutzung Fähigkeiten trainiert. Die Verwendung der FFTs erleichtert das Verinnerlichen von Schlüsselmerkmalen für Problemstellungen und regt kritisches Denken an.

Die Reihenfolge der Merkmale in einem FFT ist kritisch und muss aufwendig im Vorhinein ermittelt werden. Hierbei sind manuelle, aber auch komplexere Ansätze mithilfe der Methoden des maschinellen Lernens vorhanden. Einmal statistisch ermittelt, ermöglicht diese Merkmalskombination einem Verbraucher, Entscheidungsoptionen robust zu klassifizieren (z.B. dahingehend, ob eine informierte Entscheidung ermöglicht wird), indem er die Ausprägung der Merkmale eigenständig überprüft.

 

Wie konstruiert man einen Entscheidungsbaum für ein Verbraucherproblem – die FFT-Methode expertenbasierter Merkmalsvalidität

A. Was benötigen Sie?

Für die evidenzbasierte Entwicklung von FFTs benötigt man bei allen Ansätzen (inkl. der FFT-Methode expertenbasierter Merkmalsvalidität) eine Datenbasis mit drei Teilen: Merkmale des Problems, Fälle der Problemstellung und die jeweilige Fallbewertung.

  1. Teil – Merkmale des Problems 

Es ist zunächst erforderlich zu klären, was das Problem ist, und zu definieren, über welche konkrete Entscheidung oder Bewertung informiert werden soll. Was soll der Entscheidungsbaum liefern? Unter diesem Gesichtspunkt recherchiert man mithilfe von Experten (z.B. Workshops), Kollegen, Laien und der Fachliteratur (Fachzeitschriften, White Papers, Regierungs- bis hin zu Erfahrungsberichten) Kandidatenmerkmale. Kandidatenmerkmale sind all jene Eigenschaften der Problemsituation, die möglicherweise ein Indikator für eine gute oder schlechte Entscheidung bei dem Problem sein könnten. Es kann lohnenswert sein, auch neue Merkmale, eigene Vermutungen, Intuitionen hinzuzuziehen. Eine Liste der Kandidatenmerkmale sollte dann vorliegen. 

Jedes Kandidatenmerkmal muss durch einen Laien verstehbar und prüfbar sein. Die Liste sollte idealerweise ähnliche Merkmale zusammenfassen, gerade wenn es zu viele Merkmale werden. Man kann sagen, dass die von Experten gestützte Merkmalsauswahl im Vorhinein die wichtigste Stellschraube ist, vor allem um kosteneffektiv zu entwickeln. Denn jedes Merkmal zusätzlich verlangt mehr Fälle, um eine robuste Entwicklung zu ermöglichen. Als Faustregel kann man im Grunde 20 bis 50 Fälle für jedes Merkmal rechnen. Und jeder Fall bedeutet Aufwand: Jeder Fall muss einzeln in allen Merkmalen kodiert und eine Bewertung gewonnen werden. Wenn Sie hierbei Unterstützung benötigen, konsultieren Sie bitte den Abschlussbericht zum RisikoAtlas-Projekt ab Juli 2020 oder richten Sie eine Anfrage an uns. Die Kontaktdaten finden Sie im Reiter Kontakt.

  1. Teil – Fälle der Problemstellung

Wenn man einmal die Auswahl von Kandidatenmerkmalen getroffen hat, muss man herausfinden, wie oft sie unter welchen Umständen in der echten Welt vorzufinden sind. Hierfür sammelt man Material typischer Entscheidungssituationen, z.B. echte Kaufangebote, Videos echter Beratungssituationen oder echte Informationsangebote. 

Liegt solches Fallmaterial von typischen Entscheidungssituationen nicht vor, ist die FFT-Methode expertenbasierter Merkmalsvalidität die Methode der Wahl. Hierbei werden anstatt der natürlichen Merkmalskombinationen tatsächlicher Fälle alle möglichen künstlichen Profile aus Kandidatenmerkmalen kombiniert. Jede Merkmalskombination stellt ein Profil und somit einen Fall dar.

  1. Teil – Fallbewertungen

Für jeden Fall in Ihrer Datengrundlage müssen Sie wissen oder festlegen, ob das Zielkriterium erfüllt ist oder nicht. Im Fall einer Gesundheitsinformation wäre beispielsweise eine positive Bewertung das Zielkriterium, wenn durch sie eine informierte Entscheidung ermöglicht wird, andernfalls eine negative Bewertung. Ohne diese Basis von bereits entschiedenen Profilen ist kein Modell für zukünftige Entscheidungsunterstützung denkbar. Ein Ansatz wäre, dass Sie jedes Profil bzw. jeden Fall testen, d.h. ermitteln, wie er ausgegangen ist. Dies bedeutet einen erheblichen experimentellen Aufwand. Die Alternative ist der „Blick des Experten“, auf welchen der hier vorgestellte Modellansatz von Beginn an abzielte. Mehrere voneinander unabhängige Experten bewerten jeden einzelnen Fall (d.h. jedes Profil, jede Merkmalskombination) mit Blick auf das Ziel der Entwicklung, z.B.: „Ermöglicht diese Gesundheitsinformation eine informierte Entscheidung?“

B. Wie gehen Sie vor?

Bei der FFT-Methode expertenbasierter Merkmalsvalidität wird die Bedeutung von Kandidatenmerkmalen von Anfang an durch Experteneinschätzungen direkt geprüft. So wird mit normalisierten Häufigkeitsformaten (… von je 100) die Anwesenheit jedes Merkmals bezogen auf positive und negative Zielzustände geschätzt. Sich daraus ergebene Maßzahlen – positiv-prädiktiver Wert, negativ-prädiktiver Wert, Rate fälschlicher Auslassung, Rate fälschlicher Erkennung, Sensitivität, Spezifität, Merkmalsprävalenz – werden ausgewertet, um die Anzahl der Zielmerkmale zu minimieren. Zusätzlich wird mit Experten die Häufigkeit des Vorkommens des Zielgegenstands ermittelt. Wenn Sie beim Vorgehen Unterstützung benötigen, konsultieren Sie bitte den Abschlussbericht zum RisikoAtlas-Projekt ab Juli 2020 oder richten Sie eine Anfrage an uns. Die Kontaktdaten finden Sie im Reiter Kontakt

Diese Auswahl lässt sich zusätzlich verringern, indem man Laien dabei testet, wie erfolgreich sie die einzelnen Merkmale prüfen. Wenn man auf sechs Merkmale abzielt, heißt das, dass immer 26 = 64 verschiedene Kombinationen gebildet werden müssen. Denn jedes Merkmal kann entweder vorhanden oder abwesend sein (bzw. über oder unter einer bestimmten Wertgrenze liegen). Da von den Experten auch Merkmalsprävalenzen geschätzt wurden, kann man mithilfe der verbundenen Wahrscheinlichkeiten die Profilhäufigkeit schätzen: also wie oft kommen bestimmte Kombinationen vor. Dies ist entscheidend, um das Auftreten der Profile im Datensatz realitätsnah zueinander zu gewichten.

Zu allen Profilen sind in einer weiteren Studie die Expertenbewertungen „einzusammeln". Hierbei erhalten jeweils drei Experten jedes Merkmalsprofil. Der Blick des Experten lässt sich dadurch nur durch ihnen bekannte Merkmale modellieren. Dies ist qualitativ schwächer zu bewerten als etwa die FFT-Methode fallbasierter Merkmalsvalidität. 
Auf Basis dieser Merkmals-Bewertungs-Profile modellieren Sie den Entscheidungsbaum.

Die Pipeline zur Entwicklung lässt sich in einer vereinfachten Darstellung zusammenfassen:

Pipeline zur Entwicklung - expertenbasiert

Die Modellierung aus Baumerstellung und Kreuzvalidierung ist händisch möglich, im Sinne einer effektiven Modellfindung mithilfe der Open-Source-Lösung R jedoch leichter. Neben dem Paket FFTrees (Phillips et al., 2017) können Sie auch eine Weblösung von Evaldas Jablonskis und Uwe Czienskowski unter http://www.adaptivetoolbox.net/Library/Trees/TreesHome#/nutzen. Wenn Sie hierbei Unterstützung benötigen, konsultieren Sie bitte den Abschlussbericht zum RisikoAtlas-Projekt ab Juli 2020 oder richten Sie eine Anfrage an uns. Die Kontaktdaten finden Sie im Reiter Kontakt.

Sie werden einen Fast-and-Frugal Tree (FFT) modellieren mithilfe des Teils der Fälle, den Sie als Trainingsdaten auswählen; oft 33% oder 50% der Fälle. Dieser FFT hat eine gewisse Güte hinsichtlich des Aufspürens Ihres Zielmerkmals (Bewertung). D.h., er wird in der echten Welt Fälle übersehen und bei anderen fehlalarmieren. Um diese Güte quantifizieren zu können, führen Sie entweder eine statistische Kreuzvalidierung durch (Sie wenden den ermittelten Entscheidungsbaum auf zufällig wiederholt gezogene Fälle an; Testdatenfälle) oder Sie wenden ihn einmal auf eine Sammlung von Fällen mit Bewertungen an, die Sie vor der Modellierung zur Seite gelegt haben. Alternativ können Sie auch noch eine völlig neue Stichprobe von Fällen mit Merkmalskodierungen und Bewertungen sammeln (out-of-sample), auf die Sie den Entscheidungsbaum anwenden (Zusatzaufwand).

Welche Güte ausreichend ist, hängt sehr von den Fehlerarten und den an den Irrtum geknüpften Kosten ab. Abschließend muss das Modell in der Praxis mit Laien erprobt werden. Hierbei ist eine randomisierte kontrollierte Studie zweckmäßig, bei der man Entscheidungsintentionen von Verbrauchern, denen man den Entscheidungsbaum zur Hand gibt, mit solchen, die nichts oder ein Standardinformationsblatt haben, vergleicht. Wenn Sie bei Güte oder Evaluation Unterstützung benötigen, konsultieren Sie bitte den Abschlussbericht zum RisikoAtlas-Projekt ab Juli 2020 oder richten Sie eine Anfrage an uns. Die Kontaktdaten finden Sie im Reiter Kontakt.

Literaturempfehlungen zu den methodischen Grundlagen
  • Aikman, D., Galesic, M., Gigerenzer, G., Kapadia, S., Katsikopoulos, K. V., Kothiyal, A., ... & Neumann, T. (2014). Taking uncertainty seriously: Simplicity versus complexity in financial regulation. Bank of England Financial Stability Paper, 28.
  • Green, L., & Mehr, D. R. (1997). What alters physicians' decisions to admit to the coronary care unit?. Journal of Family Practice, 45(3), 219–226.
  • Jablonskis, E., & Czienskowski, U. (2017). Decision trees online. http://www.adaptivetoolbox.net/Library/Trees/TreesHome#/
  • Jenny, M. A., Pachur, T., Williams, S. L., Becker, E., & Margraf, J. (2013). Simple rules for detecting depression. Journal of Applied Research in Memory and Cognition, 2(3), 149–157.
  • Luan, S., Schooler, L. J., & Gigerenzer, G. (2011). A signal-detection analysis of fast-and-frugal trees. Psychological Review, 118(2), 316.
  • Martignon, L., Katsikopoulos, K. V., & Woike, J. K. (2008). Categorization with limited resources: A family of simple heuristics. Journal of Mathematical Psychology, 52(6), 352–361.

 

Wie können Sie die Methode übernehmen?

Wenn Sie ein Verbraucherthema von unserer Internetseite übernehmen möchten, können Sie das über die folgenden drei Wege tun: 

  1. Sie verwenden eine digitale Kopie. Entweder Sie speichern sich direkt eine Grafik bzw. laden unser PDF herunter oder Sie binden die Grafik mittels Link(a href) oder iframe ein.
  2. Sie ziehen Ihre analoge Kopie und drucken sich unser PDF aus. Die Auflösung bzw. die vektorbasierte Grafik ist für Poster und Broschüren geeignet.
  3. Sie empfehlen die App und verweisen auf den Risikokompass aus PlayStore und AppStore.

Wenn Sie ein eigenes Modell entwickeln möchten, konsultieren Sie bitte den Abschlussbericht zum RisikoAtlas-Projekt ab Juli 2020 oder richten Sie eine Anfrage an uns. Die Kontaktdaten finden Sie im Reiter Kontakt.

Wir bitten darum, bei der Nutzung der Instrumente den Zuwendungsgeber, das Bundesministerium der Justiz und für Verbraucherschutz, sowie das Harding-Zentrum für Risikokompetenz als verantwortliche Entwickler zu erwähnen.

Die Logos zum Download finden Sie hier.

Links zu weiteren Methoden
Fast-and-frugal Tree - Kreditberatungen

Die Aufnahme eines Kredits sollte wohlüberlegt sein. Schließlich gehen Sie eine finanzielle Verpflichtung ein, die Sie über mehrere Jahre, wenn nicht sogar Jahrzehnte bindet. Es liegt nahe, sich bei so einer schwerwiegenden Entscheidung Unterstützung in Form eines Kreditberaters zu holen. Aber auch wenn der Titel „Kreditberater“ eine gewisse Unabhängigkeit suggerieren mag – oft ist leider das Gegenteil der Fall. Als Vermittler eines Kredits hat er ein Gewinninteresse, da er z.B. Provisionen erhält. Sie müssen also selbst prüfen, inwieweit eine Kreditberatung tatsächlich fair ist: Ermöglicht die Beratung Ihnen, mögliche Vor- und Nachteile abzuwägen? Unser Entscheidungsbaum als digitale Checkliste hilft Ihnen, zu erkennen, ob Sie fair beraten werden.

 

Wann brauche ich die Grafik?

Dieser Entscheidungsbaum soll Sie unterstützen, wenn es um eine persönliche Beratung mit einer vor Ihnen sitzenden Person geht. Es geht hier nicht um Online-Beratungen oder telefonische Beratungen. Der Entscheidungsbaum hilft, wenn es um Konsumentenkredite (Größenordnung 5.000 - 20.000 Euro) geht, zum Beispiel für einen Gebrauchtwagen. Er ist nicht für Immobilienfinanzierung oder Kleinkredite geeignet.

Sie können den Entscheidungsbaum nach einer Beratung einsetzen und sollten die Kreditentscheidung in jedem Fall nicht am Ende der ersten Beratung treffen. Wenn Sie den Entscheidungsbaum vor einer Beratung prüfen, könnten Sie versuchen, auf das Gespräch Einfluss zu nehmen, damit ein Austausch zu den wichtigen Aspekten von Einnahmen und Ausgaben stattfindet.

Der Entscheidungsbaum ist für bestimmte Gruppen besonders relevant:
1. Ältere Menschen, wenn sie weniger kritisch gegenüber Beratern sind, weil in früheren Jahrzehnten eine teilweise falsche Erwartung an den neutralen Experten manifestiert wurde.
2. Jüngere, die impulsiv, bzw. vorschnell, zu wenig an die Zukunft denken, weil sie mit negativen Folgen finanziellen Handelns nicht konfrontiert waren.
3. Unsichere Menschen, die das Beraterangebot als Strohhalm begreifen, den man ergreifen muss.
4. Menschen in finanziellen Notlagen, die in erhöhtem Maße auf einen Kredit und somit oft auch auf Kredite zu schlechteren Bedingungen angewiesen sind.

Werden Sie unfair beraten?

 

Fairness basiert auf dem Konzept der fairen Kreditvergabe. Es wurde hier als Mittelwert (Median) des ungewichteten Durchschnitts von fünf Hauptkriterien modelliert (Entwicklung, Diskretion, Haushaltsanalyse, Restschuldversicherung, Bedürfnisse).

Sie können die von Ihnen erlebte Beratung auch nach weiteren Qualitätskriterien prüfen. Beachten Sie jedoch bitte, dass keine Beratung und auch keine Prüfliste jemals perfekt ist. Mit jedem weiteren Merkmal, welches Sie prüfen, steigt das Risiko einer falschen Einschätzung des Informationsangebots.

Weitere Merkmale sind:

  • Darlehenssumme besprochen (z.B. Verwendungszweck)
  • sehr kurze Gespräche (NEGATIVES MERKMAL)
  • Aushändigung von Beratungsbögen
  • Aushändigung von Haushaltsanalysen
Quelle und Qualität der Daten

Woher stammen die Daten?

Fälle – Welche Beratungen dienten als Grundlage?

Protokolldaten von 91 Beratungen dienten als Basis für Trainings- und Testdatensatz, bereitgestellt vom institut für finanzdienstleistungen e.V. (www.iff-hamburg.de) im Einverständnis mit der Bürgerbewegung Finanzwende (www.finanzwende.de)

Zielbewertung – Wie wurden Beratungen voreingeschätzt?

Fairness basiert auf dem Konzept der fairen Kreditvergabe (Reifner et al., 2013; Ulbricht et al., 2019). Es wurde hier als Mittelwert (Median) des ungewichteten Durchschnitts von fünf Hauptkriterien modelliert. Diese Hauptkriterien sind Entwicklung, Diskretion, Haushaltsanalyse, Restschuldversicherung und Bedürfnisse.

Kandidatenmerkmale – Welche Merkmale wurden in den Blick genommen?

66 Merkmale waren im Datensatz vorgeben; angesichts der geringen Anzahl von Beratungsfällen waren nur die stärksten Zusammenhänge in Betracht zu ziehen.

Merkmalsauswahl und Modellierung

Die Vorauswahl von Merkmalen hatte das Ziel, die Anzahl der Kandidaten für das Vorhersagemodell zu begrenzen. Die Merkmalsselektion wurde unter zwei Gesichtspunkten durchgeführt: Laienprüfbarkeit und statistische Bedeutung. Zwölf Merkmale wurden für die Modellierung verwendet.

Das Modell

Für die Modellidentifikation wurde das Paket FFTrees eingesetzt (Phillips et al., 2017). Hierbei wurde der Algorithmus ifan zur Optimierung auf balanced accuracy eingesetzt.

Wie hoch ist die Qualität der Daten?

Die Datensätze wurden zufällig in Trainings- (zwei Drittel) und Testdatensets (ein Drittel) aufgeteilt.

Das Modell hat folgende Qualität:
Im Rahmen einer Kreuzvalidierung des identifizierten Entscheidungsbaums ergaben sich folgende Gütemaße: balanced accuracy = 0,85; korrekte Erkennung von überwiegend unfairen Beratungen (Anteil von 45% im Testset) mit 0,99. Dies bedeutet, dass 99 von 100 solcher unfairer Beratungen durch den Entscheidungsbaum aufgedeckt werden. 
Die korrekte Bestätigung eher fairer Beratungen liegt bei 71 von 100.

Entwicklungspotenzial

Kontinuierliche Weiterentwicklung der Basis von Trainingsdaten aufgrund der Veränderung der Angebotssituation.

 

Zur empirischen Evaluation mit Verbrauchern

Alle Forschungsergebnisse zu den Grundlagen und zur Wirksamkeit der RisikoAtlas-Werkzeuge bezüglich Kompetenzförderung, Informationssuche und Risikokommunikation werden mit dem Projekt-Forschungsbericht am 30. Juni 2020 veröffentlicht. Bei vorausgehendem Interesse sprechen Sie uns bitte direkt an (Felix Rebitschek, rebitschek@mpib-berlin.mpg.de).

 

Quellen

•    Phillips, N. D., Neth, H., Woike, J. K., & Gaissmaier, W. (2017). FFTrees: A toolbox to create, visualize, and evaluate fast-and-frugal decision trees. Judgment and Decision making, 12(4), 344-368.
•    Reifner, U., Klinger, H., Knobloch, M., & Tiffe, A. (2013). „Fairness und Verantwortung im Konsumentenkredit – ein Bewertungsprojekt“, institut für finanzdienstleistungen e.V., https://www.iff-hamburg.de/wp-content/uploads/2013/12/Bericht_Fairness_20131118_FO1UR.pdf. Letzter Zugriff 25.11.2019.
•    Ulbricht, D., Feigl, M., Freistedt, U., Peters, S., & Schacht, G. (2019). Faire Kreditvergabe - Schlussbericht. institut für finanzdienstleistungen e.V., https://www.iff-hamburg.de/wp-content/uploads/2019/02/Faire_Kreditvergabe_Layout.pdf. Letzter Zugriff 25.11.2019.

Datum der letzten Aktualisierung: 27. November 2019

Links zu weiteren Themen