Testwerkzeuge werden in ihrer Bedeutung stark unterschätzt. In vielen Bereichen werden kaum professionelle Werkzeuge berücksichtigt. Hierzu gibt es eine ganze Reihe von Fehleinschätzungen, welche je nach Unternehmen in verschiedenen Ausprägungen auftauchen:
- Allein der Einsatz von Testtools würde den Testprozess oder gar die Produktqualität verbessern. Oft glaubt man, durch die reine Installation einzelner Testwerkzeuge oder gar entsprechender Enterprise-Lösungen/Tool-Suites den Testprozess zu verbessern. Es ist allerdings ein Irrglaube, dass allein hierdurch ein Testprozess standardisiert oder optimiert würde. Vor der Tool-Entscheidung sollten jedoch die unternehmensbezogenen Testprozess- und Richtlinien-Fragen sowie das Berichtswesen in den Dokumenten wie Teststrategie und Testhandbuch geklärt beziehungsweise definiert sein.Eine weitere Ideenvariante ist, dass sich gar die Produktqualität des zu testenden Systems verbessern würde. Durch das Testen alleine entsteht jedoch keine bessere Qualität am getesteten Objekt: Es lässt sich vielmehr durch professionelles Testen sehr präzise die aktuelle Produktqualität bestimmen, mehr aber auch nicht. Qualitätsverbesserungen lassen sich nur in den entsprechenden Entwicklungsprozessen realisieren.
- Unternehmen sind oft von ihren neu erworbenen Testsystemen nach kurzer Zeit enttäuscht und integrieren diese nicht in ihrem Testbetrieb. Es ist fast gänzlich unbekannt, dass Testwerkzeuge erst über entsprechende Anpassungen ihre tatsächliche Leistungsfähigkeit entwickeln können. Die Einführungsphasen werden also viel zu kurz geplant, da wichtige Aufgaben innerhalb dieses Einführungsprojektes fehlen. Die zu frühe Produktivsetzung der Werkzeuge führt zu Enttäuschungen, da die zuvor erzeugte Erwartungshaltung nicht erfüllt wird.
- Testtools werden gar nicht oder zu spät eingesetzt. Oft bleiben Testtools aber auch vollständig unberücksichtigt oder werden zu spät innerhalb der Testprojekte eingesetzt. Zu lange versucht man auf bekannte Anwendungen wie Text- oder Kalkulationssysteme zurückzugreifen, um diese dann als Testwerkzeuge zu nutzen. Vielfach finden sich auch Kombinationen aus diesem Punkt mit 1 und 2 in Softwareunternehmen. Es finden sich über deren Makrosprache aufbohrte Programme zur Testunterstützung in vielen Testlabors. Diese sind aus zweierlei Punkten sehr kritisch zu sehen. Rein funktional betrachtet können derartige Werkzeuge kein Testtool ersetzen, da wichtige, funktionale Elemente für die Prüfung von Testobjekten fehlen. Diese Lösungen kommen meistens nicht über das Qualitätsniveau eines Labormusters hinaus. Daneben gibt es noch die juristische Komponente zu betrachten. Viele Lizenzverträge schränken die Benutzung der besagten Anwendungen ein. So soll ein Kalkulationsprogramm tatsächlich nur für Kalkulationen genutzt werden. Steht ein derartiger Paragraph im Vertrag, wäre beispielsweise der Einsatz als Testautomationstool unzulässig. Dies wäre mit einer Benutzung der Anwendung ohne gültigen Lizenzvertrag vergleichbar.
Testtools sind wichtig. Jedoch ist eine Einführung ohne die notwendigen Vorarbeiten im Bereich Testprozess-Design wenig sinnvoll. Dies setzt ein etabliertes Qualitäts- und Testhandbuch voraus. Auf dieser Basis lassen sich anschließend Kriterien-Kataloge für die Evaluation der verschiedenen Testlösungen und deren Werkzeuge entwickeln und die am besten geeigneten Testwerkzeuge auswählen. Nur auf diese Weise können Testtools Testprozesse unterstützen und ihren Nutzen ausspielen. Andernfalls überlässt man es eher dem Zufall, wie gut sich am Ende die ausgewählten Werkzeuge auf die Testprozesse abstimmen lassen.
