Softwaretest

HPL

Ich arbeite an der Erstellung eines allgemeinen Softwaretests.

Das offizielle Ziel lautet wie folgt: "Die Studie soll aufzeigen, ob und wie Wissen in einer Web 2.0-Umgebung durch eine Vielzahl von Benutzern (Schwarm) gesammelt und validiert werden kann. Im weiteren Verlauf soll geprüft werden, ob das erfasste und evaluierte Wissen des Schwarmes für Elearningzwecke nutzbar gemacht werden kann."

Die Zielgruppe des Tests, also diejenige Gruppe, für die das gesammelte Wissen nutzbar gemacht werden soll, ist eine ziemlich weit gefächerte, und zwar all diejenigen, die Computer beruflich nutzen, vor allem Freiberufler. Nimmt jemand die computerbezogenen Dienste eines Freiberuflers (Administrators, oder Anwenders von Drupal, einer Sekretärin o. ä.) in Anspruch, muss die Person sich darauf verlassen können, dass der Anbieter auch über die angegebenen Kenntnisse verfügt. Das auf dem Test beruhende Zertifikat soll dazu dienen, dass sich die angegebenen Computerkenntnisse auch belegen lassen.

Leider kann ich keine Quellen / Links zu dem angeben, was ich schon weiß, denn ich ich weiß ehrlich gesagt noch nichts, bis eben auf den Fragenkatalog, den ich bereits gepostet habe. Das einzige, auf was ich verweisen kann, ist der Linux-LPI-Test, der ausschließlich für LINUX-Systeme eine Art Führerschein darstellt (siehe http://www.lpi.org/), so ähnlich soll auch dieser Test werden. allerdings nicht nur für Linux, sondern für alle Anwendungen / Betriebssysteme etc., die von der oben beschriebenen Zielgruppe eingesetzt werden.

Nun zu den DV-Mitteln, mit deren Hilfe der Test durchgeführt werden soll: Der Test soll maschninell auswertbar sein, d. h. der Testteilnehmer kann sich den Test daheim auf den PC laden, um diesen zu bearbeiten.

Hier folgt nun der bisher bereits erstellte Fragekatalog. Ich bitte Euch, Euch die Fragen mal anzusehen und zu sagen, wie Ihr die Fragen findet und ob Euch noch andere Fragen einfallen:

1
Was bedeutet das Dateiattribut 644?
Was bedeutet das Dateiattribut 755?
Was bedeutet 1504?
Was bedeutet das Dateiattribut 504?

2
"Sie möchten die Berechtigungen einer Datei wie folgt setzen: Sie selbst dürfen die Datei lesend und schreibend verwenden, alle anderen Benutzer sollen nur lesenden Zugriff erhalten. Welche Befehle können Sie dafür verwenden?"

a) chmod 0644
b) chmod u=rw, go=r
c) izmmode 9734
d) izmmode u=rw, go=r

3
Es erscheint ein Bluescreen was machen Sie?

a) Ich mache am PC einen Kaltstart (PC aus und wieder einschalten)
b) Ich drücke die Taste Reset
c) Ich mach mal Mittag und tue so als sei nichts, und gebe dann einem anderen die Schuld.
d) Bevor ich etwas mache, nerve Ich den Administrator damit.

Ich würde ja alle als falsch betrachten. Die erste Reaktion sollte sein, sich durchzulesen und zu (versuchen zu) verstehen, was denn da los ist. Danach entscheide ich mich zwischen a/b (je nachdem welche Tasten mein Computergehäuse hergibt), d und ggf. c [1]. von hikaru

4
"Sie möchten ein zusätzliches Programm aus dem Paketverzeichnis Ihrer Linux-Distribution auf Ihrem Rechner installieren. Welches der folgenden Programme können Sie dazu verwenden?

a) Synaptic.
b) RPM.
c) Hastur
d) Conary.

e) Zypper
f) YaST
g) Apt
h) YUM
i) Smart

5
Bei welchem der folgenden Beispiele handelt es sich bei einem Frontend für einen Linux Paketmanager?
a) APT
b) YUM
c) Smart
e) Kali
f) LSP

6
Sie erhalten eine Datei mit dem Namen Dokument1.xxx . Wie ermitteln Sie, mit welchem Programm Sie diese Datei öffnen können?

a) Umbenennen in Dokument1.txt, öffnen mit Texteditor
b) Prüfen des Dateityps mit dem Programm file, danach Auswahl eines geeigneten Programms
c) Öffnen der Datei mit einem Hex-Editor, um die Magic Number direkt zu lesen

7
Worum handelt es sich bei 7zip?

Folgenden Foren haben sich bereits mit diesem Fragebogen befasst (im Folgenden seien nur die für die Studie relevantesten genannt):

- Open-Office-Forum http://de.openoffice.info/

- Firefoxforum http://www.camp-firefox.de/forum/

- Joomla http://www.joomlaportal.de/

- Debianforum http://debianforum.de/forum/

- Linux-Forum http://www.linux-club.de/

- Forum von CHIP-Online http://forum.chip.de/

- C++ - Forum http://www.c-plusplus.net/forum/

SeppJ

Ich finde die Fragen gehen an der Zielgruppe vorbei, sind schlecht formuliert und in vielen Fällen fehlerhaft. Willst du das erläutert haben?

HPL

Ja klar!

SeppJ

HPL schrieb:

1
Was bedeutet das Dateiattribut 644?
Was bedeutet das Dateiattribut 755?
Was bedeutet 1504?
Was bedeutet das Dateiattribut 504?

Stark plattformabhängige Frage. Unsinniges Spezialwissen. Numerische Repräsentation von Dateiattributen ist nicht die einzige Form. Sinnvoller wäre die umgekehrte Frage (wie bei 2).

2
"Sie möchten die Berechtigungen einer Datei wie folgt setzen: Sie selbst dürfen die Datei lesend und schreibend verwenden, alle anderen Benutzer sollen nur lesenden Zugriff erhalten. Welche Befehle können Sie dafür verwenden?"

a) chmod 0644
b) chmod u=rw, go=r
c) izmmode 9734
d) izmmode u=rw, go=r

Schon besser. Immer noch stark plattformabhängig. Lässt Gruppenattribut völlig aus. Wo hast du denn die Antwortmöglichkeit mit izmmode her? Was hat die da zu suchen?
Immer noch völlig unnötiges Spezialwissen, denn eine richtige Antwort zu kennen reicht. Mach lieber kein multiple choice hier sondern stell mehr Fragen zum Thema und lass Antwort frei eingeben. Vergleiche mit Datenbank aller Möglichkeiten und Ergebnis zu prüfen.

3
Es erscheint ein Bluescreen was machen Sie?

a) Ich mache am PC einen Kaltstart (PC aus und wieder einschalten)
b) Ich drücke die Taste Reset
c) Ich mach mal Mittag und tue so als sei nichts, und gebe dann einem anderen die Schuld.
d) Bevor ich etwas mache, nerve Ich den Administrator damit.

Ich würde ja alle als falsch betrachten. Die erste Reaktion sollte sein, sich durchzulesen und zu (versuchen zu) verstehen, was denn da los ist. Danach entscheide ich mich zwischen a/b (je nachdem welche Tasten mein Computergehäuse hergibt), d und ggf. c [1]. von hikaru

Du schreibst schon selbst dazu, dass alle Antworten falsch sind. Was soll die Frage dann noch? Außerdem: Plattformabhängiger geht's ja wohl nicht. Und: Wann hast du den letzten Bluescreen gesehen? Gibt's die überhaupt noch?

Und was für alle Fragen gilt, gilt hier ganz besonders: Von einer Sekretärin erwarte ich hier eine völlig andere Antwort als von einem Systemadministrator. Trotzdem kann die Sekretärin einfach die Sysadmin-Antwortmöglichkeit ankreuzen, um ihr IT-Wissen zu überhöhen.

4
"Sie möchten ein zusätzliches Programm aus dem Paketverzeichnis Ihrer Linux-Distribution auf Ihrem Rechner installieren. Welches der folgenden Programme können Sie dazu verwenden?

a) Synaptic.
b) RPM.
c) Hastur
d) Conary.

e) Zypper
f) YaST
g) Apt
h) YUM
i) Smart

Alle Antworten sind falsch und richtig. Außerdem: Völlig unnötiges Spezialwissen. Wen interessiert der Name? Man klickt in irgendeinem Menü auf "Software installieren" und fertig. Und was bringt es zu wissen welche Distribution welchen Paketmanager hat? Und außerdem kann man Paketmanager nachinstallieren. Und nicht jedes Linux hat einen Paketmanager. Die ganze Frage ist nicht durchdacht.

5
Bei welchem der folgenden Beispiele handelt es sich bei einem Frontend für einen Linux Paketmanager?
a) APT
b) YUM
c) Smart
e) Kali
f) LSP

Siehe Frage 4. 100% gleiche Kritik.

6
Sie erhalten eine Datei mit dem Namen Dokument1.xxx . Wie ermitteln Sie, mit welchem Programm Sie diese Datei öffnen können?

a) Umbenennen in Dokument1.txt, öffnen mit Texteditor
b) Prüfen des Dateityps mit dem Programm file, danach Auswahl eines geeigneten Programms
c) Öffnen der Datei mit einem Hex-Editor, um die Magic Number direkt zu lesen

Alle Antworten sind falsch und richtig. Außerdem kommt sowas höchstens in der Windows-Welt vor, wo Dateiendungen eine Rolle spielen.

7
Worum handelt es sich bei 7zip?

Die Frage ist ok, falls du 7zip irgendeine Bedeutung beimisst. Wie lauten die Antwortmöglichkeiten?

Den ganzen Test so wie er ist kann man zusammenfassen als: "Wie schätzen sie ihr IT Wissen ein? a)niedrig b)mittel c) hoch". So hättest du die Sache abgekürzt.

Die ganze Idee mit Multiple Choice ist meiner Meinung nach bei solch einer Art von Test Schwachsinn. Fragst du unsinniges Spezialwissen ab (Fragen 1,4,5), dann macht die Methode noch Sinn. Fragst du nach Verfahren (was bei dieser Art Test sinnvoller ist), so kreuzt jeder bloß die Antwort an die offensichtlich auf größtes eigenes Können hinweist (Fragen 3 und 6, wenn die Antwortmöglichkeiten etwas taugen würden). Frage 7 hast du hier unvollständig gestellt. Frage 2 kann man retten, wenn man die Antworten etwas überarbeitet.

Insgesamt sehr viele Grammatik und Rechtschreibfehler. Macht einen tollen Eindruck so ein Test.

Die ganzen Fragen und Antwortmöglichkeiten machen den Eindruck als hätte derjenige der sie sich ausgedacht hat selber nur oberflächliches Wissen über das Thema.

Das offizielle Ziel lautet wie folgt: "Die Studie soll aufzeigen, ob und wie Wissen in einer Web 2.0-Umgebung durch eine Vielzahl von Benutzern (Schwarm) gesammelt und validiert werden kann. Im weiteren Verlauf soll geprüft werden, ob das erfasste und evaluierte Wissen des Schwarmes für Elearningzwecke nutzbar gemacht werden kann."

Was soll das eigentlich heißen? Ehrlich gesagt klingt das wie "Bla, bla, Marketing-Mumbo-Jumbo, irgendwas über Internet". Und wo ist da eigentlich der Bezug zum Test? Die Fragen sollen ja anscheinend irgendwie das Wissen des Geprüften über IT einordnen.

lustig

Ich denke, das Ziel dieses Tests müsste noch etwas besser überdacht werden:

HPL schrieb:

Die Zielgruppe des Tests [...] ist eine ziemlich weit gefächerte, und zwar all diejenigen, die Computer beruflich nutzen, vor allem Freiberufler.

... so ähnlich soll auch dieser Test werden. allerdings nicht nur für Linux, sondern für alle Anwendungen / Betriebssysteme etc., die von der oben beschriebenen Zielgruppe eingesetzt werden.

Also willst du einen einzigen Test, der alle Betriebssysteme und so gut wie alle existierenden Programme abdeckt? Ich glaube nicht, dass das funktionieren kann. Vermutlich verstehe ich dein Ziel nicht, könntest du das etwas genauer erklären? Was für Bereiche soll der Test genau abdecken und was für Wissen sollten die hier gestellten Fragen überprüfen? Das ist mir leider bei den meisten Fragen nicht ganz klar geworden.

Ausserdem interessiert mich, was du für Antworten erwartest... Findest du es wichtig, dass jemand alle Paketmanager Frontends kennt oder dass jemand irgend eines kennt oder dass jemand das auf seinem System installierte (falls vorhanden) kennt. Wie willst du sicherstellen, dass Antwortmöglichkeiten für alle Systeme bereitstehen und trotzdem erkennen ob jemand zufällig antwortet?

Und wenn ich den Test zuhause machen kann, wie verhinderst du, dass ich alles google? Vor allem weil die Fragen ja wirklich dazu einladen.

Zu den Fragen: Da kann ich mich SeppJ nur anschliessen.

volkard

HPL schrieb:

Nimmt jemand die computerbezogenen Dienste eines Freiberuflers (Administrators, oder Anwenders von Drupal, einer Sekretärin o. ä.) in Anspruch, muss die Person sich darauf verlassen können, dass der Anbieter auch über die angegebenen Kenntnisse verfügt. Das auf dem Test beruhende Zertifikat soll dazu dienen, dass sich die angegebenen Computerkenntnisse auch belegen lassen.

OK, das Ansinnen ist klar. Die mit ihrem ECDL haben eine Gelddruckmaschine. Sowas will man auch haben. Und Ihr habt sogar eine Nische gefunden.

Da hab ich aber traurige Nachrichten. Ihr füllt sie nicht sinnvoll. Was Ihr da fragt, ist ja bescheuerter als der ECDL. Der ECDL prüft recht zuverlässig, ob jemand mit den genannten Programmen schon mehr als eine Hand voll Stunden gearbeitet hat. Das interessiert mich als Chef, wenn sich die Bürodame bewirbt.
Eure Zeilgruppe, die Selbständigen (Bitte Freiberufler nachschlagen! Das sind Architekten, Ärzte, Rechtsanwälte.), müssen Problemlösungskompetenz besitzen.
Stellt sie vor Probleme und laßt sie lösen. Fragt nicht nach Auswenigwissen. Ich brauche den Selbständigen, wenn mir das Lexikon nicht weiterhilft. Deswegen dürft Ihr nicht prüfen, ob der Prüflich ein wandelndes total wertloses Lexikon ist. So halte ich den Test für rausgeworfenes Geld. Als Auftraggeber abschreckend. Ich vertraue meinen Server jedenfalls keinem an, der sich damit brüstet, den Computerführerschein zu haben.

Welch eine erstaunliche Schieflage. Naja, mal hoffen und warten, was die Cloud draus macht.

volkard

SeppJ schrieb:

Das offizielle Ziel lautet wie folgt: "Die Studie soll aufzeigen, ob und wie Wissen in einer Web 2.0-Umgebung durch eine Vielzahl von Benutzern (Schwarm) gesammelt und validiert werden kann. Im weiteren Verlauf soll geprüft werden, ob das erfasste und evaluierte Wissen des Schwarmes für Elearningzwecke nutzbar gemacht werden kann."

Was soll das eigentlich heißen? Ehrlich gesagt klingt das wie "Bla, bla, Marketing-Mumbo-Jumbo, irgendwas über Internet". Und wo ist da eigentlich der Bezug zum Test? Die Fragen sollen ja anscheinend irgendwie das Wissen des Geprüften über IT einordnen.

Es wird versucht, den Test von uns Forenschreibern bauen zu lassen. Die Studie soll untersuchen, ob es funktionirt, sich einfach an ein paar Foren zu hängen und was Schlaues zusammentragen zu lassen, oder ob passiert, wonach es den Anschein hat. Von uns kam bisher nur Mecker und keine neue Frage.

lustig

Ich habe in ein paar der angegebenen Threads aus anderen Foren rumgestöbert und herausgefunden was eigentlich gemeint ist mit dem Ziel (nicht als Antwort auf meine Fragen, sondern als Antwort auf SeppJs letzte Bemerkung):

HPL schrieb:

Das offizielle Ziel lautet wie folgt: "Die Studie soll aufzeigen, ob und wie Wissen (der Fragenkatalog mit entsprechenden Antworten) in einer Web 2.0-Umgebung (z.B. Internetforen wie diesem) durch eine Vielzahl von Benutzern (Schwarm) (also von uns) gesammelt und validiert (Crosspostings zwischen Foren mit den bisherigen Fragen) werden kann. Im weiteren Verlauf soll geprüft werden, ob das erfasste und evaluierte Wissen des Schwarmes für Elearningzwecke nutzbar gemacht werden kann."

(Die kursive Erklärung habe ich eingefügt)

Es geht darum dass der Test nicht von ihm erstellt wird sondern von dem "Schwarm" (uns...). D.h. all die hier gestellten Fragen wurden von ihm aus Antworten von anderen Foren zusammengebastelt und werden jetzt lustig hin und hergepostet in der Hoffnung, dass was intelligentes dabei rauskommt (und die Fragen validiert werden / neue hinzukommen) ohne eine eigene Frage zu stellen / das nötige Fachwissen für so einen Test zu besitzen.

Ich will deine Arbeit nicht schlecht reden, und wünsche dir viel Erfolg, auch wenn ich nicht wirklich daran glaube...

Edit: Hmpf, da habe ich zu langsam geschrieben. Volkard war schneller...

knivil

Hmm, also Spam?

Zeus

volkard schrieb:

Es wird versucht, den Test von uns Forenschreibern bauen zu lassen. Die Studie soll untersuchen, ob es funktionirt, sich einfach an ein paar Foren zu hängen und was Schlaues zusammentragen zu lassen, oder ob passiert, wonach es den Anschein hat. Von uns kam bisher nur Mecker und keine neue Frage.

Dann wird die Studie wohl mit einem "Nein" beantwortet werden.
Wobei das Board eigentlich außerhalb der Betrachtung liegt, weil die Form vom Kommunikation schon vor dem Web 2.0 Hype gab.

knivil schrieb:

Hmm, also Spam?

Ich denke schon.

HPL

@lustig:

Ausserdem interessiert mich, was du für Antworten erwartest... Findest du es wichtig, dass jemand alle Paketmanager Frontends kennt oder dass jemand irgend eines kennt oder dass jemand das auf seinem System installierte (falls vorhanden) kennt. Wie willst du sicherstellen, dass Antwortmöglichkeiten für alle Systeme bereitstehen und trotzdem erkennen ob jemand zufällig antwortet?

Und wenn ich den Test zuhause machen kann, wie verhinderst du, dass ich alles google? Vor allem weil die Fragen ja wirklich dazu einladen.

Guten Morgen!
Nun. In den Tat ist es ein Holzweg, einen Softwareübergreifenden Test zu machen. Mir ist auch von anderen dringend davon abgeraten worden. Deshalb muss ich mit der Frage zurückrudern, was Ihr von einem situationsbasierten Test zu Content-Management-Systemen haltet (d. h. Situation xy tritt ein – was machen Sie?). Sicherlich sind die Unterschiedlichen Content-Management-Systeme unterschiedlich, aber es ist mit Sicherheit ein Leichtes, das in einem Test zu berücksichtigen.
@knivil

Ist die Geschichte, wenn man sie auf eine bestimmte Art von Anwendungen einschränkt (CMS-Systeme) und dann versucht, aus der Usererfahrung heraus Situationen zu generieren, mit denen in einem Test die Problemlösefähigkeit des Anwenders getestet wird, immer noch Spam?

SeppJ

HPL schrieb:

Ist die Geschichte, wenn man sie auf eine bestimmte Art von Anwendungen einschränkt (CMS-Systeme) und dann versucht, aus der Usererfahrung heraus Situationen zu generieren, mit denen in einem Test die Problemlösefähigkeit des Anwenders getestet wird, immer noch Spam?

Wenn deine Methode ist, alle deutschsprachigen Fachforen damit zuzumüllen, damit die dortigen Benutzer für dich gratis die Arbeit erledigen: Ja.

HPL

Find ich nicht.

PRIEST

HPL schrieb:

7
Worum handelt es sich bei 7zip?

Is das nicht ne limo?

HPL

Is das nicht ne limo?

Nee - echt jetzt??
Hab ich noch nie getrunken!!

Dummie

PRIEST schrieb:

HPL schrieb:

7
Worum handelt es sich bei 7zip?

Is das nicht ne limo?

Na ja, die heißt aber 7up. Zumindest mit der 7 lagst du also richtig.

7zip ist ein Packprogramm ähnlich wie WinZip oder WinRAR.

PRIEST

Dummie schrieb:

PRIEST schrieb:

HPL schrieb:

7
Worum handelt es sich bei 7zip?

Is das nicht ne limo?

Na ja, die heißt aber 7up. Zumindest mit der 7 lagst du also richtig.

7zip ist ein Packprogramm ähnlich wie WinZip oder WinRAR.

Ah, danke.

...