Das sind zwei Fragen auf einmal. Av ist natürlich die Matrix A multipliziert mit dem Vektor v, aber was ist v? Das kann man nicht losgelöst vom Kontext betrachten. v ist hier nur innerhalb der Definition der Menge sinnvoll: [tex]\{ v \in \mathbb{R}^3 | Av = 0 \}[/tex] heisst "Die Menge aller Vektoren v (in R^3) für die Av=0 ist".
Anders gesagt, die Lösungsmenge des homogenen linearen Gleichungssystems Av = 0. Homogene lineare Gleichungssysteme haben immer mindestens eine Lösung, nämlich den Nullvektor. Die interessante Frage ist, gibt es noch mehr Lösungen? Und das ist genau die Aufgabe hier: Ist die Lösungsmenge des Gleichungssysstems nur der Nullvektor, oder gehören noch mehr Vektoren dazu? Ob das so ist oder nicht, hängt vom Rang von A ab.