Ο ζωγράφος και γραφίστας καθηγητής G.A. Mathey (1884-1968), του οποίου η σύζυγος Πολυξένη ήταν μαθήτρια της Σχολής στο διάστημα 1908-1914, σχεδίασε το 1938 την καρφίτσα με το κεφάλι της Αθηνάς, που απετέλεσε το πρώτο σήμα της Γερμανικής Σχολής. Από το σήμα αυτό προέκυψε και το πρώτο έμβλημα του Συλλόγου Αποφοίτων. Είναι αξιοσημείωτο ότι και η αδελφή της Πολυξένης, η Αγνή Ρουσοπούλου, ήταν επίσης μαθητρια της Σχολής και στη συνέχεια διέπρεψε ως δικηγόρος.
Το σήμα αυτό το διαδέχθηκε το επίπεδο σήμα με τα αρχικά της σχολής και την ονομασία της σε ελληνικά και γερμανικά που φιλοτέχνησε ο Καθηγητής Τεχνικών της Σχολής Wolfgang Rottenkolber, ενώ η Χαρίκλεια Καμάρη-Παπαμητροπούλου και ο Πέτρος Πετρακόπουλος, απόφοιτοι και οι δύο του '72, προσάρμοσαν ένα "έψιλον" (Ehemalige) περιμετρικά του φτιάχνοντας το λογότυπο του Συλλόγου των Αποφοίτων.
Τον Νοέμβριο 2014 έγινε μία μικρή "παρέμβαση" στο λογότυπο του συλλόγου αντιγράφοντας το πρωτότυπο σήμα της Γερμανικής Σχολής της μεταπολεμικής περιόδου εισάγοντας και τα γερμανικά στην περίμετρο, αποδίδοντας τον όρο "Απόφοιτοι" με τον δόκιμο πλέον όρο "Alumni" αντί "Ehemalige". Έτσι, χωρίς να υπάρχει ουσιαστική διαφοροποίηση από την αρχική ιδέα, το νέο σήμα είναι:
