Premium Animated Demo

Από το prompt στη «νοημοσύνη»: tokens, embeddings, attention, πιθανότητες, και μετά πραγματική πρόβλεψη λέξης. Χωρίς backend (όλα τρέχουν στον browser) - εκπαιδευτική προσομοίωση για να φαίνεται ο μηχανισμός καθαρά.

1.tokens 2.embeddings 3.attention 4.probabilities 5.next word
Prompt (το κείμενο του χρήστη):
Τι βλέπεις εδώ: Τα embeddings είναι διανύσματα (π.χ. 8 αριθμοί) που κωδικοποιούν νόημα. Κάθε «θέση» στο διάνυσμα δεν είναι λέξη. Είναι ένας «άξονας χαρακτηριστικού» που το μοντέλο έμαθε. Εδώ τα φτιάχνουμε με deterministic hash για εκπαιδευτικούς λόγους.

1. Tokens visualization tokenize → ids

0 tokens

Χωρίζουμε την πρόταση σε tokens (κομμάτια λέξης/λέξεις). Αυτό είναι το «αλφάβητο» που βλέπει το μοντέλο.

# Token Token ID

2. Embeddings token → vector

dim=8

Κάθε token μετατρέπεται σε διάνυσμα αριθμών. Οι αριθμοί έχουν νόημα σαν σύνολο (μοτίβο), όχι μεμονωμένα. Σκέψου LEGO: κάθε λέξη είναι ένα κομμάτι με «κουμπώματα» (χαρακτηριστικά). Το διάνυσμα περιγράφει αυτά τα «κουμπώματα».

# Token Token ID Embedding vector

3. Attention diagram focus weights

query=last token

Το attention λέει: «Σε ποια προηγούμενα tokens να δώσω βάρος τώρα;». Εδώ χρησιμοποιούμε το τελευταίο token σαν “query” και υπολογίζουμε βάρη (softmax) πάνω σε όλα τα tokens.

# Token Weight

4. Probabilities chart top candidates

top=8

Από το “context vector” (μετά το attention) βγάζουμε πιθανότητες για την επόμενη λέξη. Εμφανίζουμε τους top υποψήφιους.

5. Next Word prediction

ready
Πρόβλεψη:
—
p=—

Word-by-word: Αν είναι ενεργό, θα προσθέσει 5 λέξεις μία-μία, ώστε να δεις τη διαδικασία σαν animation.