Persönliche Webseite 🌐
Ich habe versucht, die Probleme mit der Suchmaschinenindexierung zu lösen. Dieses Problem ist mir schon seit geraumer Zeit aufgefallen. Das Problem dabei ist, dass Google die Seiten meines Blogs nach und nach aus der Datenbank entfernt. Das ist in der Grafik zu sehen: Die Anzahl der indexierten Seiten sinkt kontinuierlich.
- Ich habe die Notify URL API komplett aus meinem Code entfernt, da sie keinen Nutzen bringt.
- Ich werde die manuelle Indexierung mit einem Tracker neu durchführen.
Ziel ist es, eine Indexierungsrate von 99 % … 100 % zu erreichen.
Es scheint, dass es wirklich keine Möglichkeit gibt, die Indexierung bei Google über eine API zu automatisieren. Entweder fügt man die URL manuell in der Google Search Console ein, oder man wartet, bis Google selbst entscheidet, dass die Website populär genug ist und sie indexieren möchte.
LLM KV-Cache Quantisierung 👓
Ich habe mit KV-Quantisierungen experimentiert. Standardmäßig haben wir K=F16, V=F16. Eine Reduzierung auf Q8 bietet eine spürbare Geschwindigkeitssteigerung, besonders bei knappem VRAM. Nach Tests habe ich jedoch entschieden, dass es das nicht wert ist, da der Genauigkeitsverlust zu hoch ist. Ich habe einen Vergleich gelesen: Wenn man den KV reduziert, wirkt es so, als würde das Modell eine trübe Brille aufsetzen, durch den Nebel schauen und die Wörter in den Eingabedaten nicht mehr erkennen können. Es ist besser, den KV bei F16 zu belassen und die geringe Geschwindigkeit zu akzeptieren.
Grafikkarte-Retrospektive, RX 7900 XT 🖥️
Letztes Jahr habe ich eine neue Grafikkarte für LLMs gekauft und sie seither benutzt. Die alte Grafikkarte hatte 16 GB VRAM verbaut, die neue 20 GB. Zum Zeitpunkt des Kaufs war ich unsicher, ob es sich lohnen würde. Jetzt, nach 8 Monaten, kann ich folgende Schlüsse ziehen:
- 📗 LLMs bis zu einer Größe von 27B fliegen förmlich durch die Anlage
- 🔰 LLMs mit 31B laufen zwar, aber der sich langsam füllende Kontext führt zu massiven Lags
Hat es sich gelohnt? Ja, aber eigentlich nein 🥴
- 🟢 Ja, weil ich die Grafikkarte aktiv benutzt habe und nicht sagen kann, dass sie “nur ungenutzt verstaubt hat” 🧹
- 🟡 Nein, weil ein Upgrade von 16 auf 20 GB nicht so bedeutend ist wie gedacht. LLMs liefen auf der alten Grafikkarte zwar irgendwie auch. Früher gab es mehr Ruckler, aber der Unterschied ist nicht grundlegend…
Letztendlich lautet das Hauptfazit: Es wäre logischer gewesen, etwas mehr dazuzuzahlen und direkt zur maximalen Grafikkarte der RX7000-Serie mit 24 GB Speicher zu wechseln. Oder man bleibt einfach entspannt bei den 16 GB. Der Sinn einer “Zwischenlösung” mit 20 GB zwischen 16 GB und 24 GB hat sich als gering erwiesen 🧐
