Worum es geht
Ein RSS-Bot, der jeden neuen Eintrag an ein Sprachmodell schickt, ist schnell gebaut und schnell teuer. Die meisten Einträge sind Wiederholungen, offensichtlicher Lärm oder für dich schlicht irrelevant. Bezahlt wird aber jeder Aufruf, bei einer Cloud-API in Geld, bei einem lokalen Modell in Rechenzeit.
Die Lösung ist eine Filterkette: Billige, deterministische Stufen sortieren zuerst aus, und das Modell sieht nur den Rest.
Die Filterkette im Überblick
- Deduplizierung: Einträge, die schon einmal verarbeitet wurden, fliegen raus.
- Stichwortfilter: Positiv- und Negativlisten entfernen Offensichtliches.
- Cache: Ähnliche oder identische Texte werden nicht erneut klassifiziert.
- Klassifikation: Erst jetzt wird das Modell gefragt.
- Tagesbudget: Eine Obergrenze für Aufrufe schützt vor Ausreißern.
Jede Stufe ist billiger als die nächste. Deshalb steht das Modell am Ende.
Stufe 1: Duplikate über SQLite
Jeder Eintrag bekommt einen stabilen Schlüssel, meist die GUID des Feeds oder ersatzweise ein Hash aus Link und Titel. Eine Tabelle mit diesem Schlüssel als Primärschlüssel erledigt die Prüfung.
import hashlib
import sqlite3
def key_for(link: str, title: str, guid: str | None) -> str:
raw = guid or f"{link}|{title}"
return hashlib.sha256(raw.encode("utf-8")).hexdigest()
def is_new(db: sqlite3.Connection, key: str) -> bool:
cur = db.execute(
"INSERT OR IGNORE INTO seen(key) VALUES (?)", (key,))
db.commit()
return cur.rowcount == 1
INSERT OR IGNORE liefert rowcount == 1 nur beim ersten Mal. So prüfst und merkst du in einem Schritt.
Stufe 2: Stichwörter
Eine kleine Negativliste (zum Beispiel Werbung oder Gewinnspiele) und eine Positivliste mit deinen Themen sortieren grob vor. Das ist ungenau, aber sehr billig. Wichtig: Was der Filter verwirft, sollte protokolliert werden, damit du später prüfen kannst, ob er zu streng ist.
Stufe 3: Cache für Klassifikationen
Speichere das Ergebnis jeder Klassifikation zusammen mit einem Hash des Eingabetexts. Taucht derselbe Text in einem anderen Feed wieder auf, liest du das Ergebnis aus der Datenbank, statt erneut zu fragen. Bei Meldungen, die mehrere Quellen übernehmen, spart das spürbar Aufrufe.
Stufe 4: Klassifikation mit klarem Ausgabeformat
Halte den Prompt kurz und verlange eine feste Antwort, etwa eines von wenigen Labels. Kurze Antworten sind billiger und leichter auszuwerten.
LABELS = ("relevant", "routine", "ignorieren")
def classify(text: str, ask) -> str:
prompt = ("Ordne die Meldung genau einem Label zu: "
+ ", ".join(LABELS) + ".\n\n" + text[:1500])
answer = ask(prompt).strip().lower()
return answer if answer in LABELS else "routine"
Der Text wird gekürzt, denn lange Eingaben treiben die Kosten. Unbekannte Antworten fallen auf ein sicheres Standardlabel zurück, damit die Pipeline nicht abbricht.
Stufe 5: Tagesbudget
Zähle die Aufrufe pro Tag in der Datenbank. Ist das Budget erreicht, werden weitere Einträge ohne Klassifikation zurückgestellt und am nächsten Tag abgearbeitet. So kann ein plötzlicher Ansturm von Einträgen, etwa nach einem neu hinzugefügten Feed, keine unerwarteten Kosten verursachen.
Ein Hinweis in der täglichen Statusmeldung, wie viele Einträge zurückgestellt wurden, macht das Verhalten sichtbar.
Häufige Fehler
- Das Modell wird vor der Deduplizierung gefragt.
- Der Cache-Schlüssel enthält Zeitstempel und trifft deshalb nie.
- Der Stichwortfilter verwirft still, ohne Protokoll.
- Es gibt kein Budget, sodass ein Fehler in einer Schleife viele Aufrufe auslöst.
Wann sich das lohnt (und wann nicht)
Die Filterkette lohnt sich, sobald du mehrere Feeds hast oder eine kostenpflichtige API nutzt. Schon die ersten beiden Stufen können die Zahl der Aufrufe deutlich senken, den genauen Effekt musst du an deinen eigenen Feeds messen.
Bei wenigen Feeds und einem lokalen Modell, das ohnehin kostenlos läuft, reicht Deduplizierung. Stichwortfilter und Cache bringen dann vor allem Komplexität und wenig Nutzen.