Ercan LabsOpenWeight Radar
Yerelde çalışan açık ağırlıklı modelleri takip eden site. Akış zamanlanmış güncelleniyor.
Bu nasıl ölçüldü: Sınıflandırma mantığı 40 örnekli regresyon kapısıyla sabitlendi; kaynak sağlığı ayrı raporlanıyor.
- INGEST
- zamanlanmış toplayıcı
- kaynak listesi
- CLASSIFY
- sınıflandırma40 fixture
- STORE
- veri tabanı
- SITE
- statik sayfalar
Problem
Açık ağırlıklı model sürümleri çok kaynaktan geliyor; isimler ve meta veri tutmuyor. Basit bir kazıyıcı, aynı modelin üç kez göründüğü, kategorinin anahtar kelimeyle tahmin edildiği bir akış üretiyor.
Asıl risk sessiz yanlış sınıflandırma. Akış iyi görünüyor, modellerin yarısı yanlış sekmede duruyor.
Kısıtlar
- Ingest zamanlanmış çalışıyor (GitHub Actions); izleyecek sunucu olmadan hata görünür olmalı.
- Sınıflandırma regresyon testine uygun kadar deterministik olmalı.
- Kaynak sağlığı (hangi upstream bozuk) akış kalitesiyle karıştırılmamalı.
Mimari kararlar
Sınıflandırma fixture'larla kilitli
40 fixture sınıflandırıcıyı sabitliyor: bir modeli kategoriler arasında kaydıran değişiklik build'i kırıyor.
Bedeli: Her kural değişikliği fixture güncellemesi istiyor.
Kaynak sağlığı ayrı raporlanıyor
Bozuk upstream akıştan sessizce düşmüyor, kaynak sağlığı sorunu olarak gösteriliyor.
Bedeli: Arayüzde daha fazla yüzey.
Zamanlanmış ingest, sunucu yok
Ingest'i GitHub Actions çalıştırıyor; site statik ve ucuz kalıyor.
Bedeli: Gerçek zamanlı güncelleme yok; zamanlama gecikmesi.
Kanıt
- Test dosyası27
- Kaynak dosya154
- Sınıflandırma fixture40
- DurumCanlı
Bilinen sınırlar
- Sınıflandırma sezgisel; sıra dışı sürümler fixture eklenene kadar yanlış kategoriye düşebilir.
- Kapsam, ingest'in bildiği kaynaklarla sınırlı.
Ne öğrendim
Akışta işe yarayan test "render oluyor mu" değil, "bu model yarın aynı sekmede mi". Fixture'lar öznel bir sınıflandırmayı build hatasına çevirdi.