omni: абузы (31 живой источник + классификатор), авто-добавление фидов, Telegram-бот, вкладка абузов; 589 источников

README.md

@@ -4,6 +4,36 @@
 
 Ставится без ключей. Платные провайдеры включаются сами, если в окружении есть ключ.
 
+## Состояние на сейчас
+
+- **источников: 589** в 11 категориях, **записей в базе: 3411**
+- вкладки панели: `Лента` · `Источники` · `Прогоны` · `Абузы`
+- health-аудит: живой/мёртвый/непроверенный по каждому источнику, причина в примечании
+- Telegram-бот на той же базе: `/new`, `/abuse`, `/find`, `/src`, `/run`, `/add`, `/auto`, `/stats`
+
+| категория | источников |
+|---|---|
+| `community` | 123 |
+| `company` | 119 |
+| `security` | 72 |
+| `papers` | 68 |
+| `forum` | 50 |
+| `models` | 35 |
+| `company_cn` | 34 |
+| `abuse` | 31 |
+| `release` | 30 |
+| `benchmark` | 16 |
+| `company_kr` | 11 |
+
+## Панель
+
+```bash
+python -m omni serve --port 8077
+# http://127.0.0.1:8077/?view=abuse
+```
+
+`?view=feed|src|runs|abuse`, горячие клавиши `1..4`, палитра `Ctrl K`, категории в URL (`?cat=`), кнопка «авто-добавление» ищет новые фиды на уже подключённых хостах и сохраняет только те, что реально отдали записи.
+
 ## Что умеет
 
 | Провайдер | Что тянет | Ключ |
@@ -44,7 +74,7 @@ python -m omni search "scraping twitter without api" --providers reddit,forums,d
 python -m omni sources
 python -m omni sources --category papers,security --list
 
-# обход реестра БЕЗ запроса: 450 источников -> база
+# обход реестра БЕЗ запроса: 589 источников -> база
 python -m omni feed --category community --limit 8
 python -m omni feed --limit 15            # всё подряд
 python -m omni feed --only arxiv_cs_ai,hn_top,reddit_localllama
@@ -66,7 +96,7 @@ python -m omni export --format jsonl --out data/dump.jsonl
 
 ## Реестр источников
 
-`omni/sources.py` + `omni/sources_ext.py` — **450 источников в 9 категориях**, у каждого свой адаптер и флаг вкл/выкл:
+`omni/sources.py` + `omni/sources_ext.py` — **589 источников в 9 категориях**, у каждого свой адаптер и флаг вкл/выкл:
 
 - **papers 49** — arxiv по 25+ разделам (cs.AI/LG/CL/CV/RO/IR/CR/SE/NE/MA/DC/DB/HC/SD/CY, stat.ML, eess.AS/SP/IV, math.OC, q-bio.NC, cs.GR, cs.AR, cs.PF), HF daily papers, OpenAlex, Semantic Scholar, Papers with Code, Connected Papers
 - **company 95** — ленты OpenAI, Google AI/Research/DeepMind, Microsoft Research, NVIDIA, Apple ML, Amazon Science, HF, Meta AI, Mistral, Cohere, Together, Perplexity, Groq, Cerebras, Stability, Databricks, Anyscale, Modal, W&B, LangChain, LlamaIndex, vLLM, Replicate, Fireworks, SambaNova, Scale, xAI, Salesforce, AWS ML, Azure AI, Anthropic, AI2, EleutherAI, LAION, Runway, ElevenLabs, Deepgram, AssemblyAI, Pinecone, Weaviate, Qdrant, Chroma, Unsloth, Axolotl
@@ -93,7 +123,7 @@ python -m omni digest --out data/digest.md
 
 1. **лента** — счётчики (записей, с ценой, прогонов, источников, включённых), поиск по базе, фильтр по категориям, кнопка «собрать ленту» с прогрессом и разбивкой fetched/new/dup/empty.
 2. **источники** — менеджер реестра:
-   - таблица всех 450 источников: переключатель вкл/выкл, категория, тип, url, статус (жив / мёртв / не проверен), число записей;
+   - таблица всех 589 источников: переключатель вкл/выкл, категория, тип, url, статус (жив / мёртв / не проверен), число записей;
    - фильтр по имени/url и по категории;
    - **подключить источник** — форма (имя, url, категория): тип и адаптер определяются по url автоматически (`/rss` → rss, `.json`/`/api/` → generic_json, `github.com/org` → github_org, `t.me/s/` → tg_web), запись живёт в SQLite и сразу участвует в обходах;
    - **проверить всё / проверить категорию** — фоновой джоб: реальный фетч каждого источника, запись `status/items/note/checked`, прогресс `done/total, живых/мёртвых`;
@@ -142,4 +172,21 @@ python -m omni stats
 
 ## Лицензия
 
-MIT.
+MIT.
+
+## Абузы, авто-добавление и Telegram-бот
+
+- **абузы**: категория `abuse` — 31 живых площадок (XenForo/Discourse/Telegram/RSS), классификатор `omni/abuse.py` раскладывает записи по тегам `ключи / промо / триалы / сливы / софт / продажа / новости`. В панели — отдельная вкладка (`?view=abuse`), в боте — `/abuse [тег]`.
+- **авто-добавление**: `omni/discover.py` ищет фиды на уже подключённых хостах и каталогах, проверяет их теми же адаптерами и сохраняет только те, что реально отдали записи. В панели — кнопка «авто-добавление», в API — `POST /api/discover?hosts=40&add=25`.
+- **новости**: любые RSS/Atom/JSON-ленты (редакции, релизы, сообщества) подключаются как обычный источник или через `/add <url>` в боте — отдельной схемы не требуется.
+
+### Telegram-бот
+
+```bash
+set OMNI_BOT_TOKEN=<токен BotFather>
+set OMNI_BOT_ALLOW=<твой numeric id>
+python -m omni.bot
+```
+
+Команды: `/new [N]`, `/abuse [тег]`, `/find <слово>`, `/src <слово>`, `/run <категория>`, `/add <url>`, `/stats`. Бот работает на той же базе и том же реестре, что панель; отвечает только id из `OMNI_BOT_ALLOW`.
+