omni: реестр 113 источников (papers/company/cn/kr/community/security/forum/models/benchmark) + команды sources и feed

README.md

@@ -20,6 +20,7 @@
 | `firecrawl` | Firecrawl search | `FIRECRAWL_API_KEY` |
 | `cards` | карточки товаров: JSON-LD Product/Offer, OpenGraph, microdata, цена/валюта/наличие | нет |
 | `treg` | treg-поиск | `TREG_TOKEN` |
+| `feed` | обход реестра из 113 лент/API без запроса (см. ниже) | нет |
 
 `python -m omni providers` печатает, что реально поднялось в этом окружении.
 
@@ -39,6 +40,15 @@ python -m omni providers
 # поиск по одной теме в четырёх бесплатных источниках
 python -m omni search "scraping twitter without api" --providers reddit,forums,ddg,bing --limit 12 --show 10
 
+# реестр источников: сколько и каких
+python -m omni sources
+python -m omni sources --category papers,security --list
+
+# обход реестра БЕЗ запроса: 113 источников -> база
+python -m omni feed --category community --limit 8
+python -m omni feed --limit 15            # всё подряд
+python -m omni feed --only arxiv_cs_ai,hn_top,reddit_localllama
+
 # прогон по списку тем из themes.txt (по теме на строку)
 python -m omni fanout --providers reddit,forums,ddg,bing --limit 10
 
@@ -54,6 +64,22 @@ python -m omni cards https://example.com/product
 python -m omni export --format jsonl --out data/dump.jsonl
 ```
 
+## Реестр источников
+
+`omni/sources.py` — 113 источников в 9 категориях, каждый с адаптером:
+
+- **papers 18** — arxiv RSS по 15 разделам (cs.AI/LG/CL/CV/RO/IR/CR/SE/NE/MA/DC/DB/HC, stat.ML, eess.AS), HF daily papers, OpenAlex, Semantic Scholar
+- **company 34** — ленты OpenAI, Google AI/Research, Microsoft Research, NVIDIA press+research, Apple ML, Amazon Science, HF blog, Meta AI, Mistral, Cohere, Together, Perplexity, Groq, Cerebras, Stability, Databricks, Anyscale, Modal, W&B, LangChain, LlamaIndex, vLLM, Replicate, Fireworks, SambaNova, Scale, xAI, Salesforce, AWS ML, Azure AI
+- **company_cn 14** — Qwen, DeepSeek changelog, Moonshot, Zhipu, Baichuan, MiniMax + GitHub-орги Tencent-Hunyuan, PaddlePaddle, bytedance, mindspore-ai, QwenLM, deepseek-ai, MoonshotAI, THUDM
+- **company_kr 4** — Kakao tech, Naver Cloud, Samsung Research, LG AI Research
+- **community 17** — HN top/new, Lobsters (3 тега), GeekNews, 11 сабреддитов
+- **security 10** — The Hacker News, BleepingComputer, Krebs, SANS ISC, Packet Storm, CISA, Exploit-DB, Project Zero, PortSwigger, GitHub Security
+- **forum 9** — 6 Discourse-инстансов, XenForo BHW, веб-версии Telegram-каналов
+- **models 5** — HF trending/new (модели, спейсы, датасеты), Ollama library
+- **benchmark 2** — Open LLM Leaderboard (HF datasets-server), LMArena
+
+Адаптеры: `rss`, `json` (HF, HN, OpenAlex, S2, Discourse), `html` (список + детальная страница), `github` (org repos). Медленные хосты (reddit, github, HF) обходятся последовательно с паузой, остальные — в 8 потоков.
+
 ## Как устроено
 
 - `omni/net.py` — лестница транспорта: httpx → curl_cffi (подмена TLS-фингерпринта) → прокси из env. Троттлинг по хосту, лимит байт, пометка блокировок.