diff --git a/README.md b/README.md index c14a2e1..ceba513 100644 --- a/README.md +++ b/README.md @@ -24,21 +24,24 @@ python -m omni.bot ## Состояние на сейчас -- **источников: 589** в 11 категориях, **записей в базе: 3411** -- вкладки панели: `Лента` · `Источники` · `Прогоны` · `Абузы` +- **источников: 665** в 11 категориях, **записей в базе: 5594** (224 с ценой, 120 прогонов) +- **типы записей: 14** — каждая запись размечена по смыслу: новость 3693 · софт 516 · уязвимость 402 · релиз 361 · модель 331 · вопрос 265 · цена 205 · гайд 194 · датасет 126 · слив 90 · триал 41 · промо 34 · вакансия 21 · перепродажа 10 +- **X/Twitter: 30 аккаунтов** читаются без API-ключей через `api.fxtwitter.com` (313 твитов в базе) +- вкладки панели: `Лента` · `Источники` · `Прогоны` · `Абузы`; полоса чипов «тип», фильтр «только с ценой», сортировка `score/fresh/price`, экспорт CSV - health-аудит: живой/мёртвый/непроверенный по каждому источнику, причина в примечании -- Telegram-бот на той же базе: `/new`, `/abuse`, `/find`, `/src`, `/run`, `/add`, `/auto`, `/stats` +- Telegram-бот на той же базе: `/new`, `/abuse`, `/find`, `/src`, `/run`, `/add`, `/auto`, `/sum`, `/tr`, `/stats` +- автоаудит: `tools/selfcheck.py` обновляет `REPORT.md`, `tools/autocommit.sh` коммитит и пушит в Gitea + GitHub | категория | источников | |---|---| -| `community` | 123 | -| `company` | 119 | -| `security` | 72 | -| `papers` | 68 | -| `forum` | 50 | -| `models` | 35 | +| `company` | 135 | +| `community` | 131 | +| `security` | 99 | +| `papers` | 72 | +| `forum` | 57 | +| `models` | 40 | +| `abuse` | 40 | | `company_cn` | 34 | -| `abuse` | 31 | | `release` | 30 | | `benchmark` | 16 | | `company_kr` | 11 | @@ -157,6 +160,29 @@ API: `GET /api/stats`, `GET /api/items?category=&q=&limit=&offset=`, `GET /api/s Состояние источников — таблицы `source_flags` и `source_custom` в той же SQLite (`data/omni.sqlite3`). + +## Типы записей (не путать с категорией источника) + +Категория отвечает «откуда», тип — «что именно». Одна запись получает до 3 типов, они лежат в `items.types` и отдаются в API (`/api/types`, `?type=leak`), видны бейджами в панели, попадают в CSV. + +`слив` · `триал` · `софт` · `промо` · `перепродажа` · `уязвимость` · `релиз` · `гайд` · `датасет` · `модель` · `вакансия` · `цена` · `вопрос` · `новость` + +Правила лежат в `omni/taxonomy.py`: взвешенные RU/EN-паттерны, порог по весу, чтобы «free» в рекламе не превращалось в «триал». + +## X / Twitter без ключей + +- `omni/providers/x.py` → `profile(handle)` тянет ленту через `api.fxtwitter.com/2/profile//statuses`: полный текст, метрики (лайки, репосты, просмотры), дата, язык. +- адаптер `x_user` в `omni/feeds.py`, источники — `omni/sources_x.py` (30 живых хендлов: abuse/security/models/community). +- путь `syndication.twitter.com` (429 для всех IP, включая VPS и прокси) и nitter-зеркала (410/403/0) выпилены — не тратить время. +- свой хендл добавляется как источник: `{"name": "x_ник", "category": "abuse", "kind": "tweet", "url": "https://x.com/ник", "adapter": "x_user", "extra": {"handle": "ник"}}`. + +## Автоаудит и непрерывные коммиты + +- `python tools/selfcheck.py` — компиляция пакета, счётчики базы, распределение типов, топ источников, поиск дублей и пустых источников; пишет блок в `REPORT.md` и историю в `data/selfcheck.jsonl`. +- `bash tools/autocommit.sh [--feed]` — самоаудит (+ подкачка, если `--feed`), коммит только при реальных изменениях, пуш в оба ремоута. +- cron: каждые 6 часов аудит-коммит, каждые 12 часов аудит + подкачка источников. +- `omni dedupe [--apply]` — схлопывает дубли по url (или source+title при пустом url), вставка тоже дедуплицирует по url. + ## Как устроено - `omni/net.py` — лестница транспорта: httpx → curl_cffi (подмена TLS-фингерпринта) → прокси из env. Троттлинг по хосту, лимит байт, пометка блокировок. diff --git a/REPORT.md b/REPORT.md index 7cfaf8c..a0e19c7 100644 --- a/REPORT.md +++ b/REPORT.md @@ -1,19 +1,19 @@ # omni-parse · автоотчёт -_обновлено 2026-10-26T16:21:06+00:00_ +_обновлено 2026-10-26T16:37:00+00:00_ | метрика | значение | |---|---| -| источников | 635 | +| источников | 665 | | категорий | 11 | -| записей | 5281 | -| с ценой | 209 | -| типизировано | 5281 | +| записей | 5594 | +| с ценой | 224 | +| типизировано | 5594 | | прогонов | 120 | -| пустых источников | 200 | +| пустых источников | 208 | -типы: новость 3516 · софт 495 · релиз 347 · уязвимость 342 · модель 322 · вопрос 245 · цена 192 · гайд 190 +типы: новость 3693 · софт 516 · уязвимость 402 · релиз 361 · модель 331 · вопрос 265 · цена 205 · гайд 194 | источник | записей | |---|---| diff --git a/tools/_readme_patch.py b/tools/_readme_patch.py new file mode 100644 index 0000000..9778c8d --- /dev/null +++ b/tools/_readme_patch.py @@ -0,0 +1,54 @@ +import re + +cats = open("data/_cats.md", encoding="utf-8").read().strip() +types = open("data/_types.md", encoding="utf-8").read().strip() +p = "README.md" +s = open(p, encoding="utf-8").read() + +state_new = f"""## Состояние на сейчас + +- **источников: 665** в 11 категориях, **записей в базе: 5594** (224 с ценой, 120 прогонов) +- **типы записей: 14** — каждая запись размечена по смыслу: {types} +- **X/Twitter: 30 аккаунтов** читаются без API-ключей через `api.fxtwitter.com` (313 твитов в базе) +- вкладки панели: `Лента` · `Источники` · `Прогоны` · `Абузы`; полоса чипов «тип», фильтр «только с ценой», сортировка `score/fresh/price`, экспорт CSV +- health-аудит: живой/мёртвый/непроверенный по каждому источнику, причина в примечании +- Telegram-бот на той же базе: `/new`, `/abuse`, `/find`, `/src`, `/run`, `/add`, `/auto`, `/sum`, `/tr`, `/stats` +- автоаудит: `tools/selfcheck.py` обновляет `REPORT.md`, `tools/autocommit.sh` коммитит и пушит в Gitea + GitHub + +| категория | источников | +|---|---| +{cats}""" + +start = s.index("## Состояние на сейчас") +end = s.index("## Панель") +s = s[:start] + state_new + "\n\n" + s[end:] + +extra = """ +## Типы записей (не путать с категорией источника) + +Категория отвечает «откуда», тип — «что именно». Одна запись получает до 3 типов, они лежат в `items.types` и отдаются в API (`/api/types`, `?type=leak`), видны бейджами в панели, попадают в CSV. + +`слив` · `триал` · `софт` · `промо` · `перепродажа` · `уязвимость` · `релиз` · `гайд` · `датасет` · `модель` · `вакансия` · `цена` · `вопрос` · `новость` + +Правила лежат в `omni/taxonomy.py`: взвешенные RU/EN-паттерны, порог по весу, чтобы «free» в рекламе не превращалось в «триал». + +## X / Twitter без ключей + +- `omni/providers/x.py` → `profile(handle)` тянет ленту через `api.fxtwitter.com/2/profile//statuses`: полный текст, метрики (лайки, репосты, просмотры), дата, язык. +- адаптер `x_user` в `omni/feeds.py`, источники — `omni/sources_x.py` (30 живых хендлов: abuse/security/models/community). +- путь `syndication.twitter.com` (429 для всех IP, включая VPS и прокси) и nitter-зеркала (410/403/0) выпилены — не тратить время. +- свой хендл добавляется как источник: `{"name": "x_ник", "category": "abuse", "kind": "tweet", "url": "https://x.com/ник", "adapter": "x_user", "extra": {"handle": "ник"}}`. + +## Автоаудит и непрерывные коммиты + +- `python tools/selfcheck.py` — компиляция пакета, счётчики базы, распределение типов, топ источников, поиск дублей и пустых источников; пишет блок в `REPORT.md` и историю в `data/selfcheck.jsonl`. +- `bash tools/autocommit.sh [--feed]` — самоаудит (+ подкачка, если `--feed`), коммит только при реальных изменениях, пуш в оба ремоута. +- cron: каждые 6 часов аудит-коммит, каждые 12 часов аудит + подкачка источников. +- `omni dedupe [--apply]` — схлопывает дубли по url (или source+title при пустом url), вставка тоже дедуплицирует по url. + +""" +anchor = "## Как устроено" +s = s.replace(anchor, extra + anchor, 1) + +open(p, "w", encoding="utf-8", newline="\n").write(s) +print("README updated", len(s)) \ No newline at end of file diff --git a/tools/_readme_stats.py b/tools/_readme_stats.py new file mode 100644 index 0000000..be93273 --- /dev/null +++ b/tools/_readme_stats.py @@ -0,0 +1,25 @@ +import collections +import sqlite3 +import sys + +sys.path.insert(0, ".") +from omni import sources, taxonomy # noqa: E402 + +src = sources.all_sources() +by_cat = collections.Counter(s.category for s in src) +con = sqlite3.connect("data/" + "omni.sqlite3") +items = con.execute("select count(*) from items").fetchone()[0] +priced = con.execute("select count(*) from items where price is not null and price>0").fetchone()[0] +runs = con.execute("select count(*) from runs").fetchone()[0] +xn = con.execute("select count(*) from items where provider='x'").fetchone()[0] +flat = collections.Counter() +for combo, n in con.execute("select types,count(*) from items where types!='' group by 1"): + for t in str(combo).split(","): + if t.strip(): + flat[t.strip()] += n +print(f"sources={len(src)} items={items} priced={priced} runs={runs} x={xn}") +print(" · ".join(f"{taxonomy.LABELS.get(k, k)} {v}" for k, v in flat.most_common())) +open("data/_cats.md", "w", encoding="utf-8").write( + "\n".join(f"| `{c}` | {n} |" for c, n in by_cat.most_common())) +open("data/_types.md", "w", encoding="utf-8").write( + " · ".join(f"{taxonomy.LABELS.get(k, k)} {v}" for k, v in flat.most_common())) \ No newline at end of file