11 Commits

Author SHA1 Message Date
ENI
d0b2187319 реестр: дедуп источников строго по url (2 падавших теста зелёные); инкрементальный abuse-индекс + tgsearch из предыдущей сессии
Some checks failed
ci / test (3.10) (push) Has been cancelled
ci / test (3.11) (push) Has been cancelled
ci / test (3.12) (push) Has been cancelled
2026-10-27 01:09:30 +03:00
ENI
2d7d509434 tg-сессия в комбайне + панель: ключи/сессия в шапке + фикс пустого radar_sources
- omni/config.py: tg_cfg() читает data/tg.json (вне git), env приоритетнее
- omni/tgsess.py: enabled()/fetch() подтягивают креды из config
- tools/tg_pick.py: перебор пула сессий, проверка is_user_authorized, личные аккаунты исключены
- omni claw pump: 2 канала -> 27 постов через сессию (проверено)
- omni/serve.py: /api/stats += keys{totals}, tg{enabled}
- web/index.html: строка статуса в шапке (ключей / сервисов / TG сессия)
- omni/cli.py radar --apply: пишет полный набор, а не только новые (повторный прогон обнулял файл)
- omni/cli.py radar --import-posts: --since-days + скип известных url до simhash
2026-10-27 00:15:06 +03:00
ENI
2320acf3c5 vault ключей + мост abuse-radar + китайские источники: всё в одном реестре
Some checks failed
ci / test (3.10) (push) Has been cancelled
ci / test (3.11) (push) Has been cancelled
ci / test (3.12) (push) Has been cancelled
- omni/vault.py: пул ключей парсеров (env-first, data/vault.json, ротация, cooldown 401/402/403=1ч, 429=10м), только маски в выводе
- tools/build_vault.py: сборка пула из MASTER_KEYS.csv и локальных дампов (значения не в git)
- tools/vault_check.py: живая проверка с маскированием
- searchers: firecrawl/tavily/exa/serper/jina/apify берут ключ из vault, если нет env
- omni radar: домены+каналы из radar_server.db -> реестр, --import-posts заливает посты каналов
- radar-источники помечены opt_in: общий обход не тормозят (869 против 3337 всего)
- omni/sources_cn.py + tools/wave_cn.py: 9 живых китайских источников (52pojie, nodeseek, kanxue, anquanke, 4hou, xz.aliyun, ithome, cnbeta, v2ex)
- net.get(proxy=...): принудительный прокси для CF-площадок
- /api/keys + строка ключей в панели
- tests/test_vault_radar.py: 7 тестов, всего 29 passed
2026-10-26 23:31:37 +03:00
Vlad Gothbreach
aa417d635b feat(tg): своя сессия Telethon — omni/tgsess.py + omni pump (глубина 200 постов вместо 20, 20 каналов -> 2832 поста, 2592 новых), CVE-ID в заголовке (471), tg_alive_audit из 856 сессий нашёл 121 живую; тесты 22
Some checks failed
ci / test (3.10) (push) Has been cancelled
ci / test (3.11) (push) Has been cancelled
ci / test (3.12) (push) Has been cancelled
2026-10-26 22:43:21 +03:00
Vlad Gothbreach
2a6799d92d chore(auto): самоаудит 2026-10-26T16:19:01Z — selfcheck_exit=0 2026-10-26 19:19:03 +03:00
ENI
4196d66b4e feat: cookie-jar по хосту, CLI omni add для своих источников, README про ключи/прокси/куки/свой сервер 2026-10-26 17:33:03 +03:00
Reform
81f3e556c4 omni: редизайн панели + 450 источников (341 живых), health-аудит, чистка html/дат, per-source учёт 2026-10-26 09:41:04 +03:00
reform
35be863977 omni: менеджер источников в панели (338 источников, вкл/выкл, добавление, health-check, фоновые джобы) 2026-10-25 21:58:22 +03:00
dev
e1368f2a46 omni: веб-панель (serve + /api), дайджест, arxiv API-fallback, HF trending unwrap 2026-10-25 19:11:52 +03:00
dev
c4d188520f omni: реестр 113 источников (papers/company/cn/kr/community/security/forum/models/benchmark) + команды sources и feed 2026-10-25 18:54:33 +03:00
dev
02816cacfb omni-parse: 12 провайдеров, sqlite+fts5, simhash-дедуп, фильтр релевантности 2026-10-25 13:16:56 +03:00