omni-parse

providers

vault ключей + мост abuse-radar + китайские источники: всё в одном реестре

2026-10-26 23:31:37 +03:00

__init__.py

omni-parse: 12 провайдеров, sqlite+fts5, simhash-дедуп, фильтр релевантности

2026-10-25 13:16:56 +03:00

__main__.py

omni-parse: 12 провайдеров, sqlite+fts5, simhash-дедуп, фильтр релевантности

2026-10-25 13:16:56 +03:00

abuse_sources.py

дарк-форумы + cookie-проход CF + opt_in радара в обходе

2026-10-26 23:39:47 +03:00

abuse.py

абузы: extract промокодов/сумм/ссылок в API и панели, +16 проверенных источников (TG/reddit/discourse/RSS/github/HN), чистка HTML в деталях, клэмп days

2026-10-27 01:50:05 +03:00

ai.py

fix: 10 пунктов ревью — /run (кортеж store.add), валидация limit/offset в панели, close() соединений SQLite, троттлинг под локом, read-only бот без OMNI_BOT_OWNERS, eviction JOBS, push_new отдаёт свежие записи, ai.py не спит после последней попытки, дедуп реестра, подключён abuse-реестр (+191 источник); tests/test_regress.py 16 проверок + CI py3.10-3.12

2026-10-26 20:15:50 +03:00

bot.py

feat(bot): /tag и /типы — счётчики типов и топ по типу, доступны в read-only режиме; тест (20 passed)

2026-10-26 21:13:18 +03:00

cli.py

реестр: дедуп источников строго по url (2 падавших теста зелёные); инкрементальный abuse-индекс + tgsearch из предыдущей сессии

2026-10-27 01:09:30 +03:00

config.py

tg-сессия в комбайне + панель: ключи/сессия в шапке + фикс пустого radar_sources

2026-10-27 00:15:06 +03:00

discover.py

omni: абузы (31 живой источник + классификатор), авто-добавление фидов, Telegram-бот, вкладка абузов; 589 источников

2026-10-26 12:25:24 +03:00

doctor.py

feat: типизация записей (14 типов, до 3 на запись), чипы и бейджи типов в панели, CSV с типами, /api/types, doctor --only по категориям, волны источников 5-6 (635 всего)

2026-10-26 19:01:45 +03:00

feeds.py

реестр: дедуп источников строго по url (2 падавших теста зелёные); инкрементальный abuse-индекс + tgsearch из предыдущей сессии

2026-10-27 01:09:30 +03:00

filter.py

omni-parse: 12 провайдеров, sqlite+fts5, simhash-дедуп, фильтр релевантности

2026-10-25 13:16:56 +03:00

model.py

omni-parse: 12 провайдеров, sqlite+fts5, simhash-дедуп, фильтр релевантности

2026-10-25 13:16:56 +03:00

net.py

vault ключей + мост abuse-radar + китайские источники: всё в одном реестре

2026-10-26 23:31:37 +03:00

panel_api.py

абузы: extract промокодов/сумм/ссылок в API и панели, +16 проверенных источников (TG/reddit/discourse/RSS/github/HN), чистка HTML в деталях, клэмп days

2026-10-27 01:50:05 +03:00

rank.py

feat(tg): реальные абузы из Telegram без сессии — адаптер tg_web переписан (служебное/пустыши отсекаются, заголовок из тела, порог 12/8 для leak-каналов), 19 живых каналов из 87 проверенных, сигнал абуза в score (+до 1.8), tools/tg_discover.py, tools/fixtg.py, tools/purge_tg_junk.py, tools/rescore.py; реестр 869, база 7295 (ab_ 3135, tg_ 374); тесты 19

2026-10-26 21:06:50 +03:00

serve.py

abuse: классификатор ловит панели/github/hn и мульти-теги, реальный total из индекса, кап API поднят до 3000

2026-10-27 01:28:28 +03:00

source_state.py

fix: 10 пунктов ревью — /run (кортеж store.add), валидация limit/offset в панели, close() соединений SQLite, троттлинг под локом, read-only бот без OMNI_BOT_OWNERS, eviction JOBS, push_new отдаёт свежие записи, ai.py не спит после последней попытки, дедуп реестра, подключён abuse-реестр (+191 источник); tests/test_regress.py 16 проверок + CI py3.10-3.12

2026-10-26 20:15:50 +03:00

sources_abuse.py

абузы: extract промокодов/сумм/ссылок в API и панели, +16 проверенных источников (TG/reddit/discourse/RSS/github/HN), чистка HTML в деталях, клэмп days

2026-10-27 01:50:05 +03:00

sources_cn.py

vault ключей + мост abuse-radar + китайские источники: всё в одном реестре

2026-10-26 23:31:37 +03:00

sources_dark.py

дарк-форумы + cookie-проход CF + opt_in радара в обходе

2026-10-26 23:39:47 +03:00

sources_ext2.py

omni: редизайн панели + 450 источников (341 живых), health-аудит, чистка html/дат, per-source учёт

2026-10-26 09:41:04 +03:00

sources_ext3.py

omni: абузы (31 живой источник + классификатор), авто-добавление фидов, Telegram-бот, вкладка абузов; 589 источников

2026-10-26 12:25:24 +03:00

sources_ext4.py

feat: типизация записей (14 типов, до 3 на запись), чипы и бейджи типов в панели, CSV с типами, /api/types, doctor --only по категориям, волны источников 5-6 (635 всего)

2026-10-26 19:01:45 +03:00

sources_ext5.py

feat: типизация записей (14 типов, до 3 на запись), чипы и бейджи типов в панели, CSV с типами, /api/types, doctor --only по категориям, волны источников 5-6 (635 всего)

2026-10-26 19:01:45 +03:00

sources_ext.py

omni: менеджер источников в панели (338 источников, вкл/выкл, добавление, health-check, фоновые джобы)

2026-10-25 21:58:22 +03:00

sources_fresh.py

абузы: extract промокодов/сумм/ссылок в API и панели, +16 проверенных источников (TG/reddit/discourse/RSS/github/HN), чистка HTML в деталях, клэмп days

2026-10-27 01:50:05 +03:00

sources_tg_abuse.py

feat(tg): реальные абузы из Telegram без сессии — адаптер tg_web переписан (служебное/пустыши отсекаются, заголовок из тела, порог 12/8 для leak-каналов), 19 живых каналов из 87 проверенных, сигнал абуза в score (+до 1.8), tools/tg_discover.py, tools/fixtg.py, tools/purge_tg_junk.py, tools/rescore.py; реестр 869, база 7295 (ab_ 3135, tg_ 374); тесты 19

2026-10-26 21:06:50 +03:00

sources_x.py

feat(x): парсинг X через api.fxtwitter.com — 30 живых хендлов как источники, адаптер x_user, полный текст твитов, метрики; старый syndication-путь (429) убран

2026-10-26 19:33:35 +03:00

sources.py

абузы: extract промокодов/сумм/ссылок в API и панели, +16 проверенных источников (TG/reddit/discourse/RSS/github/HN), чистка HTML в деталях, клэмп days

2026-10-27 01:50:05 +03:00

store.py

abuse: полный пересчёт индекса только по явному вызову (env не тормозит scan)

2026-10-27 01:21:01 +03:00

taxonomy.py

feat: типизация записей (14 типов, до 3 на запись), чипы и бейджи типов в панели, CSV с типами, /api/types, doctor --only по категориям, волны источников 5-6 (635 всего)

2026-10-26 19:01:45 +03:00

tgsess.py

abuse: полный пересчёт индекса только по явному вызову (env не тормозит scan)

2026-10-27 01:21:01 +03:00

vault.py

vault ключей + мост abuse-radar + китайские источники: всё в одном реестре

2026-10-26 23:31:37 +03:00