reform/omni-parse
1
0
Fork 0
Code Issues Pull Requests Actions 1 Packages Projects Releases Wiki Activity

Commit Graph

  • 31a8dd8c4d sources: авто-расширение из публичных API без ключей (46 живых), universal generic_json, bsky/mastodon, --only по префиксу, auto_cycle main Vlad Gothbreach 2026-10-27 20:00:48 +03:00
  • f263d3ffff post_digest: заголовок = самая информативная фраза, чистка CAPS/гомоглифов/markdown, кликабельный сервис, тесты формата Vlad Gothbreach 2026-10-27 19:16:46 +03:00
  • 2612aeb206 chore(auto): 2026-10-27T13:17:13Z — items=46423 typed=46423 sources=3815 priced=4356 runs=128 tests=True problems=['пустых источников 2118/3815'] Vlad Gothbreach 2026-10-27 16:18:03 +03:00
  • 0e3090edd2 post_digest: карточки вместо строки-свалки — заголовок, объём/сервис/теги, скрытая ссылка; панели блоком Vlad Gothbreach 2026-10-27 15:22:28 +03:00
  • e26bd41a84 abuse: строгий free_count (prompt и completion = 0) — 90 панелей вместо 131; sync_panel_items держит тексты панелей в актуальном виде; push_top отправляет топ находок в бота Vlad Gothbreach 2026-10-27 14:59:01 +03:00
  • d16994d45c store: обновлять тело записи при повторной отдаче того же url (панели теряли актуальный free_count); tools/push_top.py — топ находок в бота Vlad Gothbreach 2026-10-27 14:21:02 +03:00
  • 81382e91b9 docs: свежие скриншоты дашборда — находки с дедупом, вкладка free-API панелей (131/175), реестр 3815; tools/shots.py с проверкой на секреты в кадре Vlad Gothbreach 2026-10-27 13:53:54 +03:00
  • 3b237af1f0 docs: скриншоты панели (9 разделов) + tools/shots_ui.py для пересъёмки; README — раздел «Скриншоты» reform 2026-10-27 13:21:06 +03:00
  • edb3a37039 chore(auto): 2026-10-27T04:21:54Z — items=46115 typed=46115 sources=3791 priced=4296 runs=128 tests=True problems=['пустых источников 2097/3791'] Vlad Gothbreach 2026-10-27 08:14:31 +03:00
  • 21f47a9844 chore(auto): 2026-10-27T04:46:53Z — items=43775 typed=43775 sources=3791 priced=4175 runs=128 tests=True problems=['пустых источников 2282/3791'] Vlad Gothbreach 2026-10-27 07:47:25 +03:00
  • 92bf9eaa12 fix(ui): пункты меню не прячутся под футером; сквозные сценарии панели Vlad Gothbreach 2026-10-27 05:45:14 +03:00
  • 0831984918 sources: панели не схлопываются с rad_ того же домена (175 вместо 5 в реестре); тесты уникальности по (url, adapter) Vlad Gothbreach 2026-10-27 04:09:59 +03:00
  • 1781983027 abuse: панели с free-моделями весят по количеству (80+cnt, до 380) — 30 из 120 в топе выдачи Vlad Gothbreach 2026-10-27 03:47:18 +03:00
  • 2e3bf4cb24 abuse: схлопывание перепечаток (sig в индексе, uniq в API), кэш выдачи 60с; scan 13с -> 1.5с Vlad Gothbreach 2026-10-27 03:43:42 +03:00
  • 07dc5cc788 ui: типографика Inter без наложений, подпись бренда в одну строку, плотнее лента; smoke ловит наложения текста Vlad Gothbreach 2026-10-27 03:35:24 +03:00
  • 8d4a4c14b4 abuse: теги accs + продажа подписок, строже порог; panels: реальные free-имена и 130/175 с бесплатными Vlad Gothbreach 2026-10-27 03:28:44 +03:00
  • cad71c065c ui: локальный Tabler dashboard + 150 проверенных TG-источников и probe 595 каналов Vlad Gothbreach 2026-10-27 02:54:29 +03:00
  • c1d2d1bbda fix: preserve short release titles and cover source generation contracts Vlad Gothbreach 2026-10-27 02:09:37 +03:00
  • 16512bf4a1 абузы: free-панели new-api на вкладке (роут /api/panels + грид), CSS вынесен из JS, панельный классификатор даёт freeapi-вес, тесты Vlad Gothbreach 2026-10-27 02:06:32 +03:00
  • b09cb5f873 абузы: extract промокодов/сумм/ссылок в API и панели, +16 проверенных источников (TG/reddit/discourse/RSS/github/HN), чистка HTML в деталях, клэмп days Vlad Gothbreach 2026-10-27 01:50:05 +03:00
  • 8de421b6af abuse: классификатор ловит панели/github/hn и мульти-теги, реальный total из индекса, кап API поднят до 3000 Vlad Gothbreach 2026-10-27 01:28:28 +03:00
  • 61f15f88f2 chore(auto): 2026-10-26T22:21:54Z — items=41703 typed=41703 sources=3412 priced=3971 runs=128 tests=False problems=['тесты: OSError', 'пустых источников 2080/3412'] Vlad Gothbreach 2026-10-27 01:21:57 +03:00
  • 42a864419b abuse: полный пересчёт индекса только по явному вызову (env не тормозит scan) Vlad Gothbreach 2026-10-27 01:21:01 +03:00
  • d0b2187319 реестр: дедуп источников строго по url (2 падавших теста зелёные); инкрементальный abuse-индекс + tgsearch из предыдущей сессии ENI 2026-10-27 01:09:30 +03:00
  • d0fca99dda тесты: сессия из data/tg.json подхватывается, без файла — выключена (30 passed) ENI 2026-10-27 00:16:10 +03:00
  • 2d7d509434 tg-сессия в комбайне + панель: ключи/сессия в шапке + фикс пустого radar_sources ENI 2026-10-27 00:15:06 +03:00
  • 2b9f4e1d88 дарк-форумы + cookie-проход CF + opt_in радара в обходе ENI 2026-10-26 23:39:47 +03:00
  • 2320acf3c5 vault ключей + мост abuse-radar + китайские источники: всё в одном реестре ENI 2026-10-26 23:31:37 +03:00
  • aa417d635b feat(tg): своя сессия Telethon — omni/tgsess.py + omni pump (глубина 200 постов вместо 20, 20 каналов -> 2832 поста, 2592 новых), CVE-ID в заголовке (471), tg_alive_audit из 856 сессий нашёл 121 живую; тесты 22 Vlad Gothbreach 2026-10-26 22:43:21 +03:00
  • 74d968ab2d feat(bot): /tag и /типы — счётчики типов и топ по типу, доступны в read-only режиме; тест (20 passed) Vlad Gothbreach 2026-10-26 21:13:18 +03:00
  • eaedd37bcd feat(tg): реальные абузы из Telegram без сессии — адаптер tg_web переписан (служебное/пустыши отсекаются, заголовок из тела, порог 12/8 для leak-каналов), 19 живых каналов из 87 проверенных, сигнал абуза в score (+до 1.8), tools/tg_discover.py, tools/fixtg.py, tools/purge_tg_junk.py, tools/rescore.py; реестр 869, база 7295 (ab_ 3135, tg_ 374); тесты 19 Vlad Gothbreach 2026-10-26 21:06:50 +03:00
  • f9719b9149 ci: воркфлоу в .gitea/workflows (GitHub-токен без scope workflow отклоняет .github/workflows), копия для GitHub в ci/ ENI 2026-10-26 20:16:57 +03:00
  • c9c0a11ef7 fix: 10 пунктов ревью — /run (кортеж store.add), валидация limit/offset в панели, close() соединений SQLite, троттлинг под локом, read-only бот без OMNI_BOT_OWNERS, eviction JOBS, push_new отдаёт свежие записи, ai.py не спит после последней попытки, дедуп реестра, подключён abuse-реестр (+191 источник); tests/test_regress.py 16 проверок + CI py3.10-3.12 ENI 2026-10-26 20:15:50 +03:00
  • 136aa88dd6 chore(auto): 2026-10-26T16:37:00Z — items=5594 typed=5594 sources=665 priced=224 runs=120 problems=OK Vlad Gothbreach 2026-10-26 19:37:02 +03:00
  • cfb8639c67 feat(x): парсинг X через api.fxtwitter.com — 30 живых хендлов как источники, адаптер x_user, полный текст твитов, метрики; старый syndication-путь (429) убран Vlad Gothbreach 2026-10-26 19:33:35 +03:00
  • f5eef56a3b chore(auto): 2026-10-26T16:21:06Z — items=5281 typed=5281 sources=635 priced=209 runs=120 problems=OK Vlad Gothbreach 2026-10-26 19:21:07 +03:00
  • 9e68b0a68e chore(auto): 2026-10-26T16:20:23Z — items=5281 typed=5281 sources=635 priced=209 runs=120 problems=['дубли url: 1'] Vlad Gothbreach 2026-10-26 19:20:24 +03:00
  • 2a6799d92d chore(auto): самоаудит 2026-10-26T16:19:01Z — selfcheck_exit=0 Vlad Gothbreach 2026-10-26 19:19:03 +03:00
  • 7b3d708402 feat: типизация записей (14 типов, до 3 на запись), чипы и бейджи типов в панели, CSV с типами, /api/types, doctor --only по категориям, волны источников 5-6 (635 всего) Vlad Gothbreach 2026-10-26 19:01:45 +03:00
  • 4196d66b4e feat: cookie-jar по хосту, CLI omni add для своих источников, README про ключи/прокси/куки/свой сервер ENI 2026-10-26 17:33:03 +03:00
  • 1c32a5c630 upgrade: abuse recall on dedicated boards, junk-title and traffic-noise filters, single-instance bot lock ENI 2026-10-26 16:28:18 +03:00
  • 077694f9e4 ai: перевод абузных постов и саммари подборки (bot buttons, /sum, /tr, /api/summary, cache) ENI 2026-10-26 14:09:47 +03:00
  • 6d65812314 bot: inline keyboard, channel posting, format switch, abuse subscribe; sources: own TG channels; hide keys tag ENI 2026-10-26 13:26:41 +03:00
  • e49f711b18 bot: /new и /find читают dict-записи, /stats считает живые источники; режим OMNI_BOT_DRY для проверки без отправки reform 2026-10-26 12:47:01 +03:00
  • f8000f2f6c bot: убрана мёртвая ветка _api, owner-лимит читает OMNI_BOT_OWNERS или OMNI_BOT_ALLOW reform 2026-10-26 12:38:59 +03:00
  • ec61ec21f0 omni: абузы (31 живой источник + классификатор), авто-добавление фидов, Telegram-бот, вкладка абузов; 589 источников reform 2026-10-26 12:25:24 +03:00
  • 81f3e556c4 omni: редизайн панели + 450 источников (341 живых), health-аудит, чистка html/дат, per-source учёт Reform 2026-10-26 09:41:04 +03:00
  • 35be863977 omni: менеджер источников в панели (338 источников, вкл/выкл, добавление, health-check, фоновые джобы) reform 2026-10-25 21:58:22 +03:00
  • e1368f2a46 omni: веб-панель (serve + /api), дайджест, arxiv API-fallback, HF trending unwrap dev 2026-10-25 19:11:52 +03:00
  • c4d188520f omni: реестр 113 источников (papers/company/cn/kr/community/security/forum/models/benchmark) + команды sources и feed dev 2026-10-25 18:54:33 +03:00
  • 02816cacfb omni-parse: 12 провайдеров, sqlite+fts5, simhash-дедуп, фильтр релевантности dev 2026-10-25 13:16:56 +03:00