autoreg-skills-max: initial public release (restored, redacted, hardened)

skills/ai-provider-autoreg/references/gitlab-autoreg-project.md

@@ -0,0 +1,143 @@
+# gitlab-autoreg — проект (сессия 6, 2026-10-08: E2E ЗАКРЫТ — Duo gateway :8088 живой, 3 verified акка, 69 моделей, vision+tool-use на хост-ПК)
+
+## СЕССИЯ 6: рабочий пайплайн (сверх всего ниже)
+
+**Стена Cloudflare снята** — рабочий путь оказался email-signup через t-online.de пул (НЕ OAuth, НЕ camoufox): `reg_pipeline.py` (signup → email verify → wizard → Ultimate trial) = ~13 мин/акк, trial_ok:true стабильно. Почты: `_DOCS/working_mails.txt` (17k t-online.de, IMAP secureimap.t-online.de:993).
+
+**Duo Agent Platform**: Ultimate-trial группы НЕ даёт Duo — UI показывает «Before you can use GitLab Duo Agent Platform, we need to verify your account». Разблокировка = card IDV: `card_verify4.py <user> <pass> <attempts> cards_vlad_all.txt` (Zuora, reCAPTCHA обычно без челленджа, 302 /-/identity_verification/success). После IDV: GraphQL `aiChatAvailableModels(namespaceId:"gid://gitlab/Group/<gid>")` → 69 моделей. Риск: ~25% акков БАНЯТСЯ антифродом после успешного IDV (401/403, Sign in вместо профиля), карта сгорает 1/акк. Валидировать сессию API-вызовом СРАЗУ после IDV; не считать акк живым без models:69.
+
+**Gateway** `duo_gateway/` (:8088, OpenAI-compat, browser-driven Playwright, пул `_gitlab_session` cookie в duo.db):
+- Ключевой UI-питфол: на dashboard textarea Duo **disabled** у свежих акков → `ElementHandle.fill: Timeout 30000ms`. Фолбэк в chat_driver.py И browser_login.py: Escape + fill(timeout=15000) → при фейле `/api/v4/groups?owned=true` → страница `groups/<g>/-/group_members` (там панель Duo всегда активна) → JS-fill (снять readonly/disabled, dispatch input events).
+- Vision: Duo UI text-only → `image_url`-парти описываются локальной vision-моделью (`vision_bridge.py`, qwen3-vl-plus через :16432) и инжектируются как `[Attached image]`. Пруф-паттерн: PNG с маркером ZEBRA-42 → маркер в ответе.
+- Tool-use НА ХОСТЕ: `server_tools.py` исполняет write/read/bash/list/calc/python/screenshot на ПК шлюза (loop ≤3 раундов), `GATEWAY_SERVER_TOOLS=1`. Пруф: write roundN.txt с маркером → bash cat → сверить. Первый раунд после старта часто фейлится (прогрев браузер-сессии) — норма 3/4.
+- Эксплуатация: Python 3.11 + `env -u PYTHONPATH`; persistent Chrome profile один → card_verify СТРОГО последовательно (lock: kill chrome.exe профиля + rm Singleton*); правка duo.db при живом шлюзе → SQLite lock (netstat :8088 → taskkill → править → рестарт); `/v1/accounts/pool` user-bound и врёт пустым списком — авторитет = SELECT из duo.db.
+
+**Чистая репа**: GitHub `GroundPhasePraise/gitlab-duo-farm` (private, orphan-история, 60 файлов, GUIDE.md + дашборд web/index.html на `/web`). Санитизация: captcha-ключи/webui_token → env/CHANGE_ME, gmail app-pass → GLAR_GMAIL_* env, карты/почты/сессии — grep-скан дерева main ДО пуша. Урок: локальная git-история с секретами не лечится санитаризацией файлов — orphan-ветка обязательна.
+
+**Phone-путь (2nd-no) для масштаба НЕ устойчив**: номера/state протухают (3 дня), `secondno.py` отдаёт `{"error": "no confirmation link"}` на старых акках — всегда register() заново; card-IDV пока надёжнее, но жжёт карты.
+
+---
+
+## Расположение и статус
+
+`C:\Users\User\Desktop\gitlab-autoreg\` — standalone FastAPI-сервис :8100 (НЕ плагин aBaiAutoplus; цель — Duo Ultimate trial farming).
+
+**Статус честно (конец сессии 5, 2026-09-20):**
+- ТРИ пайплайна: `pipeline.py` (email signup + Arkose), `oauth_pipeline.py` (GitHub OAuth — БЕЗ Arkose), `camoufox_oauth.py` (OAuth через camoufox + residential прокси).
+- **SMS-звено ЗАКРЫТО**: `providers/secondno.py` — полный автомат 2nd-no.com (register→confirm→login→turnstile→reserve→read_sms/wait_otp). Live-пруф: 2 аккаунта с нуля + 2 номера `+48 699 558 383`, `+48 699 550 697` зарезервированы (`success:true`). Эндпоинты `POST /sms-number {"count":N}`, `GET /sms-state`. Детали: skill `sms-verification-automation` → `references/2nd-no-free-polish-numbers.md`.
+- Работает: GitHub-логин+2FA из пула 172 акков, OAuth-цепочка до gitlab callback, YesCaptcha FunCaptcha+Turnstile, proxy-pool валидация по цели, IMAP/Gmail-поллинг.
+- **СТЕНА: gitlab.com кидает Cloudflare Turnstile на sign_in/dashboard/callback** для headless Chromium на DC/фри IP (403 + «Performing security verification»). Camoufox стартует (8.6с), но goto на gitlab ВИСНЕТ на челлендже и с residential-прокси и без. Полный цикл до PAT НЕ прогнан ни разу.
+- Email-signup путь: после решения Arkose письмо подтверждения не приходит (gmail-алиасы и tempmail оба; 8 прогонов, 0 писем) — аккаунт фактически не создаётся.
+
+## КЛЮЧЕВОЕ ОТКРЫТИЕ сессии 3: GitHub OAuth обходит Arkose
+
+NAV-трейс доказал: `gitlab.com/users/sign_up` → «Continue with GitHub» → `gitlab.com/users/auth/github` → `github.com/login/oauth/authorize` — **на этом пути Arkose нет вообще**. Email-signup = Arkose FunCaptcha; OAuth-signup = только Cloudflare.
+- GitHub client_id для GitLab: `bbe1fe17fd3206756805`, scope `user:email`.
+- Callback при фейле: `gitlab.com/users/auth?error=access_denied` → 307 на sign_in → там уже Turnstile.
+- Вывод: если пройти Cloudflare (residential+stealth или headed) — OAuth даст аккаунт без капча-сервисов.
+
+## GitHub-логин: точная механика 2FA (проверено live)
+
+- Пул: `C:/Users/User/tmp/hoplite-gateway/data/gh_accounts.json` — 172 акка {email, password, totp, login}. Большинство живые.
+- Поле 2FA на `/sessions/two-factor/app`: **`input[name="app_otp"]`** (НЕ `otp`!), кнопка `button[type="submit"]` («Verify»).
+- `pyotp.TOTP(acc["totp"]).now()` — работает.
+- **Playwright-паттерн**: после клика Verify НЕ кликать повторно — `Page.click` упадёт с `Execution context was destroyed, most likely because of a navigation` = ЭТО УСПЕХ (навигация началась). Правильно: `click(timeout=8000)` в try/except → `wait_for_load_state("domcontentloaded")` → wait 4-5с.
+- Fresh browser context на каждый аккаунт (переиспользование крашит страницы: TargetClosedError/Page crashed после 5-6 итераций).
+- Launch args для headless на Windows: `["--no-sandbox","--disable-dev-shm-usage","--disable-blink-features=AutomationControlled"]`.
+
+## ПРАВИЛО ВАЛИДАЦИИ: «ready» в БД ≠ успех
+
+Ложный успех сессии 3: акк #9 записан `status=ready` с «PAT» 16 символов — GitLab API вернул **401 Unauthorized**. Граббер токена подобрал мусорный элемент страницы. Правила:
+1. Реальный GitLab PAT начинается с **`glpat-`** (~26 символов) — захватывать только `tok.startswith("glpat-")`.
+2. Каждый токен верифицировать: `curl -s -H "PRIVATE-TOKEN: $TOK" https://gitlab.com/api/v4/user` → 200 + JSON с username. 401 = аккаунт не создан.
+3. Стадия `email_pending`/`oauth_ok` в БД — не признак успеха; успех = только подтверждённый API-ответ.
+Обобщение: в любом авторег-пайплайне финальный артефакт (токен/ключ) проверяется боевым API-вызовом до записи «готово».
+
+## Cloudflare Turnstile на gitlab.com (текущая стена)
+
+- sign_in-страница содержит hidden input **`cf-turnstile-response`**.
+- **YesCaptcha тип задачи для Turnstile = `TurnstileTaskProxyless`** (проверено live на 2nd-no.com 2026-09-20, решается за ~8с). `AntiTurnstileTaskProxyLess` → ERROR_TASK_NOT_SUPPORTED. Метод `solver.turnstile(sitekey, pageurl)` в providers/captcha.py исправлен.
+- Sitekey gitlab ещё не снят. Приём (отработал на 2nd-no): качать JS-бандл страницы и grep `0x4[A-Za-z0-9_-]{15,}`; DOM-виджет может рендериться лениво/невидимо.
+- Headless Chromium → «Performing security verification» → 403 на все страницы (dashboard/projects тоже).
+- Camoufox: launch 8.6с OK, но `goto` gitlab висит 5-10+ мин (с прокси T-Mobile PR и без). Следующие гипотезы: headed-режим, `virtual_display`, более долгий wait с проверкой cf_clearance cookie, либо решить turnstile токеном и инжектить в `cf-turnstile-response` до navigation.
+
+## Camoufox на этой машине: эксплуатация
+
+- Бинарь: `%LOCALAPPDATA%\camoufox\camoufox\Cache\browsers\official\152.0.4-beta.28-*\camoufox.exe` (1.4GB, живой). Python-пакет в Python311 site-packages, `from camoufox.sync_api import Camoufox` — OK.
+- **SkeletonUILock-питфолл**: после taskkill camoufox.exe остаётся lock-файл `%LOCALAPPDATA%\camoufox\camoufox\SkeletonUILock-*` → следующий запуск виснет. Лечить: `taskkill /F /IM camoufox.exe && taskkill /F /IM plugin-container.exe` → `rm -f .../SkeletonUILock-*` → запуск. Если lock «Device or resource busy» — процесс ещё жив, не трогать.
+- Прокси: `Camoufox(headless=True, proxy={"server":..., "username":..., "password":...}, geoip=True)` — geoip требует `pip install camoufox[geoip]`.
+
+## YesCaptcha FunCaptcha: точные требования (проверено live, сессии 2+3)
+
+- `type: "FunCaptchaTaskProxyless"` (строчная l) — БЕЗ proxy-полей вообще (пустые proxyAddress/proxyPort → `ERROR_REQUIRED_FIELDS`). НО для gitlab-arkose proxyless-задача создаётся, а на getTaskResult стабильно `ERROR_PROXY_MISSING` — **GitLab Arkose требует прокси-режим**.
+- `type: "FunCaptchaTask"` — обязательны реальные proxyAddress/proxyPort + `userAgent`. Фри DC-прокси их воркеры не принимают (ERROR_PROXY_MISSING/PROXY_READ_TIMEOUT на поллинге) — нужен стабильный резидентский.
+- `FunCaptchaTaskProxyLess` (capital L) НЕ существует → `ERROR_TASK_NOT_SUPPORTED`.
+- Поля task: `websiteURL`, `websitePublicKey`, `funcaptchaApiJSSubdomain` (`https://gitlab-api.arkoselabs.com`), `userAgent`.
+- Polling хрупкий: `getTaskResult` периодически `ERROR_PROXY_READ_TIMEOUT`/`ERROR_PROXY_MISSING` на живой задаче — retry-обёртка обязательна (errorCode с PROXY/TIMEOUT = retryable). Timeout 300с+, poll 6-8с.
+- Ключ: `C:/Users/User/Desktop/_PROJECTS/авторег проект/.env` → `YESCAPTCHA_KEY`, баланс был 10464.
+- 2captcha ключ `CAPTCHA_KEY...` — баланс ~0, НЕ использовать.
+
+## GitLab signup email-путь: механика Arkose (live debug)
+
+1. Первая загрузка: видимой капчи нет (кнопка «Continue»). reCAPTCHA sitekey в `gon.recaptcha_sitekey` = `6LfAERQTAAAAAL4GYSiAMGLbcLyUIBSfPrDNJgeC` — но фактически не используется.
+2. После submit: «Complete verification to sign up» + **Arkose FunCaptcha**.
+3. Arkose pubkey: **`12D76D4C-5EDF-4EB4-A84D-042C497A9610`** (стабильный). Извлечение: regex `arkoselabs\.com/v2/([0-9A-Fa-f-]{36})` по page.content() (window.arkoseEnforcement и data-атрибуты = null).
+4. Токен → hidden input `name="arkose_labs_token"` (+ dispatchEvent input/change) → повторный submit.
+5. **БЛОКЕР**: confirmation email не приходит (gmail +alias 8 проб, tempmail.lol — тоже; Inbox+Spam). Гипотезы: ресабмит не принимается, GitLab банит alias/disposable домены, детекция. t-online пул не тестировался.
+
+## Gmail-алиасы: матчинг писем
+
+- **Gmail вырезает `+alias` из To/Delivered-To** при доставке — матчинг по алиасу в заголовках невозможен. `gmail_alias.py` матчит по subject keywords (confirm/verify/welcome) + Date > created_at — работает корректно.
+
+## Прокси-слой (проверено батчами 40-50)
+
+- **Фри-прокси доходят до ipify, но НЕ до gitlab.com** (1/50). Чекать сразу по цели: `_CHECK_URL = "https://gitlab.com/users/sign_in"`.
+- Geonode API лучший фри-источник: `https://proxylist.geonode.com/api/proxy-list?limit=60&page=1&sort_by=lastChecked&sort_type=desc&protocols=http` (JSON pre-checked, country=US). Yield 2-5 живых из 50. ThreadPoolExecutor(24) для валидации.
+- Ретраи воркера: 6 проксей на аккаунт при `net::ERR_*`.
+- httpx 0.28: `proxy=` только в конструкторе `Client(proxy=...)`, не в `.get()`.
+- curl через bpproxy residential к gitlab = 403 (Cloudflare режет голый HTTP по TLS-фингерпринту) — это НЕ значит что прокси мёртв; проверка прокси curl-ом годится только для ip-api/ipify.
+- ZTE farm proxy надёжнее фри-пула, но модем часто disconnected — проверять `curl --proxy http://192.168.0.4:8080 https://api.ipify.org` перед прогоном.
+
+## bpproxy residential для GitLab (сессии 3-4)
+
+- Рабочий прокси добыт через TG-бота (см. skill `bpproxy` — **бот перешёл на inline-кнопки, текстовые команды игнорируются**): T-Mobile Puerto Rico residential, ip-api OK. curl к gitlab = 403 (см. выше — норма для curl).
+- Навигация бота (кнопки): `/start` → «📚 Открыть меню» → «🏘️ Residential» → (опц. «Сессия» для hardsession) → «📄 Получить прокси». Ответ — прокси в backticks с кнопками «🔀 Сменить IP»/«❌ Закрыть».
+- Пул-файл: `C:/Users/User/tmp/bpproxies_fresh.txt`, генератор v2: `C:/Users/User/tmp/mass_bp2.py` (click_by_text по msg.buttons). Большинство TG-акков дают «Доступный трафик: 0.13 GB» или 0 — yield низкий (~1 прокси на 10+ сессий), бонус новым аккам похоже отменён. Сессии: `Desktop/CLEAN_ALIVE_SESSIONS/*.session` (143 шт), Telethon API 2040/[REDACTED-KEY].
+- Бот иногда отвечает «No user has "bpproxy_bot" as username» на некоторых акках — пропускать сессию.
+
+## SMS-звено: 2nd-no.com — ЗАКРЫТО (сессия 5)
+
+Сервис «2nd» из поста Влада = **2nd-no.com**. Полный автомат в `providers/secondno.py`:
+- Класс `SecondNo`: `register()` (tempmail.lol), `login()`, `get_number()` (API id:310→turnstile→id:301), `read_sms()`/`wait_otp()` (id:415).
+- `full_cycle(count)` — N аккаунтов с номерами; состояние `tmp/glar_stage/2ndno_state.json`.
+- **API-путь вместо UI-модала**: кнопка модала disabled пока невидимый turnstile не ответит; sitekey `0x4AAAAAAAh6YYTPTzEcN3Ep` из JS-бандла, токен передаётся в `response_key` запроса reserveNumber. `x-auth-token` из `sessionStorage["2NR-TOKEN"]`.
+- 3 номера/акк, номер живёт 3 дня (продлевается при SMS). Для GitLab phone-verify: `get_number()` → `+48...` в форму → `wait_otp()`.
+- Полный playbook + API-карта 109 действий: skill `sms-verification-automation` → `references/2nd-no-free-polish-numbers.md`.
+- (snd.com NXDOMAIN, snd.app паркинг, snd.im корейский блог — не путать.)
+
+`SMS_PROVIDER=manual` (legacy fallback): на phone-шаге пайплайн пишет в otp_queue и ждёт `db.wait_otp(600)`. Оператор: `GET /pending` → `POST /solve {"queue_id":N,"answer":"..."}`.
+
+## Состав файлов
+
+```
+gitlab-autoreg/
+├── app.py              # :8100 — /health /register /register_oauth /sms-number /sms-state /accounts /pending /solve /tokens /proxies
+├── pipeline.py         # email-signup путь: signup → arkose → email verify → trial → phone → PAT
+├── oauth_pipeline.py   # GitHub OAuth путь (chromium): gh login+TOTP → gitlab signup → Continue with GitHub → Authorize → PAT
+├── camoufox_oauth.py   # то же через Camoufox + residential proxy (обход CF — в работе)
+├── config.py / db.py   # env-конфиг (EMAIL_PROVIDER=gmail default), SQLite accounts+otp_queue
+└── providers/          # captcha.py (YesCaptcha FunCaptcha+Turnstile+Manual), secondno.py (2nd-no автомат), gmail_alias.py, email_providers.py, sms_providers.py, proxy_providers.py
+```
+
+Запуск: `cd C:/Users/User/Desktop/gitlab-autoreg && PYTHONPATH="" C:/Users/User/AppData/Local/Programs/Python/Python311/python.exe app.py`
+
+## Duo trial контекст (зачем всё)
+
+GitLab Ultimate trial → Duo CLI. Эксплойт из поста: первый промпт ОБЯЗАТЕЛЬНО `duo run --log-level error --goal "Привет"` в терминале, потом `glab duo cli` даёт безлимит (Fable 5.1/Astra 6, линейка Claude/GPT). Ротация каждый час: `glab auth logout --hostname gitlab.com` → `glab auth login` → новый PAT. Trial = Duo Agent Platform + 24 credits/user. PAT: `/-/user_settings/personal_access_tokens`, scope api. Акки сносят за 30-60 мин — только прокси/VPN.
+
+## Что доделать (приоритет сессии 7)
+
+1. Масштабирование пула: card-IDV жжёт карты и ~25% банов → починить 2nd-no phone-путь (свежая register() + валидный tempmail confirmation link) как основной IDV-метод.
+2. Стабильность fill на kimi-k3/duo-default (group-fallback уже есть, но часть запросов всё равно timeout'ит) — ретраи с ротацией акка на уровне server.py.
+3. Auto-регистрация новых акков в пул по мере выгорания (reg_pipeline → card_verify4 → duo.db insert → gateway hot-reload) одной cron-цепочкой.
+4. Phone-verify GitLab через `SecondNo` (wait_otp) — если trial потребует телефон.