3.5 · 1Что во вкладке

Вкладка = сцена, если проект разложен по сценам (YTCH спринт 3: 01_Drive_To_Abramovo; русское название вкладки задано в common.py → SCENE_RU, латинское имя папки — под заголовком), или съёмочная папка, если сцен нет (YTFP, YTCH спринты 1–2, Video_Light; ветка выбирается флагом flat в реестре). Сверху паспорт вкладки, дальше клипы подряд.

Вкладки — режим Pageless, каждой назначается отдельно. Сводная вкладка держит таблицу папок и таблицу голосов; номер папки в ней ведёт прямо на её вкладку.

Документ на выпуск, а не на канал. Речи YTCH 1,32 млн символов — в один документ (лимит 1 020 000) не влезает и по смыслу не нужно; самый крупный, YTCH10, — 294 тысячи. Каждый документ заводится сразу в папке своего проекта на Shared Drive: папку в Shared Drive задним числом не перенести. Ссылки на документы — в Content List канала, колонка D «Doc» (s9_sheet_links.py).

3.5 · 2Сквозные голоса

Главное, ради чего этап вообще нужен в таком виде. Поклиповая диаризация знает только «в этом клипе говорили трое»: её SPEAKER_00 в пятой папке и SPEAKER_00 в шестой — разные люди. Читать такое нельзя.

1. pyannote по каждому клипу отдаёт турны и центроид-эмбеддинг на говорящего. На MPS — около 23× реального времени: 13 часов звука разбираются за полчаса.
2. Центроиды всех клипов кластеризуются глобально, в одном пространстве. Узлов сотни, а не десятки тысяч, — двухступенчатость и делает задачу подъёмной.
3. Имена. Интервьюер — кластер, звучащий в наибольшем числе сцен. Герой группы сцен — самый говорливый в ней кластер, кроме интервьюера. Второстепенным голосам роль выбирает локальная LLM из закрытого списка (s3c, Qwen3-8B).
4. Кластеризация — по всем проектам канала одним прогоном. Сквозь канал идут одни и те же люди; посчитай по спринтам раздельно — и каждый получит в каждом документе своё имя. YTCH: порог 0,38 (потолок без ошибок 0,40), 202 голоса, ошибочных совпадений ноль; Роман — во всех четырнадцати выпусках, куратор фонда — в шести.

Разметку дают сами имена сцен: 11_Curator_Gulya, 08_Curator_Gulya_New_Family, 05_Curator_Gulya_About_Tutorship — один голос в пяти разных днях, комнатах и микрофонах (группы — s3b_cluster.py → GROUPS и SOLO). На YTFP разметкой были герои, снятые в двух папках: 5 из 5 склеены, ноль ложных совпадений, без имени осталось 0,2 % текста. Побочная польза: видно, что мама героя говорит на занятии у логопеда, а голос логопеда звучит в домашнем архиве, — материал связывается между папками сам.

3.5 · 3Кадры превью

Шесть кадров, снятых равномерно по клипу, в сетке 3×2 на тёмной подложке, с таймкодом на каждом. У коротких клипов кадров меньше — сетка перестраивается, чтобы не было дыр. Источник — локальный оригинал, а для папок, которых нет на дисках, скачанный прокси: ещё одна причина делать этот этап после прокси, а не до.

Кадры по сети — когда видео локально нет вовсе (YTCH спринты 1–2, только Drive). Прокси собраны faststart (moov в начале), поэтому ffmpeg долистывает range-запросом до нужной секунды и читает один GOP вместо файла: шесть кадров с гигабайтного 4K HEVC — 22,8 с против 105 с на скачивание целиком; 207 контактных листов — 15 минут и 0 ГБ на диске. Платим за round-trip, а не за размер файла. Обвязка — netframes.py (rclone serve http + range-seek).

⚠️ Ноутбук ходит в Drive через VPN и упирается в 9,5 МБ/с при любом --transfers — считать выгрузку по этой цифре, а не по числу потоков.

⚠️ Таймкод выжжен в кадр, и VLM иногда описывает его, а не сцену («время отображено»). Такие хвосты вычищаются фильтром.

3.5 · 4Конвейер

Каждый шаг идемпотентный и резюмируемый: повторный запуск подхватывает работу с места обрыва. Оркестратор run_all.py после каждого этапа спрашивает гейт — не набран объём → повтор до трёх раз с растущей паузой; статусы в Telegram, подробности в logs/. Присмотр раз в 10 минут поднимает упавший прогон.

cd ~/YTAI/scripts/999_extra/ytch_transcript_doc     # YTFP — ytfp_transcript_doc, те же команды
python3 run_all.py                  # весь конвейер
python3 run_all.py --from s4        # с этапа и дальше
python3 run_all.py --only s6        # один этап
python3 s6_build_doc.py YTCH13      # документ одного проекта
nohup ./supervisor.sh > logs/supervisor.log 2>&1 &
python3 verify.py                   # приёмка по самим документам

⚠️ work/ живёт на внутреннем диске и не чистится — там резюмируемость: одних wav16 набирается 2,2 ГБ и столько же кадров.

3.5 · 5Грабли

• Docs правит документ по месту. Всё строится снизу вверх: элемент вставляется в index 1 и оказывается над предыдущим. Ячейки таблицы заполняются от последней к первой.
• Геометрия таблицы. Вставка в index I даёт таблицу с T = I + 1; пустая ячейка (r, c) лежит по адресу T + 3 + r·(1 + 2C) + 2c.
• namedStyleType сбрасывает оформление текста — назначать его надо ДО кегля и цвета. А новый абзац наследует стиль соседа, поэтому обычному тексту NORMAL_TEXT ставится явно.
• insertTable заводит перед таблицей пустой абзац, и тот тоже наследует стиль заголовка. Пустых заголовков набирается по одному на таблицу — навигация превращается в кашу.
• Список вкладок приходит только при includeTabsContent=true. Снимок тяжёлый — берётся редко.
• ⚠️ Два сборщика в один документ = стёртая вкладка. Один чистит, пока второй пишет по старым индексам, и содержимое исчезает без ошибки. Сборщик обязан брать замок; присмотр перед ручным запуском — гасить.
• Лимит документа — 1 020 000 символов. 13 часов речи это 655 тысяч; канал YTCH (1,32 млн) в один документ уже не влез — отсюда документ на выпуск.
• files.get на Shared Drive даёт 404 без supportsAllDrives=true — легко принять за битую ссылку.
• Автоимена по обращениям врут — см. §2: приписать голосу чужое имя хуже, чем оставить номер.

3.5 · 6Приёмка

Гейт читает сам документ и сверяет с индексом материала: у каждой вкладки столько же заголовков клипов, сколько клипов; таблиц столько, сколько клипов с речью; картинок не меньше; у каждой вкладки Pageless; имя каждого клипа встречается в тексте. Именно так поймались пустые заголовки перед таблицами и стёртая вкладка — по журналам оба раза всё выглядело «готово».

3.5 · 7Где лежит