Как собран каталог

Прогон — знак качества, а не пропуск в каталог. В каталоге у скилла один из трёх уровней проверки:

• код разобран — автоматический разбор на закреплённом коммите: SKILL.md по спецификации, лицензия, запуск команд, сеть, пути вне папки, скрытые символы. Разбор ищет по шаблонам и безопасность не доказывает;
• поставили с нуля — поставили в чистую папку и свежую сессию, агент подхватил скилл;
• прогнан — полный прогон по шагам ниже.

Как скилл попадает в каталог

Отбираем руками. Берём то, чем пользуемся сами, или то, что выбрали вручную из нескольких похожих. Массового импорта нет, каждую карточку смотрит человек. У принятого скилла закрепляем коммит: агент по промпту с сайта и ручная установка ставят ровно его, а npx skills add и плагин — последнюю версию автора.

Что разбор кода ищет

Запускает ли команды оболочки. Есть ли в коде сетевые адреса. Есть ли пути к домашней и системным папкам. Нет ли невидимых символов. Соответствует ли SKILL.md спецификации Agent Skills. Разбор ищет по шаблонам и безопасность не доказывает.

Прогон — следующий шаг

Прогонов пока не было. Когда появятся, на карточке будет вердикт и оба выхода — со скиллом и без.

Один прогон проверяет одну версию скилла (коммит) на одной версии агента. Новая версия — новый прогон, старые остаются в истории карточки и помечаются «прогнан на прошлой версии».

1. Ставим с нуля. Пустая папка, свежая сессия агента, команда установки из карточки. Если она не сработала как написано, дальше не идём.
2. Готовим входы. Две-три обычные задачи, ради которых скилл и ставят, и один плохой вход: битый файл, пустой ввод, чужой язык, задача не по профилю. Входы — свои материалы или открытые, потому что выходы публикуются.
3. Гоняем дважды. Тот же агент, та же модель, те же входы: один раз со скиллом, один раз без него. Без второго прогона нельзя сказать, что работу сделал скилл, а не модель.
4. Слепой критик. Отдельный агент получает два выхода без пометок и выбирает лучший или ничью. Ему не говорят, где скилл.
5. Смотрим, что скилл делает с машиной. Запускает ли скрипты, куда ходит в сеть, что пишет на диск. Читаем код, а не описание.
6. Ставим вердикт.

Вердикты

• Бери — со скиллом заметно лучше, плохой вход не ломает работу.
• Бери с оговорками — лучше, но есть условия: узкий профиль, ручная донастройка, тяжёлые зависимости. Оговорка пишется в итоге прогона.
• Не бери — со скиллом хуже, чем без него, работа ломается на плохом входе или скилл делает с машиной то, чего не обещал.
• Не нужен — агент без скилла справляется так же. Самый частый вердикт у скиллов, которые пересказывают модели то, что она и так умеет.

Что не проверяем

Скорость на чужом железе и поведение на других моделях. Прогон говорит про указанные в нём агента и модель, и больше ни про что.