Питер Лоури (Peter Lawrey) продемонстрировал возможности использования ИИ (Codex/GPT-5.5) в роли «пробного разработчика» для проведения низкоуровневого тестирования управления памятью в Java. Эксперимент показал, что модели способны создавать специализированные бенчмарки для закрытых библиотек, опираясь исключительно на доступную документацию.
Что произошло
С помощью ИИ был разработан бенчмарк JLBH для закрытой библиотеки Chronicle-FIX. Тестирование позволило оценить влияние различных сборщиков мусора (Garbage Collectors) на задержку round-trip сообщений (W→D и D→8). В ходе тестов была зафиксирована пропускная способность в 50 000 сообщений в секунду для рыночных данных объемом около 512 байт и сигналов новых ордеров объемом около 160 байт.
Контекст
Кейс демонстрирует потенциал LLM в автоматизации QA в узких нишах, таких как высокочастотный трейдинг (high-frequency trading) или системы с низкой задержкой (low-latency messaging), где документация часто является единственным источником знаний о проприетарном ПО.
Почему это важно для индустрии
Для индустрии это открывает возможности использования ИИ как «свежего взгляда» для выявления недостатков в API и документации, так как у модели отсутствуют предубеждения опытного разработчика. Это позволяет автоматизировать тестирование производительности и usability даже для систем с закрытым исходным кодом.
Почему это важно для пользователей
Разработчики и инженеры по производительности могут использовать ИИ для ускоренного написания специфических низкоуровневых тестов (low-latency benchmarks), что сокращает цикл проверки систем без необходимости прямого доступа к исходному коду библиотек.
Что пока неизвестно / ограничения
Кейс на данный момент является демонстрацией концепции (PoC) и требует дальнейшей верификации воспроизводимости результатов, а также учета юридических и технических аспектов внедрения ИИ в критически важные процессы.
Источники
Автор
Look at AI, редакция