20/10/2008 - 16:04 [ ]Принципы написания обзоров и методика тестирования


Через наши руки проходят практически все комплектующие класса hi-end, появляющиеся на рынке. Увы, два человека (ALT-F13 и LaikrodiZ) физически неспособны описать каждый из них в обзоре. Поэтому на сайте появляются лишь избранные описания того железа, которое нас впечатлило больше всего или же является эксклюзивом. Так что не стоит удивляться, что у нас практически отсутствуют нейтральные или негативные обзоры - сам факт публикации статьи на нашем сайте говорит о высоких потребительских свойствах описываемого продукта.

Тематика обзоров не ограничивается какими-либо рамками, мы публикуем отчеты о тестировании любых комплектующих, которые представляют интерес для энтузиастов. Так сложилось исторически, что это, в первую очередь, видеокарты.

Еще один принцип относится к методике тестирования. Если это не сводный обзор нескольких устройств или речь не идет об эксклюзивном продукте, чья производительность неизвестна широким массам, то, на наш взгляд, собственно подробное описание продукта и личного впечатления автора обзора значительно ценнее сухих цифр тестов. Тем более, что в большинстве случаев расклад по тестам известен заранее. Мы практикуем "субъективистский" подход к написанию обзоров, уделяя больше внимания именно личным впечатлениям от работы с устройством и приводя только необходимый набор тестов.

Методика тестирования предполагает возможность легкого сравнения читателями наших результатов со своими. Поэтому мы используем лишь распространенные тесты, чьи специфические особенности давно изучены и накоплена большая база статистической информации.

У нас существует своеобразный культ 3DMark 2001. Дело в том, что это единственный тест, по результатам которого можно сделать адекватные выводы о производительности всех основных устройств (процессор, оперативная память, материнская плата и видеокарта), причем как в совокупности всей системы, так и отдельно каждого компонента. Мы долгое время постоянно работаем с этим тестом, устанавливая в нем рекорды производительности, поэтому каждый кадр теста изучен до малейших подробностей за многие тысячи проходов бенчмарка. Так что именно 3DMark 2001 SE является для ModLabs.net профилирующим тестом при оценке производительности комплектующих. Но на нем, конечно, список не заканчивается. Ниже приводится перечисление используемых тестов на февраль 2004. При внесении изменений в методику, соответствующие изменения будут сделаны и в этом тексте.

Пакет оценки процессоров составляют:
3DMark 2001 SE. Особое внимание уделяется тесту Car Chase Hi, как чисто процессорному тесту.
3DMark03, build 340, CPU Score. На итоговый результат основного теста процессор вообще влияет слабо.
Aquamark 3, общий результат и CPU Score.
Hexus PiFast. Прекрасный тест вычислительной производительности, дает адекватный прирост в разных режимах работы.
SiSoft Sandra Arithmetic benchmark и Multimedia benchmark.
Return to Castle Wolfenstein: Enemy Territory, battery timedemo и X2 - The Threat benchmark. "Игровые" тесты OpenGL и DirectX 9, демонстрирующие положение вещей в реальных приложениях.
Final Fantasy XI benchmark, high - опциональный тест.

Для подсистемы памяти (обзоры материнских плат и оперативной памяти) применяются:
3DMark 2001 SE. Отдельно приводятся результаты Lobby Low и (особенно) Lobby Hi - это тесты, зависящие в основном от скорости памяти.
PCMark 2002, memory score. Тест всей подсистемы памяти - кэш, оперативная память и даже видеопамять. Выдаваемые результаты специфичны, но достаточно легко сравнимы.
Hexus PiFast. Тест хорошо реагирует на изменение пропускной способности памяти и разные контроллеры (т.е. смену чипсетов).
SiSoft Sandra Memory benchmark, buffered и unbuffered score - единственный легкодоступный тест пропускной способности памяти. Очень далек от идеала (вроде CacheBurst), зато популярен. Результат unbuffered в бОльшей степени влияет на реальную производительность.
Return to Castle Wolfenstein: Enemy Territory, battery timedemo. Опциональный тест реальным приложением.

Набор тестов видеокарт:
3DMark 2001 SE. Куда же без него! Отдельно приводятся результаты Dragothic и особенно Nature, зависящих от видеокарты.
3DMark03, build 340. Спасибо производителям, они показали, что этому тесту доверять можно с трудом и только пытаясь оценить степень оптимизации того или иного драйвера. Однако, он остается "стандартом индустрии".
Aquamark 3, общий результат и GFX Score. Более надежный тест для DirectX 9, к тому же основанный на реальном продукте.
Return to Castle Wolfenstein: Enemy Territory, battery timedemo и X2 - The Threat benchmark. "Игровые" тесты OpenGL и DirectX 9, демонстрирующие положение вещей в реальных приложениях.
Final Fantasy XI benchmark, high quality. Применяется опционально, хотя, несомненно, что-то демонстрирует;)

Точные конфигурации тестовых стендов указываются в каждом обзоре, но общий принцип подбора комплектующих - отсутствие слабых мест и "бутылочных горлышек" в системе. Таким образом влияние остальных компонентов на результат, по возможности, минимизируется.

На сегодня основная тестовая платформа ModLabs.net выглядит следующим образом:
  • Intel Pentium 4 Extreme Edition 3.20GHz
  • ASUS P4C800-E Deluxe
  • 2x 256Mb Kingston HyperX KHX3500/256 на чипах BH-5
  • Sapphire Atlantis Radeon 9800XT
  • Western Digital WD800BB
  • Antec TrueControl 550W
  • nVENTIV Mach II


Как было отмечено в начале, сам факт публикации обзора означает высокий уровень тестируемого устройства. Но по итогам тестирования обозреваемому продукту может быть присвоена награда "ModLabs.net Certified Hardcore", которая вручается безоговорочно лучшему или просто уникальному продукту в своем классе.

Данный документ будет обновляться при внесении изменений в методику тестирования. А высказать свои предложения/критику можно по адресу, указанному ниже.