Есть ли недостатки у двойного слепого тестирования аудио-компонентов? Почему быстрые перетыкания — это путь в никуда.

В этой статье я расскажу, как правильно сравнить два аудиофайла и выяснить, слышите ли вы между ними разницу. Речь пойдет об ABX тесте — разновидности слепого метода тестирования, когда испытуемый не знает, какой из сравниваемых файлов звучит в данный момент и должен определить это исключительно на слух по определённым правилам. При помощи данной методики можно получить ответы на вопросы типа «слышу ли лично я разницу между MP3 и FLAC и, если да, то при каких условиях» или «какова верхняя граница моего слухового диапазона». Ну и на другие подобные, всё зависит только от вашей фантазии и любознательности. Ответы будут точны ровно настолько, насколько аккуратны и терпеливы вы будете при проведении тестирований.

У кого-то может возникнуть вопрос — а зачем вообще нужны все эти «слепые» заморочки, почему нельзя сравнить файлы, просто слушая их попеременно в проигрывателе? Дело в том, что при обычном, «зрячем» сравнении возникает для многих неочевидная, но очень существенная проблема. Наши органы чувств не являются точными и беспристрастными приборами. Скорее, наоборот, являются очень неточными и пристрастными. Субъективные факторы часто вносят значительные искажения в восприятие и трактовку информации мозгом. Как известно из опыта общения с аудиофилами, шильдики с брендами, ценники или внешний вид устройств часто определяют результаты их «зрячего» сравнения в большей степени, чем непосредственно звучание этих устройств. В медицине это называют «эффектом плацебо», а в быту — самовнушением и предвзятостью. С аудиоформатами, режимами работы кодеров, битрейтами и прочим ситуация ничуть не лучше, чем с «железом». Соответственно, если мы хотим получить более или менее объективные результаты сравнительных тестов всего этого дела, наша главная задача — снизить влияние субъективных факторов настолько, насколько это возможно, в идеале до нуля. Именно поэтому правильное сравнение аудиофайлов просто обязано быть слепым.

Данный материал я адресую аудиоэнтузиастам. Проведу жирную черту между терминами «аудиоэнтузиаст» и «аудиофил», это важно.

Аудиоэнтузиаст — человек, увлечением которого является хороший звук и всё, что необходимо для получения оного: проигрыватели, звуковые карты, ЦАПы, усилители, акустика, программное обеспечение. Такой человек смотрит на своё хобби трезво, принимая решения в целом осознанно и рационально.

Аудиофил на первый взгляд похож на аудиоэнтузиаста, но его принципиальным отличием является религиозный тип мышления и соответствующий подход к делу. Философия аудиофила строится на догмах, и сама мысль подвергнуть эти догмы сомнению хотя бы ради интереса кажется аудиофилу крамолой. Ответной реакцией такого человека на призывы к проверке фактов и приведению доказательств будет в лучшем случае безразличие, а часто — агрессия по отношению к собеседнику. «Зачем мне ваши дурацкие слепые тесты, я и без них всё прекрасно слышу!» — вот типичный непробиваемый аудиофильский ответ на аргументы оппонента.

Как уже было сказано выше, ориентируюсь я именно на аудиоэнтузиастов, аудиофилам же советую не тратить время на дальнейшее чтение.

Подготовка

Для проведения тестирования необходимо следующее:

1. Более или менее качественные звуковая карта и наушники. Идеально, если в вашей звуковой карте есть встроенный усилитель для наушников. Если такового в карте нет, настоятельно рекомендую воспользоваться внешним усилителем, хоть даже «ушным» выходом обычного интегральника или ресивера. Вместо наушников можно использовать и приличные АС, но для отлавливания мелких деталей в звучании наушники подходят лучше. Как было точно подмечено кем-то, в хороших наушниках «звук как под микроскопом».
2. Компьютер с ОС Windows, плеер foobar2000 и плагин ABX Comparator к нему. Плагин нужно установить в foobar через меню File > Preferences > Components > Install.
3. Пара тестовых аудиофайлов. В реальных тестированиях используется одна музыкальная композиция, но по-разному обработанная — например, один файл в MP3-формате, другой во FLAC. Но в нашем случае, чтобы быстро понять, как всё работает, возьмём два разных трека, которые при всём желании невозможно спутать друг с другом. Пусть это будет комбинация из творчества Rammstein и Аллы Пугачевой.

Интересные факты

В качестве примера того, как субъективные факторы могут привести к ложной интерпретации эксперимента, можно привести историю с открытием т. н. «N-лучей (англ.)русск.», о котором в 1903 году объявил французский физик Р. Блондло. N-лучи, по его словам, усиливали способность глаз видеть слабоосвещённые предметы. Он заявил также, что сконструировал спектроскоп для N-лучей, в котором использовалась алюминиевая призма. Позже другой физик, Роберт Вуд, посетил лабораторию Блондло. Блондло, демонстрируя свои опыты Вуду, утверждал, что наблюдает на себе действие лучей, хотя Вуд перед экспериментом незаметно вынул из спектроскопа алюминиевую призму.[2]

Прохождение тестирования

Создаём в foobar новый плейлист, добавляем в него наши тестовые композиции. Имена их файлов должны быть такими, чтобы визуально было понятно, что есть что. В нашем случае это не столь важно, так как треки на слух абсолютно разные, однако, при реальном тестировании возможность быстрой идентификации файла по имени будет полезной.

Выделяем обе композиции и кликаем по ним правой кнопкой мыши. В контекстном меню выбираем Utilities > ABX tracks:

В появившемся окне преднастройки теста оставляем всё по умолчанию, включая количество попыток:

Сразу скажу пару слов о том, какое количество попыток стоит выбирать при реальном тестировании. Общий принцип таков — чем больше их количество, тем статистически достовернее результаты теста. Однако, впадать в крайность, изнуряя себя сотнями попыток, не стоит, обычно достаточно 20-30-ти. При большем количестве попыток процесс имеет смысл разбить на несколько подходов с перерывами на отдых.

Жмём Ok в окне преднастройки, после чего ABX Comparator подготовит файлы и появится основное окно тестирования:

Разберём элементы управления подробно. Кнопка Play A включает проигрывание первого трека из плейлиста (в нашем примере это Rammstein), Play B — второго (Пугачёва). При проведении настоящего тестирования информацию о том, какая буква чему соответствует, полезно записать на бумажку, чтобы не путаться — например, «A — FLAC, B — MP3». Таким образом в процессе тестирования мы всегда имеем возможность прослушать каждый из сравниваемых треков «зрячим» способом, когда точно известно, какой кнопкой он включается.

Ниже идут кнопки Play X и Play Y. Собственно, X и Y — это те же A и B, которые для каждой попытки перемешиваются случайным образом. Как они перемешались, мы не знаем и должны определить это на слух. Тут может быть два варианта: X — это A, Y — это B или, наоборот, Y — это A, X — это B. Ответ даём в блоке Choice, нажав соответствующую кнопку. Перед тем, как его дать, никто не мешает нам сколько угодно раз вернуться к кнопкам Play A и Play B для прослушивания треков «зрячим» способом. После выбора ответа переходим к следующей попытке нажатием «Next trial». Данный процесс повторяется столько раз, сколько было задано попыток в окне преднастройки теста.

На словах описанное может показаться несколько запутанным, однако, когда вы перейдёте к практическим действиям, всё быстро встанет на свои места. При использовании двух совершенно разных композиций, как в нашем примере, на освоение методики вообще должно уйти не более пяти минут.

Как мы ещё раз тестировали акустические кабели (Слепое тестирование 2)

26 августа мы снова собрались в салоне «Раунд Аудио», только уже по новому его адресу, чтобы столкнуть победителя Первого слепого тестирования — кабель ПуГВ (именно те 3-метровые куски кабеля, что участвовали в первом тестировании) и в разы более дорого специализированного брендового акустического кабеля сходной длины и конструкции.

Отчёт о первом тестировании здесь:

В этот раз я постарался подойти более ответственно к организации теста и даже написал правила теста:
СпойлерТЕСТ ПРОХОДИТ НА УСЛОВИЯХ ОРГАНИЗАТОРОВ. Несогласные с условиями теста, к тесту не допускаются.
Условия теста:

1. В тестировании участвуют 2 прогретых акустических кабеля одинаковой длины и разделки, сходного сечения и конструкции и заведомо разной цены (разница как минимум в 5 раз).

2. Количество экспертов 4 считается достаточным для проведения теста. Максимальное число экспертов — 12.

3. Каждому эксперту раздаются одинаковые анкеты. В начале тестирование поясняется значение каждой графы анкеты.

4. Каждому эксперту присваивается номер, соответствующий его номеру в списке экспертов, выложенному в этой теме перед тестированием. Экспертам, не записавшимся, но приехавшим на тестирование, присваивается следующий номер по списку. ЗАПРЕЩАЕТСЯ сокрытие связи ника эксперта с его номером. Все анкеты будут подписаны номерами, соответствующими номеру эксперта. Это сделано для более ответственного подхода эксперта к тестированию и в дальнейшем для упрощения процедур фиксирования и освещения результатов.

5. Каждому кабелю присваивается цветовая маркировка, которую знает ТОЛЬКО 1 человек — Леонид (LeoNeedR), который экспертом быть не может. В момент прослушивания гарантируется, что никто из присутствующих в комнате, кроме Леонида увидеть какой кабель подключен в данный момент не может. Экспертам глаза не завязывают.

6. Розыгрыш последовательности коммутации кабелей происходит методом выбора красной или синей бумажки случайным образом из непрозрачного контейнера.В крнтенер изначально кладутся 3 красных и 3 синих бумвжки одинакового размера, температуры, текстуры и плотности. На данном этапе необходимо участие помощника, которому запрещается участие в прослушиваниях.

7. Марки кабелей знает только Леонид (LeoNeedR) и я (Алексей). Я не участвую в процессе выбора бумажек и не знаю когда какой кабель подключен. Я считаю, что знание марки кабеля в принципе, не является препятствием для моего участия в тесте, но, если поступит много возражений по этому поводу, я откажусь быть экспертом и буду только организатором.

8. В случае конфликтных ситуаций по рассадке экспертов, эксперт ОБЯЗАН сесть туда, куда укажут организаторы теста. Организаторы теста обязуются обеспечить 12 сидячих мест для экспертов в зоне прослушивания.

Прослушивание:

1. 26 августа 2020 г. 11.00 тест начинается в комнате прослушивания салона «Раунд-Аудио». После инструктажа проводится предварительное прослушивание полного набора треков для теста без перемоток. Количество треков не может быть более 8.По желанию большинства экспертов на данном этапе допускается замена треков, т.к. будет несколько «запасных» треков. Т.к. треки с тестового диска, длительность каждого около минуты. Последовательность следования треков всегда одинакова. Прослушивание проходит на штатном кабеле салона и на тех же аппаратах, на которых будет проводится тестирование. Запрещается использовать при предварительном прослушивании кабели, участвующие в данном тесте. Запрещается их показ участникам тестирования. На данный этап отводится не более 30 минут.

2. Всего производится 6 прослушиваний полного набора треков (далее — прогон). Таким образом, каждый из кабелей коммутируется в течение всего теста по 3 раза в неизвестной никому, кроме Леонида, последовательности. Допускается перемотка трека по просьбе большинства экспертов. Но таких перемоток не может быть более трёх в течение каждого прогона.

3. Продолжительность каждого прогона не должна превышать 10 минут. Между прогонами все эксперты выходят в коридор на срок не более 3 минут. В случае просьбы большинства экспертов после 3-го прогона делается перерыв на срок не более 10 минут Общение между экспертами на тему прослушанного в перерывах, также как и во время прогонов ЗАПРЕЩЕНО.

4. В течении каждого прогона эксперты заполняют графы анкеты соответствующие номеру прогона. По окончании теста, до сдачи анкет РАЗРЕШАЮТСЯ любые правки в своих анкетах, но эксперту следует позаботится об однозначном считывании результатов. Не допускается 2 оценки в одной графе одного прогона. Не ставить никакие баллы ЗАПРЕЩАЕТСЯ, т.к в результатах отражается суммарная оценка баллов. Если эксперт не знает какой балл поставить по какому-либо параметру — выставляется средний (5).

5. Каждый эксперт ставит вверху всех граф букву «Э» (электрокабель — это ни для кого не тайна ) и «Д» — дорогой, либо «?» в случае сомнений. Это добавляет к балльной системе еще один слой фактических данных.

После прослушивания:

1. Каждый эксперт пишет на обороте анкеты своё описание каждого кабеле, если у него сложилось какое-либо мнение. Можно и на обороте еще раз указать какой кабель участвовал в каждом прогоне по мнению эксперта. Допускаются финишные правки в своих анкетах. Общение между экспертами и обмен результатами теста ЗАПРЕЩАЕТСЯ. На этот этап отводится не более 5 минут. Анкеты сдаются организаторам.

2. Разрешается общение. Каждый эксперт по очереди может по желанию высказаться по тесту. Каждому отводится не более 2 минут.

3. Производится подсчет баллов и оглашение результатов. Кабель, набравший наибольшее число баллов становится победителем теста..

4. Раскрываются модели кабелей и какой цвет был у каждого.

5. Обсуждение итогов теста.

Фиксация результатов:

1. Сразу после раскрытия моделей кабелей происходит их фотографирование и замер всех параметров (см. таблицу из первого теста). Прибор будет использоваться тот же и замеры делаться теми же людьми.

2. Весь тест непрерывно записывается на звуковой рекордер на штативе. Штатив устанавливается в благоприятной точке прослушивания.

3. На любой удобной поверхности сзади усилителя устанавливается устройство видеозаписи таким образом, чтобы было видно, установленные в пределах видимости часы с актуальным временем и клеммы усилителя. Ведется непрерывная видеосъемка в течение всего теста. Разрешение и приближение должно быть достаточно, чтобы рассмотреть какой кабель подключен в каждый момент. Запись звука устройством обязательна. Устройство записи не должно обладать возможностью передачи данных в реальном времени или все такие интерфейсы должны быть перед записью отключены.

4. Каждая анкета перед сдачей организаторам фотографируется и её фото, до сдачи организаторам, отсылается каждому соответствующему эксперту любым удобным для него способом. После оглашения результатов анкеты сдаются Алексею для подготовки отчета по тесту и перепроверки результатов. Фото любой анкеты может быть выслано по запросу.

5. Ведется выборочная видео и фотосъемка.

6. В течение двух суток после теста, независимо от его результатов, должен выйти подробный отчет со всеми материалами теста.

7. Организаторы теста не аффилированы ни с одним производителем кабелей, участвующих в тесте.

___________________________________________________________________________________ Москва, БЦ «Агат», Б.Семеновская ул, дом № 40, стр. 1, офис 208 (м. «Электрозаводская»)

Тест прошёл в соответствии с правилами, за исключением небольших, как я считаю, непринципиальных отступлений. Количество участников, заполнивших анкеты — 6. Плюс 2 помощника, не заполнявших анкеты, но следившие за чистотой эксперимента со всей тщательностью. Получены, как я считаю, однозначные и логичные результаты. К сожалению, все мои репортажные видео записались без звука, поэтому в конце теста только небольшое видео, где звук был некритичен.

В 11 все были на месте, почти полтора часа решали организационные вопросы, выбирали треки для теста, расставляли аппаратуру, привыкали к звуку системы со штатными проводами.

Вид система имеет такой:

Аппаратура та же, что и на первом тесте, но усилитель другой. Бюджетный (ок. 400 долларов) Marantz.

1. Источник — цифровой, компьютер Toshiba Satellite X200-252 2. Предусилитель/ЦАП — ASUS Essence III. 3. Усилитель мощности — Marantz.PM 4200 мощность 30 Вт на канал, 8 Ом 4. Акустические системы Round Audio FR12 Mk III.

Что касается «живой силы», то в этот раз состав участников был более опытным, чем в первом тесте. Из первого теста повторно участвовал только я. Присутствовал разработчик усилителей, многие в курсе звучания множества разных видов техники и их сочетаний.

Итак, кому лень было читать все правила выше: был сооружен непрозрачный экран из ткани, не позволяющий увидеть какой кабель подключен в каждый момент. Экран видно на фото выше. 6 экспертов заняли свои места каждый на своём кресле от первого к шестому подряд слева-направо, если смотреть стоя спиной к колонкам (если быть совсем точным, то я по ошибке пронумеровал свою анкету 3 вместо 2 и рассадка была такая: 1-3-2-4-5-6). Считаю, что для самых крайних кресел условия для оценки некоторых параметров, например стереопанорамы, были неоптимальными. Каждому эксперту были розданы анкеты в количестве равном количеству прогонов. В каждом прогоне звучало 10, предварительно отобранных всеми вместе, треков. В итоге, состав треков на 90% совпал с треками из первого теста. Анкеты имели такой же вид.

Был проведен инструктаж с объяснением значения каждого пункта анкеты. Видео инструктажа сходно с видео инструктажа из первого теста, выложу его здесь снова, т.к. видео из данного теста записалось без звука.

Сзади усилителя был установлен телефон, записывающий вид на клеммы на протяжении всего теста. Wi-fi был отключен. На стойке был установлен рекордер, ведущий запись на протяжении всего теста. Леонид вместе с помощником разыгрывал последовательность следования кабелей вытаскиванием бумажки либо красного, либо зеленого цвета из непрозрачного контейнера. Бумажек разных цветов было равное количество. Каждый розыгрыш происходил перед очередным прогоном и эксперты выходили в это время из помещения. Каждый перерыв между прогонами длился 7-10 минут. Во время перерыва Леднид с помощниками не выходили из помещения, производили (или нет) коммутацию кабелей, но, в любом случае. выставляли уровень по шумомеру.

После первого прогона произошло ужесточение правил. Изначально не подразумевалось сдавать анкеты после каждого прогона. Но решили единогласно — сдавать. Лично мне было психологически трудно ставить оценки почти по всем параметрам первого прогона на очень низком уровне (почти все 2 из возможных 10), т.к. когда большинство участников слушало систему с её штатными кабелями и имело хоть какую-то реперную точку, я носился по организаторским вопросам. Я представлял, что же будет, если 2й прогон мне понравится ещё меньше и какие мне оценки ставить, первую-то анкету я уже сдал. Но всё получилось на удивление замечательно. Если на первом прогоне был неинтересный, резковатый, плоский звук, то во втором звук был мягче, комфортнее, позиционирование улучшилось, его было интересно слушать.

После второго прогона произошло 2е отступление от правил. Прогонов решили сделать 4, а не 6. Решение было принято единогласно. Это связано с тем, что, как я понял (озвучено это не было никем), разница четко отлавливается. Также стало понятно, что треки мы не перематываем и каждый прогон занимает минут 20+перерыв, тест слишком бы затянулся без особых преимуществ для получения результатов. 6 прогонов могли бы даже сказаться отрицательно. Уже на 4м прогоне я и остальные явно утомились, т.к. просто слушать это одно, а заполнять анкеты по каждому параметру, чувствуя ответственность — это другое. Следует учесть, что вполне могло быть что 2 раза подряд будет идти один и тот же кабель, а эксперт посчитает их разными, это было бы обидно и вносило дополнительную нервозность.

На 3м прогоне я не выявил отличий от 2го прогона и заполнил анкету почти так же. 4й прогон был самым сложным. Я вдруг стал сомневаться. Но все же последний трек мне помог понять окончательно что к чему и я посчитал что в 4м прогоне ПуГВ.

После первого прогона я уточнил что можно ставить пометки, какой кабель в каком прогоне был («Э» — для электро ПуГВ и «Д» — дорогой). Я сделал такие пометки: 1 и 4 «Э», 2 и 3 «Д». К сожалению, никто больше не воспользовался такой возможностью.

Надо отметить, что в этот раз правилу необсуждению результатов после каждого прогона все следовали неукоснительно и влияния друг на друга эксперты не оказывали. После теста было время написать комментарии в свободной форме на обороте последней анкеты. Этой возможностью некоторые воспользовались. Я написал:

«1й прогон уверен ПуГВ, 2й уверен дорогой, 3й уверен снова дорогой, 4й ПуГВ. ПуГВ — резкий, плоский звук. Слушать неинтересно».

Другие участники:

«Разница есть, но не кардинальная».

«Понравились 2й и 4й варианты»

«Могу ошибаться, но на мой взгляд 1й кабель был в 1м и 3м прогонах, 2й во 2 и 4. 2й играет ярче и мне нравится больше».

После сдачи последней анкеты были подсчитаны баллы, а, пока их считали, было время впервые в открытую сказать кто что услышал. Этой возможностью воспользовался я и сказал приблизительно то же, что и написал на обороте анкеты. Дополнительно отметил, что разница между 1м и 2м прогонам была более ощутимой, чем между 3м и 4м и что в течение 4го прогона я начал сомневаться.

Ещё один участник уточнил, что он считает, что дешевый кабель все же был в 1м и 3м прогоне. Остальные не стали никак комментировать.

Баллы посчитаны.

Прогон 1: 339 баллов Прогон 2: 457 балла Прогон 3: 429 баллов Прогон 4: 409 баллов

После этого был явлен миру дорогой кабель — им оказался Audio Quest Castle Rock ценой около 1000 долларов. Он был во 2м 3м прогонах и набрал наибольшее число баллов.

Оба кабеля рядом (красно-черный ПуГВ, толстый черный — АудиоКвест):

Ещё немного фотографий:

Небольшой обзор помещения:

_____________________________________________________________________________ _____________________________________________________________________________

После теста были произведены ЗАМЕРЫ ПАРАМЕТРОВ КАБЕЛЕЙ, спасибо ещё раз mrRadio. Т.е. прибор и человек, проводивший измерения, те же, что и на первом тесте.

Здесь будет красивая табличка, а пока так

Также ожидаются профессиональные фото, где можно будет лицезреть всех экспертов, включая меня, за работой.

_________________________________________________________________________

Что есть из фактических данных:

Все оригиналы анкет у меня. Есть видеозапись клемм усилителя, я так понял, после 3й коммутации запись прерывается, но это непринципиально.

Выкладываю записи с рекордера: 1й прогон (ПуГВ): https://yadi.sk/d/uYYgiSXL3MMBV22й прогон (Audio Quest Castle Rock): https://yadi.sk/d/lA13CHmk3MMBX7

В 1м прогоне на 1 трек больше. Его решили исключить в дальнейшем. Поэтому на записи второго прогона на 1 трек меньше.

Треки, использованные при тесте:

Выражаю всем, принявшим участие в тесте, признательность за убитые полдня жизни, хотя мне показалось, что некоторым понравилось Отдельное спасибо Леониду, без него не было бы и теста.

Пост будет правиться с появлением фото и уточнений. Индивидуальный разбор анкет я не осилил, но могу выложить их сканы для любителей статистики.

UPD 1 Сканы анкет лицевые стороны: https://yadi.sk/i/ViGS-NR63MNjvu

Сканы анкет оборот (комментарии после последнего прогона по всему тесту): https://yadi.sk/i/rAA5rVY53MNkpK

UPD 2 Выкладываю профессиональные фото (спасибо товарищу Саши Федотова и ему самому за помощь).

UPD 3

Участник конференции провел стат. анализ результатов теста: https://forum.ixbt.com/topic.cgi?id=95:230:1091#1091

Попутно выяснилась неточность в подсчёте баллов одной из анкет. Результаты третьего прогона + 6 баллов. Исправил.

Интерпретация результатов

После прохождения теста ABX Comparator выведет лог с результатами тестирования:

На параметр «Probability that you were guessing» можно не обращать внимания, его практическая ценность сомнительна. Самая важная строчка — это Total, где указано отношение количества правильных ответов к количеству попыток. Рассмотрим два крайних варианта:

1. Отношение близко к 1/2 или 50 на 50%. Вспоминаем, что такое соотношение между количеством выпадений орла и решки получается, если подбросить монетку случайным образом достаточное количество раз. То есть результат, близкий к 1/2 означает, что вы давали ответы наугад. Для получения подобного расклада можно во всех попытках просто жать кнопку одного и того же ответа, что я и проделал на вышеприведённом скриншоте. Если при тестировании двух треков вы, несмотря на все старания, стабильно выдаёте результат, близкий к 50 на 50, это означает, что разницы между данными треками вы не слышите, звучат они для вас совершенно одинаково.

2. Отношение близко к единице или 100%. Такой расклад означает ровно обратное — при сравнении вы отвечали не наугад, а ориентировались на хорошо фиксируемые вашим слухом отличия между треками. В нашем примере с творчеством Rammstein и Аллы Пугачёвой дать 100% правильных ответов по очевидной причине может даже полуглухой дедушка.

Вывод из сказанного: чем надёжнее ваш слух фиксирует разницу между исследуемыми файлами, тем сильнее отклонится от 50 на 50% ваш результат. Если процент правильных ответов стабильно лежит в диапазоне 70-100, можно смело утверждать, что отличия в звучании треков для вас достаточно существенны. Если правильных ответов не более 60-70%, рекомендуется провести дополнительное тестирование с другим музыкальным материалом.

Применение[править]

• Тест Тьюринга широко применяется как важнейший этап приёмки читающего, пишущего, отвечающего и комментирующего оборудования.
• По результатам теста принимаются решения о зачислении на должности координатора транзакций, брокера сообщений и планировщика задач.
• Со следующего года в дополнение к флюорографии планируется ввести обязательный тест Тьюринга для желающих подключиться к интернету. Правильные ответы к тесту, однако, уже выложены в упомянутом интернете.
• В быту тест Тьюринга позволяет спеть дуэтом с CD-плеером, плодотворнее построить разговор с автоответчиком и наладить переписку со спамерами.

Всё понятно, но что конкретно?

Что ж, давайте наконец перейдём от теоретических моментов к конкретике и рассмотрим, что и как можно исследовать при помощи ABX тестов.

1. То, из-за чего испокон веков идут религиозные войны на аудиофильских форумах — lossless vs. lossy. Попросту говоря, FLAC/APE/ALAC vs. MP3/AAC/WMA/OGG. Начать рекомендую с банального FLAC vs. MP3 в исполнении кодера LAME. Полезно провести эксперименты с разными битрейтами (128, 192, 256 кбит/с), режимами работы LAME (CBR/VBR/пресеты) и тестовыми композициями. Собственно, для этого понадобятся только соответствующие кодеры и foobar.

2. Обычное CDDA 16 бит/44.1 кГц vs. форматы высокого разрешения (так называемый «хайрез»). Имеет смысл отдельно исследовать, как влияет на звук разрядность квантования (16 vs. 24 бита) и как частота дискретизации (44.1 кГц vs. 96-192 кГц). Тут кроме фубара понадобится звуковой редактор для приведения исходника высокого разрешения в стандартный 16/44.1 вид. Сразу укажу на вроде бы очевидную, но часто совершаемую при проведении подобных тестов ошибку: не нужно брать разные издания одной и той же композиции (например CD и DVD-Audio), они почти наверняка будут отличаться студийной обработкой материала. Для корректного сравнения нужно взять трек в высоком разрешении и самостоятельно сделать из него вариант с более низким разрешением. В познавательных целях можно не ограничиваться стандартными значениями параметров, сделав, например, 8-битную версию или версию с дискретизацией на 32 кГц — потестировать такое тоже полезно.

3. Собственные уши на предмет верхней границы слухового диапазона. Вместо банального прослушивания синусоид разной частоты предлагаю другую методику, главный плюс которой заключается в том, что тесты проходят в условиях, максимально приближенных к реальной жизни.

Нам понадобятся звуковой редактор и фонограмма, богатая высокочастотными составляющими. К её выбору нужно подойти ответственно, так как от этого будут сильно зависеть результаты. Берём выбранный исходник и при помощи ФНЧ с достаточно крутым срезом удаляем из него всё, что выше 12 кГц. Сохраняем получившийся «обрезок» в отдельный файл с соответствующим именем. Возвращаемся к исходной фонограмме и снова проделываем аналогичную операцию, но уже с более высокой частотой среза фильтра — 14 кГц. Результат опять сохраняем в отдельный файл. С каждым шагом увеличивая частоту среза на 2 кГц доходим до значения 20 кГц, получив в итоге набор из шести файлов для тестирования (оригинал и пять «обрезков»).

Далее загружаем в ABX Comparator оригинальный трек и «обрезок» на 12 кГц, сравниваем их. Если различия между файлами надежно фиксируются (правильных ответов 70-100%), делаем отметку, что рубеж 12 кГц успешно пройден. Далее заменяем первый «обрезок» на следующий, 14 кГц и повторяем процедуру сравнения с оригиналом снова. Таким образом повышая планку и отмечая пройденные значения, доходим до момента, когда процент правильных ответов опустится ниже 70. Очевидно, наша верхняя граница слухового диапазона лежит между этим и предыдущим значениями частоты среза.

Пример: при сравнении оригинального файла и файла со срезом на 16 кГц вы даёте более 70% правильных ответов. При замене «обрезка» на следующий, со срезом на 18 кГц, процент правильных ответов падает до 50-60. Следовательно, ваша граница находится между значениями 16 и 18 кГц. Определив этот диапазон приблизительно в первом подходе, затем можно его уточнить, сделав новые тестовые файлы, например, со срезами на 16.5, 17 и 17.5 кГц.

4. Coca Cola vs. Pepsi Cola. Ой, нет, прошу прощения. Это ABX Comparator’ом не протестировать.

Примечания

1. Козловский, Борислав
   Настоящий Макондо: 375 лет Альцгеймера.
   Colta.ru
   . Colta.ru (26 ноября 2015). — «Жители колумбийского города, где старческим слабоумием заболевают в 35, оказались потомками больного испанского конкистадора». Проверено 29 ноября 2020. Архивировано 29 ноября 2020 года.
2. Сибрук В.
   17. Вуд — разоблачитель ученых дураков и мошенников. Его война с медиумами // Роберт Вильямс Вуд. Современный чародей физической лаборатории. / Пер. В. С. Вавилова, под ред. акад. С. И. Вавилова.. — М.: ОГИЗ, ГИТТЛ (Гос. изд. технико-теоретической литературы), 1946.