ИИ распознаёт птицу по голосу. Почему его ответ — это версия, а не приговор
Телефон лежит на подоконнике и пишет полминуты звука: шелест листвы, редкие капли, где-то за домами проехала машина, во дворе кто-то разговаривает. Потом на экране появляются два-три названия и проценты рядом с каждым. В этой бытовой сцене спрятан хороший вопрос: как программа нашла в общем шуме птицу и почему её ответ ещё не доказательство?
Чтобы разобраться, придётся заглянуть внутрь. Не в устройство конкретного телефона, а в общий принцип, по которому работают такие системы. Он почти всегда один и тот же — и в распознавании звука, и в других похожих задачах: сначала звук превращают в картинку, потом картинку смотрит нейросеть, а на выходе получается список вариантов с оценками. Именно вариантов: у каждого есть число, и с ним нужно уметь обращаться.
Сначала звук превращают в картинку
Птица поёт, а микрофон превращает колебания воздуха в числовой сигнал. Дальше этот сигнал раскладывают на частоты и получают спектрограмму — визуальное представление звука. По горизонтали на ней идёт время, по вертикали — частота, то есть условная «высота» звука, а цвет или яркость показывают интенсивность сигнала на этой частоте. Технически такую картинку получают с помощью кратковременного преобразования Фурье; для понимания сути достаточно знать, что это способ увидеть, какие частоты звучали в каждый момент.
Это похоже на нотный лист, только вместо нот — пятна и штрихи. Короткий позыв выглядит как компактное пятно или черта, продолжительная песня — как цепочка повторяющихся элементов. У разных видов рисунок разный, хотя и не всегда безошибочно различимый. Тут важна оговорка: это не фотография птицы и не «изображение голоса» в буквальном смысле, а карта распределения энергии по частотам и времени. И рисунок сильно зависит от расстояния до птицы, качества микрофона, ветра и общего шума — одна и та же птица в разных условиях даст разные картинки. Именно на таких картинках модель и учится искать закономерности.
Модель учили на размеченных записях
Нейросеть не знает, что такое птица. Она видит множество примеров с готовыми ответами и подбирает признаки, которые связаны с тем или иным названием. Поэтому всё начинается со сбора записей, для которых вид уже определён: разработчики BirdNET, например, опирались на архивы Xeno-canto и Macaulay Library, а первоначальный список видов сверяли с данными eBird и с мнением орнитологов.
Цифры из опубликованной в 2021 году научной статьи полезны как иллюстрация масштаба, но их нельзя механически переносить на все нынешние версии и приложения. В той модели после отбора осталось 226 078 аудиофайлов, а виды, для которых нашлось меньше десяти записей, из списка исключили — иначе примеров было бы слишком мало, чтобы чему-то научиться. Данные разделили на три части в пропорции 80/10/10: на большей части модель училась, на второй подбирали настройки, на третьей проверяли результат на записях, которых она не видела.
Анализ шёл короткими шагами. Исходная версия работала с трёхсекундными фрагментами: длинная запись нарезалась на такие отрезки, а соседние окна при необходимости частично перекрывались, чтобы момент на стыке не потерялся. Три секунды — это небольшое окно: модель получает короткий отрезок звуковой сцены, а не пытается угадать по всей многоминутной записи сразу.
Отдельная история — как модель готовили к грязному звуку. К обучающим спектрограммам добавляли фоновый шум, сдвигали звук по времени и частоте, слегка деформировали его, а чтобы имитировать хор, смешивали до трёх спектрограмм сразу. В статье добавление фонового шума названо самым эффективным из проверенных способов такого искусственного расширения данных. Отсюда и ответ на вопрос, как система отличает птицу от ветра и дождя: её не ограждали от шума, а учили на нём. В обучение специально добавили классы без птиц — ветер, дождь и гром, человеческую речь и шаги, автомобили, самолёты, сирены, шум записывающей аппаратуры, а также голоса насекомых, амфибий и млекопитающих.
С голосами других птиц немного сложнее. Для каждого известного модели вида есть свои примеры и своя оценка, поэтому такой голос становится отдельным кандидатом в общем списке, а не досадной помехой сам по себе. Но если птицы поют одновременно, их рисунки накладываются друг на друга, и вот это уже может снизить оценку или подтолкнуть модель к ошибке.
Ветер и дождь никуда не исчезают
Самое частое бытовое упрощение звучит так: программа отделяет голос птицы от шума. Как идея это понятно, но технически неверно. Модель анализирует весь трёхсекундный фрагмент целиком, и в её внутреннем представлении остаётся всё сразу: голос, ветер, капли, далёкий транспорт, качество микрофона, частота дискретизации записи. Фон не вырезается аккуратной маской перед анализом — он входит в исходные данные и влияет на итоговую оценку.
Отсюда и список того, что ухудшает результат. Птица поёт далеко, и её сигнал тонет в шуме. Одновременно поют две или три птицы, и рисунки накладываются друг на друга. Позыв обрезан границей окна — начало попало в предыдущий фрагмент, конец в следующий, а в этом осталась только середина. Всё это может снизить оценку или подтолкнуть модель к ошибке, причём безобидной с виду: неверный вид в списке выглядит так же уверенно, как верный.
Поэтому такие системы лучше воспринимать не как всезнающий определитель, а как аккуратный фильтр. Он просматривает часы записи и оставляет человеку короткий список мест, которые стоит послушать.
Проценты, которые не проценты
Самый практичный момент всей темы — что означает число рядом с названием вида. Модель формирует отдельную оценку для каждого известного ей класса, поэтому оценки разных видов не обязательно складываются в 100%. Если рядом стоят 84% и 61%, это не значит, что первое «правильнее» в человеческом смысле, а второе — остаток от сотни. У двух похожих по голосу птиц высокие оценки могут стоять одновременно, и для записи, где поют несколько птиц, это совершенно нормальное поведение.
Главное: 0,8 или 80% — не вероятность правильного ответа. Это безразмерная оценка соответствия, приведённая к диапазону от 0 до 1. Читать её как «угадаю в восьми случаях из десяти» нельзя: связь между оценкой и реальной точностью различается у разных видов, записывающих устройств и условий съёмки, а единого порога, одинаково надёжного для всех птиц, мест и сезонов, не существует. Авторы рекомендаций по использованию таких оценок предупреждают об этом прямо: в среднем точность растёт вместе с оценкой, но конкретное число без калибровки на проверенных записях мало что говорит.
BirdNET: система, которую можно проверить
В качестве проверяемого примера ИИ в природе удобно взять BirdNET — исследовательскую платформу Cornell Lab of Ornithology и Технического университета Хемница. У неё есть официальный анализатор, рассчитанный и на отдельные файлы, и на большие архивы акустического мониторинга: в интерфейсе задаётся минимальный порог оценки, есть фильтрация по месту и дате.
С фильтром по месту связана тонкость, которую легко понять неправильно. Он не меняет звуковые оценки и сам по себе ничего не доказывает: он скрывает виды, которых в указанных условиях не ждут. Подсказка «в этом регионе и сезоне такой вид маловероятен» полезная, но это работа со списком ожидаемых птиц, а не подтверждение того, кто именно пел в микрофон.
Вторая полезная деталь — официальная демонстрация сама предлагает прослушать найденный фрагмент и посмотреть его спектрограмму. Особенно если оценка невысокая или предложенный вид редок и неожидан для этой местности. По сути, разработчики сразу говорят: наша выдача — начало проверки, а не её конец.
Что делать с красивым результатом
Если хочется проверить результат, порядок действий простой:
- сохраните исходную запись, а не только скриншот с названием вида;
- прослушайте именно отмеченный фрагмент, а не всю запись целиком;
- проверьте, не перекрывает ли его другая птица, порыв ветра или шорох у микрофона;
- сверьтесь, встречается ли предполагаемый вид в этом регионе и в это время года;
- сравните запись с несколькими эталонными примерами того же вида;
- редкое или важное наблюдение не публикуйте как установленный факт без проверки опытным наблюдателем.
Смысл всей этой возни не в недоверии к технике. Просто у приложения и у человека разные сильные стороны: программа терпеливо перебирает часы записи и не устаёт, а человек слышит интонацию, замечает странность и умеет открыть справочник. Комбинация получается заметно надёжнее, чем любая из половин по отдельности.
Тот же утренний двор, те же две строчки на экране — только теперь за ними видно другое. Нарезанная на трёхсекундные окна запись, сотни тысяч размеченных записей, специально подмешанный шум и оценка соответствия, которая выглядит как процент, но процентом не является. Хороший помощник подсказывает, куда смотреть и что слушать. Последнее слово всё равно остаётся за человеком с записью, наушниками и здоровым любопытством.
