SmartDJ позволяет пользователям изменять звучание с помощью простых слов

Инженеры Пенсильванского университета разработали SmartDJ — редактор на основе искусственного интеллекта, позволяющий пользователям изменять иммерсивные звуковые среды с помощью простых инструкций на понятном языке. Он может найти применение в виртуальной реальности, дополненной реальности, играх и звуковом

дизайне. Вместо того чтобы требовать от пользователей указания отдельных параметров редактирования, SmartDJ может реагировать на запросы высокого уровня, например, «сделать так, чтобы это звучало как оживленный офис», а затем планировать и выполнять необходимые шаги для достижения этого результата. Система устраняет два основных недостатка более

ранних инструментов редактирования аудио с использованием ИИ. Во-первых, большинство предыдущих систем лучше всего работали с жесткими, шаблонными командами, требуя от пользователей идентификации звуков для добавления или удаления. Во-вторых, эти инструменты, как правило, работали с одноканальным или «моно» аудио, теряя пространственные нюансы, необходимые для полного погружения в звук. SmartDJ, напротив, способен

интерпретировать инструкции высокого уровня и предназначен для стереофонического звука, что позволяет ему вносить изменения, которые лучше сохраняют или изменяют пространственную структуру сцены. Более того, система является интерпретируемой: пользователи могут видеть каждый шаг, который предпринимает SmartDJ. Например, запрос типа «сделайте так, чтобы это звучало как оживленный офис» может привести к тому, что SmartDJ сгенерирует инструкцию типа «Добавьте звук звонка телефона справа на

3 дБ». Затем пользователи могут изменять, удалять или добавлять отдельные шаги, обеспечивая больший контроль над конечным результатом. «С помощью SmartDJ пользователи могут описать желаемый результат на естественном языке, а система сама определит, как этого добиться», — говорит Минмин Чжао, доцент кафедры компьютерных и информационных наук (CIS). «Мы показываем, что ИИ может помочь людям редактировать аудио интуитивно понятным способом, используя простой язык». Чжао

является ведущим автором исследования, представленного на этой неделе на Международной конференции по изучению представлений ( ICLR 2026 ), проходившей в Рио-де-Жанейро. Статья также доступна на сервере препринтов arXiv. Сочетание языковых и диффузионных моделей Одна

из главных проблем редактирования аудио с помощью ИИ заключается в том, что понимание запроса пользователя и генерация звуков обычно обрабатываются различными типами систем ИИ. «Мы используем языковые модели для работы с текстом», — говорит Цзитун Лан, аспирант кафедры электротехники и системотехники (ESE) и первый автор исследования. «Кроме того, мы используем модели диффузии для редактирования звуков». Разница сводится к тому,

чему каждая система была обучена. Языковые модели — та же технология, которая лежит в основе чат-ботов — изучают закономерности в словах, помогая им интерпретировать смысл, который вкладывают пользователи, и генерировать текст в ответ. Диффузионные модели, напротив, предназначены для создания медиаконтента путем постепенного преобразования шума в связный сигнал. Чтобы преодолеть этот разрыв, команда внедрила в процесс редактирования аудиоязыковую модель (ALM). Обученная как на

звуке, так и на тексте, ALM анализирует исходный аудиоматериал вместе с запросом пользователя, а затем разбивает этот запрос на последовательность более мелких действий редактирования, таких как добавление, удаление или изменение положения звука. Затем модель диффузии выполняет эти действия шаг за шагом, позволяя SmartDJ как интерпретировать язык, так и редактировать аудио. По сути,

языковая модель выступает в роли продюсера, определяя, как должно меняться звуковое оформление, в то время как модель диффузии действует как студийный музыкант, воплощая эти указания в аудио. «Языковая модель задает системе направление», — говорит Идуо Хао, аспирант CIS и соавтор исследования. «Модель диффузии выполняет эти

указания». Обучение SmartDJ Чтобы научиться преобразовывать общие запросы пользователей в пошаговые аудиоредактирования, SmartDJ потребовались примеры, которые объединяли бы сразу три вещи: общую инструкцию, последовательность действий по редактированию, необходимых для ее выполнения, и аудио до и после каждого изменения. К сожалению, таких обучающих

данных не существовало. «Для решения этой проблемы требовался совершенно необычный набор данных, — говорит Лан. — Он должен был одновременно отражать цель, этапы и результат». Поэтому команда разработала его самостоятельно. Опираясь на общедоступные звуковые

библиотеки, исследователи создали конвейер, который использовал большую языковую модель для генерации высокоуровневых подсказок для редактирования и промежуточных шагов, необходимых для их выполнения, в то время как обработка аудиосигнала производила соответствующие отредактированные выходные данные. «Для того чтобы это работало, мы не могли просто показать модели

входные и выходные данные, — говорит Хао. — Мы должны были показать ей цепочку рассуждений между ними». К более доступному редактированию аудио Для проверки SmartDJ исследователи сравнили его с более ранними системами редактирования звука и обнаружили, что он выдает более реалистичные и лучше согласованные результаты. Как в количественных оценках, так и в исследованиях с участием людей, SmartDJ превзошел предыдущие методы по таким показателям, как качество звука, соответствие

результатов инструкциям пользователя и реалистичность размещения звуков в пространстве. Исследователи видят потенциальные области применения в виртуальной реальности, дополненной реальности, играх, звуковом дизайне, виртуальных конференциях и других формах интерактивных медиа, где пользователи могут захотеть изменить

звуковую среду, не указывая вручную каждое отдельное изменение. В конечном итоге, цель исследователей — сделать редактирование аудио более доступным, позволив любому человеку с творческим видением редактировать звуковые ландшафты. «Для других медиа, таких как текст и изображения, пользователи уже могут использовать ИИ для выполнения запросов на

высокоуровневое редактирование», — говорит Чжао. «SmartDJ открывает аналогичные возможности для аудио, упрощая для большего числа людей воплощение своих идей в жизнь».

SmartDJ позволяет пользователям изменять звучание с помощью простых слов

Сообщает android-robot.com

Новость из рубрики: Интернет

Поделиться новостью: Поделиться новостью в Facebook Поделиться новостью в Twittere Поделиться новостью в VK Поделиться новостью в Pinterest Поделиться новостью в Reddit

Топ Новости Недели

07:00, 30 Май Путин: Ситуация на поле боя позволяет говорить о возможном скором завершении СВО Слова о возможности скорого завершения боевых действий в зоне СВО основаны на анализе ситуации на поле боя, пояснил президент России Владимир Путин н...

23:00, 06 Июн МАКС удалили из App Store, но он нужен для работы. Что делать пользователям iPhone Вечером 3 июня мессенджер MAX пропал из российского App Store. Для кого-то это новость из серии «ну и бог с ним». Но если на MAX завязана рабочая пер...

10:00, 26 Апр Илон Маск запустил мессенджер XChat с искусственным интеллектом. Российским пользователям пока не повезло Компания X Илона Маска официально выпустила новый мессенджер XChat для iPhone. Приложение позиционируется как безопасная альтернатива встроенным личн...

00:00, 08 Май 5 простых и удобных электрических мини-пил для сада Мини-пила — своеобразная альтернатива ручной ножовке. Ей тоже удобно работать одной рукой, а тонкая шина позволит подобраться к нужной ветке на дерев...

16:00, 27 Апр Как читать больше книг и не бросать: 5 простых лайфхаков Хочешь читать больше? Вот 5 лайфхаков для читающих Книги — одно из величайших удовольствий в жизни, и это хорошо известно каждому, кто когда-либо час...

15:00, 22 Май Как конвертировать GPT в MBR и наоборот: несколько простых способов для Windows Основная загрузочная запись (MBR) – это наследие давно минувших дней, когда объем потребительских накопителей не превышал 2 Тбайт, а в самих компьюте...

20:00, 06 Июн Ученые из Южной Кореи переизобрели полупроводниковый транзистор: новая технология позволяет сократить число транзисторов в микросхемах на 75% Новый транзистор ускоряет обработку сигналов и упрощает чипыИсследователи из Южной Кореи разработали новый тип полупроводникового транзистора, которы...

07:00, 19 Май Что я делаю, когда мой MacBook начинает тормозить: 4 простых совета, как ускорить Mac Работали вы себе работали, а тут заметили, что ваш Мак стал заметно дольше открывать приложения, греется без видимой причины и подтормаживает даже в ...

20:00, 15 Май Сколько слов в русском языке: в словаре 200 тысяч, но в жизни их больше Даже академики знают только примерное количество русских слов В детстве вам наверняка было интересно, сколько всего слов в русском языке. Тысяча? Дес...

01:00, 19 Июн Акции SanDisk и Micron выросли после слов Apple о ценах Акции SanDisk и Micron выросли после того, как Apple фактически признала, что больше не сможет полностью сдерживать рост цен на iPhone, Mac и iPad. В...

08:00, 04 Июн Дочь Дмитрия Маликова показала фигуру после слов отца о её худобе Стеша Маликова, похудение которой обсуждают уже не только пользователи, но и её отец Дмитрий Маликов, снова показала фигуру в соцсетях.На снимке 26-л...

23:00, 09 Июн «Они звёзды олимпийского уровня»: Соловьев заступился за Авериных после слов Кошкиной Фигурист Дмитрий Соловьев, супруг гимнастки Дины Авериной, публично поддержал ее и ее сестру Арину в разгоревшемся скандале, сообщило издание Super.r...

10:00, 21 Апр Некоторые люди слышат цвета и чувствуют вкус слов: научное объяснение Умение чувствовать запах музыки называется синестезией Представьте, что каждая буква алфавита для вас окрашена в определенный цвет, музыка рисует пер...

20:00, 08 Май "Сама стала той, с кем изменили". Наталью Подольскую раскритиковали после её слов об изменах в браке 43-летную певицу Наталью Подольскую осудили за слова об изменах в браке. Подольская заявила, что это можно простить, а ей в ответ в соцсетях припомни...

13:00, 24 Апр "Он не выступает от имени Великобритании". Дональд Трамп ответил принцу Гарри после его слов об Украине Дональд Трамп прокомментировал слова принца Гарри, который вчера прибыл в Киев и призвал на форуме президента США помочь Украине, чтобы закончить вое...

04:00, 11 Июн Российский рынок акций вырос после слов Путина о снижении ключевой ставки. Что случилось 10 июня российский рынок акций отыграл дневные потери и завершил торги выше 2520 пунктов по индексу МосБиржи. Рост произошел после заявления президен...

20:00, 10 Июн Как заселиться в гостиницу с помощью MAX? Национальный мессенджер с недавнего времени позволяет проходить регистрацию в отелях с помощью «Цифрового ID». Теперь гостям больше не нужно заполнят...

03:00, 11 Июн "Критика Кейт стала последней каплей". Принц Уильям окончательно разорвал отношения с Гарри из-за слов о его жене Принц Уильям окончательно разорвал отношения с Гарри из-за его слов о Кейт Миддлтон, пишет RadarOnline. В своих мемуарах "Запасной" принц Гарри назва...

21:00, 08 Май "Летают беспилотники, гибнут люди. Так не должно быть". "Отменённый" из-за своих слов об СВО Дмитрий Нагиев записал видео ко Дню Победы Дмитрий Нагиев, которого, по слухам, сейчас "отменяют" в России за противоречивые высказывания об СВО, записал очередное видео на фоне берёз накануне...

12:00, 24 Апр В Новосибирске изучили древние черепа с помощью КТ В пресс-службе Новосибирского госуниверситета (НГУ) сообщили, что специалисты вуза провели компьютерную томографию (КТ) четырех черепов из археологич...

09:00, 04 Май Как сделать презентацию с помощью нейросети: лучшие сервисы Сделать презентацию с помощью нейросети можно за пару минут — без навыков дизайна и без часов ручной работы в PowerPoint. Достаточно описать тему, и ...

18:00, 19 Июн Спутник YAM-9 впервые сам обнаружил нужный объект с помощью ИИ Прорыв совершила компания Loft Orbital, на чьём аппарате была развёрнута модель визуального и языкового анализа (VLM) Gemma 3 от Google DeepMind, раз...

19:00, 16 Июн В СГУ научились уничтожать гной в животе с помощью лазера Врачи и учёные из саратовских ВУЗов — СГУ и СМГУ — разработали технологию лечения гнойных мешков в животе без скальпеля и без антибиотиков. Специалис...

16:00, 13 Май Моуринью проигнорировал все вопросы о «Реале» в аэропорту Лиссабона и ответил «вы ошиблись» на реплику журналиста «скажите хоть пару слов, я ждал вас с трех утра» Главный тренер «Бенфики» Жозе Моуринью проигнорировал почти все вопросы журналистов о своем будущем и возможном возвращении в «Реал». Когда 63-летний...

10:00, 02 Май Учёные ТПУ ускорили переработку угля на 10% с помощью опилок и масла Исследователи Томского политехнического университета с коллегами из Китая нашли способ повысить эффективность низкосортных углей. Добавка опилок и от...

15:00, 21 Май Это безопасно? В Челябинске начали ремонтировать трамваи с помощью 3D-принтера В Челябинске нашли способ решить сложные вопросы логистики при заказе запчастей для трамваев. Их печатают на 3D‑принтере. Вагоны больше не простаиваю...

19:00, 19 Апр Страховые компании фиксируют рост фальсификаций с помощью генеративного ИИ От подмены номеров до «усиления» повреждений, что влияет на выплаты и стоимость полисовИспользование изображений, созданных с помощью искусственного ...

11:00, 16 Май Как подобрать себе прическу с помощью нескольких селфи и ЧатГПТ Нейросети научились многому: они пишут код, сочиняют музыку и даже ставят медицинские диагнозы. Но вот подбирать причёску — это что-то новенькое. Ока...

22:00, 21 Апр Более 50 тыс. нарушений чистоты устранили в Подмосковье с помощью ИИ с начала года "ИИ-контроль за чистотой во дворах ведется в Подмосковье с 2023 года. Задействовано около 80 тыс. камер, оборудованных искусственным интеллектом. За ...

14:00, 16 Июн «Скайнет» всё ближе: впервые в истории спутник сам обнаружил то, что нужно, с помощью ИИ Обычно спутники передают большие объемы данных аналитикам на ЗемлеВпервые в истории спутник дистанционного зондирования Земли самостоятельно, без при...

21:00, 26 Апр Авито в 1,6 раз повысил эффективность социальных механик с помощью искусственного интеллекта Технологическая платформа Авито первой в России применила комбинацию генеративного ИИ и рекомендательных алгоритмов для автоматизации социальных и бл...

16:00, 10 Июн Создан бесконтактный манипулятор, удерживающий предметы с помощью ультразвуковых полей В Шанхайском университете транспорта 8 июня 2026 года продемонстрирован промышленный манипулятор, способный захватывать, удерживать и перемещать хруп...

21:00, 29 Апр Челябинский тракторный завод ускорил выпуск техники на 60% с помощью роботов В Челябинске на предприятии «ДСТ-Урал» подвели итоги масштабного этапа роботизации. Внедрение 24 промышленных роботов-сварщиков позволило ускорить пр...

14:00, 25 Апр Как сделать презентацию с помощью нейросети — подборка хороших сервисов и простой гайд Раньше сделать нормальную презентацию значило убить вечер: придумать структуру, набрать текст, найти картинки, не облажаться с оформлением. Сейчас вс...

03:00, 07 Июн Как создать видео из текста с помощью цифрового аватара: используем нейросеть HeyGen В этой статье мы расскажем и покажем, как из обычного текста сделать классное видео с аватаром — то есть виртуальным человеком, который будет этот те...

05:00, 10 Май Дети научились обходить проверки возраста в интернете с помощью нарисованных усов Исследование показало, что многие системы принимают косметический карандаш и грим за признаки взрослого человекаДети начали массово обходить системы ...

10:00, 02 Май Астероид Апофис исследуют с помощью российской обсерватории «Спектр-РГ» в 2029 году Учёные Самарского университета и Института космических исследований РАН предложили использовать орбитальную обсерваторию «Спектр-РГ» для изучения аст...

06:00, 01 Июн Ирина Горбачёва снялась обнажённой и высказалась о похудении с помощью аналога "Оземпика" 38-летняя Ирина Горбачёва опубликовала в своём инстаграме* серию фото, на которых предстала полностью обнажённой. Снимки актриса, которая вот уже дол...

11:00, 17 Май Жительница Находки приговорена к двум годам колонии-поселения за ДТП со скорой помощью Дорожная беспечность имеет высокую цену. В Находке жительница края спровоцировала столкновение со скорой помощью, что привело к гибели человека. Суде...

13:00, 17 Май Как сделать песню с помощью нейросети: пошаговая инструкция по созданию готового трека На дворе 2026 год, и на сегодняшний день ИИ научил писать тех, кто этого никогда не умел, а рисовать — даже тех, кто в жизни не держал в руках кисть ...

09:00, 09 Май Как найти клеща на собаке с помощью айфона — способ из TikTok, который работает В TikTok набирает популярность простой бытовой лайфхак: владельцы iPhone используют стандартное приложение «Лупа», чтобы быстрее находить клещей у со...

17:00, 19 Апр Евсеев сказал 30 слов на флэш-интервью после матча с «Зенитом»: «Очень много вопросов». Тренера «Махачкалы» дважды штрафовали на 100 тысяч рублей за мат в интервью Главный тренер махачкалинского « Динамо » Вадим Евсеев кратко высказался после матча 25-го тура РПЛ с « Зенитом ». Ранее 50-летний специалист был два...

18:00, 06 Май Внучка Гинера о ценах в ресторанах: «Слов нет! Взяла салат и хумус – это как бы вообще не еда, приносят счет – там чуть ли не 6000! Челюсть падает! Вода, чай – тысяча. Это вообще!» Ведущая ЦСКА ТВ Саша Гинер, внучка президента армейцев Евгения Гинера , высказалась о ценах в магазинах и ресторанах. – Комментарий под новостью о тв...

16:00, 29 Апр Конец эпохи кадрового голода: почему российские компании считают, что перехитрили рынок с помощью ИИ Российский корпоративный сектор проходит этап жесткой трансформации производственных процессов. Топ-менеджмент компаний переосмысливает текущие огран...

01:00, 09 Май СССР пытался подчинить природу с помощью лесов: зелёная стена дала стране изобилие продуктов Сталинский план преобразования природы стал ответом на катастрофическую засуху 1946 года, которая принесла стране голод и разруху. Советское руководс...

15:00, 27 Май NASA: лунная программа Artemis охватит «сотни квадратных миль» с помощью дронов и новых луноходов Периметр базы может быть обозначен с помощью прыгающих дронов MoonFallНациональное управление США по аэронавтике и исследованию космического простран...

12:41, 12 Июн Искусство выбора зеркал для современного интерьера: как создать стильное пространство, визуально расширить помещение и подчеркнуть индивидуальность дизайна с помощью отражающих поверхностей Зеркала уже давно перестали быть исключительно функциональным предметом. В современном интерьере они выполняют важную декоративную роль, помогают виз...