KarapuZ
Спасибо
Не спешите благодарить, не за что. Тем более что скоростной обработки гигабайтов от меня уж точно не дождаться.)) С гигабайтами дружат только профессионалы, знающие возможности современных компов и владеющие современными системами программирования; (а у меня всё старое, и железо, и софт, и знания, и сам я, увы, тоже...) Ладно, не будем забегать вперёд, жизнь покажет, что нас ждёт. Может быть, кто-нибудь из профи сделает со временем универсальный sdr-плеер с кучей возможностей, так что нам и вовсе не придётся конвертировать большие IQ-файлы.


Programmist
Записываем одну струну (для примера, нота "До" малой октавы) ... Задача: Найти все частоты и написать общую формулу для эмуляции звучания всех струн

Частоты даёт фурье-анализ. А "формула" получается через интерполяцию высокой кратности дискретных остчётов заданного одного звука. Вот, для примера сделал из Вашей "струны До" ещё "Ре", "Ми", "Фа", "Соль", "Ля" и "Си" (из двух октав: для "чижика" :)

https://yadi.sk/d/PsM5UkdGq7tLA

Имхо, при желании таким путём можно из любого образца сделать весь звукоряд (с желаемой разрядностью сэмплов; для простоты у меня запись 16-битная, но не проблема была бы и 32-разрядные сэмплы забабахать)

Sinus
"формула" получается через интерполяцию высокой кратности
Не все так просто. Такие приемы применяются в синтезаторах (сэмплерах), где одну ноту можно растянуть на восемь октав. В результате выходит безобразный пластмассовый звук. Вот, к примеру, как звучит настоящая струна, а как моя попытка ее синтезировать:
https://yadi.sk/d/fLlYFHc5q82FT
Не просто так же я рояль к стене прикрутил.) Конечно, можно записать все струны, а потом загрузить их в сэмплер, но качество будет плохое, что и видно на примере. Да и настоящая струна звучит в три раза дольше, чем на записи, конец обрезан фэйдом, внешние шумы не позволяют сделать запись лучше.
В итоге, мой синтезатор играет может и неплохо, но но не настоящий:
https://yadi.sk/d/1az_Csf4oXJC5
https://yadi.sk/d/yUXrn9Saq83kR
Радует только то, что на выходе спектр получается практически идеальный, без единой помарки:



Ведь человек такая штука, что слышит все, что на спектре видно, если оно не уходит за пределы 20-22 кГц.)

Вот еще картинка, выделены только 8 основных гармоник одной струны:



Нужно не только найти "составные части" каждой гармоники, но и вычислить закономерность появления этих частей для всего спектра, потому, как есть у меня большое подозрение, что присутствуют они там точно не "от балды", не смотря на то, что у каждой струны все гармоники разные.
Еще интересно и то, что при правильной записи гармоники складываются в абсолютно ровную геометрическую фигуру, без всяких "перекосов". Так же важно знать, сколько частот необходимо для формирования одной гармоники, 5, 10, 100? На данный момент я использую 12, но этого явно недостаточно.

Здесь еще одна запись интересного музыкального инструмента:
https://yadi.sk/d/IK1my2Mnq8M6D
Соотношение сигнал/шум в ней лучше, потому что играет он громче рояля, но все равно из-за шумов запись сокращена более чем в 2 раза. Эта "струна" стерпит интерполяцию, при растяжении ее на пару-тройку октав, но не более.

upd:
скоростной обработки гигабайтов от меня уж точно не дождаться.))
Проблем там никаких нет, и Ваша программа справится с этой задачей в два счета, другое дело, что такие "любительские" программы могут использовать далеко не в любительских целях, поэтому лучше и не надо.

KarapuZ
Выложил еще пару файлов, где есть какая-то активность в цифре.
Полоса 20МГц, формат IQ 8бит (должен быть уже с заголовком:), длина около минуты.
178МГц: https://cloud.mail.ru/public/DMw9/N9uymo4C1
430МГц: https://cloud.mail.ru/public/LqAM/ep6TUidDL

PS: Писал из консольной проги, так что попало ли что-то реально в момент записи, гарантировать не могу :)

Programmist
> Проблем там никаких нет, и Ваша программа справится с этой задачей в два счета, другое дело, что такие "любительские" программы могут использовать далеко не в любительских целях, поэтому лучше и не надо.

Проще верить в теорию заговора, но на самом деле все еще проще. Принцип "неуловимого Джо" знаете - вот это он и есть. Никто не заморачивается с универсальными форматами, т.к.:
- лень
- некогда
- общепринятых стандартов нет (тот же HDSDR далеко не идеал, и компании строго говоря, не обязаны подстраиваться под его формат)
- слишком узкий рынок: даже по этой ветке видно, что пользователей будет 2-3 человека

Взять тот же HackRF: исходники полностью доступны на github
https://github.com/mossmann/hackrf
Никаких заговоров и секретов, все открыто. Если кому-то надо добавить совместимость с HDSDR, проблем нет, кроме первых 2х вышеперечисленных пунктов :)

> Здесь дело в том, что все вещи, которые чего-то стоят, сделаны совершенно бесплатно, а все остальное – чистая коммерция.

С точностью до наоборот. Много программистов с удовольствием занимались бы любимым делом, но вынуждены делать всякую рутину, за которую платят деньги.
Увы, жить за "совершенно бесплатную" работу к сожалению не получается :))) Так что любой стоящий продукт либо переходит в коммерцию, либо перестает развиваться.

Тот же Signal Analyser с этого сайта далеко не дешевым был.

Здесь еще одна запись интересного музыкального инструмента:
https://yadi.sk/d/IK1my2Mnq8M6D
Ну а теперь минута для смеха.) Берем ту самую "струну", и растягиваем интерполяцией, подыграв в конце на настоящем рояле, для большего эффекту: https://yadi.sk/d/zmUA6Dx3q8V4T :=)

DVE
Проще верить в теорию заговора
К сожалению, SDR люди превратили в оружие, за примерами далеко ходить не надо, "теория заговора" здесь ни при чем. И теперь сложно сказать, чего больше принесло данное изобретение, пользы или вреда.
общепринятых стандартов нет
Как это нет? Есть они: http://soundfile.sapp.org/doc/WaveFormat/. Другое дело, что пишут в заголовки всякую галиматью все, кому не лень.)
Много программистов с удовольствием занимались бы любимым делом, но вынуждены делать всякую рутину, за которую платят деньги.
Здесь каждый решает для себя сам, имхо, лучше копать канавы, чем заниматься непонятно чем, либо откровенным вредительством, см. последние версии Windows.

Programmist
> К сожалению, SDR люди превратили в оружие, за примерами далеко ходить не надо

Ну вообще-то радио в России разрабатывалось Поповым для нужд флота, и испытывалось на кораблях Балтийского и Черноморского флотов. Думаете сейчас что-то изменилось? :)
Где обработка сигналов, там и радиолокация, и ППРЧ, и прочее.
И сейчас сверхбыстрые АЦП входят в список компонентов, которые запрещено продавать за пределами США.

Многие технологии изначально имели военное назначение (например суперклей), а потом уже с этого польза и "гражданским" перепала. С любительскими SDR в принципе та же история. Сейчас мы можем легко писать сигнал с полосой 20МГц девайсом ценой в мобилу, 10 лет назад в это бы мало кто поверил.

> Здесь каждый решает для себя сам, имхо, лучше копать канавы, чем заниматься непонятно чем

Рутина != вред, но есть конечно те кому вообще влом работать и предпочитают на диване лежать, такое тоже встречается, да. Каждый решает сам, но жить без денег еще никому не удавалось.

> либо откровенным вредительством, см. последние версии Windows

Windows это коммерческая система, и не обязана нравится _всем_. Но да, то что ОС идет по пути системы "для домохозяек", где шаг влево-вправо запрещен, это грустно, но таковы реалии рынка.

DVE
есть конечно те кому вообще влом работать и предпочитают на диване лежать
Лучше ничего не делать, чем делать то, что приносит вред. Правда некоторые предпочитают быть купленными, причем целыми коллективами, и не потому, что их работа кому-то нужна, а потому, чтобы, не дай Бог, ничего не сделали полезного, как случилось с нашим "Эльбрусом".

DVE
Выложил еще пару файлов, где есть какая-то активность в цифре.
Спасибо за записи. По предыдущим трем - та, где 230MHz CF - там сигнал системы DAB (Transmission Mode 1)запись хороша, 940MHz можно было не писать-GSM, имхо, уровень высоковат в этой записи, по бокам от мощных сигналов видны
"спектральные выбросы":

возможно, влекущие за собой сбои тактовой синхронизации при демодуляции, хотя демодулятор в SA
и не "заточен" под GSM, но сдвиги в потоке видны:

у себя, на "свистковых" записях GSM с нормализованным уровнем подобных сбоев не наблюдаю:

Это я к тому, что декодирование "цифры" из подобных IQ массивов может быть проблематичным.
По записи 532MHz CF пока не понятно, что-то широкополосное :)). Остальные вечером буду скачивать.
Следите за усилением).

KarapuZ
Спасибо, интересно. Сдвиги в потоке может из-за того что софт не успевает писать, все-таки Mac mini - система не очень заточенная под работу с real-time данными :) Пока что как я понял, консольная программа для HackRF дает самое стабильное качество записи, 8-битный поток писать проще чем float, ну и расходы на UI минимальны.

DVE
Сдвиги в потоке может из-за того что софт не успевает писать, все-таки Mac mini - система не очень заточенная под работу с real-time данными :
Возможны и пропуски отсчетов, да. Сейчас скачиваю Ваши файлы 178 и 430, если там будет "цифра", доступная к декодингу и с более низкими скоростями, нежели GSM, дмр к примеру или апко, можно будет
уточнить этот момент. На "цифре" проще выявить косяки, нежели на аналоге. Да Вы и сами можете ,
с помощью той-же DSD+ это проверить, начав с максимально доступной полосы пропускания РПУSDR.

Где скачать программу что на скрине? Почему-то все ссылки на скачивание таинственным образом исчезли.

Увеличить

Точно заговор, раз никто не хочет помочь :( Неужели ни у кого не осталось ссылки на сабжевую "Cool Edit +"?

2 All:
Если кому интересно, вот еще в копилку "неберущихся" IQ: файл от самой последней версии SDR Play v2, записан в SDR Uno.
https://cloud.mail.ru/public/KFob/Dqhipv8mL (545Мб)

HDSDR не открывает, чем проиграть хз.

DVE
записан в SDR Uno ... HDSDR не открывает, чем проиграть хз.

На форуме где-то уже было обсуждение записей из SDR Uno; мне не удалось понять (хотя тогда убил на это много времени), что с ними делать, чтобы приспособить к HDSDR. RadioKoteg высказывал предположение, что SDR Uno шифрует свои записи :-) Мне же показалось, что там нелинейно преобразованы значения отсчетов: малые увеличены, а большие уменьшены. Может быть, это есть некий способ шумопонижения; но, имхо, более вероятно, что ошибаюсь...

Спасибо, ясно.

Самое смешное что записанные файлы сейчас даже SDRUno не открывает :)
Обсуждение было на форуме sdrplay еще несколько месяцев назад - http://www.sdrplay.com/community/viewtopic.php?t=824

DVE
Самое смешное что записанные файлы сейчас даже SDRUno не открывает :)
Пробовал в SDRUno обновлённой записывать файлы с QS1R с максимально доступной полосой 2,5MHz - пишет и воспроизводит нормально, а в сторонних прогах при воспроизведении каша какая-то выходит при отображении спектра, будто интермоды сплошные при перегрузе. А Ваш файл записи и родная прога не взяла, может полоса великовата в 10MHz, там меньше можно задать полосу регистрации?

А версия Uno у Вас какая? Я писал последней, которая 1.11.

Дело не в большой полосе и не в перегрузе (веду речь о "неберущести" этой IQ-записи; а почему SDR Uno не видит свой файл - отдельный вопрос). Вот, может быть, такие картинки помогут разгадать загадку:

Заголовок wav-файла нормальный; из него видно, что имеется 2 канала, и в каждом канале - по 2 байта (16 бит) на каждый отсчет:


Увеличить

Прога у меня такие отсчеты интерпретирует как целые числа со знаком (signed integer, и, предполагаю, такая интерпретация считается общепринятой, в том числе в HDSDR она принята). И вот при такой интерпретации отсчетов получаются странные осциллограммы сигнала - как будто сигнал резко ограничен, компрессирован. Но компрессия ли это? Смущает то, что уровень ограничения заметно меньший, чем допускался бы разрядностью в 16 бит (плюс-минус 32767):

осциллограмма канала I (на рис. показаны первые 128 отсчетов):

Увеличить

осциллограмма канала Q (на рис. каналы у меня обозначены как А и В):

Увеличить

Может быть, SDR Uno пишет отсчеты не в целых числах, а в каком-то двухбайтовом формате float, например. Однако не знаю, как распознавать такие форматы, и как с ними работать... Возможно, более опытные форумчане посоветуют что-нибудь на сей счет, или найдут верное объяснение.

А может тупо little-big endian поменяны местами? Если байты попарно перевернуть?

Я все же не думаю что специально вводили какое-то шифрование :) Скорее всего что-то совсем простое должно быть.

Может быть и так, надо экспериментировать...

Знаю однако, что когда прога AOR пишет переставленные байты в 4-байтовых сэмплах, то при общепринятой интерпретации получается вообще сплошной шум вместо сигнала. А в Вашем файле при обычной интерпретации отсчетов все-таки сигналы станций немножко просматриваются, и даже демодулировать АМ-станцию удалось, хоть и с дикими искажениями.

Отчасти похожая ситуация мне встречалась со старыми записями прогой Cool Edit - у неё свой какой-то формат: 16.8 float. Дык они тоже выглядели как амплитудное ограничение (только там были 4-байтовые сэмплы, и описание этого 16.8 float нашлось-таки в инете, поэтому в итоге удалось научиться их правильно читать. Интересно, что в заголовочной части wav-файла никак не отличались эти 16.8 float от 32-bit signed integer, поэтому мне пришлось вставить в прогу тупое сканирование отсчет за отсчетом по всему файлу в режиме 32-bit signed integer, чтобы наткнуться на NaN - это и служило отличием 16.8 float от 32-bit signed integer :)

Вот ссылка прям в этой ветке, где уже обсуждались картинки с 16.8 float. У меня и wav-файлы те сохранились; если посмотреть осциллограмму с 16.8 float-сэмплами, прочитанными как integer, на растянутой шкале времени, то получается очень похожая картина на картинку из SDR Uno.

Так что, на данный момент у меня окрепло предположение о некоем float-формате сэмплов в wav-файлах из SDR Uno. Хорошо было бы, если бы производители ясно написали бы в документации, какой конкретно формат чисел они применяют.

Sinus
Так что, на данный момент у меня окрепло предположение о некоем float-формате сэмплов в wav-файлах из SDR Uno
Небольшой эксперимент провел - записал два, примерно одинаковых файла (цент. частота в обоих 7380, сэмпл-рейт тоже одинаков - 125k, разрядность 16 бит в HDSDR, в SDRUno в настройках записи разрядность не указана), один в HDSDR, второй в SDRUno. Любопытно, что при почти одинаковом размере файлов (~3,5 MB), длительность записи в HDSDR вышла на ~2 секунды больше.
Файлы записи по ссылкам - HDSDR, SDRUno.
Далее, прогнал оба файла через SDRIQ Analyser (прога от Саймона, входит в пакет SDRRadio).
Заголовок wav-файла нормальный; из него видно, что имеется 2 канала, и в каждом канале - по 2 байта (16 бит) на каждый отсчет - вот что вышло по праметрам файла SDRUno:
Field Value Comment
---------------------------------------------
- - -
Files 1 Recording: Total files
Size 0.004 GB Recording: Total file size in GB
Source Winrad Recording: Program which made the recording
Center Freq 7,380,000 Hz Recording: Center frequency in Hz
Bandwidth 125,000 Hz Recording: Bandwidth in Hz
Bits per sample 24 Recording: Bits per sample
Start (UTC) 2016-11-29 17:32:23 Recording: Start time (UTC)
End (UTC) 2016-11-29 17:32:27 Recording: End time (UTC)
Duration 0:00:04 Recording: Duration

Вот никак не пойму, откуда в файле от DVE взялись 16 бит, ещё раз просмотрел настройки SDRUno, но смену разрядности так и не нашел там, вот параметры его файла:
Files 1 Recording: Total files
Size 0.572 GB Recording: Total file size in GB
Source Winrad Recording: Program which made the recording
Center Freq 7,171,000 Hz Recording: Center frequency in Hz
Bandwidth 5,000,000 Hz Recording: Bandwidth in Hz
Bits per sample 16 Recording: Bits per sample
Start (UTC) 2016-11-27 16:18:48 Recording: Start time (UTC)
End (UTC) 2016-11-27 16:19:16 Recording: End time (UTC)
Duration 0:00:28 Recording: Duration
Собственно, как и в Вашей проге. Мутняк какой-то реально с этой SDRUno:)

DVE
А версия Uno у Вас какая? Я писал последней, которая 1.11.
Да, тоже этой версией пользуюсь.
Примечательно, что в графе "Источник" на файлах записи SDRuno, анализер от Саймона указывает Winrad...

P.S. На всякий случай, в HDSDR ещё три файлика записал коротких (CF 7380kHz, BW 125kHz), с разными настройками разрядности: PCM24, PCM32 и FLT32.
Различие, в структурах файлов PCM32 и FLT32 при графическом отображении бит очевидно:

KarapuZ
Я что-то совсем запутался :) Вы SDR Uno с сайта sdrplay.com брали? У меня она без SDR Play вообще не запускается, пишет RSP not found и закрывается. Как же Вы ее к QS1R подключали?

> Вот никак не пойму, откуда в файле от DVE взялись 16 бит

Это как раз логично, т.к. приемник 12-битный. 8 мало, 24 много :)

Может там конечно блоки по 12 бит (4*12 = 48бит = 6 байт) сплошным потоком пишутся, кстати тоже вариант идеи на обдумывание.
Мне кстати эта версия кажется более логичной чем с float - писать данные с 12-битного потока как float сильно избыточно, а вот сэкономить место и писать без пропусков как раз выглядит вполне разумно.

DVE
Как же Вы ее к QS1R подключали?
Там поддержка EXTIO длл-ок есть, хоть свисток запускайте с ней, только файлом EXTIO.exe, он в директории после инсталляции проги.

Это как раз логично, т.к. приемник 12-битный. 8 мало, 24 много :) - видимо, прога сама в автомате расчет разрядности записи делает, в HDSDR тоже режим авто есть, в зависимости от разрядности потока на входе. Но без возможности ручной настройки. Да и функционал SDRUno, изрядно урезан для стороннего железа.

> Может там конечно блоки по 12 бит (4*12 = 48бит = 6 байт) сплошным потоком пишутся, кстати тоже вариант идеи на обдумывание.

Проверил свою идею - вариант что 12 бит конвертируется в 16, оказался неверным - размер файла при этом должен был бы вырасти, чего не происходит.

Записал 2 файла по 10 секунд с SDRPlay с отключенной антенной в HDSDR и SDR Uno. Размер файлов совпадает, но битовая структура совсем другая.

HDSDR:

Увеличить
SDRUno:

Увеличить

В первом случае похоже на целые числа, во втором странно равномерное распределение бит. Чем-то похоже на float, действительно.
Кстати 16bit float действительно существует: https://github.com/acgessler/half_float

Кому интересно поэкспериментировать, оригиналы (70Мб каждый):
https://www.dropbox.com/s/l36ymkmicatjckd/HDSDR_20161202_072253Z_7225kHz_RF.wav?dl=0
https://www.dropbox.com/s/pqh5e4qybcdhz5t/SDRuno_20161202_072052Z_19648kHz_RF.wav?dl=0
Файлы будут лежать 1-2 дня.

DVE
Кстати 16bit float действительно существует

Да, в википедии об этом формате написано довольно подробно, и pdf-ки на эту тему нашлись. Но у меня попытка конвертировать SDR Uno-запись с 16-битовыми сэмплами в читаемую как с integer-числами не удалась: получились сигналы, смещённые по уровню от нуля и при этом по-прежнему как бы ограниченные по амплитуде (правда, я мог и напортачить с кодом в проге...) Функцию для конвертации 16bit float в float32 я брал самую простейшую из нагуглившейся pdf-ки: fasthalffloatconversion.pdf .

Если с 16bit float продолжать экспериментировать, то можно бы попробовать сместить границу между "мантиссой" и "порядком"; например, 4 бита в "порядке", 11 битов в "мантиссе". Но как-то лень перебирать все варианты.

Кроме того, совершенно сбивает с толку тот факт, что имеются ведь и записи SDR Uno с 24-битовыми сэмплами (если верить заголовкам таких записей; и тогда это точно не 16bit float).

И вот ещё непонятка: Вы указали здесь: Записал IQ-файл в SDR Uno - https://cloud.mail.ru/public/KFob/Dqhipv8mL (545Мб, минута записи). Но если читать этот файл согласно его заголовку как файл с 16-битными сэмплами, то получается длительность примерно 28 сек, т.е. примерно вдвое меньше минуты. Если это расхождение не ошибка (т.е. при указанной в файле частоте дискретизации он должен действительно играться 1 минуту, то получается, что в нем записаны какие-то 8-битные сэмплы. Надо будет на досуге попробовать его прочесть как 8-битный... :)

Sinus
> Но у меня попытка конвертировать SDR Uno-запись с 16-битовыми сэмплами в читаемую как с integer-числами не удалась: получились сигналы, смещённые по уровню от нуля и при этом по-прежнему как бы ограниченные по амплитуде

У меня то же самое.

А кстати, у Вас вообще воспроизведение в самом Uno работает? У меня например нет.
Возможно у них баг в процедуре записи, и эти файлы нормально не воспроизводятся в принципе? :)))

> Надо будет на досуге попробовать его прочесть как 8-битный.

А ведь гениальная мысль :)
Попробовал читать файл как 8-битный:

Увеличить

Ограничение по амплитуде вроде ушло, но звук все равно шумный. И странная симметрия относительно центра. Но может я что-то не так сконвертировал.

DVE
... эти файлы нормально не воспроизводятся в принципе? :)))

У меня только HDSDR установлена. Про SDR Uno вот здесь вел речь KarapuZ, там есть ссылка на wav-файл действующая, и видео: как хорошо файл играется в Uno. Файл тот - с 24-битными сэмплами, если правильно помню. И с ним та же загадка: в обычных прогах сигнал из файла выглядит как "ограниченный по амплитуде", и хреново играется.

Sinus
Кроме того, совершенно сбивает с толку тот факт, что имеются ведь и записи SDR Uno с 24-битовыми сэмплами (если верить заголовкам таких записей; и тогда это точно не 16bit float).
Похоже, SDR Uno автоматически рассчитывает разрядность записи в зависимости от разрядности входного сигнала. Если пишу с QS1R, там разрядность на выходе 32 bit/sample I-Q pair - Uno пишет 24-битовые сэмплы, а с того-же свистка (там я не знаю, сколько бит на выходе) - Uno пишет уже в 16-битовых сэмплах. Образец записи с донгла (полоса 2,4 MHz) положил сюда.

Парни, а эта картинка в чем сделана? Data File Analyzer ? http://doris.kiev.ua/RS/FREQ/IQ/1650-2100/1650-2100_ALL.jpg
Какой еще есть удобный софт для прослушивания или визуализации длинных IQ файлов? Подскажите. Только за полторы тыщи долларов :)

Хочу въехать в тему. Data File Analyzer поставил, но еще не смотрел, в выхи поиграюсь. Есть какие стоящие еще варианты?

Какой еще есть удобный софт для прослушивания или визуализации длинных IQ файлов? Подскажите. Только за полторы тыщи долларов :)

Небольшая и бесплатная программа по обрезанию квадратур, применению фильтров, конвертации нестандартных IQ-AOR в общепринятый вариант. В ZIP-архиве есть и небольшое руководство. Пользуйтесь на здоровье. Очень полезна, когда вам надо из записи в несколько мегагерц вырезать конкретную частоту и файл весит например несколько гигов. Можно сделать частотный сдвиг, расчитать фильтр для небольшого количества отсчётов, а потом применить его ко всему большому файлу.

http://inspectorsoft.ru/forum/viewtopic.php?pid=2671#p2671