DVE
может что-то и не то.
Скорей всего что-то не то. Кроме свиста и шума ничего получить из этого файла на скорую руку не удалось, ну и отсутствие заголовка ни есть хороший признак.

upd:
Хотя, в принципе, если подумать, то извлечь что-либо вразумительное можно и из этого набора чисел.)
http://www.radioscanner.ru/uploader/2016/20160310125819.mp3

Спасибо.

Кстати если кому интересно, вот файл с максимальной для HackRF sample rate = 20M. Средняя частота та же, 100МГц.
https://www.dropbox.com/s/96mqrciloh24bab/HackRF_20160310_013058Z_100000kHz_IQ.wav.zip?dl=0 (800Мб, 30сек)

DVE
Я так понимаю, что у Вас уже всё получилось с FFT; поздравляю :)

На всякий случай привожу ещё результаты "обследования" второго Вашего IQ-файла
http://www.filedropper.com/hackrf20160310001939z100000khziqwav

Спектрограмма выглядит примерно так же, как и у первого файла (который был без wav-заголовка); вот она для первых 4 сек, видны те же станции и та же постоянная составляющая по центру:

Увеличить

И снова в этой IQ-записи катастрофически низкий уровень сигнала. Вот как выглядит кусочек его осциллограммы (синяя линия - условно говоря канал I, розовая - канал Q; их, конечно, можно переставить):

Увеличить
В нижней части рисунка показана осциллограмма сигнала, умноженного на 20; видно, что в каждом канале наблюдается всего примерно 4 уровня вместо примерно 256 уровней, соответствующих 8-битному размаху. Т.е. картина примерно такая, как будто IQ-сигнал идёт всего лишь с двух- или трёх-битного регистра.

Тем не менее, несколько FM-станций видно даже в таком низкоразрядном сигнале. Вот спектр мощности для первых 5 сек сигнала (это график логарифма от P[k], с "некогерентным" усреднением по блокам длиной в 8192 отсчёта; выше подобное усреднение мы уже обсуждали):

Увеличить


И обалденно неожиданным для меня откровением явился тот факт, что удаётся довольно разборчиво демодулировать FM-станции в этом IQ-файле!

В НЧ-полосе частот каждой станции даже была видна пилот-несущая 19 кГц для стерео-декодера. Но у меня в проге нет стерео-декодера, и вообще FM-демодулятор у меня самый примитивный, хорошего качества звучания от него ожидать в любом случае не приходится... (где-то раньше в этой ветке было его описание). Поэтому я безжалостно отфильтровал все высокие частоты выше примерно 5-7 кГц; и ужал всё в mp3 с 64 kbps, чтобы в копилку влезло. Вот некоторые из демодулированных таким образом станций, в порядке ухудшения качества:

100.1 Мгц:
http://www.radioscanner.ru/uploader/2016/100_mhz_64.mp3

100.4 МГц:
http://www.radioscanner.ru/uploader/2016/100-4_mhz_64.mp3

100.9 МГц - та, которая выше в постах названа "фантомной":
http://www.radioscanner.ru/uploader/2016/100-9_mhz_64.mp3

99.2 МГц - слабая (есть и совсем слабая, но её я поленился демодить; уже эта-то хреновенько отдемодилась... )
http://www.radioscanner.ru/uploader/2016/99-2_mhz_64.mp3


В теории я толком не разбираюсь, и теперь ломаю голову над "загадкой": почему же из такого низкоразрядного IQ-сигнала удалось-таки извлечь членораздельную речь, да ещё и в нескольких станциях...

Детального объяснения у меня нет, но предполагаю, что низкая разрядность сигнала в данном случае компенсируется довольно большой частотой дискретизации: FM-демодуляции подвергалась полоса частот порядка 200 кГц (на каждую станцию) при частоте дискретизации IQ-сигнала 250 кГц (до такого дискрета делал децимацию перед демодом). Если в профессиональных программах можно добиться заметно лучшего звучания таких низкоразрядных IQ-файлов, то, значит, разработчики владеют искусством оптимального выбора полосы частот и частоты дискрета, да и демодуляторы, наверное, применяют более качественные.

В общем, Вам спасибо за этот интересный пример.

(А самый большой Ваш файл я ещё не скачивал; моя примитивная прога не может такой большой файл окучивать... может только пилить на куски и "обследовать" кусками, что весьма утомительно)

Sinus
Большое спасибо за анализ, действительно интересно.

Если интересно, можете попробовать еще один файл:
http://www.filedropper.com/gqrx20160310234913899979312000000fciq
Если возможно, оцените уровни, больше стало или нет.

Запись сделана другой программой (GQRX), вроде gains я подстроил, но какой в GQRX формат, неизвестно (размер файла почему-то получился больше). Должно быть примерно то же: sample-rate 2M, F=100MHz.

Sinus
почему же из такого низкоразрядного IQ-сигнала удалось-таки извлечь членораздельную речь, да ещё и в нескольких станциях...
Новый демодулятор? Или были применены какие-то дополнительные функции? Не пойму, как Вам удалось получить такое соотношение сигнал/шум, в исходном файле столько нет.)

Максимум, что мне удалось получить из "фантомной" станции:
https://yadi.sk/d/B57HehB6q55FT
В архиве есть файл с пониженным уровнем шума, но это далеко не лучшим образом влияет на качество сигнала.

предполагаю, что низкая разрядность сигнала в данном случае компенсируется довольно большой частотой дискретизации
Возможно, поэтому всегда стараюсь использовать частоту дискретизации в 2 раза выше, чем рекомендовал Котельников.

DVE
вот файл с максимальной для HackRF sample rate = 20M. Средняя частота та же, 100МГц.
Голландский эфир? А Вы можете подобную запись участка 420-440MHz сделать, интересно глянуть,
что у них там?

KarapuZ
Сделать могу, если подскажете какой-нибудь бесплатный файлообменник, где можно хранить файлы по гигабайту :)
У меня на dropbox место кончилось.

DVE
если подскажете какой-нибудь бесплатный файлообменник, где можно хранить файлы по гигабайту :)
Эх, даже и не знаю, что Вам подсказать:(, сам пользуюсь Яндекс-Диском уже года три, он как-то незаметно
расшарился с начальных 2Гб до уже почти 30Гб.
Пробовал Ваш широкий файл в трех программах воспроизвести - лучше всего вышло в SDR#, там и частоты
корректно отобразились и "дропы" были минимальны (видимо i5 процессор слабоват, мощнее под рукой не было). RDS данные и стерео-декодер там нормально отрабатывают на этом файле. В HDSDR "дропы" значительно
сильнее, центральная частота отображается как "0", а пакет программ SDR-Radio (Консоль, IQ анализер и IQ
ресэмплер) вообще не восприняли запись.
В SA всё корректно вышло, после выделения и обработки полосы сигнала ФМ станции звук чистый, так-же
корректно определись модуляционные характеристики RDS дорожки (тактовая частота, сигнальное созвездие
и т.п.).

DVE
Если интересно, можете попробовать еще один файл:
http://www.filedropper.com/gqrx20160310234913899979312000000fciq
Если возможно, оцените уровни, больше стало или нет.



Не могу точно определить формат данных, если это 32-bit Float, то с уровнем все в порядке (70% от номинала), но станции звучат не очень чисто, такое впечатление, что сильно ужат динамический диапазон.
(На картинке спектр реального сигнала).

Programmist
если это 32-bit Float
8 бит вроде как там, по крайней мере SA определила 8-U...

KarapuZ
У меня почему-то читается только как 32 бита, если открыть как 8 бит, выходит гораздо больше шума.
По качеству сигнала после демодуляции: https://yadi.sk/d/-uRZJ4mSq5st8
Может быть у Синуса лучше получится, у него демодулятор более качественный.

Какой там формат, точно не знаю :)
Гугл подсказывает что GQRX пишет float: pairs of 32-bit floats representing I and Q.
http://gnuradio.4.n7.nabble.com/GQRX-raw-IQ-file-format-structure-td55448.html

Я вчера настроил приемник Sdrplay, он 12 бит а не 8 (по крайней мере так вроде заявлено:) если интересно, могу с него что-нибудь выложить. Но максимальная ширина полосы там 6MГц, а не 20 как у HackRF.

KarapuZ
Да, спасибо, вспомнил про Яндекс-диск, вечером запишу.

DVE
Да, спасибо, вспомнил про Яндекс-диск, вечером запишу Ok, хотелось-бы на цифровые сигналы взглянуть
из любопытства ради:), да и пропуски отсчётов, если и имеют место быть, то на "цифре" их легче, имхо,
обнаружить.
Sdrplay, он 12 бит а не 8 (по крайней мере так вроде заявлено:) если интересно, могу с него что-нибудь выложить-Интересно конечно. В пакете программ от Саймона (SDR-Radio) вроде как ограничение, полоса более 10MHz не обрабатывается, так что 6MHz в самый раз, там их можно вдоль и поперек (по частоте и времени) искромсать. SA полосу и 20MHz берёт, но там ограничение по размеру файла - не более 150Mb:((.
Programmist
Вот фрагмент дорожки (~103,6MHz), обработанной в SA.

KarapuZ
Вот фрагмент дорожки (~103,6MHz), обработанной в SA.Что-то я там такой дорожки вообще не нашел.
Наверно, не тот файл смотрел, а тот который https://www.dropbox.com/s/96mqrciloh24bab/HackRF_20160310_013058Z_100000kHz_IQ.wav.zip?dl=0 (800Мб, 30сек) моя программа не откроет, 500 Мб максимум.

DVE
Если интересно, можете попробовать еще один файл:
http://www.filedropper.com/gqrx20160310234913899979312000000fciq
Если возможно, оцените уровни, больше стало или нет.

Сравнивать нет смысла, т.к. тут совсем другой формат (уровень на много порядков выше).

Моя прога не открывает файлы, которые не wav. По подсказкам из Вашего поста и Programmistа я "открыл" этот беззаголовочный файл через пляску с бубном - открыл в CoolEdit2000 как 32-bit float (а если открывать как 8-bit, то ерунда получается) и записал как wav 32 integer, но с неправильным sample_rate, потому что CoolEdit2000 не даёт впечатать произвольный sample_rate; а затем в hex-редакторе впечатал в поле sample_rate заголовка файла байты 80 84 1E 00, означающие дискрет 2М. Итог: увидел у Вас вполне нормальную вроде запись.

Programmist
Может быть у Синуса лучше получится, у него демодулятор более качественный.
Да нет, всё тот же старый демодулятор, который мы уже мусолили в этой ветке... Но на результат влияют нюансы: важен выбор полосы частот (сигнал ведь WFM; если полосу сузить, то будут искажения), и желательно подавить режекторным фильтром помехи-"палки", попадающие в полосу с сигналом. Вот как у меня отдемодилась та станция, которую Вы демодили в 32 битах (кстати, она не "90 МГц", а "100.1 МГц", ибо в IQ-файл с sample_rate=2 МГц и с center_freq=100 МГц попадают только станции из диапазона 99-101 МГц; в аудиофайле не обязательно сохранять разрядность исходного широкополосного IQ-файла, т.к. радиовещание в любом случае не даёт такого высокого качества звучания, которое терялось бы из-за 16-бит в аудио-тракте):

"100.1 MHz"
https://yadi.sk/d/gPfV1zYQq6F6p

В предыдущих примерах (с FM-демодом из 8-битного IQ-файла) при выделении полосы с нужной станцией я умножал отсчёты на число, например, 4 (или 20, или 200, пробовал по-разному). Это немножко улучшало качество последующего демода. К тому же, у меня прога всё вычисляет "с двойной точностью" (формат чисел double c плавающей точкой, 64-битный в Win32). Но и у Вас, вроде, примерно так же демодится.

800Мб моя программа не откроет, 500 Мб максимум.
Сделал я вот какую попытку обойти аналогичную проблему: у меня прога может, не открывая весь большой файл, скопировать в буфер маленький кусочек файла (его длину и положение в файле можно выбрать), и можно посмотреть его спектр, чтобы выбрать центральную частоту и ширину полосы для выделения КИХ-фильтром в отдельный файл. Затем прога читает большой файл небольшими блоками, сносит на ноль центр выделенной полосы, фильтрует, делает разумную децимацию, и пишет получающиеся блоки штука за штукой в отдельный файл на диск. За счёт децимации этот новый файл получается заметно меньшего размера. Только долго всё это...

Sinus
Попробуйте gnuradio, там можно визуально накидать разные блоки (умножение, фильтры, FFT), весьма быстро и удобно получается. Идет на любом железе, даже на Raspberry PI запускали вроде.
Пример (туториал): http://my-gnuradio.org/2014/11/14/gnuradio-urok-4-ispolzovanie-kompleksnyh-signalov-i-priem-ssb/

Только gnuradio работает с файлами float, так что для 8-битных придется озадачиться конвертацией.

DVE
Спасибо. Да вообще-то я уже почти полностью "завязал" с этими делами; в теорию ЦОС ещё может быть позаглядываю (под настроение, и если время будет) - там всё-таки интересная математика бывает; а так чего-то пытаться делать с целью чего-то "слушать" уже куража нет...

Sinus
всё тот же старый демодулятор, который мы уже мусолили в этой ветке...
Не знаю, может быть дело в FFT, у меня там все числа 32 бита, а у Вас, скорей всего, 64. Да и шуму добавляет двойное преобразование I/Q-Real-I/Q. Так получилось, что программа работает только с реальным сигналом, а демодулятор без преобразования было лень делать. Судя по фрагменту дорожки, что показал KarapuZ, в SA тоже демодулятор из реального сигнала. Для сравнения сделал тот-же фрагмент, но немного длинней:
https://yadi.sk/d/hM50D78Qq6QsU
Открыть исходный файл полностью я тоже не могу, надо все переделывать, а это слишком хлопотно, потому, что программа теперь "заточена" под рояль, а там демодуляторы без надобности.)

CoolEdit2000 не даёт впечатать произвольный sample_rate
Дает, потому, что это Cool. :)



Меню Edit-> Adjust Sample Rate...

KarapuZ
> А Вы можете подобную запись участка 420-440MHz сделать, интересно глянуть

Визуально выглядит примерно так:

Увеличить
Посылки есть, но довольно-таки редкие, раз в 20-30сек.

Записал минуту, получилось 2.4Гб, теперь думаю как залить :)

Sinus
> Да вообще-то я уже почти полностью "завязал" с этими делами; в теорию ЦОС ещё может быть позаглядываю (под настроение, и если время будет) - там всё-таки интересная математика бывает; а так чего-то пытаться делать с целью чего-то "слушать" уже куража нет.

А gnuradio это скорее и не радио, а пакет для ЦОС как раз - берете любые блоки, смотрите что получается. Есть возможность написания плагинов, собственных блоков и пр.

Как говорит первоисточник http://gnuradio.org/redmine/projects/gnuradio/wiki :

GNU Radio is a free & open-source software development toolkit that provides signal processing blocks to implement software radios. It can be used with readily-available low-cost external RF hardware to create software-defined radios, or without hardware in a simulation-like environment. It is widely used in hobbyist, academic and commercial environments to support both wireless communications research and real-world radio systems.

Штука интересная, но мне для нее как раз математических знаний не хватает :)

Посылки есть, но довольно-таки редкие, раз в 20-30сек.
Пожалуй не стоит тогда, раз активность низкая такая. Может где-нибудь участок повеселее встретится,
140-160MHz к примеру, вообщем Вам там виднее.

Programmist
Меню Edit-> Adjust Sample Rate...

Спасибо; буду знать, а то я эту прогу почти не юзал, поэтому и не увидел с первого взгляда :)

DVE
У меня на Яндекс-диске есть свободных 15 Гб, есть папка "IQ-wav", и там сказано, что можно к ней "открыть общий доступ" какой-то. Я в этих делах не очень разбираюсь; как думаете, сможете Вы туда залить 2.4 Гб?

UPD:
Вроде это не так сразу... ; оказывается, для этого надо через e-mail "приглашать", потому что там вот такое пояснение обнаружилось рядом с кнопкой "открыть общий доступ": << Откройте доступ к этой папке друзьям или коллегам, и она появится на Диске у тех, кто примет приглашение. Они смогут просматривать и скачивать файлы из вашей папки, а также добавлять в неё свои файлы. >>

Sinus
радиовещание в любом случае не даёт такого высокого качества звучания, которое терялось бы из-за 16-бит в аудио-тракте):
Дело в том, что я принципиально ушел от формата 16 бит. В радиовещании оно может и сойдет, а при работе со струнами никак. Струна "затухает" долго, а в конце, при шестнадцати битах, получается просто "песня со свистом", который очень хорошо слышно, особенно если струн много.


Увеличить

А: 32 бита, Б: тот же фрагмент 16 бит. И wav файлы, для примера: https://yadi.sk/d/bZNXiPHnq6VLB
Само собой разумеется, что проигрыватель должен уметь работать с форматом 32 бита, иначе вообще получится сплошная "песня", к которой уши привыкают, а потом с большим трудом можно отличить соловья от вороны. :)

Если кому интересно, записал 3 примера разных широкополосных сигналов с HackRF.
Формат IQ-float, записано GQRX.

1й: https://cloud.mail.ru/public/Co5E/Rg5eXT346 (230МГц, S/R 4M, размер 343Мб)
2й: https://cloud.mail.ru/public/AFq7/TisGDzQgR (532МГц, S/R 10M)
3й: https://cloud.mail.ru/public/2p82/wGzBEGBgy (940МГц, S/R 10M)

Спектрограмма первых 0.25 сек Вашего файла "1й":

Увеличить

Спектр мощности в логарифмическом масштабе (dB power):

Увеличить

Прикрутил своей "портилкой заголовков" к Вашему файлу чанк "rcvr" в wav-заголовке, и теперь прога HDSDR верно отображает в нём шкалу частот (с точностью до переворота спектра; если низ и верх шкалы частот перепутаны, то это легко исправить перестановкой I и Q ):

Увеличить

Но... вижу по спектрограмме, что в этом 1Гб-файле присутствует вроде всего один сигнал, явно цифровой; и какие-то есть периодические, имхо, пропуски сигнала - шумовая дорожка периодически прерывается по всей полосе частот в файле...

Что это? (В распознании цифровых сигналов я пас; мог бы только пытаться содействовать переделке беззаголовочных .raw в .wav, если это кому-нибудь надо, а если нет, то умолкаю :)

Что это, я сам не знаю, KarapuZ просил что-нибудь необычное записать :) Что-то цифровое, да, достаточно широкополосное. Если есть пропуски это неудобно конечно, значит gqrx запись плохо тянет, и придется консольной версией писать.

Ближе к теме аудио, разобрался с записью на SDRPlay (пришлось пересобрать gr-osmosdr на Mac).
Если кому интересно: файл с SDRplay (12бит).
https://cloud.mail.ru/public/NhmS/ZgrQE8m2r (100МГц, S/R 2M)
Можно сравнить с HackRF (8бит)
https://cloud.mail.ru/public/Gzbe/rcvVV7hEu (100МГц, S/R 4M)
Просьба к гуру оценить разницу в качестве записи.

Sinus
мог бы только пытаться содействовать переделке беззаголовочных .raw в .wav, если это кому-нибудь надо, а если нет, то умолкаю :) Нет-нет, умолкать не надо. Очень полезен Ваш опыт в переделке заголовков:))
Интересует вот по этому файлу, что Вы рассмотрели - как переделать "под" HDSDR?
Что это? (В распознании цифровых сигналов я пас
Там OFDM сигнал, предварительно 1537 каналов, бодовая скорость в каналах ~401 бод, при разносе 500 герц, пока "ломаю голову", что это.

KarapuZ
как переделать "под" HDSDR?

Переделывается начало файла, туда надо добавить специальную служебную инфу и специальный признак, по которому прога HDSDR "узнаёт", что в начале файла для неё есть служебная инфа.

Но голыми руками этого не сделать: нужна прога для переделки начала файлов. И вот тут есть неясный для меня вопрос, видимо, он "морально-этический". Насколько понимаю, для программистов написать такую прогу - раз плюнуть... но почему-то до сих пор такая прога никем из программистов-профессионалов не раздаётся нам простым смертным; и производители SDR-приёмников почему-то до сих пор не договорились о едином стандарте записи IQ-файлов - чтобы можно было их проигрывать в разных sdr-прогах с одинаковым успехом. Прям загадка.

Поэтому я в свою экспериментально-дурацко-самодельную прогу (зародившуюся у меня под влиянием ещё самого начала этого топика) вставил то, что называю теперь "портилкой" служебной части IQ-файлов - тем самым я частично решил для себя проблему проигрывания разных IQ-файлов в HDSDR. Но... :

1) я совсем не программист, и моя прога настолько далека от современной soft-продукции, и в ней такой убогий интерфейс, что выкладывать её тут на всеобщее обозрение, - на сайте, где есть настоящие программисты, - мне просто полная стыдуха...
2) в ней ещё полно глюков, я их постепенно выуживаю, но они всё есть и есть, и конца им не видно; и ещё не все желаемые опции реализованы.
3) то, что сейчас получается в моей проге с переделкой файлов - палка о нескольких концах: там надо строго следовать инструкциям, которые "для внешнего пользователя" ещё не написаны. Переделанный файл не вернуть в исходное состояние. Т.е., если файл будет испорчен, то я оказываюсь виноватым; и если результат не удовлетворит пользователя, то опять мне будут упрёки...

Поэтому, наверное, вот как я поступлю, раз Вы заинтересовались этим делом. В течение нескольких дней, а может быть недель или больше, я напишу что-то вроде понятной инструкции. В том числе там будет и про то, как отщипнуть от большого файла сначала кусочек и тренироваться на нём - получается или нет желаемая переделка. (Мне и самому нужна такая "документация", а то я уже стал многое там забывать...) Заодно я ещё повылавливаю замеченные глюки. И тогда пришлю Вам свою прогу с инструкциями в Личные Сообщения. А Вы посмотрите и уж сами решите, сразу послать это дело подальше, или же оно Вам реально поспособствует в работе с HDSDR... (И если оно окажется полезным, то с радостью выслушаю Ваши замечания и пожелания, и что-нибудь ещё улучшу :)

Имхо, такой план разумный; он ни Вас ни меня ни к чему насильно не обязывает, а взаимная польза вдруг да и будет.

Sinus
есть неясный для меня вопрос, видимо, он "морально-этический"
Точно. Вы напишите программу для изменения заголовков, а в следующий раз на выходе какого-нибудь очередного SDR получите зашифрованные данные.

Sinus
Спасибо. Как уже видно по материалу в этой ветке форума, прецеденты экзотических форматов IQ файлов
есть и Ваша программа востребована.
Формат HDSDR IQ распознается многими программами, в частности я часто пользуюсь пакетом программ
SDR-Radio, куда входит утилита SDRIQFileResampler,с помощью которой достаточно просто производить децимацию, ресемплинг и т.п. интересующих участков спектра. К примеру, недавно, из IQ массива (~20Gb
данных, полоса 600kHz, длительность 35 мин.) была децимирована серия NFM несущих (BW~10kHz каждой),
затем, обработана ЧМ демодулятором в SA и конвертирована в .mp3. Результат был размещён в DX ветке форума. Обработка заняла всего около
40 минут времени. Это всего-лишь маленький пример "полезности" софта, позволяющего обрабатывать
IQ массивы данных. К сожалению, приходится юзать "забугорный" софт, кстати V1.5 SDR-Radio от Саймона
совершенно бесплатна, хотя, соответственно уже и не поддерживается им.

KarapuZ
V1.5 SDR-Radio от Саймона
совершенно бесплатна, хотя, соответственно уже и не поддерживается им.
Здесь дело в том, что все вещи, которые чего-то стоят, сделаны совершенно бесплатно, а все остальное – чистая коммерция.