Спасибо, посмотрю, отпишусь.

Если будут сигналы с ЧМ, которые не демодятся (желательно голосовые, а то с цифровой манипуляцией пока еще я не на дружеской ноге), шлите, плз, их сюда, на испытанье!

Да, вроде, в этом сигнале все каналы помалкивают. После сдвига частоты и ЧМ-демодуляции виден вот такой спектр (здесь показана его низкочастотная часть):


Увеличить

Видно, что в двух каналах вроде бы что-то есть. Но услышал в них только шум, фон как от наводки 50 Гц, и какие-то шорохи. Уж и так и эдак поползал по всему спектру, ничего примечательного не заметил...

После сдвига частоты и ЧМ-демодуляции Работает. В общем надо половить жуков, оптимизировать код, и приделать GUI.

Жалко, что язык другой, читается тяжело, но полезного уже нашел много. Если вернусь к своей программе, будет откуда переписать :)
А GUI нужно делать отдельно, рисовать на бумаге структуру, какие должны быть приборы, какие линейки и т.п. Потом готовые отлаженные функции туда вставляются, как патроны. Сейчас кода уже много и прикрутить графику в тот же модуль будет сложно.

Programmist
читается тяжело

Это потому, что из меня кодер никакой :) Наоборот, я всё время в ваш код посматриваю - учусь потихоньку.

Одна из проблем, которую я толком не одолел - как читать 32-битные файлы. В этом деле присутствует какая-то неразбериха.

Вот, например, R_V_S присылал на анализ файл "scrambler". По параметрам заголовка это формат PCM, 32 бита integer. Но если его так и открыть, то увидим ерунду на графике сигнала. Порывшись в интернете, выяснил, что формат 32 integer заголовком никак не отличается от "32 бита 16.8 float" - это какой-то устаревший внутренний формат для Cool Edit с плавающей точкой.

Тогда я ввёл в прогу попытку узнавать этот самый "32 бита 16.8 float" (по косвенным признакам, для чего целиком сканирую файл :). Вроде всё ок. Но! Берём файл, присланный в раздел на анализ YuriVR (выше была ссылка, это где сексуально качающаяся частота, и радиолюбители на SSB :))) Автор пишет, что это 32-формат с плавающей точкой, а прога моя его определила как 32 integer, и, похоже, именно как integer его и надо открывать, чтобы не было ерунды.

Где-то попадался и другой пример - прога определяла формат как "32 16.8 float", но работать с ним можно было только как с 32 integer... Поэтому ввёл в прогу опцию перезагрузки 32 бита 16.8 float как 32 integer, на начальной стадии, пока не запущена обработка данных. Как-то не здорово всё это.

Sinus
как читать 32-битные файлы
Нужно смотреть wFormatTag, если Tag = 1, то это Integer, а если Tag = 3, то Float, все остальное, имхо, неизвестно что. У меня в коде все сильно запутано, изначально не составил структуру, поэтому теперь трудно понять что куда. С форматами долго возился, в итоге сделал опцию Formats -> Reload File As... Это на случай того, когда Tag в заголовке указан неверно (на экране чушь). Такие случаи бывают, есть много программ, которые допускают ошибки в заголовках, да и сам заголовок может быть потерян или испорчен.
При чтении 32 Float возникает серьезная ошибка, связанная с особенностью записи чисел с плавающей точкой, если в файле встретится последовательность бит не являющаяся числом. Нужна дополнительная проверка, это в Delphi, в C++ может быть иначе.
24 бита тоже имеется несколько форматов, встречаются редко и их я не учитывал.

з.ы.
С файлом "scrambler", похоже, что все в порядке, это Integer 32 бита.

Programmist
Нужно смотреть wFormatTag, если Tag = 1, то это Integer, а если Tag = 3, то Float

Да, но за одним исключением: точно так же с Tag = 1 встречается формат "32 bit 16.8 float". В заголовке у него абсолютно никаких отличий от "32 bit integer". А способ записи чисел в этих двух форматах разный.

И с файлом "scrambler" это различие всплывает. Вот как выглядит осциллограмма первых 512 сэмплов, если открыть "scrambler" как 16.8 float:


Увеличить

А вот так эти же сэмплы выглядят, если файл "scrambler" открыть как integer:


Увеличить

Имхо, второй вариант выглядит как чепуха. Первый же выглядит нормально, как шум в сигнале (там дальше в файле и сигнал с большей амплитудой появляется. А во втором варианте всё время картинка как будто ограниченная по амплитуде.)

Cool Edit 2000 при открытии "scramblera" выдаёт такую инфу: "IEEE Float (16.8 float type 1)". И картинку показывает, как у меня на первом варианте. Но, собственно, я и добивался, чтобы моя прога открывала этот файл как Cool Edit 2000, потому что картинка второго варианта (32 integer) мне сразу показалась подозрительной.

Поэтому хорошо бы как-то ещё независимым методом выяснить правду. Интересно, кстати, как открывают файл "scrambler"сами участники раздела "сигналы на анализ" (но я стесняюсь у них спрашивать, да и программы они применяют серьёзные, платные, - в них секреты не раскрываются, имхо))

Sinus
Да, действительно, есть такое дело. Значит, надо разбираться, что это за формат и как его правильно определять и читать. У меня-то их всего два, а на самом деле может быть несколько больше. Раньше таких не встречал, но мог и не заметить, потому, как похож на нормальный сигнал. Серьезная недоработка.



Вверху нормальный сигнал, конвертированный Кулом-2000 в 16 бит.
Вот ведь как бывает. Федот, да не тот, а на слух и на глаз можно принять за запись плохого качества.
Сразу и понять не могу, как его так "разукрасило", может быть там формат записи без знака…

С другой стороны, подумал, если заголовок никак не отличается, то и машина не сможет отличить один формат от другого никак. Анализ потока данных не выход из положения. Вообще, в Куле-2000 были допущены ошибки в форматах, сейчас уже не помню какие, но были.
Пока решения проблемы не вижу, у себя добавил: Formats -> Reload File As… -> 32 bit Data 16.8 Float (Old Format), что только еще больше запутало непонятную ситуацию.
Версия 37

Programmist, спасибо за версию 37. Ещё вернёмся к обсуждению форматов.

А пока хелп добавлю к своему "релизу")) Выше был вопрос про фильтр в проге. Поясню это, так как фильтр здесь один из главных инструментов.

Кроме того, важно научиться видеть на графиках и понимать, что у комплексного I/Q-сигнала спектральные составляющие в области отрицательных частот и положительных частот различаются, т.е. там располагаются разные "станции".

1). Если мы выберем нижнюю ("левую") частоту среза фильтра равной нулю (при этом в проге блокируется возможность добавить мнимую часть в Импульсную Характеристику фильтра), то остается только свобода в выборе верхней ("правой") частоты среза. Ну и всегда есть свобода в выборе порядка фильтра, т.е. длины его ИХ.

Т.е. получаем вещественный ФНЧ (он же LPF :)). Согласно теории, АЧХ любого вещественного фильтра симметрична относительно 0 Hz, т.е. она имеет в области отрицательных частот точно такое же крыло, как и в области положительных частот.

Вот пример АЧХ вещественного ФНЧ, c частотой среза 3000 Hz:


Увеличить

Именно в такую полосу пропускания пройдут спектральные составляющие любого фильтруемого сигнала, независимо от того, вещественный сигнал или комплексный. Т.е. независимо от того, симметричен у сигнала спектр отн. 0 Hz, или же по обе стороны от 0 Hz расположились разные "станции", - вне полосы все составляющие будут подавлены, а всё, что попало в полосу, сохранится.

2) Если мы выберем нижнюю частоту среза отличной от нуля (притом обязятельно надо брать её меньшей, чем верхняя частота среза), и по-прежнему не добавим мнимую часть в ИХ, то АЧХ фильтра будет по-прежнему симметричной. Но теперь она имеет провал на всех низких частотах (по абс. величине меньших нижней частоты среза).

Т.е. получаем вещественный полосовой фильтр (BPF). Вот пример такой АЧХ, с частотами среза около 200 Hz и 6000 Hz:


Увеличить

3) Самое интересное: если мы теперь добавим мнимую часть (т.е. нажмём клавишу I на странице задания параметров фильтра), то АЧХ не будет симметричной отн. 0 Hz - у неё не будет левого крыла.

Т.е. АЧХ комплексного фильтра (с мнимой частью) в нашей проге выглядит как АЧХ ФНЧ, сдвинутая направо. (Собственно, она так и вычисляется - как сдвиг АЧХ ФНЧ путём умножения ИХ на комплексную экспоненту. А в случае вещественного фильтра вместо экспоненты берётся лишь её re-часть, т.е. лишь косинус.)

Вот пример АЧХ комплексного BPF:


Увеличить

Понятно, для чего нужна сдвинутая АЧХ - чтобы выделить их широкополосного сигнала нужную полосу в любом нужном месте шкалы частот. Точнее говоря, в нашей проге - только в любом месте положительных частот, т.к. у нас АЧХ сдвигается только направо.

Это не ограничивает возможностей, т.к. мы можем заранее сдвигать по частоте в любую сторону сам сигнал, инвертировать ему спектр перестановкой каналов или сдвигом спектра на Fdiscr / 2, брать сопряженный сигнал - это как бы учебная лаборатория по изучению влияния IQ-забав на FFT-спектры :-)

Пример в продолжение "хелпа" по применению фильтра.

Берём файл с двумя "тётями", многократно упоминавшийся в этом топике )). Находим на периодограмме ту "тётю", у которой сбоку бантик помеха-несущая. План действий: снесём помеху на 0 Hz и вырежем её с помощью провала на АЧХ вещественного BPF.

Итак, вот график в режиме подготовки к сдвигу спектра; мы совместили маркер частоты сдвига с центром помехи (а можно было бы и без маркера - просто ввести частоту вручную через клавишу Enter):


Увеличить

Запустили сдвиг. Снова вычислили спектр (через пункт меню View signal in frequency-domain). Видим, что несучка встала как надо - на 0 Hz. Строим фильтр. Вот график в режиме выбора нижней частоты среза фильтра, маркер частоты среза поместили у подножия несучки:


Увеличить

Жмём пробел (Space), и затем аналогично задаём верхнюю частоту среза; из графика ясно, что её можно взять около 6000 Hz. Задаём длину фильтра (какую выбирать - это надо набраться опыта). После расчёта полосового фильтра в режиме "без мнимой части" АЧХ будет иметь провал на нуле Гц; мы уже видели график такой АЧХ раньше:


Увеличить

Применяем фильтр к сигналу (клавишей Space в режиме просмотра АЧХ фильтра). Если снова вычислить спектр, то увидим, что от несучки остался небольшой пупырышек. Применяем вторично тот же фильтр, и снова смотрим периодограмму:


Увеличить

Ок, от вредной несучки осталась только ямка! Т.е. наш фильтр в данном примере использовался как узкополосный режекторный фильтр.

Да, фильтр получился хороший, а это здесь главная деталь. В отличие от FFT, он не режет все под нуль, что невозможно (видно на картинке).
Здесь отфильтрован белый шум, нужно еще проверить фазу, вычесть результат из исходного сигнала. Должен получиться негатив (режектор).

Вычитать результат из исходного сигнала напрямую не следует. Дело в том, что фильтр вносит задержку (смещение) сигнала во времени длиной порядка N/2 сэмплов, где N - длина ИХ фильтра. И кроме того, в начале и в конце профильтрованного сигнала есть некий переходной процесс.

Это можно увидеть на графике результата во временном домене, если применить фильтр к тест-сигналу в виде одной чистой синусоиды. (Кстати, как раз чтобы отрезать или сгладить концы с переходным процессом и сдвинуть сигнал обратно во времени, включил в меню пункт "выделить фрагмент").

фильтр вносит задержку
Да, это важный момент, если эту задержку учитывать, то фаза должна совпадать во всем спектре, а обработка начала и конца сигнала мне понравилась. По крайней мере, то, что успел проверить выглядит хорошо. Нет никаких "выбросов" и "мусора". Обычно приходится умножать начало и конец на половинку какого-нибудь окна и результат может быть хуже, а у Вас все получилось ровно.

Положил в копилку архив с двумя простейшими тест- вав-файлами (для любых I/Q-программ и для самообразования ))

for_simple_iq-test_1.zip

petr0v нас учил в этом топике, что нашими тест-сигналами должны быть синусоида и дельта-импульс. Вот как раз они там и есть. Там же вложил txt-файл с пояснениями, что и как можно делать.

Вернее, там не синусоида лежит, а константа :) Потому что сдвигом частоты константу можно самостоятельно превратить в "iq-синусоиду" любой желаемой вами частоты. А беря от комплексной экспоненты Re- или Im-часть, будем получать вещественные тест-сигналы в виде косинусоиды и синусоиды. Дальше можно в проге над любым из этих вариантов по-всякому изголяться и смотреть получающиеся спектры ...

Второй вав-файл в архиве это дельта импульс. Он нужен чтобы посмотреть ИХ фильтра с теми или иными настройками.

Графики не привожу, чтобы никого не лишать удовольствия поупражняться с этим делом самостоятельно.

Programmist
Да, более-менее ровно, но есть один не вполне ясный момент (ещё я его не осмыслил до конца).

По теории, наш КИХ фильтр должен вносить только линейный по частоте сдвиг фазы. Моделируя фильтр в маткаде, я это проверял - вроде для нашего фильтра ФЧХ действительно линейна. Но тогда, согласно теории, фильтр не должен менять форму сигнала - должна быть только чистая задержка во времени, если спектр частот сигнала лежит полностью внутри полосы пропускания.

У нас же наблюдаетя переходной процесс. То ли это связано с тем, что файл имеет начало и конец, то ли с тем, что частота синусоиды была между бинами (Котельников нарушен), то ли какая-то есть погрешность вычислений вплоть до незамеченной мной ошибки в коде (такое вполне может быть)... Ничего, постепенно разберёмся...

Спасибо Вам за тестирование.

КИХ фильтр должен вносить только линейный по частоте сдвиг фазы.
В теории да, а как оно выходит на самом деле, нужно десять раз проверять:)
В реальных фильтрах задержка доставляет наибольшее количество неприятностей. Рассчитать то, что получится на выходе (динамиков, в моем случае), практически невозможно, а это "горбы" и "провалы" в АЧХ многополосной системы, ну а малейшие недоработки и выбросы амплитуды в переходных процессах скрыть не удастся. Один неучтенный дельта-импульс приличной амплитуды может настолько испортить впечатление от прослушивания всей конструкции, что навсегда отобьет охоту дальнейшего с ней знакомства :)

Sinus Вот http://doris.kiev.ua/RS/FREQ/IQ/4000_5900/HDSDR_20120710_035913Z_4989kHz_RF_001.wav кусочек эфиру 4-5.9 МГц в утренний час где пик загруза.

RadioKoteg

Спасибо! Однако 600 метров!

Первая версия проги (буду называть её "прога_1_01") столько не принимает ... Буфер под такой файл не влезает в мою оперативку (она у меня всего 500 метров, а свободно обычно бывает только 300 с хвостом...)

Взял от 600 метров только первые 13 секунд (26 миллионов сэмплов, больше никак...). Да, сигналов там много. Модемы, в которых пока ещё не разбираюсь, не знаю как демодить, а голосовые "станции" нормально получились. Вот они, Герцы называю так, как они примерно мне видны в Вашем файле:

Пример1, 886627 Hz, демодулировал как АМ.
Пример2, 801605 Hz, АМ, но для пробы отдемил как HSB.
Пример3, 25500 Hz, LSB, на укр. яз.
Пример4, 459610 Hz, демил как АМ. какие-то гудки.

Всё на divshare-com, там плеер на странице, можно слушать не скачивая (кстати, давно хотел спросить - получается ли там слушать, а то может зря туда кладу...)

У меня к Вам просьбочка - для превых трёх примеров выложите, пожалуйста, Ваши результаты демодуляции этих же станций - очень хочется на слух сравнить, как их демодит Ваш софт; послушать шумы и всё такое...

Вообще, меня крайне удивило вот что. В просмотренном мной куске максимальный уровень широкополосного сигнала не превышает 500 с чем-то единиц! Т.е. это много ниже 16-битного порога, и казалось бы ДД убит. Однако, там куча станций присутствуют одновременно и вполне разборчиво слышны!

Sinus У меня к Вам просьбочка - для превых трёх примеров выложите, пожалуйста, Ваши результаты демодуляции этих же станций - очень хочется на слух сравнить, как их демодит Ваш софт;

Софт не мой http://www.hdsdr.de/ , запись сделана в HDSDR как PERSEUS совместимая. Софт реал тайм, есть кнопочка писать AF.

RadioKoteg, понятно, а как бы послушать, то что Вам слышно с этой записи? Для сравнения.

Sinus Попожжей.

RadioKoteg, спасибо. Не спешите, у меня тут ещё хватает с чем бороться :)

Sinus я обнаружил что в записи полно пропаданий выборок. Постараюсь в время пик записать, комп загружен в притык и не хватает ресурсов..

то что Вам слышно с этой записи? Для сравнения.

http://doris.kiev.ua/RS/FREQ/IQ/4000_5900/DEMOD/

В названии файлов частота, он она с офсетом +4988500 Гц.

RadioKoteg, спасибо, да, хорошо слышно!

А двух последних - мужика и тётку (которая "один-два-три-...") - я как-то у себя прозевал...

Sinus я нарезал кусочками примерно по пять секунд от 0 до 16 МГц, пару файлов с индексом _002 на длиннющую антенну:

http://doris.kiev.ua/RS/FREQ/IQ/0-16MHz/

Так как HDSDR очень требовательный к ресурсу процессора и этим делает пропуски я записи сделал в родном софте PERSEUS SDR. Записи не проверял, может что "накосячил".

IMHO Как я завидую нашим пра-пра-пра-правнукам, когда они будут долбиться с записями по 500 МГц и тоже ругаться что 1024 процессорных ядра в притык и идут потери выборок.

Удачи! :-)

RadioKoteg, благодарю. Иду качать :)


завидую нашим пра-пра-пра-правнукам, когда они будут долбиться с записями по 500 МГц
Дык и нашего наследства им надолго хватит, долбиться-непередолбиться... :)

по факту тотальной 27 мега Герцовой пандомии:

ВНИМАНИЕ ТРАФИК!

http://doris.kiev.ua/RS/FREQ/CB/27________________000.wav 1196M
http://doris.kiev.ua/RS/FREQ/CB/27334_001.wav 107M
http://doris.kiev.ua/RS/FREQ/CB/27334_002.wav 125M
http://doris.kiev.ua/RS/FREQ/CB/27334_003.wav 284M
http://doris.kiev.ua/RS/FREQ/CB/27334_004.wav 86.0M
http://doris.kiev.ua/RS/FREQ/CB/27334_005.wav 423M
http://doris.kiev.ua/RS/FREQ/CB/27334_007.wav 236M
http://doris.kiev.ua/RS/FREQ/CB/27334_008.wav 30.3M

http://doris.kiev.ua/RS/FREQ/CB/27334_001.wav 107M
Два примера из этого файла. (Диспетчеры для таксистов, вроде.)

Интересно... по неопытности думал, что такие спектры это АМ, а оказалось, что они лучше демодулируются как FM:


Увеличить
здесь можно послушать


Увеличить
здесь можно послушать

Просто красиво: http://doris.kiev.ua/RS/FREQ/137000...138000/137_longtime_8h.jpg

Длительность 8 часов.