NORD73
А Мелитопольский 740 NE в тоже самое время работал?
Не знаю, у меня полоса от 50 до 600 kHz писалась тогда. Её потихоньку и препарирую.

KarapuZ, понятно, что узкая полоса не позволила детально полностью изучить вопрос по маяку.

Ну что, похоже прощай розовые уши :) и прием NDB прослушиванием
Спасибо KarapuZ за его гениальный метод
Вот, набросал сегодня "на коленке" вьювер, реализующий эту идею. Пре-пре-пре-альфа версия :)

NDB Viewer - видео

Программа делает в общем то то же самое, что делалось на SA - но минуя ненужные для построения свертки промежуточные шаги (в частности, не нужна тут фильтрация, обрезка, демодуляция). Т.е. принцип таков:

1. Строим файл со спектрограммой нужного разрешения. Я использовал разрешение в районе 5 Герц в этом примере - взял 10-минутную запись от HDSDR и с оверлеем 90% построил "водопад". Моя программа при чем сразу режет его по заданным участкам спектра - чтобы потом легче было работать. Это аналог децимации по сути.
2. Дальше грузим спектр вот в эту программу, что на видео - и уже работаем непосредственно с заранее построенным водопадом - выбираем нужный FFT отсчет - ака частоту (по сути это узкополосная фильтрация с шириной в примерно 10 Герц - для улучшения фильтрации достаточно на этапе построения увеличить разрешение по частоте). Программа строит для неё статистику уровней и свертку. Меняем размер окна свертки и ищем совпадение. Потом по идее это можно научить делать автомат.

В общем то теперь задача приема NDB и/или поиска нужного NDB на известной частоте ускоряется на порядок-два. При дальнейшей доавтоматизации и на все три порядка. Т.е. в идеале надо научить программу самой искать свертку и строить "отчёт" по всей записи за ночь

Немного еще покрутил в сравнении с прослушиванием через HDSDR. Пока не нашел сигнала, который не принять на слух - другой вопрос, что запись надо ставить на тот момент, где этот сигнал вылез, а вот на свертке его видно, понятно, без этого. Обратное так же не заметно - т.е. то что на слух проходит еле еле - на свертке видно во всей красе.

Ну и искать выползающие на чуть сигналы - на готовом водопаде секундное дело - просто скролом туда-сюда водишь, сразу видны "полосочки" там, где сигнал выше шума вылез.
Наложенные друг на друга сигналы тоже не проблема - разное время свертки надо ставить. Но надо добавить настройки яркости/контрастности/порогов - чтобы улучшить разборчивость сигналов, совпадающих по частоте, либо находящихся рядом с несущей - сейчас вбит тупо высокий контраст в районе шума, а это не работает когда сигнал вылезает из под несущей - там "уровень шума" уже иной.

В общем пока впечатления сугубо положительные - видно, что потенциал приличный

UPD: а не, таки нашел сигнал, который на слух непринимабелен. Т.е. на слух слышны отрывочные звуки посылок, нет единого сигнала - даже при условии, что я знаю как он должен выглядеть ("принял" вначале глазами). На водопаде, впрочем, при этом тоже картинка не айс - но тем не менее разобрать можно плюс минус. В общем, пока вывод такой - вблизи шума (если нет помех, а только один шум) - глаз и слух сравнимы по "чувствительности", но глаз немного выигрывает за счет накопления информации при свертке.

wazzoo
Вот, набросал сегодня "на коленке" вьювер Да что-б у всех так на коленках творилось!

выбираем нужный FFT отсчет - ака частоту (по сути это узкополосная фильтрация с шириной в примерно 10 Герц - для улучшения фильтрации достаточно на этапе построения увеличить разрешение по частоте). Программа строит для неё статистику уровней и свертку. Меняем размер окна свертки и ищем совпадение. Потом по идее это можно научить делать автомат. В этом моменте, мне кажется можно добавить ещё одно
небольшое "окно" с отображением графика (масштабируемого) автокорреляционной функции и двумя маркерами времени, которые оператор будет совмещать с соседними максимумами на графике и передачей
измеренного интервала свертки в окно "растра" кликом мыши. Это может значительно упростить поиск периода
передачи последовательности NDB.

wazzoo
Короткое видео по вычислению ACF в полосе фильтрации/FFT выборки. Интервал между маркерами времени автоматом передаётся в окно "Растр". Это принцип можно заложить и в "автомат".

KarapuZ
Есть такой принцип 20/80 - за 20% времени делается 80% результата :) ну и это все поверх наработок, которые я делал для логирования уровней несущих на СВ - т.е. базис то некий был.
Дотачивать там надо много чего - буду потихоньку пилить.

Это может значительно упростить поиск периода
Я заметил, что поиск периода после нескольких минут работы ("набития руки") уже не составляет труда - уходят секунды на это. Видео писалось совсем на горячем пирожке - когда я сделал свертку и попробовал пару маяков - т.е. на видео я еще можно сказать учился их находить :) Сейчас период нахожу на раз. Т.е. маркеры то я сделаю - но пока не в первом приоритете.
Очень полезным оказалось попиксельное хождение (один пиксель - один отсчет FFT) + график уровней. По графику уровней можно увидеть, есть или нет маяк на частоте и подобрать частоту, где уровень максимальный.

У некоторых маяков период кстати плавает - получается такая "гнутая" вертикаль. Ну и конечно для маяков с нестабильной частотой будут сложности - под них надо будет пилить специальные режимы анализа.

wazzoo

У некоторых маяков период кстати плавает - получается такая "гнутая" вертикаль. Ну и конечно для маяков с нестабильной частотой будут сложности - под них надо будет пилить специальные режимы анализа.
Интересненько...

Коллеги, сегодня немного допилил. Вот результат:
NDB Work with auto contrast and auto interval

Сделан авто-контраст и авто-нахождение интервала. Теперь маяки (одиночные на своей частоте или самые мощные на своей частоте) искать можно вообще не напрягаясь. Жмак - и готово. См. например на 0:56 видео, как я случайно нашел маяк, который на водопаде и не различим так вот сходу - итальянский TOP (я проверил в HDSDR - на слух такой слабый сигнал не принять - и это очень крутой результат метода!). А на 0:43 видео можно посмотреть, как выглядят два маяка на одной частоте. Для второго маяка конечно нужен не автоконтраст, а ручной - поддержка поиска нескольких маяков на частоте - следующий шаг.

Так же - добавил при построении спектра оконную функцию Блэкмана-Харриса. По моим тестам в DataAnalyzer-е от SDR Radio - она показала себя лучше других, которые там есть. Т.е. с ней маяки различимы лучше всего - на файлах, где используется большой оверлэп (а без него не увеличить разрешение по частоте)

Так же - первым маяком на видео (в 0:04) попался маяк с плавающим интервалом - видно, как "гнется" вертикаль

Вот пример сигнала, который на слух не слышен. У кого крутые уши - попробуете?
https://yadi.sk/d/_J3Dv4fYvaHCFA
Если открыть файл в HDSDR - то центральная частота 3.145.744 соответствует частоте 405,600 кГц - прямо её или ближайшие (единицы герц) окрестности и можно слушать.
Свертка на частоте 405,596..405,601 кГц показывает вот что (сработал автомат контраста и интервала - т.е. найден маяк "вслепую" - на водопаде не различим):



Это французский MJ

wazzoo
попался маяк с плавающим интервалом - видно, как "гнется" вертикаль

Уже не в первый раз на форуме говорят о маяках с непостоянным интервалом.
Может быть, это означает, что в один длинный период укладывается несколько позывных с интервалами между ними? Помнится, в далёкие годы на аэродромных маяках так обычно и делали (пример – Домодедово 659 ON).

LubitelNDB
в один длинный период укладывается несколько позывных с интервалами между ними
Не - это выглядело бы иначе, не с плавным загибом, либо же как два или более одинаковых маяка (такое уже встретил раз на свертке). В общем то плавание интервала на некоторых маяках было очевидным - ведь нет ни одной причины, чтобы интервал был стабилен всегда и на всех маяках. Так же как и частота, так же как длительность точек-тире или их прямоугольность и проч.. Аналог есть аналог.

wazzoo
Это французский MJ
В этой полосе есть ещё два "француза":). Хорошая запись, около 30 ID сигналов можно из неё вытащить.

Да, ещё просьба такая, к снайперам эфира - посмотреть частоту 504,773 kHz. Там у меня фиксируется
короткий тональный импульс, его длительность порядка 300 ms. Период следования импульсов - 300 секунд.

Вот такие "зверьки" водятся в эфире. Несколько записей делал - сигнал есть во всех, слышен ночью - возможно что-то "не локальное". Ушами такое трудно заметить...:)

wazzoo
Вот пример сигнала, который на слух не слышен. У кого крутые уши - попробуете?
Да, если не знать заранее, то не услышишь. Попробовал поставить его "на место", чтобы он в своём тоне 400Гц звучал, ну один раз услышал, и то, сперва как "MP", кто сразу услышит, у того действительно уши крутые.

Стрелка на водопаде указывает на него.

abradox
Спасибо за попытку :) у меня получилось услышать только одну посылку, при чем не как MJ, а как "возможно M + что-то". Но если даже эту строчку (и соседние более или менее сильные) исключить из свертки - свертка все равно покажет различимый глазом сигнал.

Я что от метода вообще говоря ожидал:
1. Быстрое "чтение" сигналов, которые на слух можно принять. Это есть, чтение на порядок быстрее происходит - клик мышкой на водопад и вот он перед глазами сигнал. Учитывая то, что водопад так же есть - готовый, а так же то, что плохо-слышимые сигналы обрабатываются на 2 порядка быстрее - общее время обработки записи оцениваю как на 2 порядка быстрее, чем на слух. Плюсом сюда - нахождение маяков, которые слухом можно легко пропустить.
2. Чтение сигналов, которые ухом не различить. Все говорит за то, что это есть. Во всяком случае чувствительность визуального метода точно не хуже, а точнее - точно чуть чуть, но лучше.
3. Чтение сигналов в "свалке" - когда на частоте несколько маяков и приходится прослушивать много посылок, чтобы уловить начала/концы посылок. Особенно сложно бывает, когда слабый маяк под сильным и еще и фейдингует - времени уходит прорва на это. Это тоже видно, что есть - надо только добавить ручную регулировку центра яркостной модуляции.
4. Почти как пункт 3 - но выцеживание маяков из под других сигналов - типа АМ вещалок или сигналов коррекции GPS. Пока не пробовал. Но тут тоже нужна ручная регулировка яркостной модуляции.

Суммарно - ускорение анализа на 2 порядка + новые возможности, которые не требуют розовых ушей - превращает мониторинг NDB в довольно увлекательное занятие.

В общем, если кто-то планирует юзать прогу - пишите (KarapuZ уже первый на тесты :) ). Пока у нее только ограничение - запись формата HDSDR, только 16 бит. Если поддержка результатов децимации SDR Radio важна - пишите, вряд ли там будут сложности - скорее всего просто формат заголовка в части доп.данных другой - поэтому, например, частота неправильно конвертируется из SDR Radio в HDSDR

Сейчас буду добивать то, что необходимо для начального использования - будет альфа.

В процессе отладки программы наткнулся на такой вот маяк:



Это Ливийский LAB (уже тянет на DX - 2826 километра до него), не просто слабый - а еще и находящийся под более сильным немецким RW, да еще и у которого период почти совпадает с ним (10,08 секунд против 10,04 - т.е. разница 4 сотые доли секунды!)
Такое на слух вообще нереально принять на этом 10-минутном отрезке - только ждать, когда Ливийский попадет в паузу к немецкому и вылезет из под шумов.

wazzoo
Если поддержка результатов децимации SDR Radio важна - пишите, вряд ли там будут сложности
Поддержка желательна, имхо. Хотя дециматор из 2-ой версии SDRRadioPro "требует" ключа продления лицензии, который раз год выдаёт Саймон, автор проги, есть ещё ресэмлер в первой версии этого софта, там
продление не требуется - лицензия "до скончания времени":). Сам софт удобен, но есть и нюансы - в записи
не должно быть "нулевой частоты", т.е. если сунуть в ресэмплер файл с шириной полосы 625 kHz и в котором
центральная частота к примеру 290 kHz - будет облом с обработкой.
Ну и саму свертку, эффективней строить на длительных интервалах накопления, по моим прикидкам длительностью хотя-бы не менее 20-30 минут, а если более, то тем лучше - больше шансов разглядеть слабые сигналы в федингах. Поэтому поддержка дециматора желательна, работать с нарезанными "кусками" спектра удобнее, да и расход ресурсов железа тоже стоит учитывать при этом ...

wazzoo
Вот что я нашёл в твоей записи по "французу" MJ, частоты не вычислял, только ID:
NV, MJ, RBU, TH, COD, LX, MSW, BC, OP, LPS, OJ, NM, VNG, MRV (ещё один "француз"), Y, HOZ, LUP, PN, UM,
CRW, TSR, ChI, BOT, O, K, BRK, SI, ETN (тоже "француз"), VIE, и TEST.
И это всё, всего-лишь в полосе 9,3 kHz!

KarapuZ
Вот что я нашёл в твоей записи
Ого, круто!

Поддержка желательна, имхо. Х
Ок - думаю, не будет проблемой её сделать. Заодно может сделаю давно напрашивающийся конвертер заголовка - чтобы HDSDR нормально читал такие файлы..

Да - 20-30 минут это хороший интервал для поиска. У меня файлы уже давно всегда по 10 минут пишутся (так с вещалками работать удобно) - на 10 минутах искать NDB уже более или менее, но чувствуется, что не хватает.

работать с нарезанными "кусками" спектра удобнее, да и расход ресурсов железа тоже стоит учитывать при этом
Тут есть один нюанс - если интересна почти вся часть спектра - то моя прога и так его нарезает на куски любой ширины. Научить её склеивать из 10-минутных файлов куски произвольной длины - тоже не проблема. Но дециматор может быть полезен, если полоса записи очень широкая, а интересует небольшой участок в ней. Например, если пишется весь ДВ и СВ, а хочется поработать только с маяками в участке 200 - 500 кГц.

wazzoo
на 10 минутах искать NDB уже более или менее, но чувствуется, что не хватает.
Да, особенно для ID последовательностей с периодом ~30 sec, а таких немало...

Сегодня 23.01.18 в 18:20 МСК услышал «редкий» и неизвестный маяк
520 OG

Луховицы и Ермолино также сегодня работали.

Отлаживая прогу, наткнулся еще на одно забавное явление. Проседание несущей при манипуляциях. Вот как это выглядит для несущей маяка Пулково:



проседание в районе 7дБ - выглядит как "Negative keying"

А вот еще интересный случай. Опознать маяк даже по сонограмме-свертке на мой глаз невозможно (а на слух - и вовсе бессмысленная затея). Но отлично сработала функция накопления. Посмотрите на график, что под сонограммой - по нему четко виден OL. График строится простым суммированием отсчетов каждого интервала. Под ним отрисована и собственно "морзянка".
Т.е. за счет накопления повышается с/ш - т.е. с накоплением мы можем принимать сигналы, находящиеся практически на уровне шума



Точный интервал 4,85 секунды - в базе значится 4,9

wazzoo
А вот еще интересный случай.
Т.е. за счет накопления повышается с/ш - т.е. с накоплением мы можем принимать сигналы, находящиеся практически на уровне шума
Это не случай, а известный факт из теории сигналов, которому получено практическое подтверждение. :)
Уточнение. Сигнал/шум - это (мгновенное) отношение мощности сигнала и мощности шума. За счет накопления (увеличения времени наблюдения, т.е идет накопление энергии) увеличивается не с/ш, а вероятность правильного приема сигнала известной структуры, вплоть до его точного приема в пределе. С/ш не меняется в данном случае всё время наблюдения. (си. Корреляционный прием).
График строится простым суммированием отсчетов каждого интервала.
Зная, что боковая полоса NDB - это тон 400 или 1000Гц, можно считать корреляцию. По времени - не отличается от вычисления свёрток при том же количестве отсчётов. Разница - в каком направлении идёт индексация отсчётов в суммах. Когда просто суммируешь - суммируется и шум. А если известно (есть информация о структуре) , что сигнал - тон, то надо меньше копить энергии, чтобы понять, есть тон в эфире, или нет.

Кстати, спасибо за тот файлик с маяками. Нашел на досуге почти все, что и KarapuZ. :)

abradox
Корреляционный прием
Да - один из его подвидов. В общем этот "случай" - подтверждение того, что удалось получить ожидаемое свойство от свертки. Скажем так - был шанс НЕ получить его, если вдруг я где-то ошибся, сводя все к спектральному анализу.
Сигнал/шум - это (мгновенное) отношение мощности сигнала и мощности шума
С/ш - отношение полезного сигнала к шуму, т.е. довольно абстрактная величина. На выходе АЦП - да, это условно "мгновенный", а на выходе корреляционного механизма - полезный сигнал, как и шум - уже другие. Возможно, практика применения в радиотехнике конечно иная - но с/ш, как общий термин, по идее применим к любым сигналам.
вероятность правильного приема сигнала
Верно - тут, конечно, можно от разных абстрактных моделей отталкиваться. Если мы в рамках сигнальной модели - то речь идет о накоплении энергии и об улучшении с/ш. Если мы в рамках информационной модели - то речь идет об увеличении количества информации. Но в общем все крутится вокруг стат.модели временных рядов
Зная, что боковая полоса NDB - это тон 400 или 1000Гц, можно считать корреляцию. По времени - не отличается от вычисления свёрток при том же количестве отсчётов. Разница - в каком направлении идёт индексация отсчётов в суммах. Когда просто суммируешь - суммируется и шум. А если известно (есть информация о структуре) , что сигнал - тон, то надо меньше копить энергии, чтобы понять, есть тон в эфире, или нет.
Свертка по сонограмме - это оно и есть. Нам не надо знать, 400 или 1000 Герц - ведь это относительная величина, равна тому, от чего её мерить. Нам нужна абсолютная величина. Далее. То, что мы знаем, что это тон - даёт нам понимание, что суммировать надо лишь сигнал одной частоты. Вот и получили свертку по сонограмме - суммируем отсчеты конкретной частоты, получив её уровни через спектральный анализатор. Можно было бы получить уровень через фильтрацию+демодуляцию - но количество исходной информации у нас везде одинаково - так что важно лишь не потерять её при преобразованиях.

Кстати, можем сравнить два метода напрямую - могу выложить IQ файл, интересно будет посмотреть, насколько будет лучше видно на SA через фильтрацию/демодуляцию этот маяк. Заодно может поколдовать потом над функцией автоконтраста.

wazzoo
могу выложить IQ файл, интересно будет посмотреть, насколько будет лучше видно на SA через фильтрацию/демодуляцию этот маяк.
Выкладывай файл:). Но пока у SA фора, в виде возможности регулировки уровня порога яркостной модуляции
и наличия регулировки "контраст" в растровом модуле. И какой сигнал там искать, хотя-бы намекни частоту...

Но пока у SA фора
Как бы да
И какой сигнал там искать, хотя-бы намекни частоту...
И как бы нет :) т.е. этот сигнал то найден был автоматом. Т.е. я просто щелкал по частотам, автомат сразу посчитал интервал. А наличие сигнала легко различимо по диаграмме корреляции и диаграмме свертки, несмотря на то, что сонограмма не дала его в читабельном виде. Так что тут как раз фора у моего автомата - с SA надо найти еще сигнал.

Чуть позже загружу - частота 319600 примерно (у меня детектится на 319601 и 319594 отметках спектра), сейчас убегаю...

частота 319600 примерно (у меня детектится на 319601 и 319594 отметках спектра)
https://yadi.sk/d/JXTCC4u-vb6uPQ

UPD: посмотрел в HDSDR - не смог на водопаде даже присутствие разглядеть... KarapuZ - в SA наличие самого сигнала наверняка можно увидеть по агрегированному спектру?

По мотивам OL сделал облегчатор поиска морзянки в сигнале. Рисую под сонограммой свертки сонограмму её агрегата, автоматически устанавливая порог яркостной модуляции равным среднему между верхней и нижней 10%-й квантилью. Теперь и без графика сигнал разглядеть можно. Работает автоматика. Вероятно, теперь и этой форы у SA осталось немного :) интереснее понять, будет ли разительным отличие между "фильтрация+демодуляция+сонограмма+свертка" и "спектрограмма+свертка одного отсчета спектра"



По ощущениям, NDB-скиммерия все ближе. Как минимум достижим уровень такого процесса:
1. Оператор запускает на анализ IQ-файл, идет отдыхать (либо анализ происходит прямо во время записи - по мере готовности файликов wav)
2. Оператор открывает результат анализа - на экране списком сонограммы детектированных маяков (или иных периодических сигналов), уже принимавшиеся ранее - отмечены. Галочками отмечает интересующие маяки, прописывает им морзянку (пока/если автомат не научился). Жмак на кнопку - и результат в базе логов :)

Если еще помечтать - сюда просится популярная нынче нейронка. Можно научить её и детектировать именно маяки по сонограмме и детектировать морзянку.

Открытым остается только вопрос наложения маяков - когда на частоте несколько сигналов, особенно с сильно разным уровнем. Там пока не копано у меня - т.е. только ручной режим представляется.

wazzoo
частота 319600 примерно (у меня детектится на 319601 и 319594 отметках спектра)
Нет, пока в SA ничего там не разглядел. Децимировал из твоего ШП файла полосу BW 9,375 kHz, центральная частота которой 319,600 kHz.
в SA наличие самого сигнала наверняка можно увидеть по агрегированному спектру?
Даже в таком варианте, между маркерами по центру спектра что-то еле заметное: