Коллеги, кто пишет спектры, заметны ли были следы вчерашней вспышки при обработке материалов?
Я вчера писал, да следы были заметны. Станции очень резко могли просто исчезать и опять появляться, плюс, в какой-то момент, скачком, прибавились шумы. И очень рано закончилось прохождение, ещё до рассвета.
А уже дома, выясняется, что Австралийские станции проходили в "не свое" время, намного раньше, обычного.
Вот плоды нехорошего прохождения 1179kHz, DWET AM End Time Mission Broadcasting (Service Life Radio) Раньше не удавалось принять, был Китай и Румыны, постоянно, на частоте.

Greenland
Скорее всего эти следы мы почувствуем часов через 50. Завтра, часам к 22-м/23-м.
Да, понятно, какие-то следы будут после... Но интересен был момент именно прилёта пыха и около часа до и после него. Особенно "до" момента срабатывания сенсоров "X" на том-же GOES. У меня КВ полоса писалась вчера, но о вспышке узнал уже сегодня, а данные обработал вчера к ночи и удалил... Просто интересно было-бы глянуть на "распылы"
и закорючки несущих на СВ именно в эти моменты прилёта:)

KarapuZ

... на СВ именно в эти моменты...

Да, редко, но попадал на момент Х на СВ. Чаще всего это глухая пара часов с единственным максимумом в рассвет (или наоборот, смотря когда пыхает) и, к сожалению, сами закорючки ещё не доводилось подробно рассматривать. С виду обыкновенно всё, только тускло. Зато через 48 часов (и если пыхает в сторону планеты)- масса ярких несущих, ранее не прилетавших (к сожалению это в основном добавляет хаосу и лишней скученности). Вчера вспышка была где-то на западном краю диска, скорее всего "послед" и не проявится. Надеюсь у Ивана будет включена запись с 9-го на 10-е...

"распылы"

Этой весной, уже наблюдая (благодаря Ивану) за спектром, не вижу распылов у сигналов, идущих по ~меридиану. Только у трансандинских сигналов и полночных азиатских.

1197kHz, DXFE AM / Far East Broadcasting Company FEBC (Philippines) 6500км/10кВт, ант 500м/130град.
Иран придавило прохождением и станцию удалось, хоть и плохонько, но услышать.
А тут Китай придавило и ещё новые Филиппины.
729kHz, DWPE AM / Philippine Broadcasting Service (PBS "Radio Pilipinas") 5280км/10кВт, ант 500м/120град.
Ещё новинка.
783kHz, DZNL AM, Philippine Broadcasting Corporation ( "Aksyon Radyo")5310км/5кВт, ант 500м/120град.

Пока молчит Америка, немного Британии. 80 Ватт
Поиском не нашел, ловил кто-нибудь? Приходит в общем то каждую ночь, только уровень бывает побольше или поменьше, тут повезло ID зацепить.

1377 G-ENG Asian Sound Radio Ashton Moss. 0.08kW. 1930 km 268° - 30.04.2021 23-59 UTC - ID, news

Вчера вторую антенну поднял, стек DHDL на 270 градусов. Теперь у меня пушка в сторону Голландии и Британии )

Не знаю, в какую тему - отправлю сюда, пират из Голландии со слегка широкополосным сигналом 12 кГц (+/-6 кГц аудио), 500 Ватт. Антенна у него довольно простая - Inverted V, два плеча по 17,5 метров, высота подвеса 20 метров (описание из QSL от января 2021), но гремит будь здоров
1670 HOL Radio Technical Man Ruurlo. 0.5kW. 1505 km 254° - 9.05.2021 20-56 UTC - ID 1-47,2-15,2-33

В сторону Америки был распыл на рассвете, но довольно слабый - единичные станции с не очень высоким уровнем. Ну и всю ночь гроза в эфире

wazzoo

Имя знакомое. И почерк :)
ex Delta Radio.

Greenland
Ездил сегодня? Как у тебя в эфире, тоже грозо-разряды всю ночь?

wazzoo

Увы. Праздники, переносы рабочих дней... Вчера один выходной только был. По логам шведов- и там не густо.
Я, вот, грею ухи на 1510,004 (это реальные 1509,996) от 18.04. Слышу индейские пару слов. Надеюсь на боливийцев, всёжки.
---------------------------------------
Время максимума для станции чётко совпадает с 1540, и целых 15 минут ещё было до максимумов распылов из Перу. В эфире была до 01:05.

(это реальные 1509,996
Дать тебе версию с автокоррекцией частот спектра? Дюже удобно, и спектры теперь красивые, прямые - точно знаешь оффсет
Один раз просто вписываешь кгц опорной станции (у меня 1413 прописано) и все - дальше всегда будет автоматом при открытии спектра все калиброваться, главное чтобы в файлах vvv2 был спектр опорной станции

версию с автокоррекцией

Давай, попробую.

Залил по той же ссылке (последней).
Запускаешь прогу, ставишь галку, вбиваешь нужные кГц

wazzoo
Иван, пожалуйста и мне тоже версию с автокоррекцией частот спектра дай попробовать.

На заметку "цифро"-снайперам эфира - сегодня условия прохождения позволили рассмотреть в спектре на частоте
26060 kHz (CF) DRM сигнал, похоже из Будапешта, мощность вроде как 100 Вт там всего. Декода не вышло, SNR весьма
низок был, но тем не менее прецедент приема есть:)

Вадим, вот: https://disk.yandex.ru/d/s4o1ZT2IbDAqLA

По идее будет калибровать по любой несущей, ровно стоящей на Х000 герц - главное чтобы эта несущая была сильная и присутствовала на всей длине открываемого спектра. Для средних волн это обычно не проблема, вот как там на КВ - не знаю

Я кстати начал использовать прогу и для просто просмотров спектра с не очень высоким разрешением - например 20 герц на пиксель с оверлэпом 0. И обнаружил, что у меня шкала частоты не работает нормально (делалась только под NDB и высокое разрешение для несущих). В общем, поправил шкалу - теперь она сносно отображает на пожалуй всем разумном разнообразии частот и разрешений спектра.

На видео показал как это выглядит в ручном режиме. Вначале пара частот с кривым и смещенным спектром. Потом встаю на 1413, жму Calibrate - дальше все ровно становится. Только на краю спектра, откуда смещалось - остается пустой кусок на ширину смещения. Это только визуально, в самих файлах ничего не меняется

https://youtu.be/fJKZKaEMs2g

wazzoo
Спасибо Иван, скачал. Будем посмотреть, как работает. Сегодня как раз в буилдере строятся спектры по
частотам 5 MHz (эталонная несучка там стоит) и по QRP сигналам на 7038,5 kHz, там всего по 1 Вт три передатчика
излучают в режиме A1: http://ok0eu.fud.cz/

wazzoo
Но работа буилдера это нечто, Иван! В плане того, что он выжимает все соки из машины:)
Вот скрин из ДЗ Винды-10, запущен буилдер и браузер Хром с парой вкладок:


Обрабатывается массив IQ из 180 файлов по 1,86 ГБ каждый, ширина записи 3,072 MHz, длительность ~8 часов. Вот строю файлы спектра шириной 7,5 kHz из этого массива с такими настройками:

Новый игровой ноут надрывается над этой задачей с 9 утра, сейчас уже 10 вечера! Кулер не смолкает на полных оборотах! Что у меня не так может в настройках, Иван? Можно ли как-то для обработки задействовать мощности
графических ускорителей, ведь они практически простаивают?

KarapuZ
Вижу размер FFT = 32 миллиона бинов, да еще и оверлэп 90. Оверлэп 90 % - это считай он тебе спектр 10 раз обсчитывает (сдвигает каждый раз на 10%). Такой оверлэп нужен только если ты хочешь выжать всё что можно из БПФ - т.е. получить максимально детализированный спектр и по частоте и по времени.
Тут уже зависит от задачи - точно ли тебе секунда на пиксель нужна? Может вообще под твою задачу достаточно оверлэпа в 0.

Второй момент - ноутбук при полной загрузке обычно не может работать на полную мощь дольше небольшого промежутка времени - т.к. даже на процессорах с индексом U тепловой пакет такой, что системы охлаждения не будет хватать. Т.е. мощные ноуты сглаживают кратковременные высоконагруженые задачи, но долгосрочно уже нужен десктоп, увы. У меня и на десктопе то при 6 ядрах и тепловом пакете 65 Ватт при полной загрузке на постройке спектров (купил AMD 3600) пришлось поколдовать с системой охлаждения - понавешивал кулеров мама не горюй, никогда столько не было - благо в сарай новый комп уедет. Базово, несмотря на мощный радиатор с 5-ю тепловыми трубками - темпа поднималась выше 80, что неминуемо отражается на производительности в минус.

Третий момент - память. При 32 миллионах памяти уже требуется прилично, вижу у тебя она под завязку загружена. Для спектров высокого разрешения прога может немного перебрать с памятью, вылезая за пределы доступного, что приводит к использованию файла подкачки. В последней версии что ты скачал в билдере есть ручная настройка числа используемых потоков (что напрямую на память влияет) - можно поменьше потоков поставить попробовать. Ну и прога считает, что ты память ничем не занимаешь емким типа браузера

Видеокарту я использовать не умею. У меня ее и нет (кроме встроенной в проц)...

Короче, резюмируя - такие спектры строить в высоком разрешении лучше на десктопе с памятью в 32 гига.
Либо поумериь настройки - снижай оверлэп до хотя бы 65 (уже в 3 раза быстрее процесс пойдет!) или лучше до 0. И/или уменьшай разрешение по частоте - ну там 16 лямов ставь.

BTW: я пробовал строить БПФ еще монструознее чем у тебя - разрешением в 128 миллионов (!) бинов и оверлэпом в те же 90%. Так вот скорость у меня была примерно 1/2 от реалтайм - т.е. я за 11 минут обрабатывал файл длиной 20 минут (спектр 2400 килосэмплов - хотя тут ширина не играет особо роли, только размер БПФ и оверлэп - т.к. БПФ вообще ничего не знает про сэмплрейт, сэмплрейт влияет только на отрисовку шкал времени и частоты). Это на 6-ядерном AMD 3600 и 32 гига памяти. Это довольно быстро для такого монструозного БПФ (там нелинейно скорость падает)

Пытался сепарировать несущую Carillion от Clatterbridge (две правые переплетающиеся) - получилось. Даже пару десятков секунд Клаттербриджа удалось услышать - это 1 Ватт из Британии

KarapuZ
На будущее тезисно:
1. Скорость обсчета спектра зависит только от размера FFT и оверлэпа, сэмплрейт исходника не влияет вообще никак.
2. Общая скорость конечно заивисит от объема и скорости чтения/записи, но для спектров высокого разрешения типа 32 миллиона БПФ на 90 оверлэп - скорее только от скорости обсчета
3. Сэмплрейт - это данные для отрисовки шкал частоты и времени, не более того.
4. Оверлэп в процентах - это сколько процентов отсчетов на каждом шаге берется от предыдущего шага. Т.е. например при БПФ в 32 миллиона прога читает 32 миллиона сэмплов (сэмплрейт не важен!), считает по ним БПФ, потом берет последние 90% от этих прочитанных, читает из файла недостающие 10% и снова считает БПФ. И так далее. Несложно посчитать, что полностью пройти 32 миллиона сэмплов прога сможет лишь после 10 таких манипуляций. А при оверлэпе в 50% - через 2. При 0% - через 1. А при 95% - через 20. Такие дела )

KarapuZ
А, ещё забыл. Тебе лучше консолью вырезать нужный узкий кусок. И тогда спектр со свистом построится, т.к для того же разрешения по частоте потребуется намного меньший размер fft

wazzoo
выжать всё что можно из БПФ - т.е. получить максимально детализированный спектр и по частоте и по времени.
Да Иван, получить максимально детализованную картинку. Вот что вышло по эталону на 5 MHz (калибровку РПУ пока
опускаю)), настройки буилдера были как на скрине выше, только фильтр выбран "Sine":

Собственно, детали видны - и предрассветная "туманность" несущей, затем рассветный "распыл" и далее после рассветное "размножение сущностей". Но вот разрешения по частоте хотелось-бы больше и в настройках окна
Пскова иметь не только минимальный выбор его ширины 0,1к, но и дальше дискретно по 10 Hz на уменьшение.

Ну а это визуализация эталона 5MHz в Косоли и расход ресурсов компа. Запущены консоль-анализатор и браузер на несколько вкладок. Кстати да, надо было вырезать полосу в дециматоре консоли а потом совать её в буилдер, ты прав, будет быстрее.

11.05.21.
4775 kHz R.Tarma 1kw
Beverage 620m
SANGEAN ATS 909X Углич Ярославская обл.
[Видео YouTube - нажмите для просмотра]

4775 kHz R.Tarma DEGEN 1103 teleskop
[Видео YouTube - нажмите для просмотра]
Солнечное утро мороз -3 градуса.

KarapuZ
Вот что вышло по эталону на 5 MHz
Получается, тебе не нужен был оверлэп в 90. Ты строил спектр с разрешением по времени в 1 секунду на пиксель. А просматриваешь спектр в "сжатом" по вертикали виде - V.Zoom какой выбран - где-то 32 наверное? Т.е. тебе хватило бы оверлэпа 0, и спектр построился бы в 10 раз быстрее, да и грузился бы легче. Обращай внимание на разрешение по времени, оно показывается в билдере рядом с крутилкой оверлэпа - там написано сколько миллисекунд будет в одном пикселе на экране без зумирования (т.е. когда V.Zoom = 1).

Но вот разрешения по частоте хотелось-бы больше и в настройках окна
Пскова иметь не только минимальный выбор его ширины 0,1к, но и дальше дискретно по 10 Hz на уменьшение.
Разрешение по частоте определяется не окном просмотра спектра (0,1к - это просто отображаемая ширина), а настройками построения. Ты выбрал БПФ 32 миллиона - т.е. подели сэмплрейт (3072000) на 32 двоичных миллиона (33554432) и получишь разрешение по частоте - оно указано в билдере в скобках (0,092 Hz) - т.е. один пискель на экране по ширине соответствует шагу в 0,092 герца. Если бы взял размер FFT в 64 миллиона - было бы 0,092 поделить на 2 = 0,046, а при 128 миллионах = 0,023 герца на один пиксель
Выше я давал скрин пример спектра более высокого разрешения (там у меня 0,02 Герца на один пиксель).

Если ты вырежешь полосу консолью - например получишь 1/16 полосы (это 192 килосэмпла в секунду) - то разрешение в 0,023 герца на пиксель можно получить уже не при FFT 128 миллионах, а при 128/16 = 8 миллионов.

wazzoo
Иван спасибо, всё подробно разложил и понятно. После дециматора Консоли, дела пошли заметно быстрее.
Выделяю им нужную полосу из ШП спектра, соотв. понижается сэмплрейт, попутно файлы конвертятся из формата
HDSDR в формат Консоли (благо, ты позаботился о мульти-форматной поддержке в Pskov NDB). Далее, файлы после
дециматора сую в буилдер и ... вижу противоречие с твоим первым тезисом
1. Скорость обсчета спектра зависит только от размера FFT и оверлэпа, сэмплрейт исходника не влияет вообще никак..
Как итог всех этих манипуляций c построением спектра высокого разрешения:
1. Построение фалов спектра с высоким разрешением по времени/частоте участка шириной в 7,5 kHz из исходника с сэмплрейтом 3,072 M длительностью 8 часов стоило мне целый день работы компа.
2. Построение файлов спектра с высоким разрешением по времени/частоте участка спектра в 12 kHz из исходника
с сэмплрейтом 24 K длительностью 8 часов происходит за считанные минуты!
Ставил оверлэп 90 и разрешение 0,02 Hz - полоса с сэмлрейтом 24K длительностью 8 часов минут пять обсчитывалась.

KarapuZ
вижу противоречие с твоим первым тезисом
1. Скорость обсчета спектра зависит только от размера FFT и оверлэпа, сэмплрейт исходника не влияет вообще никак..

Все нормально, скорость - это не общее время :)

Время_расчета = Объем_данных / Скорость_расчета

У тебя драматически упал объем считаемых данных - в 250 раз - так что и время расчета уменьшилось на примерно тот же порядок (было 24*60=1440 минут, в 250 раз меньще = 6 минут).


У меня есть в планах не первого приоритета добавить дециматор в прогу - но, пока он не очень нужен - с учетом типичных кейсов для NDB / MW DX и просто просмотра долгосрочного широкополосного waterflow (например для поиска каких-то служебных станций или сетей в эфире). Хотя иногда возникает необходимость какой-то участок "подсветить" спектром более высокого разрешения - но я это решаю "брутфорсом" - новый AMD Ryzen 3600 по скорости огонь. Пару лет назад я не нарадовался на комп жены с i7-3770K - но этот AMD еще в пару с лишним раз быстрее (еще и память быстрее, и SSD на терабайт я поставил сверхбыстрый в слот M2). Теперь самый быстрый комп у нас в семье будет стоять в сарае ))

Сейчас у меня в процессе:
1. Тотальный рефакторинг PskovNDB - разделяю внутри на версию для NDB DX и на версию для MW DX/просмотра спектров
2. ExtIO для Afedri - с собственной записью и реалтайм расчетом спектра + фазировкой для 2/4 канального приемника - под мои проекты ФАР на 2/3/4 антеннах.

В ближних планах после этого - интегрировать в Pskov NDB по клику на Waterflow прослушивание в HDSDR кликнутой точки (частоты времени)

И это помимо натурной работы с паяльником и в полях с кипами проводов в болоте ))

KarapuZ
Интересно кстати сравнить по скорости твой ноут с моим десктопом. Я проверил 32 М с оверлэпом в 90%, мои файлы примерно как у тебя по сэмплрейту (2,4 М против 3 М у тебя)

Получилась скорость в 3,5 раза быстрее реалтайма (т.е. 8 часов записи обрабатываются за 2 часа 20 минут). Сколько часов у тебя шуршало?

Переходи короче в следующем апгрейде на десктоп. Будут процы и покруче AMD 3600 за разумные деньги. Я его за 13 тысяч (процессор) купил, вначале хотел AMD 5600 взять - но он почти на 10 тысяч дороже, а производительность выше лишь процентов на 20..25.

Весь апгрейд вышел по цене довольно простенького ноутбука - проц 13500, память 32 Гига скоростью 3200 - 12200, материнка 8000 = 33700 рублей + еще быстрый SSD 1Тб 8400р. Корпус, охлаждение для проца, БП и старая видяха (просто чтоб завелся комп) у меня были - но они недорогие, можно и БУ взять на авито по дешевке. Удалось даже Windows 7 поставить, нашлись по интернетам драйвера нужные.

wazzoo
Сколько часов у тебя шуршало?
У меня шуршало часов 10:), ноут ASUS GL731GT-H7118T. Брал его , в том числе и из-за поддержки
видео-ускорителем CUDA, ибо приходится визуализировать спектры IQ записи в SDR Data File Analyser
от Саймона. Семи-восьми часовая IQ запись с полосой 3M, визуализируется с разрешением 10000 (width) на 15000
(height) пикселей, FFT 32M, Overlap 40-45% за минут двадцать. На старом Lenovo с камнем i5 прорисовка аналога
уже около часа длится. Для записи подтыкаю по USB 3.X внешние SSD, полоса до 6 MHz пишется без проблем (до этого такой номер на старых ноутах не прокатывал, были временнЫе паузы на стыке файлов записи), больше
для КВ не пробовал, плюс есть слот M2 внутри дополнительный, можно воткнуть SSD и туда вдобавок к уже имеющемуся). Прикол в том, что полученное в результате полотнище спектра интерактивно - зуммируешь мышью участок спектра и он открывается
в доп. окне проигрывателя с набором демодуляторов, фильтров, рекордера и т.п. Короче юзаю эту тему уже не год и не два:), поэтому приветствую планы по интегрировать в Pskov NDB по клику на Waterflow прослушивание в HDSDR кликнутой точки (частоты времени) "двумя руками"! Поди сейчас искать нужную точку частоты /времени спектра в Pskov, а затем воспроизвести её в HDSDR геморр еще тот.

KarapuZ
FFT 32M, Overlap 40-45% за минут двадцат
Да - это конечно очень круто! Экстраполируя твои данные, моя прога у тебя рисовала бы часа за 2 то же самое.
Попробовал у себя на 2,4М спектре - скорость получилась 1,5 минуты на 20 минут файл. Т.е. 8 часов строилось бы за 1,5*3*8 = 36 минут примерно.
Наверное CUDA действительно имеет смысл.

В плане оптимизации я пошел несколько иным путем - сделал прогу для Afedri, которая считает спектры real-time во время записи. Т.е. обработка записи идет за условно 0 минут :) конечно если выбрать перед началом записи нужные спектры для построения. Все равно во время записи проц отдыхает.

Короче юзаю эту тему уже не год и не два:)
Да - это я в курсе )

Сегодня утром, 12-го, никто не писал? Было замечательное прохождение из ЛА. На телескоп периодически появлялась Аргентина - 1350 кГц, Тарма - 4775 как местная, Венесуэла - 6205 даже проходила.

Было замечательное прохождение из ЛА

А потом, смотрю, ещё и длинная красная палка.
В ЯНАО, небось, Япония тазом накрылась?