Dados do Photo-z Server¶
O Photo-z Server é uma plataforma web desenvolvida pelo LIneA como parte da contribuição in-kind do Brasil para o projeto LSST do Rubin Observatory. Ele fornece acesso a produtos de dados oficiais e gerados por usuários. Os administradores do Photo-z Server mantêm e atualizam periodicamente uma lista curada de recursos de dados para apoiar a LSST Community com exemplos de uso geral.
Esta página apresenta uma visão geral de alguns conjuntos de dados disponíveis no Photo-z Server, juntamente com instruções de acesso. Para mais detalhes sobre os recursos e funcionalidades da plataforma, consulte a Documentação do Photo-z Server para Usuários.
Acesso restrito
De acordo com as Políticas de Dados do Rubin Observatory e do IDAC-BR, o acesso aos dados do LSST — incluindo produtos derivados hospedados no Photo-z Server — é restrito a membros autorizados da LSST Community com contas RSP válidas.
Classificação dos conjuntos de dados¶
Produtos de dados oficiais¶
Os conjuntos de dados oficiais serão validados pelo Rubin's Data Management e estarão disponíveis para a LSST Community por meio do Photo-z Server. Esses conjuntos de dados incluirão catálogos de redshifts de referência, conjuntos de treinamento e estimativas photo-z associadas aos releases de dados do LSST. Os conjuntos de dados serão disponibilizados de forma faseada, começando pelo primeiro release de dados (DR1) e continuando com os releases subsequentes à medida que o survey LSST avançar. Por enquanto, a página Rubin Observatory PZ Data Products está vazia.
Produtos de dados gerados por usuários¶
A maioria dos produtos de dados hospedados no Photo-z Server será enviada ou criada por usuários, e não há garantia de qualidade para eles. Os usuários são incentivados a usar o Photo-z Server para armazenar produtos de dados em qualquer estágio de desenvolvimento, desde amostras experimentais até resultados refinados associados a publicações científicas.
Além dos dados enviados por usuários, a página User-generated Data Products hospeda um conjunto de dados preparados pelos administradores do Photo-z Server para fins educacionais, servindo como exemplos de casos de uso para os tutoriais do Photo-z Server. Além disso, os produtos de dados DP1 e DP2 gerados pela PZ Science Unit da Rubin's Commissioning Team, como os descritos nas notas técnicas SITCOMTN-154 (para DP1) e RTN-124 (em preparação, para DP2), também estão disponíveis ali. Esses produtos de dados foram validados apenas de forma muito superficial. Trate-os como provisórios e use-os com cautela.
Data Preview 2¶
Informações detalhadas sobre os DR2 PZ Data Products estarão disponíveis na nota técnica RTN-124 (em preparação).
Seção em construção
Os links e as descrições abaixo podem mudar em breve.
Amostra de redshifts de referência¶
Uma compilação de redshifts de referência produzida usando o pipeline Combine Redshift Catalogs (CRC), combinando 38 catálogos com dados de 51 surveys, em sua maioria espectroscópicos, para fazer match com o catálogo LSST Object a fim de produzir conjuntos de treinamento e teste para algoritmos photo-z.
| Produto de dados | Descrição | # de catálogos fonte | # de objetos | Status |
|---|---|---|---|---|
| REF_Z_CLEAN_NO_DESI_LSS | Objetos únicos com flag de qualidade \(\geq\) 3, excluindo DESI DR1 | 37 | 6,616,173 | |
| DESI DR1 LITE | DESI DR1 (seleção de colunas) | 1 | 28,425,963 |
Legenda
Planejado Em preparação Disponível
Conjuntos de treinamento e teste¶
| Produto de dados | Descrição | # de objetos | Status |
|---|---|---|---|
| MATCHED_CLEAN RTN-124 | REF_Z_CLEAN_NO_DESI_LSS matched com DP2 Objects | 1,194,088 | |
| MATCHED_DESI RTN-124 | DESI DR1 LITE matched com DP2 Objects | 1,544,298 | |
| CLIPPED_TRAIN RTN-124 (PARQUET) | Amostra aleatória de 80% de MATCHED_CLEAN, recortada para remover excesso enviesado com base em bins de i_mag-redshift | 554,676 | |
| SOM_TEST RTN-124 (PARQUET) | 20% restantes de MATCHED_CLEAN com amostragem baseada em SOM para mimetizar "DP2 galaxies" | 18,400 |
Legenda
Planejado Em preparação Disponível
Resultados de treinamento¶
Legenda
Planejado Em preparação Disponível
Resultados de validação¶
A serem adicionados em breve.
Estimativas Photo-z¶
A serem adicionadas em breve.
Por enquanto, as Estimativas Photo-z podem ser acessadas via LSDB. Para mais informações, visite a página LSDB.io
Data Preview 1¶
Catálogos de objetos¶
Produtos de dados contendo tabelas de objetos descritas na Seção 2.1 e listadas na Tabela 1 da nota técnica SITCOMTN-154.
| Produto de dados | Conjunto de dados | Seleção | Número de objetos |
|---|---|---|---|
| DP1 (disponível no RSP) | Catálogo DP1 Object completo | Nenhuma | 2,299,757 |
| ECDFS+EDFS+SV_95 gold SITCOMTN-154 | ECDFS+EDFS+SV_95 | gold | 375,610 |
| SV_38 gold_4_band SITCOMTN-154 | SV_38 | gold_4_band | 169,034 |
Conjunto de dados Gold abrangente para todos os campos DP1 além dos campos ECDFS+EDFS+SV_95 e SV_38, onde há dados espectroscópicos disponíveis (conjunto de dados não listado na Tabela 1 da nota técnica SITCOMTN-154):
| Produto de dados | Conjunto de dados | Seleção | Número de objetos |
|---|---|---|---|
| DP1 Gold all | All fields | gold | 686,334 |
Catálogos de redshifts de referência¶
Catálogos de redshifts de referência de surveys individuais¶
Produtos de dados contendo catálogos de redshifts de referência (antes do matching com a tabela DP1 Object), separados por survey de origem conforme listado na Tabela 2 da nota técnica SITCOMTN-154.
Nota: Esses conjuntos de dados já estão filtrados para o campo ECDFS e limpos com os critérios de seleção descritos na Seção 2.2.1 da nota técnica SITCOMTN-154. Para os catálogos originais completos, consulte a seção Conjuntos de dados externos abaixo.
Dados espectroscópicos adicionais do DESI DR1 foram usados como um conjunto de teste independente para validar as estimativas photo-z. Como o DESI DR1 é um conjunto de dados muito grande que se estende além da área coberta pelo DP1, ele foi filtrado para incluir apenas o campo ECDFS.
| Produto de dados | Referência | Número de redshifts |
|---|---|---|
| DESI DR1 inside DP1 footprint | DESI Collaboration et al. (2025) | 50,634 |
Catálogo de redshifts combinado¶
Um único arquivo contendo todos os redshifts de referência combinados dos surveys individuais listados acima (excluindo DESI), conforme descrito na Seção 2.2.1 da nota técnica SITCOMTN-154.
| Produto de dados | Número de redshifts |
|---|---|
| ComCam ECDFS z catalog SITCOMTN-154 | 104,070 |
Conjuntos de treinamento e teste¶
No Photo-z Server, o tipo de produto "Training Set" abrange todas as amostras resultantes do matching entre um redshift de referência e um catálogo de objetos. Isso pode incluir conjuntos de treinamento e teste juntos no mesmo arquivo ou subamostras independentes enviadas separadamente. Neste último caso, tanto os conjuntos de treinamento quanto os de teste são marcados como "Training Set".
Os produtos de dados contendo conjuntos de treinamento e teste gerados a partir do ComCam ECDFS z catalog listado na Tabela 1 da nota técnica SITCOMTN-154 são:
| Produto de dados | Conjunto de dados | Seleção | Número de objetos |
|---|---|---|---|
| training_v1 match_prelim SITCOMTN-154 | training_v1 | match_prelim | 7,000 |
| test_v1 match_prelim SITCOMTN-154 | test_v1 | match_prelim | 2,437 |
| training_v4 match_ecdfs SITCOMTN-154 | training_v4 | match_ecdfs | 6,778 |
| test_v4 match_ecdfs SITCOMTN-154 | test_v4 | match_ecdfs | 2,905 |
| test_DESI match_desi SITCOMTN-154 | test_DESI | match_desi | 2,728 |
Resultados de treinamento¶
Os modelos de dados dos estimadores estão listados na Tabela 7 e descritos no Apêndice A.3 da nota técnica SITCOMTN-154.
Arquivos de configuração
Como mencionado na Seção 3.4 e no Apêndice A.1 da nota técnica SITCOMTN-154, os arquivos de configuração dp1.yaml (o conjunto completo de configurações testadas, rotuladas como flavors de análise) e dp1_v4.yaml (parâmetros de configuração otimizados) estão disponíveis no repositório GitHub rail_project_config.
Resultados de validação¶
Estimativas pontuais photo-z, QP Ensembles e métricas de avaliação estão relacionados aos resultados mostrados na Tabela 4. Os arquivos foram enviados a partir dos diretórios listados na Tabela 7 e descritos no Apêndice A.4 da nota técnica SITCOMTN-154.
Estimativas Photo-z¶
PZ Tables¶
PZ Tables foram produzidas como parte dos estudos iniciais com dados de comissionamento descritos em SITCOMTN-154. Os dados foram enviados a partir dos diretórios listados na Tabela 7.
| Produto de dados | Número de objetos |
|---|---|
| PZ Table dp1_all gold baseline SITCOMTN-154 | 686,334 |
| PZ Table dp1_sv38 gold baseline SITCOMTN-154 | 169,034 |
| PZ Table DESI gold baseline | 2728 |
Conjuntos de dados externos¶
Dados públicos coletados da literatura e hospedados no Photo-z Server.
Catálogos de redshifts de referência¶
Surveys individuais¶
O Photo-z Server hospeda vários catálogos públicos de redshifts espectroscópicos de diferentes surveys que podem ser usados como conjuntos de dados de referência para treinamento e validação de estimativas photo-z. Os produtos de dados listados abaixo são os catálogos originais, sem qualquer filtragem ou seleção de dados.
Legenda
Planejado Em preparação Disponível
Combine Redshift Catalogs (CRC)¶
Gerado pelo pipeline Combine Redshift Catalogs (CRC) do Photo-z Server.
| Produto de dados | Data de publicação (MM/DD/YYYY) | # de produtos | # de objetos | Status |
|---|---|---|---|---|
| REF_Z_COMPLETE | 07/06/2026 | 38 | 43,555,318 | |
| REF_Z_CLEAN | 07/06/2026 | 38 | 20,856,682 | |
| REF_Z_CLEAN_NO_DESI_LSS | 07/06/2026 | 37 | 6,668,608 |
Legenda
Planejado Em preparação Disponível
Training Set Maker (TSM)¶
Gerado pelo pipeline Training Set Maker (TSM) do Photo-z Server.
| Produto de dados | Data de publicação (MM/DD/YYYY) | # de objetos | Status |
|---|---|---|---|
| DP1_TRAIN_CMODEL | 07/07/2026 | 38,843 |
Legenda
Planejado Em preparação Disponível