Skip to content

patymunoz/conversation_intelligence_analyst

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

15 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Análisis de recursos de revisión en la Ciudad de México

Este repositorio analiza recursos de revisión del sistema de transparencia de la Ciudad de México. El proyecto combina limpieza de datos, homologación institucional, análisis semántico de solicitudes y una aplicación en Streamlit para explorar patrones por dependencia, resoluciones atípicas y cambios temporales.

Qué contiene

  • src/cleaning.py: limpia la base, normaliza instituciones y genera variables analíticas.
  • src/sentido_utils.py: concentra la reclasificación de sentido y tipo de efecto.
  • src/streamlit_app.py: app interactiva para explorar resultados.
  • notebooks/00_exploration.ipynb: integración y revisión inicial de la fuente.
  • notebooks/01_analisis_motivos.ipynb: análisis semántico y construcción de categorías.
  • notebooks/02_patrones_por_dependencia.ipynb: análisis por dependencia, resoluciones y tiempo.
  • outputs/interim/: insumos intermedios de trabajo.
  • auxiliares/: figuras y archivos auxiliares para visualización.

Procesamiento principal

El flujo general es:

  1. Integrar y revisar la fuente original en notebooks/00_exploration.ipynb.
  2. Ejecutar src/cleaning.py para:
    • eliminar duplicados y columnas residuales,
    • limpiar texto de solicitudes,
    • homologar nombres de sujetos obligados contra catálogo,
    • generar variables como anio, mes, sentido_reclasificado y sentido_efecto.
  3. Analizar motivos y categorías semánticas en notebooks/01_analisis_motivos.ipynb.
  4. Explorar patrones institucionales en notebooks/02_patrones_por_dependencia.ipynb.
  5. Visualizar resultados en la app src/streamlit_app.py.

Instalación con uv

Desde la raíz del proyecto:

uv sync

Para entrar al entorno virtual creado por uv:

source .venv/bin/activate

Cómo reproducir

1. Ejecutar limpieza

.venv/bin/python src/cleaning.py

Esto genera o actualiza archivos intermedios como:

  • outputs/interim/resoluciones_clean.xlsx
  • outputs/interim/resoluciones_para_trabajo.xlsx

2. Correr notebooks

Puedes abrir Jupyter:

uv run jupyter notebook

Y ejecutar en este orden:

  1. notebooks/00_exploration.ipynb
  2. notebooks/01_analisis_motivos.ipynb
  3. notebooks/02_patrones_por_dependencia.ipynb

3. Levantar la app de Streamlit

uv run streamlit run src/streamlit_app.py

La app usa por defecto:

  • outputs/interim/resoluciones_para_trabajo_etiquetado.xlsx
  • auxiliares/embeddings_projector.tsv
  • auxiliares/metadata_projector.tsv

Requisitos

  • Python >=3.13
  • uv

Nota

El proyecto está pensado como un flujo analítico reproducible: limpieza, etiquetado, análisis exploratorio y visualización interactiva. Si actualizas los datos base, conviene volver a correr la limpieza y después los notebooks principales antes de abrir la app.

About

Análisis de recursos de revisión en la Ciudad de México mediante limpieza de datos, categorización semántica y visualización interactiva para detectar patrones temáticos, resoluciones atípicas y cambios temporales por dependencia.

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors