SciELO - Scientific Electronic Library Online

 
vol.26 número1Como Hacer una Mala Organización de un CongresoAnálisis de la Entrada en Simulación Estocástica índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

Artigo

Indicadores

Links relacionados

  • Em processo de indexaçãoCitado por Google
  • Não possue artigos similaresSimilares em SciELO
  • Em processo de indexaçãoSimilares em Google

Compartilhar


Información tecnológica

versão On-line ISSN 0718-0764

Inf. tecnol. vol.26 no.1 La Serena  2015

http://dx.doi.org/10.4067/S0718-07642015000100002 

Estimación de la Esperanza, Varianza y Cuantiles en Simulaciones de Estado Estable

 

Mean, Variance and Quantile Estimation for Steady-State Simulation

 

David F. Muñoz(1,2) y Adrián Ramírez-Nafarrate(1)

(1) Departamento de Ingeniería Industrial y Operaciones, Instituto Tecnológico Autónomo de México, Río Hondo # 1, Colonia Tizapan San Angel, 01080 México, Distrito Federal, México.

(2) Departamento de Ingeniería Mecánica, Universidad de Texas en Austin, Austin, TX 78712, USA. (e-mail: davidm@itam.mx y adrian.ramirez@itam.mx)


Resumen

En este artículo se presenta una comparación empírica entre los métodos de repeticiones independientes, grupos consecutivos y grupos espaciados para estimar la esperanza, la varianza y el 90%-cuantil del tiempo en la fila de espera (en estado estable) de una cola M/M/1. La comparación está basada en el cubrimiento empírico, el sesgo y el error relativo de los intervalos del 90% de confianza, a través de 1000 repeticiones independientes de las estimaciones. Los resultados experimentales muestran que los tres métodos proporcionan cubrimientos similares (y asintóticamente válidos) para estimar la esperanza, la varianza y el cuantil, mientras que el método de grupos consecutivos proporciona sesgos y errores relativos más pequeños que los otros dos métodos. Además se presenta el ejemplo de una cadena de Markov con espacio de estados continuo, en el que se obtienen intervalos de confianza válidos, siendo que esta cadena no es geométricamente ergódica.

Palabras clave: simulación estocástica, simulación de estado estable, esperanza, varianza, cuantiles.


Abstract

In this article three methods (multiple replications, non-overlapping batches and spaced batches) to estimate the expectation, the variance and the 90%-quantile of the steady-state waiting time in an M/M/1 queue are compared. Our comparison is based on the empirical coverage, bias and relative error of 90% asymptotic confidence intervals from 1000 independent replications of a simulation-based estimation. Experimental results show that all three methods provide similar (and valid) empirical coverage for the estimation of the expectation, variance and quantile; and the method of non-overlapping batches provided smaller bias and relative errors than the other two methods. In addition to this, an example of a continuous state-space Markov chain that is ergodic but non-geometric, is presented. For this case asymptotically valid confidence intervals by using the methods considered in this paper are also obtained.

Keywords: stochastic simulation, steady-state simulation, expectation, variance, quantile


 

INTRODUCCIÓN

La mayoría de las investigaciones sobre el análisis de la salida en simulaciones estocásticas de estado estable se enfocan en la estimación de esperanzas (promedios de largo plazo) y, en particular, en la conveniencia de utilizar promedios por grupos versus repeticiones independientes. Sin embargo, en muchas aplicaciones el tomador de decisiones puede estar interesado en estimar medidas de desempeño que no se representan como esperanzas, como son la varianza o los cuantiles, y sería deseable que para la estimación de estas medidas de desempeño se utilicen las mismas corridas de la simulación. Aplicaciones potenciales de la estimación de varianzas o cuantiles en simulaciones de estado estable pueden ocurrir, por ejemplo, en la estimación de costos y evaluación del desempeño en el sector salud (Vargas y Giraldo, 2014), balanceo de carga y análisis de líneas de montaje (Vanalle et al., 2012), simulación de la resistencia térmica (Borbón et al., 2010) y en la programación de sistemas de producción (Escobar et al., 2012).

En este artículo se presenta una comparación empírica de tres diferentes metodologías para la estimación de la esperanza, la varianza y los cuantiles de la distribución de estado estable, utilizando las mismas corridas. Los tres métodos que se comparan en este estudio son (i) B: una sola corrida (larga), dividiendo la corrida en grupos (sin espacio entre grupos) para calcular el error de estimación (Law, 2014), (ii) SB: una sola corrida, dividiendo la corrida en grupos e incluyendo espacio entre grupos (Song, 2011) para calcular el error de estimación, y (iii) MR: método de repeticiones con calentamiento antes de cada repetición (Law, 1977). En particular, se discute el desempeño de estos tres métodos en la simulación del tiempo en la fila de espera de una cola M/M/1, considerando el ancho medio del intervalo de confianza (IC) asintótico como medida del error de estimación.

Para el método MR se incluye calentamiento con la finalidad de reducir el sesgo (Glynn y Heidelberger, 1991; Grassmann, 2014).considerando que la simulación inicia sin ninguna entidad en el sistema. Asimismo, el método SB incluye espacios entre grupos consecutivos de observaciones (las observaciones en los espacios no se consideran) para reducir la dependencia entre los grupos de observaciones.

Para el caso de la estimación de la esperanza, la comparación entre los método B y MR ha sido discutida en Law (1977), donde se muestra que B proporciona mejores cubrimientos que MR. Para este mismo caso, Argon y Andradóttir (2006) combinan las ventajas de ambos métodos en un método denominado grupos replicados (del inglés “replicated batch means”). La estimación de la varianza ha sido discutida como un caso particular de la estimación de una función no lineal de una esperanza, donde se ha utilizado el método delta para probar (bajo ciertas suposiciones) la validez asintótica del IC correspondiente al método B (Muñoz y Glynn, 1997; Chang, 2004). Además, en Muñoz y Glynn (1997) se sugiere la utilización de un estimador puntual jackknife para reducir el sesgo y el error cuadrático promedio. Alexopoulos et al. (2013) propone un procedimiento secuencial con base en series de tiempo estandarizadas (STE) para estimar la media del tiempo de espera de un sistema M/M/1 y lo compara con otros métodos basados en grupos. Gupta et al. (2014) propone combinar diferentes estimadores de la varianza asintótica de la estimación de la esperanza (de estado estable), con el objetivo de producir IC asintóticamente válidos.

La metodología B para estimar cuantiles de la distribución de estado estable se presenta en Seila (1982) y su validez asintótica se discute en Muñoz (2010) y Alexopoulos et al. (2012). Adicionalmente, Nakayama (2012) estudia la aplicación de muestreo por importancia y el método B para estimar cuantiles, cuando las observaciones son independientes e idénticamente distribuidas y, para el mismo caso, Calvin y Nakayama (2013) discuten la aplicación de métodos basados en STE, mientras que Chen y Kim (2013) discuten la aplicación del método B y meta-modelos para resolver el mismo problema. En la extensa literatura sobre análisis de la salida de experimentos por simulación (ASES), se ha reportado la aplicación de B y MR para estimar cada una de las tres medidas de desempeño (por separado) y, en nuestro conocimiento, se ha reportado la aplicación de SB sólo para la estimación de la esperanza, por lo que es la primera vez que se reporta un estudio sobre la estimación de estas tres medidas de desempeño utilizando las mismas corridas de la simulación.

Es conveniente mencionar que el tiempo en la fila de espera de una cola M/M/1 es un ejemplo que tradicionalmente se ha utilizado para probar las bondades de los métodos para analizar la salida de experimentos por simulación en estado estable (ver Lada y Wilson, 2006, y las referencias en dicho artículo), debido al conocimiento de una solución analítica para la distribución de estado estable y al requerimiento de un elevado número de repeticiones cuando la intensidad de tráfico está cercana a 1. Asimismo, en este artículo se extienden y corrigen los resultados (Fig. 1 y Fig. 2) inicialmente presentados en Ramirez y Muñoz (2013). En este artículo también se presenta la construcción de un ejemplo en el que los métodos mencionados proporcionan intervalos de confianza que son asintóticamente válidos. La construcción del ejemplo considera los resultados de Muñoz (2010), donde se muestra que la ergodicidad geométrica en una cadena de Markov (CM) es una condición suficiente para que el método B proporcione un IC que es asintóticamente válido, por lo que se construyó una CM (con espacio de estados continuo) que es ergódica, pero no geométricamente ergódica, encontrándose (empíricamente) que los IC que producen los métodos B y MR son válidos para las tres medidas de desempeño de estado estable consideradas en este estudio.

METODOLOGIA

Con la finalidad de hacer una comparación justa entre los tres métodos para el ASES considerados en este estudio, en cada experimento de comparación, se probaron los tres métodos utilizando el mismo número de observaciones. Es decir, el número de observaciones en el periodo de calentamiento para el método MR fue igual al número de observaciones del espacio entre grupos para el método SB, y el número de observaciones en cada repetición del método MR (incluyendo calentamiento) fue igual al número de observaciones en cada grupo del método B, como se detalla a continuación.

Para ilustrar las ecuaciones que definen tanto al estimador puntual como al IC en cada uno de los métodos y medidas de desempeño consideradas en este estudio, se utiliza la siguiente notación:

m = Número total de observaciones en el experimento por simulación,

b = Número de repeticiones para el método MR o número de grupos para los métodos B o SB,

n = Número de observaciones por repetición (incluyendo el calentamiento) para el método MR o número de observaciones por grupo en los método B o SB (incluyendo espacio entre grupos), m = nb,

d = Número de observaciones en el periodo de calentamiento para el método MR o número de observaciones del espacio entre grupos para el método SB (d = 0 para el método B).

Yij = Observación j de la repetición i para el método MR (grupo i para los métodos B o SB), i=1,..., b; J=I,..., n

Los estimadores puntuales de la esperanza, la varianza y el α- cuantil se definen por

En cada experimento se calcularon los anchos medios del IC asintótico del 90% para estimar la esperanza, la varianza y el 90%-cuantil, considerando cada uno de los tres métodos. Los resultados que se presentan en la siguiente sección se obtuvieron con base en 1000 repeticiones independientes de cada experimento, y se consideraron dos conjuntos de experimentos; el primero corresponde a la estimación del tiempo de espera en una cola M/M/1 congestionada (intensidad de tráfico p=0.95), y el segundo a una CM ergódica pero no-geométrica, con espacio de estados continuo (descrita más adelante en esta sección). Los experimentos por simulación se implementaron utilizando Excel como interfaz y VBA para generar los reportes. El generador de números aleatorios utilizado fue el Mersenne Twister (Matsumoto y Nishimura, 1998). La simulación de la cola M/M/1 se programó utilizando la Ecuación de Lindley (ver Kelton et al., 2012), y a continuación se describe el modelo de la CM ergódica no-geométrica.

RESULTADOS

En la Fig. 1 se muestran los cubrimientos empíricos (los datos se presentan en la Tabla 1) obtenidos para las verdaderas esperanza, varianza y 90%-cuantil del tiempo en la fila de espera de una cola M/M/1 bajo las condiciones descritas en la sección anterior. Los resultados muestran que todos los métodos alcanzan el cubrimiento esperado a medida que crece el número total de observaciones ( m ) en la simulación, y un mejor cubrimiento parece depender más del número de grupos (repeticiones) que del método utilizado.

Tabla 1. Cubrimientos empíricos para el tiempo en la fila de espera de una cola M/M/1

Por otro lado, el cubrimiento de la verdadera varianza, en general, ha sido más pequeño que el cubrimiento de la esperanza y del 90%-cuantil; mientras que, cuando el número de observaciones simuladas llega a 400000, todos los métodos tienen un desempeño similar para la estimación del 90%-cuantil. Cuando m es relativamente pequeño, se observa que el cubrimiento es mejor cuando el número de repeticiones o de grupos es más pequeño; lo cual es consistente con las sugerencias de Schemeiser (1982).

Fig. 1. Cubrimientos empíricos a través de 1000 experimentos independientes de estimación de la esperanza, varianza y 90%-cuantil del tiempo en la fila de espera de una cola M/M/1

Fig. 2. Valor absoluto del sesgo a través de 1000 experimentos independientes de estimación de la esperanza, varianza y 90%-cuantil del tiempo de espera en la fila de espera de una cola M/M/1

En la Fig. 2 se muestran los valores absolutos de los sesgos (los datos se presentan en la Tabla 2) para cada uno de los tres métodos (se reporta el promedio sobre los 3 tamaños de grupo con el mismo número de observaciones por corrida). Como puede apreciarse de la Fig. 2, con el método B se obtuvieron sesgos más pequeños que SB y MR en los tres casos (con diferencias menos notables en el caso de la varianza), mientras que MR reportó sesgos más pequeños que SB en el caso de la esperanza y de la varianza, cuando el número de observaciones simuladas es relativamente grande. También se puede observar que los métodos basados en grupos (B y SB) producen un sesgo significativamente menor en la estimación del 90%-cuantil que el método MR.

Tabla 2. Sesgos empíricos para el tiempo en la fila de espera de una cola M/M/1

En la Fig. 3 (Tab. 3) se muestran los errores relativos (ancho medio dividido entre estimador puntual) promedio para n = 10 grupos (repeticiones) y cada uno de los tres métodos. Como puede apreciarse en la figura, el error relativo disminuye a medida que aumentan el número total de observaciones. Además, el método B tiende a tener errores relativos más pequeños (aunque las diferencias son muy pequeñas), mientras que no es posible apreciar diferencias entre los errores relativos que proporcionan MR y SB.

En cuanto a los experimentos con la CM definida en (3) y (4) para βχχ, los cubrimientos para la esperanza, la varianza y el 90%-cuantil fueron muy buenos (cercanos a 0.9) para β=0.9 y β=0.5, para los diferentes números de observaciones simuladas que fueron probados. Para β=0.2 se requiere un número mayor de observaciones para obtener cubrimientos satisfactorios. En la Fig. 4 se muestran los cubrimientos para el 90%-cuantil.

Los resultados del conjunto de experimentos con la cadena de Markov ergódica, no geométrica, sugieren que la validez de los métodos para construir un IC asintótico para los cuantiles de estado estable podría probarse analíticamente bajo condiciones más débiles que la ergodicidad geométrica.

Tabla 3. Errores relativos para el tiempo en la fila de espera de una cola M/M/1

Fig. 3. Errores relativos a través de 1000 experimentos independientes de estimación de la esperanza, varianza y 90%-cuantil del tiempo de espera en la fila de espera de una cola M/M/1

Fig. 4. Cubrimiento empírico a través de 1000 experimentos independientes de estimación de la esperanza, varianza y 90%-cuantil de una CM ergódica no-geométrica para β=0.2,0.5,0.9

CONCLUSIONES

En este artículo se presenta una comparación empírica del desempeño de tres métodos diferentes para estimar la esperanza, varianza y cuantiles de la distribución de estado estable, a partir de experimentos por simulación (múltiple repeticiones, grupos consecutivos y grupos espaciados). De acuerdo a los experimentos basados en la cola M/M/1, los valores de los cubrimientos empíricos de los tres métodos son muy similares y válidos. En general, los cubrimientos se mejoran a medida que crece el número de observaciones simuladas, y un menor número de repeticiones o grupos es preferible cuando el número de observaciones simuladas es pequeño. Es conveniente mencionar que la estimación de la varianza requiere de un mayor número de repeticiones que la esperanza y el cuantil, para proporcionar cubrimientos empíricos razonables.

Por otro lado, los cubrimientos se mejoran a medida que crece el número de observaciones simuladas, y un menor número de repeticiones o grupos es preferible cuando el número de observaciones simuladas es pequeño.

La principal diferencia observada entre el desempeño de los métodos es que el método de grupos consecutivos proporcionó sesgos y errores relativos más pequeños que los otros dos métodos, mientras que los métodos de múltiples repeticiones y de grupos espaciados reportaron errores relativos muy similares. Esto significa entonces que el método B produce estimadores con menor sesgo e intervalos de confianza más estrechos que los métodos MR y SB y, dado que los cubrimientos son similares, el método B h tenido un mejor desempeño que MR y SB para estimar la esperanza, varianza y 90% cuantil.

En este artículo también se ha presentado el ejemplo de una cadena de Markov ergódica, pero no geométrica, en la que los métodos de estimación basados en repeticiones y en grupos han sido capaces de producir intervalos de confianza asintóticamente válidos para las medidas de desempeño de estado estable, lo que sugiere que la validez del método de grupos para la estimación de cuantiles de estado estable puede probarse analíticamente bajo condiciones más débiles que la ergodicidad geométrica.

AGRADECIMIENTOS

Este trabajo se ha desarrollado con el apoyo de la Asociación Mexicana de Cultura A.C., y los autores agradecen el apoyo proporcionado por el CONACYT a través de los convenios no. 174548 y no. 206107. Esta investigación se realizó durante la estancia, como Visiting Scholar, del primer autor en la Universidad de Texas en Austin.

REFERENCIAS

Alexopoulos, C., D. Goldsman, P. Tang y J.R. Wilson; A sequential procedure for estimating the steady-state mean using standardized time series, Proceedings of the 2013 Winter Simulation Conference, IEEE, Piscataway (USA), 613-622 (2013).         [ Links ]

Alexopoulos, C., D. Goldsman y J.R. Wilson; A new perspective on batched quantile estimation, Proceedings of the 2012 Winter Simulation Conference, IEEE, Piscataway (USA), 190-200 (2012).         [ Links ]

Argon, N. T. y S. Andradóttir; Replicated batch means for steady-state simulations, Naval Research Logistics, 53(6), 508-524 (2006).         [ Links ]

Borbón, A. C., R. E. Cabanillas y J. B. Pérez; Determinación experimental y contraste numérico de la resistencia térmica de un muro de bloques de concreto hueco, Información Tecnológica, 21(6), 163-176 (2010).         [ Links ]

Calvin, J.M. y Nakayama, M.K.; Confidence intervals for quantiles with standardized time series, Proceedings of the 2013 Winter Simulation Conference, IEEE, Piscataway (USA), 601-612 (2013).         [ Links ]

Chang, B.Y.; Estimation techniques for nonlinear functions of the steady-state mean in computer simulation, Tesis Ph.D., Georgia Institute of Technology (2004).         [ Links ]

Chen, X. y Kim, K. K.; Building metamodels for quantile-based measures using sectioning, Proceedings of the 2013 Winter Simulation Conference, IEEE, Piscataway (USA), 521-532 (2013).         [ Links ]

Escobar, P., J. A. Giraldo y D. M. Cárdenas; Programación de sistemas de producción híbridos para inventario bajo pedido mediante un proceso analítico jerárquico de ordenación grupal (GAHPO), Información Tecnológica, 23(5), 33-46 (2012).         [ Links ]

Grassmann, W.K.; Factors affecting warm-up periods in discrete event simulation, Simulation: Transactions of the Society for Modeling and Simulation International, 90(1), 11-23 (2014).         [ Links ]

Glynn, P.W. y P. Heidelberger; Analysis of initial transient deletion for replicated steady-state simulations, Operations Research Letters, 10(8), 437-443 (1991).         [ Links ]

Gupta, V., S. Andradóttir y D. Goldsman; Variance estimation and sequential stopping in steady-state simulations using linear regression, ACM Transactions on Modeling and Computer Simulation, 24(2), 7 (2014).         [ Links ]

Kelton W. D., J. S. Smith, D. T. Sturrock y D. F. Muñoz; Simio y Simulación, Modelado, Análisis, Aplicaciones (2a Ed.), Simio LLC, Sewickley (USA) (2012).         [ Links ]

Lada, E.K., y J.R. Wilson; A wavelet-based spectral procedure for steady-state simulation analysis, European Journal of Operational Research, 174(3), 1769-1801 (2006).         [ Links ]

Law, A.M.; Confidence intervals in discrete event simulation: a comparison of replication and batch means, Naval Research Logistics Quarterly, 24(4), 667-678 (1977).         [ Links ]

Law, A. M.; Simulation Modeling & Analysis (5a Ed.), McGraw-Hill (USA) (2014).         [ Links ]

Matsumoto, M. y T. Nishimura; Mersenne Twister: A 623-dimensionally equidistributed uniform pseudorandom number generator, ACM TOMACS, 8(1), 3-30 (1998).         [ Links ]

Meyn, S y R.L. Tweedie; Markov chains and stochastic stability (2a Ed.), Cambridge University Press, Cambridge (Reino Unido) (2009).         [ Links ]

Muñoz, D.F. y P.W. Glynn; A batch means methodology for estimation of a nonlinear function of a steady-state mean, Management Science: 43(8), 1121-1135 (1997).         [ Links ]

Muñoz, D.F.; On the validity of the batch quantile method for Markov chains, Operations Research Letters, 38(3), 223-226 (2010).         [ Links ]

Nakayama, M.K.; Using sectioning to construct confidence intervals for quantiles when applying importance sampling, Proceedings of the 2012 Winter Simulation Conference, IEEE, Piscataway (USA), 108-119 (2012).         [ Links ]

Ramirez, A., y D.F. Muñoz; Estimación de la esperanza, varianza y cuantiles en simulaciones de estado estable, Memorias del 11 Congreso Interamericano de Computación Aplicada a la Industria de Procesos, Lima, Perú, 21 al 24 de octubre (2013).         [ Links ]

Schmeiser, B.; Batch size effects in the analysis of simulation output, Operations Research, 30(3), 556-568 (1982).         [ Links ]

Seila, A.F.; A batching approach to quantile estimation in regenerative simulations, Management Science, 28(5), 573-581 (1982).         [ Links ]

Song, W.M.T.; A finite-memory algorithm of batch means estimators in simulation output analysis, IEEE Transactions on Automatic Control, 56(5), 1157-1162. (2011).         [ Links ]

Vanalle, R.M., W.C. Lucato, M. Vieira Júnior y I.D. Sato; Uso de la simulación Monte Carlo para la toma de decisiones en una línea de montaje de una fábrica, Información Tecnológica, 23(4), 33-44 (2012).         [ Links ]

Vargas, J.M. y J.A. Giraldo; Modelo de predicción de costos en servicios de salud soportado en simulación discreta, Información Tecnológica, 25(4), 175-184 (2014).         [ Links ]


Recibido Jun. 13, 2013; Aceptado Ago. 15, 2014; Versión final recibida Nov. 13, 2014

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons