Guía breve para la enseñanza y la evaluación del pensamiento crítico en psicología

Traducción de: Alejandro Franco (APS Member, Northern Catholic University)
Correo: alejandro.franco.j@gmail.com

TEACHING TIPS provides the latest in practical advice on the teaching of psychology and is aimed at current and future faculty of two- and four-year colleges and universities. Teaching Tips informs teachers about the content, methods, and profession of teaching. Send article ideas or draft submissions directly to Raymond Green, Teaching Tips Editor, Texas A&M University-Commerce, PO Box 3011, Commerce, TX 75429-3011; Phone: 903-468-3001; Fax: 903-468-3002 or raymond_green@tamu-commerce.edu. Chief Editor Raymond Green Texas A&M University-Commerce Co-editors Jennifer Schroeder Mary Hendrix Texas A&M University-Commerce
En mi primer año de enseñanza en la educación superior, un estudiante se me acercó un día luego de clase y me preguntó de manera cortés, "¿para usted qué significa la palabra 'evidencia'?".  Traté de esconder mi asombro ante lo que tomé como una pregunta muy ingenua. Sin embargo, luego de pensarlo, me di cuenta que en realidad era una buena pregunta, para la cual los abordajes usuales de la enseñanza de la psicología daban muy pocas respuestas. Durante los siguientes años, desarrollé lecciones y técnicas para ayudar a los estudiantes de psicología a aprender cómo evaluar las fortalezas y debilidades de los tipos de evidencia científica y no científica, así como para ayudarles a llegar a conclusiones pertinentes. Piensé que aprender sobre la calidad de la evidencia y cómo derivar conclusiones apropiadas de la investigación científica eran elementos centrales para la enseñanza del pensamiento crítico (PC) en psicología. En este artículo, he intentado proveer lineamientos para los instructores de psicología acerca de cómo enseñar el PC, describiendo técnicas que he desarrollado durante más de 20 años de enseñanza. Más importante aún, las técnicas y abordajes descritos a continuación están sustentados por investigación científica. Los ejemplos de clase ilustran el uso de los lineamientos y cómo la evaluación puede integrarse en la instrucción de habilidades para el PC. Visión general de los lineamientos La confusión acerca de la definición del PC ha sido un obstáculo mayor para su enseñanza y evaluación (Halonen, 1995; Williams, 1999).  Para afrontar este problema, hemos definido el PC como el pensamiento reflexivo involucrado en la evaluación de evidencias relevantes para una afirmación, de tal manera que sea posible obtener una conclusión buena o relevante a partir de las evidencias (Bensley, 1998).  Una virtud de esta definición es que puede aplicarse a muchas tareas del pensamiento en psicología. Las afirmaciones y conclusiones que hacen los científicos de la psicología incluyen hipótesis, afirmaciones teóricas, interpretación de hallazgos de investigación, o diagnósticos de trastornos mentales. La evidencia puede ser el resultado de un experimento, estudio de caso, estudio de observación naturalista, o prueba psicológica.  De manera menos formal, la evidencia puede surgir de anécdotas, reportes de introspección, creencias del sentido común, o afirmaciones de autoridad. Evaluar las evidencias y derivar las conclusiones apropiadas, en conjunto con otras habilidades tales como distinguir los argumentos de no-argumentos, así como encontrar los supuestos, se denominan colectivamente habilidades para el análisis de argumentos. Muchos expertos del PC toman las habilidades para el análisis de argumentos como habilidades fundamentales del PC (por ejemplo, Ennis, 1987; Halpern, 1998).  Los estudiantes de psicología necesitan habilidades para el análisis de argumentos con miras a evaluar las afirmaciones psicológicas en su trabajo y en el discurso de todos los días. Algunos instructores esperan que sus estudiantes mejoren las habilidades de PC al igual que las habilidades para el análisis de argumentos simplemente con una inmersión en el desafiante trabajo de un curso. Otros esperan que se dé esta mejora porque utilizan un texto guía con módulos o preguntas especiales para el PC, porque hacen clases magistrales que revisan de manera crítica la literatura, o porque piden a los estudiantes que completen tareas escritas. Si bien estas y otras técnicas tradicionales pueden ayudar, un cuerpo creciente de investigaciones sugiere que no son suficientes para producir de manera eficiente cambios medibles en las habilidades para el PC. Nuestras investigaciones acerca de la adquisición de habilidades para el análisis de argumentos en psicología (Bensley, Crowe, Bernhardt, Buchner, & Allman, en imprenta) y sobre las habilidades de lectura crítica (Bensley & Haynes, 1995; Spero & Bensley, 2009) sugieren que una instrucción directa más explícita es necesaria. Estos resultados concuerdan con los de una revisión anterior de los programas de PC realizada por Chance (1986) y un meta-análisis más reciente realizado por Abrami et. al., (2008). Basado en estos y otros hallazgos, los siguientes lineamientos describen un abordaje de la instrucción explícita en el que los profesores pueden infundir directamente habilidades para el PC y su evaluación en sus cursos. Con la infusión, los profesores podrán utilizar contenidos relevantes para enseñar las reglas y conceptos del PC en conjunto con los temas del curso. Infundir directamente las habilidades para el PC en las actividades del curso requiere: apuntar a habilidades específicas para el PC; hacer que las reglas, criterios y métodos del PC sean explícitos; promover una práctica dirigida en forma de ejercicios que se enfoquen en las habilidades de evaluación; y proporcionar realimentación sobre la práctica y las evaluaciones. Estos componentes son similares a los que se encuentran en los enfoques de instrucción directa efectiva (Walberg, 2006).  También se asemejan a los abordajes para la enseñanza del PC propuestos por Angelo (1995), Beyer (1997), y Halpern (1998).  De manera importante, este abordaje ha sido exitoso en la enseñanza de habilidades para el PC en la psicología (por ejemplo, Bensley et al., en imprenta; Bensley & Haynes, 1995; Nieto & Saiz, 2008; Penningroth, Despain & Gray, 2007).  Infundir directamente la instrucción de habilidades para el PC puede también enriquecer la instrucción del contenido sin sacrificar el aprendizaje de la temática de la materia (Solon, 2003).  Los siguientes siete lineamientos, ilustrados por las lecciones y evaluaciones de PC, explican este proceso. Siete lineamientos para la enseñanza de la evaluación del pensamiento crítico 1. Motive sus estudiantes para pensar críticamente. El pensamiento crítico requiere esfuerzo. Sin una motivación apropiada, los estudiantes estarán menos inclinados a comprometerse con él. En consecuencia, es bueno incrementar el interés desde el comienzo y promover un compromiso con el mejoramiento del PC a lo largo del curso. Una estrategia motivacional consiste en explicar por qué el PC es importante para un comportamiento efectivo y profesional. Con frecuencia, relatar una historia contundente que ilustre las consecuencias de no pensar críticamente puede motivar a los estudiantes. Por ejemplo, la trágica muerte de Candace Newmaker, una niña de 10 años, en manos de los terapeutas que practicaban una terapia de apego, ilustra los peligros de utilizar una terapia que no ha sido apoyada por buenas evidencias empíricas (Lilienfeld, 2007). Los profesores también pueden estimular el interés realizando una encuesta con una pregunta interesante en la cual los estudiantes seguramente tienen una opinión. Por ejemplo, preguntar a los estudiantes cuántos piensan que la luna llena puede llevar al incremento del comportamiento anormal puede utilizarse para introducir la diferencia entre hecho empírico y opinión, o creencia de sentido común. Luego de preguntar a los estudiantes cómo los psicólogos responden tales preguntas, los profesores podrían ir hacia el meta-análisis de Rotton y Kelly (1985). Su revisión encontró que casi todos los 37 estudios revisados no mostraron una asociación entre la fase de la luna y el comportamiento anormal, y que sólo unos pocos estudios, usualmente pobremente controlados, apoyaban tal relación. El tamaño del efecto para todos los estudios fue muy pequeño (. 01). Los profesores pueden utilizar esto para ilustrar cómo los psicólogos obtienen una conclusión basados en la calidad y cantidad de estudios de investigación, como opuesto a obtenerla a partir de lo que muchas personas creen de manera habitual. Para apreciar otros interesantes errores y supuestos del pensamiento relacionados con la psicología, ver Bensley (1998; 2002; 2008), Halpern (2003), Ruscio (2006), Stanovich (2007), y Sternberg (2007). Las actitudes y disposiciones también pueden afectar la motivación para pensar críticamente. Si los estudiantes no poseen algunas disposiciones hacia el PC tales como una mente abierta, un pensamiento ecuánime, y escepticismo, estarán menos dispuestos para pensar críticamente, incluso si tienen las habilidades para el PC (Halpern, 1998).  Los profesores podrán argumentar que incluso grandes científicos, destacados por sus poderes en el razonamiento, algunas veces no lograban pensar críticamente cuando no estaban dispuestos a utilizar sus habilidades. Por ejemplo, Alfred Russel Wallace, quien utilizó sus considerables habilidades para el PC con miras a ayudar a desarrollar el concepto de la selección natural, también creía en un contacto espiritual con los muertos. A pesar de considerables evidencias que afirman que los clarividentes que dicen contactar a los muertos realmente estaban fingiendo tal contacto, Wallace continuó creyendo en esto (Bensley, 2006).  De igual manera, el gran psicólogo americano William James, cuyas habilidades para el razonamiento le ayudaron a desarrollar las semillas de importantes teorías contemporáneas, creía en el espiritualismo a pesar de las evidencias sobre lo contrario. 2. Exponga claramente las metas y objetivos del PC en su clase Una vez que los estudiantes están motivados, el profesor debería enfocarlos en las habilidades que trabajarán durante el curso. La Fuerza de Tarea sobre Metas y Objetivos de Aprendizaje para la Psicología de la APA coloca el PC como una de las 10 principales metas para los estudiantes (Halonen et al., 2002).  En el apartado sobre ‘pensamiento crítico’ han especificado resultados tales como: evaluar la calidad de la información, identificar y evaluar tanto la fuente como la credibilidad de la información, reconocer y protegerse de los errores y falacias del pensamiento. Los profesores deberían publicar metas como estas en los objetivos del curso destinados al PC en su programa de curso, y más específicamente, como objetivos de las tareas en sus actividades. Dada la vertiente pragmática de los estudiantes a estudiar lo que se requiere para tener éxito en un curso, esto podría ayudar a motivarlos y enfocarlos. Para hacer la instrucción eficiente, los objetivos del curso y de las lecciones deberían apuntar explícitamente a las habilidades para el PC que se deben mejorar. Los objetivos deberían especificar el comportamiento que cambiará de una manera que pueda ser medida. Un objetivo de curso podría decir, "luego de tomar este curso, usted será capaz de analizar los argumentos encontrados en las discusiones psicológicas y de la vida diaria". Cuando la meta de la lección es practicar y mejorar microhabilidades específicas que constituyan un análisis de argumentos, un objetivo de tarea podría decir "luego de completar exitosamente esta tarea, usted estará en capacidad de identificar diferentes tipos de evidencia en una discusión psicológica". U otra podría decir: "luego de completar exitosamente esta tarea, usted será capaz de distinguir argumentos de enunciados que no son argumentos". Los estudiantes podrían demostrar que han alcanzado estos objetivos etiquetando correctamente los tipos de evidencias presentadas en un pasaje de un texto o indicando si se trata de un argumento o solamente es una afirmación. Al enunciar los objetivos en forma de comportamientos evaluables, el profesor puede evaluar estos como hipótesis de evaluación. Algunas veces, cuando la meta es enseñar a los estudiantes cómo decidir cuáles habilidades para el PC son apropiadas en determinada situación, el profesor tal vez no desee identificar habilidades específicas. En cambio, el objetivo de una lección podría decir, "Luego de completar con éxito esta tarea, estará en capacidad de decidir cuáles habilidades y conocimientos son pertinentes para analizar críticamente una discusión en psicología". 3. Encuentre oportunidades para infundir el PC que se articulen con los requisitos de contenido y habilidades de su curso Para mejorar sus habilidades para el PC, los estudiantes deben recibir oportunidades para practicarlas. Diferentes cursos presentan diferentes oportunidades para la infusión y la práctica. Los cursos independientes de PC usualmente proveen las mayores oportunidades para infundir el PC. Por ejemplo, en el departamento de psicología de la Universidad Estatal de Frostburg existe un seminario para estudiantes avanzados llamado "Pensando como un Psicólogo", en el que los estudiantes completan lecciones practicando el análisis de argumentos, la lectura crítica, la evaluación crítica de información en Internet, distinguiendo la ciencia de la pseudociencia, aplicando su conocimiento y habilidades para el PC en simulaciones de práctica psicológica, entre otras actividades. En cursos típicos orientados a los temas, los profesores podrían encontrar contenidos específicos y tipos de tareas que conduzcan a una instrucción explícita en habilidades para el PC. Por ejemplo, los cursos de métodos de investigación presentan varias oportunidades para enseñar habilidades de análisis de argumentos. Los profesores pueden pedir a los estudiantes que evalúen críticamente la calidad de la evidencia provista por estudios que utilizan diferentes métodos y diseños de investigación, y que pueden encontrar en bases de datos como PsycINFO u otras fuentes de Internet. Esto, a su vez, podría ayudar a los estudiantes a redactar mejores evaluaciones críticas de investigaciones para su reporte de investigación. Un profesor de psicología cognitiva podría asignar una evaluación crítica de las evidencias del sobre un tema interesante discutido durante las revisiones de literatura del texto guía. Por ejemplo, los estudiantes podrían evaluar la evidencia relevante hacia la cuestión de si las personas tienen una memoria fotográfica, como por ejemplo recordando con exactitud el ataque del 9-11.  Esto provee la oportunidad para enseñarles que muchos de los estudios, si bien informativos, son cuasi -experimentales y no pueden demostrar la causación. O, los estudiantes podrían analizar los argumentos en un programa de televisión tal como el fascinante programa Nova: “Secuestrado por extraterrestres", donde las personas afirman haber sido secuestradas por alienígenas. 4. Utilice la práctica dirigida, modelando y apoyando el PC La práctica dirigida incluye modelar y apoyar la práctica de las habilidades esperadas, así como proveer realimentación sobre el progreso hacia el logro de las habilidades. La investigación ha demostrado que la práctica dirigida ayuda al estudiante a adquirir de manera más eficiente las habilidades de pensamiento que los abordajes por descubrimiento o no dirigidos (Meyer, 2004). Los profesores pueden modelar el uso de las reglas, criterios y procedimientos del PC para evaluar la evidencia y obtener conclusiones de diversas maneras. Podrían proveer ejemplos elaborados de problemas, redactar ejemplos que muestren un buen PC, o ejemplos del mundo real sobre ejemplos de buenos y malos pensamientos que se encuentran en los medios de comunicación. También podrían pensar en voz alta mientras evalúan los argumentos en clase para modelar el proceso de pensamiento. Para ayudar a los estudiantes a aprender el uso de reglas complejas en el pensamiento, los profesores podrían inicialmente apoyar el pensamiento del estudiante. Este apoyo incluye proveer lineamientos, reglas y otros marcos que apoyen el proceso de pensamiento. La Tabla 1 muestra lineamientos, como los que se encuentran en Bensley (1998), que describen tipos de evidencia no científica, los cuales pueden apoyar los esfuerzos de los estudiantes para evaluar la evidencia en las discusiones psicológicas de la vida diaria. De igual manera, la Tabla 2 provee lineamientos como los que se encuentran en Bensley (1998) y Wade y Tavris (2005), que presentan diversos tipos de métodos y diseños de investigación científica, y que difieren en la calidad de la evidencia que proveen para los argumentos psicológicos. En la lección cognitiva sobre la memoria fotográfica descrita anteriormente, los estudiantes utilizan el marco de la Tabla 2 para evaluar los tipos de evidencia en la revisión de literatura. La Tabla 1 puede ayudarles a evaluar los tipos de evidencia encontrados en el video del programa Nova "Secuestrado por extraterrestres". Específicamente, podrían utilizarlo para contrastar una autoridad científica con una autoridad menos creíble. El video incluye conceptos de autoridades científicas como Elizabeth Loftus, basados en su extensa investigación, contrastados con autoridades no científicas, como Bud Hopkins, un artista que se convirtió hipnoterapeuta y es autor de libros populares sobre secuestros por alienígenas.  Loftus argumenta que los recuerdos del secuestro por extraterrestres en los niños entrevistados por Hopkins fueron reconstruidos alrededor de preguntas sugestivas que hizo durante la entrevista.  En consecuencia, su conclusión de que los niños y otras personas en el video habían vivido experiencias actuales de secuestro se basaba en anécdotas, auto-reportes poco confiables, y otras evidencias débiles. El modelamiento, el apoyo, y la práctica dirigida son especialmente útiles para ayudar a los estudiantes a adquirir inicialmente sus habilidades para el PC.  Luego de suficiente práctica, sin embargo, los profesores deben disminuir estas y permitir a los estudiantes que realicen tareas más desafiantes sin estos apoyos para promover la transferencia. 5. Alinear la evaluación con la práctica de habilidades para el PC específicas Las preguntas de examen y otras evaluaciones del desempeño deberían ser similares a las preguntas y problemas de práctica utilizadas para promover las habilidades deseadas, pero diferentes en contenido. Por ejemplo, hemos desarrollado una serie de preguntas de práctica y evaluaciones breves sobre los tipos de evidencia encontrados en la Tabla 1 utilizados en las situaciones de vida diaria pero cuya temática varía desde la práctica hasta el examen. De igual manera, otras preguntas emplean ejemplos de evidencias de investigación correspondientes a la Tabla 2. Las preguntas solicitan a los estudiantes que identifiquen tipos de evidencia, evalúen la calidad de la evidencia, distingan los argumentos de los no-argumentos, y encuentren supuestos en los ejemplos, a partir de ejemplos de práctica que difieren en contenido con relación a los ítems de la evaluación. 6. Proporcione realimentación y estimule a los estudiantes para reflexionar sobre la misma Los instructores deberían enfocar la realimentación en qué tanto se alcanzaron los objetivos de habilidades para el PC en la lección o evaluación. El propósito de la realimentación es ayudar a los estudiantes a aprender cómo corregir un pensamiento incorrecto, de tal manera que en el futuro monitoreen su pensamiento y eviten tales problemas. Esto debería incrementar su metacognición, o la conciencia y control de su pensamiento, una importante meta de la instrucción para el PC (Halpern, 1998). Los estudiantes deben utilizar su realimentación mejorando sus habilidades para el PC. En los ejercicios de PC y las tareas de lectura crítica, los estudiantes reciben realimentación en la forma de respuestas corregidas y realimentación escrita sobre las preguntas abiertas. Debería comunicárseles que prestar atención a la realimentación en el trabajo y las tareas iniciales les permitirá mejorar su desempeño en las siguientes. 7. Reflexione sobre la realimentación de los resultados de la evaluación para mejorar la instrucción en PC Los profesores deberían utilizar la realimentación que proveen a los estudiantes, así como los resultados de las evaluaciones, para 'cerrar el ciclo', esto es, utilizar estos resultados para atender las deficiencias en el desempeño y mejorar la instrucción. En la práctica concreta, la enseñanza y las estrategias de evaluación rara vez funcionan de manera óptima la primera vez. Los instructores deben estar dispuestos a realizar ajustes progresivos a esta, así como las mejoras requeridas. La reflexión sobre los resultados de evaluaciones confiables y válidas provee un medio científico para mejorar sistemáticamente la instrucción y la evaluación. Conclusión Los profesores encontrarán que el abordaje de infusión directa que se resume en los siete lineamientos es eficiente, especialmente para ayudar a los estudiantes a adquirir habilidades básicas para el PC, tal como lo ha ilustrado la investigación. Ellos podrían apreciar especialmente la forma en que les permite realizar un abordaje científico para el mejoramiento de la instrucción. Si bien la infusión directa parece promover eficientemente la adquisición de habilidades para el PC, se requiere de más investigaciones para encontrar si los estudiantes transfieren sus habilidades por fuera de la clase o si este abordaje requiere de ajustes para promover la transferencia.

Lecturas y referencias recomendadas.

Abrami, P. C., Bernard, R. M., Borokhovhovski, E., Wade, A., Surkes, M. A., Tamim, R., et al., (2008). Instructional interventions affecting critical thinking skills and dispositions: A stage 1 meta-analysis. Review of Educational Research, 4, 1102–1134. Angelo, T. A. (1995). Classroom assessment for critical thinking. Teaching of Psychology, 22(1), 6–7. Bensley, D. A. (1998). Critical thinking in psychology: A unified skills approach. Pacific Grove, CA: Brooks/Cole. Bensley, D. A. (2002). Science and pseudoscience: A critical thinking primer. In M. Shermer (Ed.), The Skeptic encyclopedia of pseudoscience. (pp. 195–203). Santa Barbara, CA: ABC–CLIO. Bensley, D. A. (2006). Why great thinkers sometimes fail to think critically. Skeptical Inquirer, 30, 47–52. Bensley, D. A. (2008). Can you learn to think more like a psychologist? The Psychologist, 21, 128–129. Bensley, D. A., Crowe, D., Bernhardt, P., Buckner, C., & Allman, A. (in press). Teaching and assessing critical thinking skills for argument analysis in psychology. Teaching of Psychology. Bensley, D. A. & Haynes, C. (1995). The acquisition of general purpose strategic knowledge for argumentation. Teaching of Psychology, 22, 41–45. Beyer, B. K. (1997). Improving student thinking: A comprehensive approach. Boston: Allyn & Bacon. Chance, P. (1986). Thinking in the classroom: A review of programs. New York: Instructors College Press. Ennis, R. H. (1987). A taxonomy of critical thinking dispositions and abilities. In J. B. Baron & R. F. Sternberg (Eds.). Teaching thinking skills: Theory and practice (pp. 9–26). New York: Freeman. Halonen, J. S. (1995). Demystifying critical thinking. Teaching of Psychology, 22, 75–81. Halonen, J. S., Appleby, D. C., Brewer, C. L., Buskist, W., Gillem, A. R., Halpern, D. F., et al. (APA Task Force on Undergraduate Major Competencies). (2002). Undergraduate psychology major learning goals and outcomes: A report. Washington, DC: American Psychological Association. Retrieved August 27, 2008, from http://www.apa.org/ed/pcue/reports.html. Halpern, D. F. (1998). Teaching critical thinking for transfer across domains: Dispositions, skills, structure training, and metacognitive monitoring. American Psychologist, 53, 449–455. Halpern, D.F. (2003). Thought and knowledge: An introduction to critical thinking. (3rd ed.). Mahwah, NJ: Erlbaum. Lilienfeld, S. O. (2007). Psychological treatments that cause harm. Perspectives on Psychological Science, 2, 53–70. Meyer, R. E. (2004). Should there be a three-strikes rule against pure discovery learning? The case for guided methods of instruction. American Psychologist, 59, 14–19. Nieto, A. M., & Saiz, C. (2008). Evaluation of Halpern’s “structural component” for improving critical thinking. The Spanish Journal of Psychology, 11(1), 266–274. Penningroth, S. L., Despain, L. H., & Gray, M. J. (2007). A course designed to improve psychological critical thinking. Teaching of Psychology, 34, 153–157. Rotton, J., & Kelly, I. (1985). Much ado about the full moon: A meta-analysis of lunar-lunacy research. Psychological Bulletin, 97, 286–306. Ruscio, J. (2006). Critical thinking in psychology: Separating sense from nonsense. Belmont, CA: Wadsworth. Solon, T. (2007). Generic critical thinking infusion and course content learning in introductory psychology. Journal of Instructional Psychology, 34(2), 972–987. Stanovich, K. E. (2007). How to think straight about psychology. (8th ed.). Boston: Pearson. Sternberg, R. J. (2007). Critical thinking in psychology: It really is critical. In R. J. Sternberg, H. L. Roediger, & D. F. Halpern (Eds.), Critical thinking in psychology. (pp. 289–296). Cambridge, UK: Cambridge University Press. Wade, C., & Tavris, C. (2005). Invitation to psychology. (3rd ed.). Upper Saddle River, NJ: Prentice Hall. Walberg, H. J. (2006). Improving educational productivity: A review of extant research. In R. F. Subotnik & H. J. Walberg (Eds.), The scientific basis of educational productivity (pp. 103–159). Greenwich, CT: Information Age. Williams, R. L. (1999). Operational definitions and assessment of higher-order cognitive constructs. Educational Psychology Review,11, 411–427. Sobre el Autor: D. Alan Bensley es profesor de psicología en la Universidad Estatal de Frostburg.  Recibió su Maestría y Doctorado en Psicología Cognitiva de la Universidad Rutgers.  Sus principales intereses en la investigación y la enseñanza tienen que ver con el mejoramiento del pensamiento crítico y de otras habilidades cognitivas.  Coordina la evaluación en su departamento y está desarrollando una batería de instrumentos para evaluar el pensamiento crítico en psicología.  Puede contactarse por correo electrónico en la dirección: abensley@frostburg.edu
Observer Vol.23, No.10 December, 2010

Leave a comment below and continue the conversation.

Comments

Excellent article.

Leave a comment.

Comments go live after a short delay. Thank you for contributing.

(required)

(required)