Examen transversal de folletos de publicidad de productos farmacéuticos y sus estudios subyacentes: ¿La información que nos dan es cierta e importante? (A cross-sectional evidence-based of pharmaceutical promotional marketing brochures and their underlying studies: Is what they tell us important and true?
1Roberto Cardarelli, 2John C Licciardone y 3Lockwood G Taylor
BMC Family Practice 2006;7:13
1Departamento de Medicina Familiar/Centro para la medicina basada en pruebas
2Centro de investigación en osteopatia
3Departamento de Medicina Familiar/Centro para la medicina basada en pruebas.
Todos de la University of North Texas Health Science Center, Fort Worth, Texas, EUA
Email: Roberto Cardarelli – rcardare@hsc.unt.edu
Traducido por Núria Barberá
Este artículo está disponible en inglés en: www.biomedcentral.com/1471-2296/7/13
Resumen
Antecedentes: Una de las técnicas de marketing que utilizan con mayor frecuencia las compañías farmacéuticas es la propaganda dirigida al médico. Es una forma de marketing que, frecuentemente, emplea folletos publicitarios basados en la investigación clínica, que pueden influir en cómo el médico receta medicamentos. El objetivo de este estudio es investigar si la información contenida en los folletos publicitarios que los representantes farmacéuticos dan a los médicos es precisa, coherente y válida, con respeto a los estudios en los que están basados dichos folletos publicitarios.
Métodos: Se solicitó a médicos de cinco clínicas que, de manera consecutiva, reunieran los folletos de propaganda de las compañías farmacéuticas y los enviaran a un lugar centralizado. Se fueron recopilando los folletos de toda clase de medicamentos, a medida que iban llegando hasta obtener 20 folletos distintos. Una vez que se obtenía el folleto, se buscaba el estudio original correspondiente. Dos revisores que desconocían de que se trataba el estudio realizaron un examen basado en pruebas del artículo, comparando la información que estaba impresa en el folleto con la que se había encontrado en el estudio original.
Resultados: Entre los 20 estudios realizados, el 75% resultó ser válido, el 80% fue financiado por la industria farmacéutica, el 60% de los estudios y los folletos correspondientes presentaron resultados sobre los pacientes, y el 40% comparaban al producto con otro régimen de tratamiento. De los 19 folletos que presentaban la información en gráficos, cuatro folletos presentaron la reducción del riesgo relativo, mientras que sólo un folleto presentó la reducción de riesgo absoluto. El 15% de los folletos publicitarios presentó información diferente a la que el estudio original había publicado.
Conclusión: Dados estos resultados, los médicos deberían ser prudentes en el momento de sacar conclusiones acerca de un medicamento basandose en los folletos de marketing proporcionados por las empresas farmacéuticas.
Antecedentes
En el 2004 la industria farmacéutica invirtió más de 11.000 millones de dólares en marketing farmacéutico, excluyendo las muestras de medicamentos, y más de 7.000 millones de dólares se gastaron en propaganda dirigida a los clínicos [1]. Con esto, surge la posibilidad de tener un dilema ético, ya que un marketing como este puede influir en el comportamiento de los médicos a la hora de recetar de forma que no necesariamente beneficie al paciente [2-6]. Este tipo de marketing también genera la posibilidad de que se adopten métodos inapropiados de prescripción, lo cual contribuiría a que siguiera aumentando continuamente el costo nacional de la asistencia sanitaria [7].
Sigue discutiéndose el efecto del marketing farmacéutico en la prestación de servicios médicos. Por ejemplo, mientras los medicamentos diuréticos y betabloqueantes son las terapias antihipertensivas de primera línea (siendo ambas relativamente económicas y estando disponibles en formas genéricas), sin embargo, un amplio número de campañas de marketing llevadas a cabo por empresas farmacéuticas durante la década de los noventa para promocionar los bloqueadores del canal de calcio (CCBs, de las siglas en inglés de Calcium Channel Blockers) dieron como resultado el mayor crecimiento de los ingresos a partir de la venta de esta clase de anti-hipertensivos [8]. El porcentaje de anuncios de CCB aumentó de un 4,6% en 1986 a un 26,9% en 1996, mientras que los anuncios de betabloqueantes y diuréticos disminuyó de un 12,4% a un 0% y de un 4,2% a un 0%, respectivamente, durante el mismo periodo de tiempo [9]. También se observó que los CCBs representaban un 38% de las recetas antihipertensivas escritas en el año 1995, mientras que la combinación de los diuréticos y los betabloqueantes representaba tan sólo un 19% [8]. Esto, en esencia, afectó el estándar la calidad para los pacientes hipertensivos [10], a sabiendas de que los CCBs podían incrementar el riesgo de infarto de miocardio fatal y no fatal en un 18%. La falta de conformidad con las pautas antihipertensivas, utilizando tratamientos de segunda línea antes que los de primera línea, se relacionó con incrementos del gasto en asistencia sanitaria en el rango entre los 2.600 y los 3.200 millones de dólares en 1996 [7].
El marketing directo al médico (DTP, de las siglas en inglés Direct-to-physician) es una faceta importante en la promoción de los productos farmacéuticos. El DTP incluye presentaciones verbales en la oficina, que suelen ir acompañadas de folletos publicitarios, de muestras de medicamentos gratuitas y, probablemente, de obsequios como comidas u otros artículos de promoción. Estas presentaciones en las oficinas realizadas por representantes farmacéuticos (PR, de pharmaceutical representatives) son un método de publicidad importante para las empresas farmacéuticas. El impacto es innegable, los médicos suelen decir que la fuente de información primaria acerca de los nuevos medicamentos son los PR [12]. Aunque el marketing farmacéutico directo al consumidor (DTC, de Direct-to-consumer) ha aumentado de manera espectacular en la última década, los gastos del marketing DTP siguen siendo un 48% superiores que los del marketing DTC [1].
Existe una cierta preocupación por la influencia que puede tener el marketing DTP sobre las prácticas de prescripción de los médicos y sus consecuencias, como es el caso de la obligación ética del médico hacia el paciente y los costes en asistencia médica. Se ha demostrado repetidas veces que la publicidad farmacéutica influye en la conducta de los médicos [3,12-14]. Los médicos, cuantos más PR se encuentren, más probable es que nieguen que los obsequios farmacéuticos y sus interrelaciones con los PR influyen en sus prácticas de prescripción. Se ha descubierto que algunos de los datos que facilitan los PR a los médicos son erróneos o parciales [5,16-21]. El 11% de las declaraciones verbales sobre fármacos que los representantes farmacéuticos presentaron a médicos se consideraron imprecisas [16]. Además, se ha descubierto que la mayoría de los anuncios publicitarios están basados en estudios de una calidad metodológicamente pobre [22].
Aunque los estudios han investigado la precisión y la influencia de la información promocional facilitada por los PR a los médicos, [3,5,8,12-14,16-21] no se ha hecho ningún estudio que evalúe la naturaleza visual y la precisión de la información que se presenta en los folletos publicitarios. La precisión y la validez de las muestras visuales y los datos presentados en los folletos de promoción son importantes porque los médicos que confían más en la información publicitaria tienen tendencia a recetar mucho y a estar más dispuestos a probar nuevos medicamentos [13,23-28,28-31]. El objetivo de este estudio era el de revisar los datos que se presentan visualmente en los folletos publicitarios y analizar su precisión, su coherencia y su validez.
Métodos
El estudio se llevó a cabo en cinco clínicas de medicina familiar de la University of North Texas Health Science Center en Fort Worth. Este estudio estuvo exento de una revisión formal del comité de ética institucional (Institutional Review Board). Se pidió a los médicos de estas clínicas que recopilaran folletos publicitarios que acompañaban a la presentación verbal de los representantes farmacéuticos (PR) y que indicaran la cifra, la tabla o la información más recalcada por los PR. Se siguió este proceso porque pensamos que los datos enfatizados por los PR podrían ser los que causaran más impacto en el cambio de conducta de los médicos. Entre el 15 de octubre del 2004 y el 5 de diciembre del mismo año se reunió una muestra rápida de 20 folletos distintos, cada uno representando un medicamento, su resultado y su respectivo estudio. El tamaño de las muestras se determinó a priori, puesto que no se pudo conseguir ningún estudio previo que permitiera calcular el tamaño de muestra que se necesitaba. También se consiguió y se revisó la publicación subyacente citada en el folleto, que se utilizaba para reforzar los puntos que se querían enfatizar en la propaganda. Dos revisores utilizaron un método estandarizado para recoger información y realizar un estudio del artículo basado en pruebas, comparando los datos presentados en el folleto con los descubiertos en el estudio subyacente. Al principio, ninguno de los dos revisores tuvo acceso a la revisión realizada por el compañero. La validez de un artículo se determinaba por una serie de seis preguntas sobre los principios basados en pruebas (Tabla 1) [32]. La validez se estableció mediante el siguiente método: se debían satisfacer 3 de los 3 criterios mayores y un mínimo de 2 de los 3 criterios menores. Se revisaron las declaraciones de conflicto de interés y los reconocimientos que aparecían en el estudio original para determinar si el estudio había sido financiado por una empresa farmacéutica.
El resultado de interés en el folleto se clasificó como orientado al paciente u orientado a la enfermedad. Los resultados orientados al paciente eran aquéllos que afectaban o reflejaban directamente al paciente, como la mortalidad o el cambio en percibir síntomas tales como la frecuencia urinaria o el dolor. Los resultados orientados a la enfermedad eran aquéllos que mencionaban características propias de la enfermedad, como el cambio en las medidas de la presión sanguínea. La información de los folletos y sus estudios correspondientes se revisaron para determinar si la terapia (e.g. medicamento) se había comparado con otra terapia, con placebo o con ninguna de las dos. Los críticos también evaluaron si los folletos mencionaban los cambios de riesgo relativo (reducción o aumento), los cambios de riesgo absoluto, o ambos, y si incluían algún gráfico visual. Además, los revisores evaluaron visualmente cómo se presentaba gráficamente esta información en los folletos, como por ejemplo el uso de tablas, flechas o gráficos lineales. La importancia estadística del resultado de interés también se evaluó en ambas fuentes. Los revisores compararon los datos presentados en el folleto con los presentados en el estudio original para determinar su coherencia. Los resultados se introdujeron en una base de datos y, posteriormente, se resolvió por consenso cualquier discrepancia que se encontrara entre las dos revisiones. La administración de datos y los análisis estadísticos se realizaron con el software SPSS [33].
Para obtener un índice de fiabilidad inter-examinadores, se calcularon el coeficiente kappa de Cohen y el índice PABAK (kappa corregido para sesgo y prevalencia) [34]. Aunque en la mayoría de las circunstancias, un valor kappa de Cohen es suficiente, pensamos que, tanto la prevalencia (distribución desigual de las decisiones de validez de un “Sí” frente a un “No” por los revisores) como el sesgo (evaluaciones distintas sobre la frecuencia de validez del estudio de los revisores) podían llevar a resultados erróneos dado nuestro alto porcentaje en acuerdos rudimentarios. Feinstein y Cicchetti [35] y Byrt et al. ya han dado una explicación más detallada acerca de este concepto [34]. De este modo, un valor PABAK podía medir mejor el acuerdo entre los dos revisores, dado que ajusta por los factores (prevalencia, sesgo y concordancia) presentes en una tabla de concordancia 2 x 2 desequilibrada.
Resultados
Las características de los 20 folletos se presentan en la Tabla 2. La mayor parte de los folletos describían medicamentos cardiovasculares (45%), seguidos de los medicamentos neurológicos (15%), los medicamentos genitourinarios (10%), medicamentos para el dolor crónico (10%), medicamentos para la diabetes mellitus (5%), medicamentos gastrointestinales (5%), medicamentos para las enfermedades infecciosas (5%), y medicamentos para la osteoporosis (5%). Los revisores consideraron como válidos el 75% de los estudios. De los 20 estudios subyacentes, el 80% fueron financiados por la industria farmacéutica, el 5% (un estudio) no lo fue, y el 15% no especificaba su fuente de financiamiento. El 60% de los estudios principales y sus folletos correspondientes presentaron resultados orientados al paciente, como la mortalidad, los dolores y los episodios de incontinencia urinaria. Sólo 8 medicamentos de los 20 (un 40%) se compararon con otro régimen de tratamiento. Cuatro folletos presentaron reducción de riesgo relativo (RRR), uno presentó reducción de riesgo absoluto (RRA), y quince presentaron otras estadísticas, como un ligero cambio de la línea de base.
Un total del 95% de estos folletos utilizaron gráficos para recalcar las diferencias entre grupos, como gráficos de barras, flechas o gráficos lineales. De entre estos gráficos, el 21% presentó la reducción en el riesgo relativo (RRR), el 5% le reducción en el riesgo absoluto (RRA), y el 74%, otras estadísticas. Solamente un folleto presentó datos que no eran estadísticamente significativos. Tres de los veinte folletos (un 15%) presentaron datos que eran distintos a los publicados en los estudios subyacentes. El valor kappa de Cohen fue de .41 y el de PABAK, de .60, lo cual indicaba un nivel moderado de concordancia entre los dos revisoresores [36]. El nivel rudimentario del acuerdo general, sin ajustar por azar, fue del 80%.
Debate
El 75% de los artículos revisados se consideraron válidos. Este hecho confirma las conclusiones de un estudio previo que evaluaba si la calidad de un estudio estaba influenciada por su patrocinio [37]. Los autores observaron que la mayoría de los estudios patrocinados por empresas farmacéuticas eran de buena calidad. No obstante, también observaron que los estudios publicados que habían sido patrocinados por empresas farmacéuticas tenían cuatro veces más probabilidades de obtener resultados favorables al producto del patrocinador que cuando los estudios tenían otro tipo de patrocinadores. Una posible solución para reducir el escepticismo resultante de la investigación financiada por la industria es que las empresas farmacéuticas mejoren el acceso a los datos originales. Otra solución sería que la academia tuviera financiación disponible para llevar a cabo estudios independientes, sin recibir la influencia de las empresas farmacéuticas. A pesar de que las empresas farmacéuticas ejercen el control en sus ensayos clínicos, los estudios de resultado clínico realizados en centros académicos podrían tener un papel importante complementando la vigilancia postmarketing de nuevos fármacos, es decir una vez han recibido la aprobación de la FDA.
La gran mayoría de los folletos presentaron datos basados en los estudios subyacentes financiados por la empresa farmacéutica. No obstante, un estudio reciente realizado por Cooper y Schriger, descubrió que solo un 58% de la investigación inicial mencionada en los anuncios publicitarios estaba patrocinada por una empresa farmacéutica o tenía un autor afiliado a una empresa [38]. Esta desviación de nuestros resultados puede deberse a diferencias en los métodos utilizados para establecer las fuentes de financiación y el tipo de anuncios que se analizaron (e.g. folletos vs anuncios en el periódico). Otra posibilidad es que se deba al tamaño reducido de la muestra de nuestro estudio. Ha habido preocupación por el hecho de que los artículos originales financiados por la industria hayan dado, con criterio selectivo, información para aparentar que el medicamento o la terapia es más eficaz de lo que realmente es [39-41]. El dilema del clínico es, pues, “¿Son realmente válidos los resultados de este ‘estudio válido’?”
A pesar de que la mayoría de los resultados en los estudios examinados eran orientados al paciente, una cifra sustancial no lo era. Es importante presentar datos que reflejen el resultado en el paciente, como la mortalidad, la calidad de los cambios de vida y la reducción de síntomas. De este modo, aunque un bloqueador del canal de calcio (CCB) podría reducir la presión sanguínea de forma tan eficaz como un diurético, el resultado del paciente (e.g. la mortalidad) podría predominar a largo plazo [11,42].
Mientras que en el 95% de los folletos aparecía un gráfico visual, tan solo uno presentaba una reducción de riesgo absoluta y cuatro, reducciones de riesgo relativas. Este “efecto de decorado” podría inducir a los médicos a concluir, erróneamente, que hay una diferencia notable en el resultado se produce con el uso de la terapia o medicamento promocionado [32]. Además, al examinar la coherencia de los resultados entre el estudio subyacente y en su posterior folleto publicitario, los revisores observaron que la aplastante mayoría de los datos que había en el folleto estaban seleccionados con el deseo de causar un impacto visual al lector. Aunque no formaba parte de los objetivos de este estudio, resultó que las empresas farmacéuticas a menudo seleccionaban el resultado con la mayor reducción de riesgo relativo o con el mayor porcentaje de cambio de línea de base, en lugar de hacerlo con las conclusiones clínicamente más importantes del documento original. Se trata de un tema que requiere análisis e investigación a fondo.
Los estudios que compararon el medicamento con otro medicamento o con otra estrategia de tratamiento fueron una minoría (ocho de veinte). Cuando la FDA aprueba un medicamento, los estudios posteriores que comparan este medicamento con el placebo tienen un valor limitado para los médicos en la práctica, dado que ya se ha establecido su eficacia. Para los médicos, tienen más valor los estudios que comparan nuevos medicamentos con los genéricos o los económicos que se utilizan comúnmente en la práctica, y determinar si se indica un cambio en la gestión de enfermedades. Aunque tres de los veinte folletos presentaron información diferente a la del estudio original, las diferencias eran muy pequeñas y es muy probable que no hubieran afectado la conducta del médico a la hora de recetar medicamentos.
Este estudio tuvo varias limitaciones: (1) Solamente se consiguieron dos revisores y las discrepancias que surgieron se tuvieron que resolver por consenso, y no por la decisión de un tercer examinador. (2) El método que los revisores utilizaron para considerar válidos los estudios subyacentes no había sido validado en estudios anteriores. (3) El tamaño de la muestra puede que fuese demasiado pequeño para detectar conclusiones clínicas de importancia. (4) Como los folletos sólo se recopilaron en unas clínicas de medicina familiar de una ciudad en concreto, puede que estas conclusiones no sean generalizadas a otras especialidades, entornos (e.g. hospital) o regiones geográficas. (5) Sólo se estudiaron folletos, con lo cual estas conclusiones pueden no ser generalizables a otro tipo de productos publicitarios o anuncios, como los anuncios en el periódico. (6) Para que el marketing de fármacos a los médicos consiga sus objetivos, la entrega de folletos es insuficiente; y este estudio sólo evalúa un aspecto de las tácticas de marketing de fármacos. (7) Es posible que haya variaciones estacionales en el marketing de fármacos que limiten más su generalizabilidad, aunque esto haya podido ser atenuado, hasta cierto punto, por la gran variedad de fármacos incluidos en el estudio.
Conclusión
Dados estos resultados, los médicos deberían ser cautelosos a la hora de sacar conclusiones basadas en la información presentada en los folletos proporcionados por la industria farmacéutica. Sería prudente que los médicos examinaran el estudio original antes de cambiar su conducta de prescripción basándose únicamente en los folletos publicitarios. Además, los médicos deberían utilizar y estar familiarizados con los principios de la medicina basada en pruebas al evaluar la validez de los estudios publicados. Como el estudio que hemos llevado a cabo es un estudio transversal descriptivo con el objetivo principal de utilizar una metodología semiobjetiva para examinar folletos farmacéuticos y sus correspondientes estudios, hay que realizar una investigación más a fondo para determinar no sólo la función del folleto publicitario en el marketing DTP general y su influencia en la conducta del médico, sino también si los resultados del paciente están asociados o no con estos cambios.
Tabla 1: Medidas de validez
Criterios mayores
1. ¿La asignación de los pacientes a los tratamientos fue aleatoria? 2. ¿Se sabe qué es lo que al final del estudio pasó con todos los pacientes que participaron en el mismo? 3. ¿A los pacientes se los analizó en los grupos donde habían sido aleatorizados?
|
Criterios menores
1. ¿Tanto los pacientes como los médicos permanecieron “ciegos” al tratamiento que se recibía? 2. Aparte del tratamiento experimental, ¿se trató a los grupos por igual? 3. Al inicio de la prueba, ¿eran similares los grupos?
|
Tabla 2: Medidas de estudio
|
N=20 |
% |
|
|
|
1. ¿El estudio resultó válido? |
|
|
Sí |
15 |
75 |
No |
5 |
25 |
|
|
|
2. ¿El estudio estuvo financiado por una empresa farmacéutica? |
|
|
Sí |
16 |
80 |
No |
1 |
5 |
Desconocido |
3 |
15 |
|
|
|
3. ¿Cuál fue el resultado del estudio? |
|
|
Orientado al paciente |
12 |
60 |
Orientado a la enfermedad |
8 |
40 |
|
|
|
4. ¿Con qué se comparó la terapia del estudio? |
|
|
Con otro medicamento o terapia |
8 |
40 |
Con Placebo |
10 |
50 |
Con ninguna de las dos |
2 |
10 |
|
|
|
5. ¿Se utilizó algún gráfico* en el folleto? |
|
|
Sí |
19 |
95 |
No |
1 |
5 |
|
|
|
6. De los folletos con gráficos, ¿Cómo se presentaron los datos? |
|
|
Reducción de riesgo relativo |
4 |
21 |
Reducción de riesgo absoluto |
1 |
5 |
Otros** |
14 |
74 |
|
|
|
7. ¿El resultado de interés fue estadísticamente significativo***? |
|
|
Sí |
19 |
95 |
No |
1 |
5 |
|
|
|
8. ¿La información del folleto era diferente de la del estudio subyacente? |
|
|
Sí |
3 |
15 |
No |
17 |
85 |
* Incluye gráficos de barras, gráficos lineales, gráficos circulares, flechas
** Incluye cambio medio, diferencias de punto, etc.
*** p<0.05 Referencias
1. Health IMS: Total U.S. promotional spend by type, 2004.
[www.imshealth.com/ims/portal/front/articleC/0,2777,6599_49695992_75406357,00.html] 2005.
2. Brody H: The company we keep: why physicians should refuse to see pharmaceutical representatives. Ann Fam Med 2005;3:82-85.
3. Orlowski JP, Wateska L: The effects of pharmaceutical firm enticements on physician prescribing patterns. There’s no such thing as a free lunch. Chest 1992;102:270-273.
4. Figueiras A, Caamano F, Gestal-Otero JJ: Influence of physician’s education, drug information and medical-care settings on the quality of drugs prescribed. Eur J Clin Pharmacol 2000;56:747-753.
5. Wazana A: Physicians and the pharmaceutical industry: is a gift ever just a gift? JAMA 2000;283:373-380.
6. Chew LD, O’Young TS, Hazlet TK, Bradley KA, Maynard C, Lessler DS: A physician survey of the effect of drug sample availability on physicians’ behavior. J Gen Intern Med 2000;15:478-483.
7. Xu KT, Moloney M, Phillips S: Economics of suboptimal drug use: cost-savings of using JNC-recommended medications for management of uncomplicated essential hypertension. Am J Manag Care 2003;9:529-536.
8. Siegel D, Lopez J: Trends in antihypertensive drug use in the United States: do the JNC V recommendations affect prescribing? Fifth Joint National Commission on the Detection, Evaluation, and Treatment of High Blood Pressure. JAMA 1997;278:1745-1748.
9. Wang TJ, Ausiello JC, Stafford RS: Trends in antihypertensive drug advertising, 1985-1996. Circulation 1999;99:2055-2057.
10. Zweifler J, Hughes S, Schafer S, Garcia B, Grasser A, Salazar L: Are sample medicines hurting the uninsured? J Am Board Fam Pract 2002;15:361-366.
11. Opie LH, Schall R: Evidence-based evaluation of calcium channel blockers for hypertension: equality of mortality and cardiovascular risk relative to conventional therapy. J Am Coll Cardiol 2002;39:315-322.
12. Peay MY, Peay ER: Innovation in high risk drug therapy. Soc Sci Med 1994;39:39-52.
13. The Drug Promotion Database [www.drugpromo.info] 2002.
14. Gonul F: Promotion of prescription drugs and its impact on physicians’ choice behavior. Journal of Marketing 2001;216:79-90.
15. Hodges B: Interactions with the pharmaceutical industry: experiences and attitudes of psychiatry residents, interns and clerks. CMAJ 1995;153:553-559.
16. Ziegler MG, Lew P, Singer BC: The accuracy of drug information from pharmaceutical sales representatives. JAMA 1995;273:1296-1298.
17. Katz D, Caplan AL, Merz JF: All gifts large and small: toward an understanding of the ethics of pharmaceutical industry gift-giving. Am J Bioeth 2003;3:39-46.
18. Avorn J, Chren M, Hartley R: Scientific versus commercial sources of influence on the prescribing behavior of physicians. Am J Med 1982;73:4-8.
19. Lexchin J: Doctors and detailers: therapeutic education or pharmaceutical promotion? Int J Health Serv 1989;19:663-679.
20. Lexchin J: Interactions between physicians and the pharmaceutical industry: what does the literature say? CMAJ 1993;149:1401-1407.
21. Lexchin J: What information do physicians receive from pharmaceutical representatives? Can Fam Physician 1997;43:941-945.
22. Lexchin J, Holbrook A: Methodologic quality and relevance of references in pharmaceutical advertisements in a Canadian medical journal. CMAJ 1994;151:47-54.
23. Mapes R: Aspects of British general practitioners’ prescribing. Medical Care 1977;15:371-381.
24. Bower AD, Burkett GL: Family physicians and generic drugs: a study of recognition, information sources, prescribing attitudes, and practices. Journal of Family Practice 1987;24:612-616.
25. Caudill TS, Lurie N, Rich EC: The influence of pharmaceutical industry advertising on physician prescribing. J Drug Issues 1992;22:331-338.
26. Becker MH, Stolley PD, Lasagna L, McEvilla JD, Sloane LM: Differential education concerning therapeutics and resultant physician prescribing patterns. Journal of Medical Education 1972;47:118-127.
27. Stolley PD, Becker MH, Lasagna L, McEvilla JD, Sloane LM: The relationship between physicians characteristics and prescribing appropriateness. Medical Care 1972;10:17-28.
28. Haayer F: Rational prescribing and sources of information. Soc Sci Med 1982;16:2017-2023.
29. Cormack MA, Howells E: Factors linked to the prescribing of benzodiazepines by general practice principals and trainees. Family Practice 1992;9:466-471.
30. Stross JK: Information sources and clinical decisions. Journal of General Internal Medicine 1987;2:155-159.
31. Strickland-Hodge B, Jepson MH: Identification and characterization of early and late prescribers in general practice. Journal of the Royal Society of Medicine 1982;75:341-345.
32. Sackett DL , al : Evidence-Based Medicine: How to practice and teach EBM. 2nd edition. Edinburgh London, Churchill Livingstone; 2000.
33. SPSS, Inc [2003] SPSS Base 12.0 for Windows. SPSS, Inc., Chicago, Il.
34. Byrt T, Bishop J, Carlin JB: Bias, prevalence and kappa. J Clin Epidemiol 1993;46:423-429.
35. Feinstein AR, Cicchetti DV: High agreement but low kappa: I. The problems of two paradoxes. J Clin Epidemiol 1990;43:543-549.
36. Landis RJ, Koch GC: The measurement of onserver agreement for categorical data. Biometrics 1977;33:159-174.
37. Lexchin J, Bero LA, Djulbegovic B, Clark O: Pharmaceutical industry sponsorship and research outcome and quality: systematic review. BMJ 2003;326:1167-1170.
38. Cooper RJ, Schriger DL: The availability of references and the sponsorship of original research cited in pharmaceutical advertisements. CMAJ 2005;172:487-491.
39. Djulbegovic B, Lacevic M, Cantor A, Fields KK, Bennett CL, Adams JR, Kuderer NM, Lyman GH: The uncertainty principle and industry-sponsored research. Lancet 2000;356:635-638.
40. Rochon PA, Gurwitz JH, Simms RW, Fortin PR, Felson DT, Minaker KL, Chalmers TC: A study of manufacturer-supported trials of nonsteroidal anti-inflammatory drugs in the treatment of arthritis. Arch Intern Med 1994;154:157-163.
41. Moher D, Cook DJ, Jadad AR, Tugwell P, Moher M, Jones A, Pham B, Klassen TP: Assessing the quality of reports of randomised trials: implications for the conduct of meta-analyses. Health Technol Assess 1999;3:i-98.
42. Major outcomes in high-risk hypertensive patients randomized to angiotensin-converting enzyme inhibitor or calcium channel blocker vs diuretic: The Antihypertensive and Lipid-Lowering Treatment to Prevent Heart Attack Trial (ALLHAT) JAMA 2002;288:2981-2997.