A comienzos de 1943, alentado por Von Verschuer, Mengele solicitó el traslado al servicio de campos de concentración, donde esperaba tener la oportunidad de realizar investigaciones genéticas con humanos. Su solicitud fue aceptada y lo destinaron al campo de concentración de Auschwitz, donde Eduard Wirths, oficial jefe médico, lo nombró director médico del Zigeunerfamilienlager campo de familias gitanas en el complejo de Birkenau.​

A finales de 1941, Hitler decidió que los judíos de Europa debían ser exterminados. Por ello, Auschwitz II-Birkenau, que en principio debía alojar trabajadores esclavos, pasó a ser una combinación de campo de trabajo y de exterminio.​ Allí llegaban en tren diariamente prisioneros de toda la Europa ocupada por los alemanes. Hacia julio de 1942 las SS ya realizaban «selecciones», que consistían en segregar a los judíos capaces e incapaces: los que podían trabajar eran admitidos en el campo de trabajo y los que no, eran enviados de inmediato a la muerte en las cámaras de gas. En los grupos de los que debían morir, que normalmente eran tres cuartas partes de todos los que llegaban, estaban casi todos los niños, mujeres con sus bebés, embarazadas, todos los ancianos y aquellos que los médicos consideraban, tras una breve y superficial inspección, que no estaban completamente sanos.​
Mengele, miembro del grupo de médicos que hacían esta selección humana, no estaba obligado a realizar esta tarea, pero participaba con la esperanza de encontrar sujetos para sus experimentos. Estaba particularmente interesado en hallar hermanos gemelos y al contrario que otros médicos, que consideraban la tarea estresante y horrible, Mengele la realizaba con total soltura, con aires extravagantes, a menudo sonriendo, muy acicalado o silbando una melodía.​

Mengele y el resto de médicos de las SS no trataban a los internos, sino que supervisaban a otros doctores prisioneros que estaban obligados a trabajar en el servicio médico del campo. Mengele visitaba semanalmente los barracones del hospital y enviaba a la cámara de gas a los presos que no se hubieran recuperado después de dos semanas en cama. También formaba parte del grupo de médicos responsable de administrar el Zyklon B, el pesticida a base de cianuro que se usaba para matar a los prisioneros en las cámaras de gas de Birkenau. En concreto, realizó esta tarea en las cámaras localizadas en los crematorios IV y V.​
Cuando en 1943 estalló en el campo de los gitanos un brote de noma una enfermedad bacteriológica que gangrena la boca y la cara, Mengele inició un estudio para determinar la causa y desarrollar un tratamiento. Tomó como ayudante al prisionero Berthold Epstein, un pediatra judío y profesor de la Universidad de praga. Mengele aisló a los pacientes en un barracón aparte y asesinó a varios niños gravemente enfermos para enviar sus cabezas y órganos a la Academia Médica de las SS en Graz para su estudio. La investigación seguía en marcha cuando el campo gitano fue liquidado y sus ocupantes asesinados en 1944.​
En respuesta a una epidemia de tifus en el campo de las mujeres, Mengele envió a las seiscientas ocupantes de un barracón a la cámara de gas. Después, el edificio fue limpiado y desinfectado y las ocupantes de un barracón cercano fueron bañadas y se les entregó ropa nueva antes de su traslado al barracón limpio. Este proceso se repitió hasta que todos los barracones estuvieron desinfectados. Este tipo de desinfecciones se volvieron a realizar cuando estallaron brotes de escarlatina y otras enfermedades, pero en esos casos todos los prisioneros fueron enviados a la cámara de gas. Por sus «esfuerzos», Mengele recibió la Cruz al Mérito Militar de Segunda Clase con Espadas y fue ascendido en 1944 a primer médico del campo de Birkenau.

Mengele aprovechó su estancia en Auschwitz como una oportunidad para continuar con sus estudios antropológicos y sus investigaciones sobre herencia genética usando prisioneros del campo de concentración para experimentar con humanos. Estos experimentos no tuvieron para nada en cuenta la salud, seguridad o sufrimiento físico y emocional de las víctimas. Mengele estaba especialmente interesado en los gemelos idénticos, gente con heterocromía —ojos de distinto color, enanos y sujetos con anomalías físicas.​ La  Deutsche Forschungsgemeinschaft, Fundación Alemana de Investigación— le otorgó una subvención que había solicitado Von Verschuer, a quien Mengele enviaba informes periódicos y diversas muestras. El dinero que le otorgaron se empleó en la construcción de un laboratorio de patología adjunto al crematorio II en Auschwitz II-Birkenau. El dr. Miklos Nyiszli, un patólogo húngaro de religión judía que llegó a Auschwitz el 29 de mayo de 1944, realizó en este nuevo laboratorio disecciones y preparó los especímenes para su envío. Las investigaciones de Mengele sobre los gemelos estaban pensadas en parte para demostrar la supremacía de la herencia genética sobre el entorno y reforzar de esta manera la premisa del nazismo que defendía la superioridad de la raza aria.​ Nyiszli afirma que los estudios sobre gemelos también estaban motivados por un deseo de mejorar la tasa de reproducción de la raza alemana a través del aumento de la fertilidad y de las oportunidades de engendrar gemelos de sujetos racialmente deseables.​
Un médico que estuvo prisionero en Auschwitz dijo: Era capaz de ser muy amable con los niños para que le tomaran cariño, les daba caramelos, pensaba en los detalles cotidianos de sus vidas y hacía cosas que nos gustaría realmente admirar… Y a continuación, el humo de los crematorios y, al día siguiente o media hora después, esos niños eran enviados allí.​
Los presos que utilizaba Mengele en sus experimentos estaban mejor alimentados y alojados que el resto de internos del campo y también tenían menos probabilidades de acabar en la cámara de gas mientras eran objeto de investigación.​ El médico creó una guardería con zona de juegos para los niños con los que realizaba las pruebas y para todos los menores de seis años de etnia gitana, donde vivían en mejores condiciones que el resto de presos del campo de concentración.​ Cuando visitaba a los niños él mismo se presentaba como el «tío Mengele» y les ofrecía caramelos.​ A pesar de ello, fue responsable de la muerte de un número desconocido de víctimas que él mismo mató a través de inyecciones letales, disparos, golpes y por medio de experimentos mortales.​ Lifton describe a Mengele como un hombre sádico, sin empatía ninguna y extremadamente antisemita que estaba convencido de que los judíos eran una raza inferior y peligrosa que debía ser aniquilada por completo.​ El único hijo de Mengele, Rolf, dijo que su padre nunca demostró ningún remordimiento por sus actividades durante la guerra.​

Los gemelos eran sometidos a exámenes semanales y mediciones de sus atributos físicos por parte de Mengele o de algunos de sus ayudantes.​ Los experimentos practicados por el médico incluían amputaciones innecesarias de extremidades, inoculaciones intencionadas con tifus y otras enfermedades a uno de los gemelos y transfusiones de sangre de un hermano a otro. Muchas de las víctimas murieron en el transcurso de los procedimientos. Una vez finalizadas las pruebas, a veces los gemelos eran asesinados y sus cuerpos diseccionados. Nyiszli relata que una noche Mengele mató personalmente a catorce gemelos inyectándoles cloroformo directamente en el corazón.​ Si uno de los gemelos moría a causa de la enfermedad que le habían inoculado, Mengele mataba al otro hermano para realizar informes comparativos post mortem.​
Los experimentos de Mengele con los ojos incluyeron intentos de cambiar el

color del iris a través de la inyección de sustancias químicas y el asesinato de personas con heterocromía para extraer sus globos oculares y enviarlos a Berlín para su análisis. A los enanos y a las personas con anomalías físicas les tomaba mediciones corporales, les extraía sangre y dientes sanos y les administraba de forma innecesaria drogas y rayos X.​ Muchas víctimas eran enviadas a la cámara de gas y después sus esqueletos se mandaban a Berlín para continuar con las investigaciones. Mengele buscó mujeres embarazadas, a las que realizaba experimentos antes de enviarlas a la cámara de gas. La testigo Vera Alexander describió cómo cosió por la espalda a dos gemelos gitanos en un intento de crear gemelos siameses,​ pero ambos murieron por los efectos de la gangrena después de varios días de sufrimiento.​