Чтобы извлечь звуки при игре на губной гармошке, нужно выдувать или втягивать воздух через её отверстия. Вы можете изменять положение и форму губ, языка, выдыхать или вдыхать с переменной силой и частотой, и именно благодаря всем этим изменениям можно получать различное звучание губной гармошки. Обычно каждое отверстие на губной гармошке помечено цифрой, в случае обычной диатонической гармошки от 1 до 10. Если повернуть гармошку отверстиями к себе и цифрами вверх, то более низкие ноты будут находится слева, а более высокие справа (изображено на рисунке ниже). Чем меньше цифра обозначающая ноту, тем ниже эта нота.
Губная гармошка (или гармоника, как ее часто называют) состоит из двух пластин с язычками (изображены на рисунке ниже). Верхняя пластина содержит язычки, работающие при выдохе (вдувании воздуха в отверстия), а нижняя — при вдохе (втягивании воздуха из отверстий). Пластины крепятся к гребёнке (корпусу) и накрываются верхней и нижней крышкой корпуса соответственно. Каждая пластина имеет прорези разной длины, однако на каждой пластине расположенные друг над другом прорези равны по длине. Поток воздуха проходит над язычками над или под прорезями в гребёнке и заставляет вибрировать соответствующие язычки верхней или нижней пластины. Благодаря такой конструкции язычков губную гармошку относят к язычковым инструментам со свободным язычком.
На рисунке выше изображено устройство губной гармошки при её обычном расположении. Обратите внимание на то, что на рисунке не показаны язычки. У обеих пластин язычки направлены вниз (на рисунке снизу), таким образом в собранном состоянии язычки верхней пластины направлены внутрь пазов гребёнки, а язычки нижней пластины — наружу.
Вибрация язычков происходит из-за воздушной струи, направленной в корпус (или из него). Однако, не следует думать, что звук возникает при ударе язычка о пластину — они не соприкасаются друг с другом. Зазор между прорезями и соответствующими им язычками небольшой, поэтому язычок при вибрации попадает в прорезь, и проход для прямого движения воздушной струи на время перекрывается. По мере движения язычка в ту или иную сторону путь для воздуха освобождается. Поэтому звучание губной гармошки зависит, в первую очередь, от колебания воздушной струи.