L'histoire de K-On! tourne autour de quatre lycéennes japonaises qui ont décidé de rejoindre le club de «soft music» de l'école, club qui risquait d'être dissout faute de nouvelles adhésions. Toutefois, elles sont les seules membres du club, au départ, Yui Hirasawa n'a aucune expérience en termes d'instruments de musique et ne sait même pas comment lire une partition. De ce fait, les membres du groupe l'aident à apprendre la guitare et se lient ainsi d'amitié.