K-on! là câu chuyện xoay quanh bốn nữ sinh trung học của Nhật Bản cùng tham gia Câu lạc bộ nhạc nhẹ (軽音楽部) của trường Sakuragaoka và cố gắng cứu nó khỏi bị tan rã. Tuy nhiên, họ là những thành viên duy nhất của CLB. Ban đầu, Hirasawa Yui không có kinh nghiệm chơi nhạc cụ hoặc đọc bản nhạc mà chỉ quen thuộc với chơi phách, nhưng cuối cùng cô đã trở thành một người chơi guitar tuyệt vời. Từ đó, Yui cùng với Akiyama Mio (bass), Tainaka Ritsu (trống) và Kotobuki Tsumugi (keyboard) trải qua những ngày tháng tập luyện, trình diễn và gắn bó cùng nhau trong suốt thời gian trung học của mình. Cố vấn của CLB là giáo viên dạy nhạc Yamanaka Sawako, người sau này trở thành giáo viên chủ nhiệm của họ trong năm cuối ở trường trung học. Vào năm thứ hai hoạt động, CLB chào đón một thành viên mới – Nakano Azusa (guitar) – một cô bé năm nhất. Sau khi Azusa tham gia, cấu trúc CLB dần vững chắc và mọi người cũng bắt đầu luyện tập nghiêm túc hơn.