“算術バカ”の帥家黙（シュアイ・ジアモー）は、計算した田畑の面積が官府の記録と一致しないことに頭を悩ませていた。友人の豊宝玉（フォン・バオユー）はそんな家黙の才を利用し賭場で大勝するが、イカサマを疑われる。そこへ宝玉の姉・豊碧玉（フォン・ビーユー）が乗り込んできて、賭場の輩と乱闘に。宝玉と家黙は県の役所に訴え、賭場で儲けた金を取り返そうとするのだが…。

官府の帳簿を調べた家黙は不審な点に気づく。本来、金安府８県で均等に負担すべき税3530両を、“人頭絹布税”の名目で仁華県だけが負担していたのだ。家黙は県に訴え出るが、聞き入れられるどころか罰せられてしまう。やり場のない怒りを抱え、壁に数字を彫りつける家黙。その数字“3530”は幼い頃の記憶とも関係していて…。

帥家黙は豊宝玉の助けを得て、人頭絹布税について金安府に訴え出る。金安知府の黄凝道（ホアン・ニンダオ）は家黙の訴えを認め調査をさせる意向だったが、そこへ府下３県の高官が到着。百年来の賦税の方式を変えたくない高官たちは、家黙の主張にこぞって反論する。一方、豊碧玉の店には訟師・程仁清（チョン・レンチン）が現れ、家黙の身の上を聞き出していた。

金安府での裁きの場に程仁清が現れ、帥家黙の過去を暴露する。20年前、帥家黙の父親は人頭絹布税3530両の着服を疑われ、幼い家黙を残し妻とともに自害していたというのだ。結果、家黙は報復のために訴えを起こしたと見なされ、人頭絹布税の調査もうやむやに。程仁清は、そのことを元高官の范淵（ファン・ユエン）にひそかに報告する。

帥家黙と豊宝玉は、金安知府・黄凝道が手を加えた訴状を携え省城に向かう。そうとは知らず妓楼で遊んでいた程仁清は、范淵に呼び出され、２人の訴えを何としても阻むよう命じられる。一方、省城に到着した家黙と宝玉は、面倒な手続きに悪戦苦闘。各所に根回しをし、ようやく万全の準備を整えて訴訟の列に並ぶのだが…。

厳州府に滞在していた巡按御史・劉景（リウ・ジン）は訴状を見て金安知府・黄凝道の意向を理解し、帥家黙と豊宝玉の訴えを認める。人頭絹布税の裏付けを取るには、金安府各県の架閣庫の調査が必要だ。劉景は２人を伴って金安府に向かう途中、攬渓県に立ち寄り、家黙に架閣庫の調査を命じる。家黙は３日以内で調査を終わらせると宣言するが…。

調査中に攬渓県の架閣庫が燃え、危うく命を落としかけた帥家黙と豊宝玉。その火事は攬渓出身の高利貸し･鹿飛龍（ルー･フェイロン）が２人を焼き殺そうとして起こしたものだった。程仁清は事実を隠ぺいするため、帥家黙と豊宝玉が言い争いの末に火事を起こして逃走したかのような筋書きを作る。連れ去られた２人は隙を見て逃げ出すことに成功するが…。

借金で土地を失った陳小枝（チェン･シャオジー）父娘の家にかくまわれ、豊宝玉は重税に苦しむ農民たちの悲惨な暮らしを知る。一方、豊碧玉は何とか弟たちを助けようと画策していた。そこに程仁清が現れて思いがけない助言をする。とうとう捕まった帥家黙と豊宝玉は手かせと鎖をかけられて山道を連行される。その道中、役人たちのさまざまな思惑が飛び交い…。

架閣庫に放火した容疑で金安府に連れてこられた帥家黙と豊宝玉は、金安知府・黄凝道の裁きで無罪放免に。更に人頭絹布税の計算方法について尋ねられた帥家黙は、架閣庫の帳簿がなくとも各県の賦役の記録を調べれば税額を割り出せると答える。そして順調に調査が進められようとした時、范淵と親しい高官の馬文才（マー・ウェンツァイ）が到着する。

程仁清は過去に遺恨がある馬文才から見下され、敵意をあらわにする。一方、裁きの場で、帥家黙は賦役の記録から税額を割り出し、課税が不公平だったことを証明する。これに対し、范淵の意を受けているはずの馬文才は、なぜか田畑の再測量を支持すると表明。金安知府・黄凝道は不審に思いながらも、８県の測量実施を決定する。

金安府内で田畑の測量が始まる。金安知府・黄凝道の真の目的は、范淵ら郷紳たちが所有する隠田をあぶり出すことだが、測量を行う役人たちは范淵の指示で隠田を素通りし、代わりに農民たちの畑の面積を過大に記録する。これでは民の税が軽くなるどころか、負担が大きくなるばかりだ。見かねた豊宝玉は役所に抗議するが…。

馬文才の命令により帥家黙は捕らえられ、人心を惑わしたという理由で死刑に処せられることに。一方、程仁清と豊宝玉は、かつて帥家黙の父から「絹布全書」を託された万成県の主簿・任意（レン･イー）を説得し、「絹布全書」を入手する。そこには、郷紳たちによる土地売買の不正が記されていた。程仁清は帥家黙を救い出すため、「絹布全書」を持って省城に急ぐ。