助詞の字句解析

なでしこの文は、「式＋助詞＋式＋...」の形になりますが、これをlexの定義ファイルに書くにはどうするのが適当なんでしょうねぇ。
例えば、「ひまわりとは花」と言う文の場合、「ひまわり」「とは」「花」とトークンに切り分けて欲しいんですが、適当に書いたのでは「ひまわりとは」「花」という具合に、平仮名が続くところが一つの識別子になってしまいます。
うーん、何か参考になる資料はないものか……