字句解析器、改良

[id:shiba-yan:20070102:1167743503]
芝やんさんのアドバイスと参考ページのおかげで、かなり速く処理できるようになりました。
具体的にはさっきのファイルが100ms以下。
多分まだ改善の余地はあるでしょうけれど、今はこれで十分です。
芝やんさん、ありがとうございました。
　
nako_lexer_2.cs　84kbyte