1868年明治维新以后，日本便着力加强针对中国的间谍活动，利用一些熟知中国国情民俗、能操一口流利汉语的日本人收集各种军政情报。
1878年，日本对华情报活动的“先驱”岸田吟香在上海英租界开办“乐善堂”，以销售药品为主业，兼做出版业务，并暗中调查中国各地情况，他不仅获得了暴利，还广交了中国士人，并以此为掩护开展情报工作。岸田吟香在华的努力，打开了日本在华潜伏刺探情报的局面。
日本著名间谍荒尾精是在岸田的资助下成长起来的。荒尾精在汉口开设“乐善堂”，并以此为据点，网罗了一批日本浪人，从军事和经济的角度对中国各地的地形、地貌、人口分布、风俗习惯以及土地、服装、运输、粮食、煤炭、兵制、工厂等，加以“实际踏查”。中日甲午战争期间，汉口“乐善堂”骨干宗方小太郎潜入烟台，刺探到中国军舰开赴朝鲜的详细日期，并报告日本大本营，为日军击溃大清北洋水师立下赫赫战功。为此，宗方受到日本天皇的亲自接见。
中华民国成立后，汉口“乐善堂”的活动宣告结束，但日本在华的谍报工作并没有停止。他们大多依然选择乔装打扮，通过开设药店、旅馆、吗啡馆和白面馆等各种店铺在华刺探情报。
在这些日本间谍中，比较著名的有毕业于日本陆军士官学校的井上，他1929年便在上海南京路哈同大楼三楼开设了“通原洋行”，以日中贸易作为掩护，在中国刺探情报。他的“井上公馆”，共有工作人员60多人，都是二三十岁的日本男子，公馆中连佣人、厨师也都是日本人。这些壮年男子在日本受到过黑龙会等特务机构的专门训练，有一定的专业知识，精通情报、化装、驾驶、射击、格斗、通信、暗杀等特工技能，并且大多有在中国从事情报工作的经验，对中国的民俗相当了解，能熟练使用中国方言。井上曾自夸说，他手下虽只有60余人，但其作用却不亚于一个师团。
1938年2月，“井上公馆”将所属的间谍分别派到中国内陆各有关城市刺探情报，如被派往河南洛的佐藤。佐藤隐瞒其真实身份，自称祖籍在河北保定，系杨氏后代，混入逃难至洛阳的难民之中，住在洛阳北关外邙山脚下，以卖豆腐丝为职业。他每天上午10时至下午5时左右，穿着一身褪色的铁路工人服，肩挎木箱，以地道的中国北方方言，沿街叫卖豆腐丝。由于佐藤平时看上去相当老实，做生意又厚道，并可以先尝后买，也可欠账、赊账，当地民众都亲热地称他为“老杨”。
佐藤打着卖豆腐丝的幌子，利用买卖的流动性与交际性，进行刺探情报、发展情报人员的工作，并利用公开手段，搜集当时的《河洛日报》、《行都日报》、《战旗》等报纸杂志。此外，佐藤还通过赠送啤酒、香烟和小日用品等，四处拉拢动摇分子，刺探收集情报。还广泛调查留日中国学生、失意政客、在野军阀、无聊文人、地痞流氓等各色人物，遴选将来各地日伪组织的人选。
1944年5月25日洛阳沦陷后，当地民众突然看到他们所熟悉的“老杨”竟然身着日本军服，骑着高头大马耀武扬威地招摇过市，才知道他是潜伏的间谍。佐藤所收集刺探的抗日动摇分子名单，在洛阳沦陷后即发挥了作用。当地日伪组织的首要分子，大部分是佐藤调查所提供的民族败类。随后，佐藤又摇身一变，前往西安，打算继续以卖豆腐的身份进行潜伏，但他混在难民中从洛阳逃至西安时，被抓住正法。
又如，化名徐志统的日本浪人芝原平三郎，生于日本广岛，幼居东北，长期混迹于北京、天津等地，除了会说一口流利的普通话，还会说上海话、杭州话等。抗日战争爆发后，他受命前往宁波潜伏，通过潜伏在天宁寺、操一口湖南口音的清山和尚的帮助，以湖南米商的身份在宁波四处交际。
芝原平三郎平日穿中国长衫，有时也穿西装，戴墨色眼镜和呢帽，举止阔绰，涉足官场，交友商界，出入于酒楼、旅馆、妓院之中，既结交国民党上层人物，又和当地的地痞流氓及各种商贩打得火热。芝原平三郎在宁波刺探了大量情报，收买了一批汉奸，这批汉奸在宁波沦陷后，成为当地汉奸组织的骨干分子。
日本攻击宁波时，宁波街头巷尾出现了一种奇特的广告：在一张长方形纸上四周画有粗线，中书“仁丹”二仿宋字，分直式和横式两种，横式表示街巷不通，直式表示可以通行，是为日军指路的标记，这些都是芝原平三郎的“杰作”。1941年4月19日，日舰进攻镇海时，芝原平三郎还收买了镇海炮台副官沈香亭等人，使日军得以轻易登陆。
日本对间谍的培训工作是长远细腻的。潜伏在河北怀县的小林德，1945年被八路军俘获后，曾供认道：“我们很早就想打入你们内部，帝国情报机关曾派两名懂中文的大学生学习了两年马列主义，又学习种稻田，熟悉中国北方人的生活习惯，然后又派遣到北京当掏粪工人，装作左倾，以便打入中国共产党。”
