技能标签
专业技能
精通数学建模与算法优化,熟悉运筹学、图论、概率统计等理论体系;掌握PyTorch、Scikit-learn、LLM框架,熟悉OptaPlanner、CPLEX、Gurobi等优化算法工具;精通Hadoop生态(Hive/Spark/Flink/Hudi/Iceberg)、时序数据库(InfluxDB)、NoSQL(HBase/Redis)等大数据技术栈;熟悉Java/Python/Scala/SQL/Shell多语言开发,具备分布式系统架构设计能力
工作履历(脱敏处理)
主导千万级数据处理平台建设,完成从数据采集、实时计算到存储检索的全流程开发。设计基于Flink的实时数据处理架构,实现多源数据订阅与加工,日均处理数据量达TB级。开发NLP内容分析系统,实现文章结构化提取与检索指纹生成,支持多平台内容分发。构建时序数据库存储方案,优化检索效率提升300%。主导大模型应用优化,通过技术手段消除幻觉问题,实现稳定输出。具备完整系统架构设计能力,成功落地多个算法项目从0到1的全流程开发。
项目经验(脱敏处理)
1. 多平台内容分发系统:基于RPA技术实现头条、微信公众号、知乎等平台的自动化内容发布,设计实时数据处理架构,采用Flink进行多源数据订阅与加工,日均处理数据量达TB级。2. NLP内容分析系统:开发文章结构化解析模块,实现时间线提取、实体识别与语义分析,构建检索指纹ID生成算法,支持高效文档检索。3. 时序数据库优化项目:设计基于InfluxDB的时序数据存储方案,优化查询效率,实现毫秒级响应,存储成本降低40%。4. 大模型应用优化:针对LLM输出幻觉问题,设计多阶段验证机制,结合知识蒸馏技术提升输出稳定性,模型推理效率提升200%。5. 分布式计算平台:搭建基于Spark/Hive的大数据处理框架,实现数据清洗、特征工程与模型训练全流程自动化,支持千万级数据量处理。
驻场外包优势
服从性高
严格遵守甲方管理制度
技术扎实
7年项目实战经验
可长期驻场
接受异地项目外派
快速响应
24小时内可到岗
企业人才对接
专业IT人力外包服务
如果贵公司有IT项目人手缺口、需要工程师驻场开发、短期人力支援需求,欢迎联系洽谈合作。
合作热线
18969108718
商务邮箱
ntit@163.com
微信扫码咨询
扫描二维码添加商务对接