میرزا یعقوب خان ارمنی را پس از اسارت در گرجستان به تهران آورده و سرانجام در حرمسرای خاقان به کار میگمارند. وی در مدّت طولانی کار خود از اسرار و فساد درونی دربار اطّلاعات زیادی به دست آورده بود. در این زمان ماجرای گریبایدوف و استرداد ارامنه به زادگاه خودشان مطرح میگردد. در آن موقع که ضعف سیاسی و اقتصادی و نفوذ اجانب و وابستگی افرادی چون آصفالدّوله و پناهندگی میرزا یعقوب خان به سفارت روس پیش آمده بود، تمام سعی دربار بر آن قرار گرفت که میرزا یعقوب را به قتل برسانند. در مورد این که چه کسانی در پَس پرده حوادث نقش داشتهاند چیز دقیقی معلوم نیست، ولی دست پنهان انگلیس و نمایندهاش آصفالدّوله را نباید نادیده گرفت. از آن گذشته خود فتحعلیشاه نیز از وضع پش آمده ناراضی نبود و خواهان آن شد که صندوقچهی اسرارش از بین ببرند، زیرا او در جهت حفظ اسرار حرمخانهاش نمیتوانست بیتفاوت باشد و یکی از مأموریتهای محرّکان مردم آن بود که میرزا یعقوب را به خیل اسرار مگویان بفرستند. در شرح حال میرزا یعقوب چنین آمده است: «میرزا یعقوب یا آغا یعقوب از ارامنهی گرجستان بود که بیست سی سال قبل از آن او را به اسارت به تهران آورده و پس از اخته کردن جزء خواجههای حرمسرا درآورده بودند. آغا یعقوب از وجوه سپرده به دستش چهل- پنجاه هزار تومان کسر آورده بود. وقتی میخواستند به حسابهایش رسیدگی کنند به عنوان آن که گرجستانی و از اتباع روسیه میباشد به نزد گریبایدوف رفت و متحصّن شد و درخواست کرد او را به روسیه بفرستند. آغا یعقوب به واسطهی اطّلاعاتی که از داخل حرمسرای دربار فتحعلیشاه داشت و همچنین چون با شاهزادگان و رجال و معروفین آشنایی به هم رسانده بود و به اندرون رفت و آمد میکرد صورتی از زنان گرجی تهیّه کرد و به گریبایدوف داد. از جمله اسامی دو نفر زنان ارمنی که در خانهی الله یار خان آصفالدّوله بودند جزء این صورت بود. گریبایدوف به آصفالدّوله و اشخاص دیگری که طبق آن صورت، زنان گرجی در خانهی آنها بودند پیغام فرستاد و خواست زنها را برای استعلام و بازجویی از این که مایل به رفتن هستند یا نه! نزد او بفرستند. در این میان اصرار گریبایدوف در مراجعت دو نفر از زنان ارمنی خانهی آصفالدّوله بیشتر بود. پافشاری او در مراجعت این زنان از آن جهت بود که الله یار خان برادر زن فتح علی شاه و دایی عبّاس میرزا نایبالسّلطنه و از همه مهمتر طرفدار علنی انگلیسیها بود. گریبایدوف برای این که با خانوادهی سلطنتی ایران و به خصوص مُهرهی قوی سیاست انگلیس در ایران مبارزه کند اصرار در بازگشت این دو زن گرجی داشت و خلاصه کار به جایی کشید که مردم در اثر فتوی و اجازهی مذهبیون به سفارتخانه روس ریختند و گریبایدوف نیز آغا یعقوب را بیرون فرستاد و مردم غضب آلود او را در جلوی در سفارتخانه با خنجر و شمشیر پاره پاره ساختند و عاقبت خود گریبایدوف نیز جان خود را بر سر این ماجرا گذاشت.»[1]
تاریخ عضدی نیز در بارهی او مینویسد: «آغا یعقوب که در هنگامهی قتل ایلچی، خود را به روسها بَست و اهل اسلام در آن بلوای عام او را قطعه قطعه کردند یکی از خواجههایی بود که رسیدگی به اسباب اطاق حضرت خاقان میکرد و با آغا علی عسکر و چند نفر دیگر در حقیقت داخل ادارهی جَدّهی ایلخانی بودند. زمانی که مقتول شد سی هزار تومان نقد و جنس متروکات داشت.»[2]